Роб Эндерле, президент и главный аналитик Enderle Group, обсуждает на портале Datanami преимущества гибридного подхода к внедрению ИИ на настольных компьютерах и в смартфонах.
Снижение затрат и нагрузки на серверы
По мере наращивания больших языковых моделей (LLM) мы обнаруживаем, что они потребляют все больше ресурсов, что создает проблемы с пропускной способностью, несмотря на то что объем их использования все еще сравнительно невелик. Речь идет о моделях, содержащих более 13 млрд. параметров и требующих огромных вычислительных мощностей.
Когда большое количество пользователей использует эти модели одновременно, не только расходуются огромные объемы пропускной способности, но и создаются новые болезненные узкие места, потенциально способные поставить на колени облачные серверы, и без того испытывающие большие нагрузки. Разгрузив эти серверы и используя централизованный ресурс только для обновления данных, обслуживания и для тех случаев, когда локальный ИИ не справляется, вы сокращаете расходы и нагрузку на эти централизованные ресурсы и предоставляете пользователям более высокую производительность, не требующую подключения к системе.
Последнее очень важно для таких вещей, как навигация на смартфоне, которая может работать и без подключения, а также для получения критической информации при отключении сети в результате природных или техногенных катастроф, которые происходят все чаще и чаще. Одним словом, пользователи просто хотят, чтобы эта технология работала, а беспроводные сети не так доступны, как хотелось бы.
Кроме того, с выходом на рынок ориентированных на пользователя средств повышения производительности, такие как Copilot, потребность в постоянном доступе к этой технологии становится еще более острой.
Смартфоны
Смартфоны могут оказаться даже более важными для гибридного ИИ, чем ноутбуки, если исходить из некоторых критических моделей использования. Ожидается, что с выпуском многоканального Bluetooth на массовых мероприятиях произойдет переход от человеческого перевода к переводу, управляемому ИИ. Передача нескольких звуковых каналов по одной и той же беспроводной сети в дополнение к потребностям слушателей и докладчиков в данных сегодня не представляется возможной, поэтому вместо центральных переводчиков, управляемых ИИ, которые уже имеются, используются более специализированные радиорешения.
Перенос нагрузки на смартфоны позволяет не только сократить количество устаревших устройств воспроизведения, но и обеспечить поддержку большего числа языков и гораздо лучший опыт для слушателей. Кроме того, в персональных устройствах доступны более совершенные формы шумоподавления, чем в обычном радиоприемнике, используемом для трансляции перевода, а цифровая модификация звука позволяет смартфонам лучше справляться с проблемами слуха, чем старым устройствам, что приводит к более глубокому пониманию и лучшему вовлечению аудитории.
Наконец, если старые радиоприемники поддерживали только входящий перевод, то средства на базе смартфонов обеспечивают двунаправленный перевод и позволяют слушателям задавать вопросы на родном языке, что еще больше повышает вовлеченность и снижает вероятность недопонимания, которого можно избежать. Кроме того, такие преимущества, как улучшенный захват изображений и их редактирование с помощью смартфона, могут быть использованы для дополнения электронных писем или документов, которые пишутся для освещения мероприятия, или для улучшения качества любой коммуникации, основанной на местоположении, для описания события, о котором идет речь.
Одним словом, ИИ превращает смартфон в гораздо более функциональное устройство, и OEM-производители уже начинают задумываться о том, не отказаться ли им от ПК и использовать только смартфоны — потенциальная тенденция, обусловленная потребностями поколения зенниалов.
Заключение
Переход к гибридному ИИ — одно из важных изменений, которые произойдут в ПК и смартфонах в следующем году и будут направлены на решение проблем, связанных с чрезмерной загрузкой облачных и онпремисных систем, а также на повышение уровня пользовательского опыта. Ожидается, что при таком подходе пользовательский опыт станет значительно лучше, особенно для настольных компьютеров и персональных задач, не терпящих задержек или простоев, таких как переводы или приложения для повышения продуктивности.
В конечном счете, перенос большей части существующей нагрузки из облака на персональные устройства — это то будущее, которое ожидается основными поставщиками процессоров. Есть некоторые вопросы безопасности в случае потери одного из таких устройств, которые необходимо будет решить, но они также находятся в разработке. К концу 2025 г. большинство из нас не только поймет, что не может жить без новых инструментов ИИ, но и в основном будет работать с ними локально.
