Nvidia показала в деле ИИ-бота R2X, который поможет в использовании ПК — без ошибок не обошлось

Nvidia представила на выставке CES 2025 прототип помощника с искусственным интеллектом R2X, который запускается на ПК и работает прямо на рабочем столе машины. Ассистент выглядит как персонаж компьютерной игры и помогает в навигации по приложениям. К помощнику можно подключить любую из популярных больших языковых моделей, в том числе OpenAI GPT-4o или xAI Grok.

За визуализацию и анимацию R2X отвечают ИИ-модели Nvidia. Пользователю доступно общение с R2X в текстовом чате или в голосовом формате, предусмотрена загрузка файлов в приложение, есть возможность транслировать ИИ изображение с экрана компьютера или с камеры. Этим проектом Nvidia стремится объединить технологии генеративного ИИ в играх с передовыми большими языковыми моделями — в идеале должен получиться ИИ-помощник, который выглядит как человек.

В первой половине 2025 года компания намеревается открыть исходный код проекта. Nvidia позиционирует его как новый пользовательский интерфейс для разработчиков, позволяющий конечным пользователям подключать свои любимые продукты с ИИ из облака или локально. По образцу функции Microsoft Recall приложение R2X также может постоянно делать снимки экрана и анализировать их с помощью ИИ, но по умолчанию эта функция отключена. Если её активировать, система поможет разобраться с ПО на компьютере или, например, даст совет при разработке сложного программного кода.

На практике Nvidia R2X пока работает отнюдь не идеально. В ходе демонстрации на CES 2025 аватар иногда демонстрировал эффект «зловещей долины», когда лицо персонажа замирало со странным выражением; а его тон порой производил впечатление агрессивного. Советы ИИ-помощника были преимущественно полезными, но не обошлось и без «галлюцинаций» — он запутался в функциях Adobe Photoshop, а потом внезапно перестал «видеть» изображение экрана. В рамках другой демонстрации он составил сводку по содержимому загруженного файла PDF.

Для анимации выражения лица в разговоре использовалась ИИ-модель Nvidia Audio2Face-3D, которая не всегда срабатывала идеально. В перспективе R2X сможет участвовать в сеансах групповой видеосвязи Microsoft Teams и даже выступать в качестве ИИ-агента, выполняя некоторые действия на рабочем столе компьютера.