Microsoft в кооперации с Inworld AI разработает инструменты для Xbox, которые позволят разработчикам создавать персонажей, истории и квесты на базе искусственного интеллекта. Новейшая система получит название AI Design Copilot. Разработчики Xbox смогут использовать её для создания подробных сценариев, деревьев диалогов, линий квестов и многого другого.

«Мы верим, что с помощью более совершенных инструментов разработчики смогут создавать ещё более необычные игры, — поясняет Хайян Чжан (Haiyan Zhang), генеральный менеджер по игровому искусственному интеллекту (ИИ) в Xbox. — Это партнёрство объединит: опыт Inworld в работе с генеративными моделями искусственного интеллекта для разработки персонажей и передовые облачные решения Microsoft для искусственного интеллекта, включая сервис Azure OpenAI. Техническая информация Microsoft Research и сильные стороны команды Xbox в революционной разработке доступных и ответственных инструментов также станут существенным подспорьем для разработчиков».

Кросс-платформенный набор инструментов ИИ будет включать в себя AI Design Copilot для сценариев и диалогов в совокупности с движком персонажей ИИ. Последний может быть интегрирован в игры и использоваться для динамической генерации историй, квестов и диалогов.

Inworld разрабатывает неигровых персонажей (NPC) с искусственным интеллектом, которые реагируют на вопросы игрока, аналогично тому, как ChatGPT или Bing Chat отвечают на запросы на естественном языке. «Интеллектуальные» NPC могут отвечать уникальными голосами и активировать сложные деревья диалогов или персонализированные динамические сюжетные линии в игре. Технология Inworld также может использоваться для повествования. Таким образом, компаньоны в ролевых играх могут предупреждать о группах врагов или других игроках далее по сюжету.

«Искусственный интеллект уже давно является неотъемлемой частью разработки игр. Приложения варьируются от вражеского искусственного интеллекта до процедурной генерации, — комментирует Илья Гельфенбейн (Ilya Gelfenbeyn), генеральный директор Inworld AI. Появление больших языковых моделей и генеративного искусственного интеллекта открыло новые возможности для повествования историй и взаимодействия с персонажами в играх».

Но существует и обратная сторона медали при использовании генеративных моделей. Применение генеративного искусственного интеллекта в таких творческих областях, как геймдизайн или озвучка, вызывает споры. Так, недавно профсоюз актеров SAG-AFTRA проголосовал за разрешение на забастовку для исполнителей персонажей для видеоигр. «Из-за эксплуататорского использования искусственного интеллекта и низкой заработной платы те, кто работает в видеоиграх, сталкиваются с теми же проблемами, что и актёры, работающие в кино и на телевидении», — сокрушается главный специалист по контрактам SAG-AFTRA Рэй Родригес (Ray Rodriguez).

Microsoft позиционирует свои инструменты как руку помощи, во многом аналогично тому, как она преподносила возможности системы Copilot для Microsoft 365 и Windows.

«Мы хотим помочь разработчикам легче реализовать своё видение. Пробуя что-то новое, раздвигать границы современных игр и экспериментировать, чтобы улучшить игровой процесс, обратную связь с игроками и многое другое, — добавляет Хайян Чжан. — Мы будем сотрудничать и внедрять инновации с создателями игр не только внутри Xbox studios, но и сторонними студиями по мере разработки инструментов, отвечающих их потребностям и вдохновляющих на новые возможности для будущих игр».

На выставке Computex 2023 компания NVIDIA представила платформу Avatar Cloud Engine (ACE) for Games, которая позволит сделать умнее неигровых персонажей (NPC) в играх. Представленный инструмент даёт возможность разработчикам создавать собственные ИИ-модели, которые позволят генерировать для NPC естественную речь, диалоги, а также движения. За минувшие месяцы с момента анонса платформы NVIDIA её усовершенствовала, научив создавать эмоциональных персонажей.

Источник изображения: NVIDIA

В рамках изначальной демонстрации работы технологии ACE компания показала интерактивную демо-сцену Kairos с неигровым персонажем Джином, владельцем лапшичной, созданную на движке Unreal Engine 5 с технологией трассировки лучей. Сегодня NVIDIA отчиталась, что интегрировала в платформу ACE ИИ-модель NVIDIA NeMo SteerLM. Она позволяет разработчикам игр изменять характер неигровых персонажей, делая их более эмоциональными и реалистичными, что позволяет человеку сильнее погрузиться в мир игры.

Большинство языковых моделей (LLM) разработаны с целью давать только нейтральные ответы. Они лишены возможности эмоциональных имитаций и личностных поведенческих особенностей. Типичным примером таких LLM являются ИИ-чат-боты. В свою очередь с помощью SteerLM языковые модели обучаются давать ответы, соответствующие определённым атрибутам характера, от юмора до креативности и токсичности. При этом все особенности характера NPC можно настроить всего лишь движением нескольких ползунков в интерфейсе SteerLM. С примером использования SteerLM и результатами работы можно ознакомиться на видео ниже, в рамках всё той же интерактивной демо-сцены NVIDIA Kairos.

Как можно заметить, ответы NPC значительно отличаются, в зависимости от выбранных атрибутов характера и уровня интенсивности. Неигровой персонаж может обидеться на реплику игрока, попытаться более подробно объяснить ситуацию, а также сделать это с юмором и креативностью. При использовании NVIDIA NeMo SteerLM можно изменять существующие черты характера, а также добавлять новые, создавая по-настоящему уникальных неигровых интерактивных персонажей под определённую сцену в игре или локацию.

Эмоциональный отклик — не единственный вариант использования SteerLM в играх. С помощью этой технологии разработчики могут создавать сразу несколько персонажей, используя одну LLM. Кроме того, разработчики могут создавать так называемые атрибуты фракций, чтобы согласовать реакции тех или иных NPC с развитием внутриигровой истории, позволяя неигровым персонажам динамически изменяться в характере с учётом изменяющихся событий в игре.

В приведенной выше демо-сцене для озвучивания неигрового персонажа Джина использовался синтезатор текста в речь ElevenLabs. С помощью ACE разработчики могут добавлять свои собственные компоненты в конвейер ACE, расширяя его возможности.

Компания NVIDIA в рамках своей презентации на выставке Computex 2023 представила сервис Avatar Cloud Engine (ACE) for Games, который позволит сделать умнее неигровых персонажей (NPC) в играх. Представленный сервис позволит разработчикам создавать собственные ИИ-модели, которые позволят генерировать для NPC более естественную речь, включая диалоги, а также движения.

Источник изображения: NVIDIA

Как отметила NVIDIA, разработчики промежуточного программного обеспечения, инструментов разработки и самих игр смогут использовать ACE for Games для создания и развертывания индивидуальных моделей ИИ для генерации речи, разговоров и анимации в своём программном обеспечении и играх.

«Генеративный ИИ способен произвести революцию в интерактивном взаимодействии игроков с игровыми персонажами и значительно повысить степень погружения в игру, — говорит Джон Спитцер (John Spitzer), вице-президент NVIDIA по технологиям для разработчиков. — Опираясь на нашу компетенцию в области ИИ и десятилетия опыта работы с разработчиками игр, NVIDIA возглавляет использование генеративного ИИ в играх».

Основываясь на NVIDIA Omniverse, сервис ACE for Games предоставляет оптимизированные базовые ИИ-модели для речи, разговора и анимации персонажей, включая:

• NVIDIA NeMo — для создания, настройки и развертывания языковых моделей на собственных наборах данных разработчиков. Большие языковые модели могут быть настроены в соответствии с историями и предысториями персонажей, а также обладают защитой от «контрпродуктивных или небезопасных» разговоров с помощью NeMo Guardrails.
• NVIDIA Riva — для автоматического распознавания речи и преобразования текста в речь. Эта модель позволяет вести в игре естественный разговор в реальном времени.
• NVIDIA Omniverse Audio2Face — для мгновенного создания выразительной лицевой анимации игрового персонажа под любую речевую дорожку. Audio2Face включает коннекторы Omniverse для Unreal Engine 5, так что разработчики могут добавлять лицевую анимацию непосредственно к персонажам MetaHuman.

Как отмечают в NVIDIA, разработчики могут интегрировать все решение NVIDIA ACE for Games или использовать только те компоненты, которые им необходимы.

NVIDIA сотрудничала со стартапом Convai, чтобы продемонстрировать, как разработчики скоро смогут использовать NVIDIA ACE for Games для создания NPC. Сфокусированная на разработке передового разговорного ИИ для виртуальных игровых миров Convai интегрировала модули ACE в свою сквозную платформу аватаров реального времени. В демо под названием Kairos игроки взаимодействуют с Джином, владельцем кафе. Хотя он является NPC, Джин отвечает на запросы на естественном языке реалистично и в соответствии с предысторией повествования — всё это с помощью генеративного ИИ.

Нейросети NVIDIA ACE for Games оптимизированы для различных потребностей, предлагают разные варианты по размеру, производительности и качеству. Сервис ACE for Games поможет разработчикам точно настроить модели для своих игр, а затем развертывать через облачные системы NVIDIA DGX или прямо на ПК с видеокартами GeForce RTX в режиме реального времени подведения итогов.

Наконец NVIDIA отметила, что разработчики игр и стартапы уже используют её технологии генеративного ИИ для своих рабочих процессов:

• GSC Game World внедряет Audio2Face в свою предстоящую игру S.T.A.L.K.E.R. 2 Heart of Chernobyl.
• Fallen Leaf, инди-разработчик игр, использует Audio2Face для лицевой анимации персонажей в Fort Solis, научно-фантастическом триллере от третьего лица, действие которого происходит на Марсе.
• Charisma.ai, компания, создающая виртуальных персонажей с помощью искусственного интеллекта, использует Audio2Face для анимации в своем разговорном движке.