На чём только не запускали Doom — калькуляторе, газонокосилке, внутри стандартных приложений Windows и не только. Но с помощью нескольких генеративных нейросетей? Такое с легендарным шутером от id Software происходит впервые.
Источник изображения: id Software
Группа из четырёх бывших и нынешних сотрудников Google Research и Google DeepMind представила GameNGen — игровой движок на основе нейронной модели, способный создавать комплексные интерактивные сцены в высоком качестве.
GameNGen может интерактивно симулировать геймплей Doom при 20 кадрах/с. При прогнозировании следующего кадра показатель пикового отношения сигнала к шуму достигает 29,4 (сопоставим со сжатием JPEG с потерями).
Источник изображения: Google Research
Обучение GameNGen проходило в два этапа: на первом ИИ-агент играл в Doom (сессии записывались), а на втором диффузионная модель обучалась для создания следующего кадра, обусловленного последовательностью предыдущих и вводными командами.
Другими словами, GameNGen не генерирует игру на ходу, а лишь воспроизводит то, что уже видел. Вместо рендеринга нейронная модель создаёт последовательность кадров, которая изменяется в соответствии с действиями игрока.
Пока что GameNGen страдает от ряда ограничений вроде очень короткой памяти (немногим более трёх секунд) и различий в поведении агента (во время обучения) и реального игрока.
Хотя в настоящее время GameNGen далёк от идеала, его создатели надеются, что в будущем эти наработки помогут сделать процесс производства видеоигр менее дорогим и более доступным.