В следующем году в Сколково будет открыт первый в России кластер видеоигр и анимации, резидентами которого станут ведущие и начинающие российские компании-разработчики игр и анимационные студии, сообщил мэр Москвы Сергей Собянин в своём Telegram-канале.

Источник изображения: t.me/mos_sobyanin

Площадь кластера составит порядка 40 тыс. м². По словам Собянина, здесь будет установлено инновационное оборудование, которое обеспечит возможность создания с нуля видеоигр и 3D-анимации любого типа и сложности. Предполагается разместить в кластере современную студию захвата движения, высокопроизводительные серверы для графики и многое другое. Здесь также можно будет проводить конференции, где смогут общаться и обмениваться опытом представители индустрии.

Мэр столицы также сообщил, что для молодых специалистов будет организована большая образовательная площадка. Он отметил, что Агентство креативных индустрий запускает «Фабрику видеоигр», где специалисты смогут совершенствовать имеющиеся навыки, а также пополнять багаж знаний. В частности, здесь обучат геймдизайну, разработке игрового движка, 3D-графике, тестированию и организации работы в команде.

Планы руководства столицы также включают оказание поддержки московским разработчикам в экспорте видеоигр за рубеж. Это позволит столичным компаниям принимать участие в международных мероприятия, где можно будет продемонстрировать свою продукцию и заключить контракты.

Сергей Собянин выразил уверенность, что создание кластера поможет развитию видеоигрового туризма. И вскоре будут созданы игры, основанные на истории, культуре и географии Москвы.

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Apple представила очередной инструмент на основе искусственного интеллекта — теперь это генератор анимации Keyframer, основанный на большой языковой модели. Система анимирует готовые векторные изображения по запросу в формате естественного языка.

Авторы проекта отметили, что сегодня существует множество ИИ-генераторов изображений, работающих на основе текстовых описаний — в частности, Dall-E и Midjourney. Но анимация требует более сложного набора параметров, в том числе продолжительности сцены и координации движения объектов, которые непросто указать в едином описании задачи, поэтому могут потребоваться альтернативные средства, в том числе уточнение команды.

Этих целей удалось достичь в системе Keyframer — она создаёт анимированные иллюстрации из статических двухмерных картинок. Команды обрабатываются нейросетью GPT-4; в качестве исходного используется изображение формата SVG (Scalable Vector Graphic), а на выходе получается анимирующий картинку код CSS. Пользователь может уточнить этот код, отредактировав его вручную или задав дополнительную текстовую команду.

Источник изображения: Apple

Разработчики продемонстрировали Keyframer профессиональным дизайнерам по анимации и инженерам — их отзывы были положительными. Они, в частности, отметили, что подобный инструмент способен сэкономить время: чтобы достичь результата, полученного ИИ, вручную, может уйти несколько часов.

Apple в последние месяцы выпускает исследовательские проекты, связанные с технологиями ИИ — на минувшей неделе это был бесплатный редактор изображений MGIE. Компания не позиционирует себя как лидера в области ИИ, но не собирается обходить эту область стороной: в этом году Тим Кук (Tim Cook) пообещал сделать важное заявление.

Команда разработчиков «Яндекса» представила новую диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимацию в ответ на текстовые запросы пользователей.

Примеры созданных YandexART изображений (источник: пресс-служба «Яндекса»)

YandexART формирует изображения и анимацию методом каскадной диффузии: сначала нейросеть генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. В качестве обучающего набора данных были задействованы 330 млн изображений с текстовым описанием. Также разработчиками был реализован новый алгоритм распознавания текстов, помогающий нейросети лучше понимать пожелания пользователей.

Отличительной особенностью YandexART является понимание российского культурного кода — нейросеть знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок. Например, Чебурашку, богатырей и Бабу-Ягу.

Нейросеть уже интегрирована в мобильное приложение «Шедеврум» и помогает иллюстрировать рекламные объявления в «Яндекс Бизнесе». Вскоре YandexART появится в «Яндекс Клавиатуре» и других сервисах компании.

В одной из ближайших бета-версий десктопного приложения WhatsApp появятся анимированные смайлики, а впоследствии они доберутся до веб-клиента и приложений под Android и iOS. Об этом сообщил ресурс WABetaInfo.

Источник изображения: wabetainfo.com

Сайт опубликовал изображение, демонстрирующее новую функцию в действии — отплясывающий смайлик на тему вечеринки. Предполагается, что если в наборе WhatsApp есть анимированная версия смайлика, то она при клике и станет выводиться в чат, а у пользователя никакого выбора не будет, то есть отказаться от анимированного изображения он не сможет.

При разработке анимированных смайликов предположительно используется библиотека Lottie — это означает минимальный размер файлов и масштабирование без потери качества изображения. Приток новых пользователей WhatsApp анимированные эмодзи едва ли обеспечат, но мессенджер станет немного приятнее в использовании. Тем более, что конкурирующие приложения, включая Google Сообщения, Apple iMessage и Telegram их поддержкой уже обзавелись, так что WhatsApp здесь оказывается в позиции догоняющего.

Компания Meta✴ Platforms сделала общедоступным сервис Animated Drawing, с помощью которого любой желающий может вдохнуть жизнь в свои рисунки. Данный инструмент построен на основе нейросетей и предназначен для того, чтобы превращать рисунки в анимированные изображения.

Источник изображения: Meta✴

Первоначальная версия Animated Drawing была запущена командой разработчиков Fundamental AI Research в 2021 году. Теперь же проект с открытым исходным кодом продолжает развиваться, и в Meta✴ считают, что сторонние разработчики помогут ускорить этот процесс. На данном этапе сервис способен генерировать разные анимации на основе исходного изображения, загруженного пользователем.

Для начала взаимодействия с Animated Drawing достаточно на стартовой странице сервиса загрузить собственный рисунок, на котором изображён какой-либо персонаж. Далее пользователю будет предложено изменить размер окна захвата изображения, а после обработки снимка можно скорректировать получившийся результат для достижения лучшего результата. В конечном итоге пользователь увидит анимированную версию своего персонажа, а также сможет выбирать разные варианты анимации, сгруппированные по нескольким категориям.

В работе Animated Drawing используются алгоритмы обнаружения объектов, оценки позы, сегментации на основе обработки изображений. В дополнение к этому используются традиционные методы компьютерной графики в процессе анимации. За несколько месяцев с момента запуска демо-версии сервиса Meta✴ получила разрешение пользователей на использование более 1,6 млн изображений для обучения алгоритма.

Epic Games продемонстрировала на мероприятии GDC 2023 инструмент MetaHuman Animator — он предназначен для создания реалистичной мимики при помощи технологии захвата движения, причём для его работы хватит камеры мобильного телефона.

Источник изображения: youtube.com/@officialninjatheory

Возможности MetaHuman Animator показаны на примере отрывка из находящейся в разработке игры Senua's Saga: Hellblade II от Ninja Theory. Исполняющая роль главной героини актриса Мелина Юргенс (Melina Juergens) разыграла сцену, которую повторил её персонаж. При работе в студии использовались дорогие камеры, предназначенные для захвата движения, поэтому результат получился потрясающим. Хотя технология позволяет применять практически любую камеру, и это может сильно упростить задачу независимым создателям игр, которые ищут простые способы анимировать персонажей.

Основу технологии MetaHuman составили алгоритмы искусственного интеллекта и обширная база данных лицевой анимации. Epic Games получила этот набор данных, поглотив несколько компаний, специализирующихся на технологиях захвата движения, в том числе Cubic Motion, 3Lateral и Hyprsense — новые возможности MetaHuman Animator обеспечивают работу решения в реальном времени. Релиз обновлённого инструмента ожидается этим летом.

Уже летом у одного из крупнейших производителей российских мультфильмов истекают лицензии на необходимый для работы западный софт. С оборудованием дела обстоят несколько лучше — его запасов хватит ещё на два или три года вперёд, сообщила в интервью РБК глава ГК «Рики», ответственной за франшизы «Смешарики» и «Фиксики», Юлия Немчина.

Источник изображения: ThisisEngineering RAEng / unsplash.com

Почти все работающие в российской анимационной индустрии компании активно используют в производстве зарубежное ПО, и сейчас отрасль затронула проблема истечения лицензий на него. «Пока мы продолжаем работу на старых лицензиях, они будут действовать до лета. Дальше остаётся только надеяться, что совместная работа с профильным Министерством цифрового развития поможет найти новые решения», — отметила глава ГК «Рики».

Вопрос оборудования так остро не стоит — пока хватает имеющихся запасов, которые в случае производителя «Смешариков» были закуплены ещё в 2021 году, то есть до массового введения санкций в отношении России. «Мы традиционно прогнозируем загрузку наших мощностей на два-три года вперёд, и ещё тогда запланировали наращивание объёмов производства», — добавила госпожа Немчина.

В других областях российской индустрии развлечений некоторые сложности с оборудованием наблюдаются, напомнило РБК. Летом 2022 года «Ленфильм» опубликовал отчёт за 2021 год, в котором отметил сложности с импортозамещением оборудования для кинопроизводства: к нему предъявляются очень высокие требования, и спрос на российскую продукцию отсутствует. Поставщик концертного оборудования «Арис» также сообщил, что под санкциями оказались и поставки концертного оснащения: микшеров, усилителей, процессоров и конструкций для подвеса колонок.