Свою первую модель искусственного интеллекта для генерации видео нью-йоркский стартап Runway выпустил ещё в прошлом году, но с тех пор его работу затмили такие мощные проекты как OpenAI Sora и представленная на минувшей неделе Luma AI Dream Machine. Теперь компания решила ответить конкурентам, рассказав о новой модели Gen-3 Alpha.
Источник изображений: runwayml.com
Нейросеть Gen-3 Alpha — это, как пообещал разработчик, «первая из грядущей серии моделей, обученных Runway на новой инфраструктуре, построенной для крупномасштабного мультимодального обучения». Это будут модели ИИ, способные «представлять и моделировать широкий спектр ситуаций и взаимодействий, подобных тем, что встречаются в реальном мире».
Новая система позволяет генерировать высококачественные, детализированные, высокореалистичные видеоролики длиной 10 секунд — их отличают широкий спектр эмоций у персонажей и движущаяся камера при «съёмке». На создание 5-секундного ролика уходят 45 секунд, а 10-секундные видео появляются за 90 секунд. Общий доступ к новой модели компания пока не открыла, но в «ближайшие дни», как уточнил технический директор Runway Анастасис Германидис (Anastasis Germanidis), ей смогут пользоваться платные подписчики платформы (от $15 в месяц или от $144 в год), а затем, уже в этом году, и все остальные.
Модель Gen-3 Alpha «обучена совместно на видео и изображениях» — это «совместная работа междисциплинарной группы исследователей, инженеров и художников», но происхождение всех материалов из обучающего массива в компании не раскрыли. «У нас есть внутренняя исследовательская группа, которая осуществляет надзор за нашим обучением, и для обучения наших моделей мы применяем тщательно отобранные внутренние наборы данных», — пояснил представитель Runway.
Компания также «сотрудничает с ведущими развлекательными и медийными организациями в области создания индивидуальных версий Gen-3», что «позволит генерировать более стилистически управляемых и последовательных персонажей и поможет ориентироваться на конкретные художественные и повествовательные требования, среди прочего», рассказал разработчик. Конкретные имена не называются, но известно, что продукты Runway в своих работах использовали режиссёры таких лент как «Всё везде и сразу» (Everything, Everywhere, All at Once) и «Народный Джокер» (The People’s Joker). На сайте компании есть форма запроса, которую могут заполнить рассчитывающие на сотрудничество компании — для них разработчик подготовит собственную версию Gen-3 Alpha. Стоимость такой модели не уточняется.