YouTube анонсировала новый инструмент «Тестирование и сравнение миниатюр» для создателей контента. Теперь авторы смогут протестировать одновременно до трёх вариантов миниатюр, сравнить их эффективность и выбрать ту, которая привлекает больше всего зрителей.

Источник изображения: YouTube

Об этой функции впервые было объявлено в июне прошлого года, однако до сих пор она была доступна лишь ограниченному кругу пользователей. Теперь же YouTube заявляет, что в ближайшие недели инструмент станет доступен всем создателям контента.

Как это работает? Авторы могут загрузить до 3 вариантов миниатюр для одного видео. YouTube будет показывать их случайным образом разным зрителям, а затем выберет победившую на основе того, какая миниатюра привлекла большего всего просмотров.

Создатели смогут в режиме реального времени отслеживать статистику и сравнивать эффективность разных миниатюр. Получение окончательных результатов может занять от нескольких дней до двух недель. В итоговом отчёте для наиболее успешной превьюшки будет пометка «Победитель». Также может отображаться метка «Предпочтительно», если одна из миниатюр превзошла другие, но результат не является однозначным.

Хотя инструмент и даёт рекомендации, окончательный выбор по-прежнему остаётся за автором видео. Доступ к новой функции предоставляется только в веб-версии YouTube Studio на компьютере.

Интересны результаты тестирования для некоторых популярных каналов. Так, автор канала MrBeast выяснил, что миниатюры, на которых его рот закрыт, генерируют больше просмотров. В результате на большинстве новых миниатюр MrBeast теперь позирует именно с закрытым ртом.

Таким образом, новая функция от YouTube позволит создателям контента экспериментировать и оптимизировать миниатюры к видео для привлечения большего трафика и внимания зрителей.

На ежегодной конференции разработчиков WWDC 2024 компания Apple рассказала о том, в каких направлениях будет развивать visionOS — программную платформу, используемую в гарнитуре смешанной реальности Vision Pro. Одним из направлений развития является пространственное видео, т.е. возможность просмотра 3D-роликов с эффектом погружения. Было объявлено, что Canon выпустит специальный объектив для своей камеры EOS R7, который позволит снимать пространственные видео.

Камера EOS R7 / Источник изображения: Canon

Отметим, что Canon не впервые выпускает объектив, предназначенный для выполнения одной задачи. В арсенале компании есть линза RF 5.2mm f/2.8 L Dual Fisheye, которая предназначена для создания высококачественного VR-контента и совместима с камерами EOS R5 C, R6 и R6 Mark II. Новый пространственный объектив RF-S 7.8mm f/4 STM будет совместим только с беззеркальной камерой EOS R7.

Объявление о скором появлении специального объектива для съёмки пространственных видео произошло вместе с анонсом visionOS 2, новой версии программной платформы для гарнитуры Vision Pro. Одним из наиболее заметных нововведений ОС станет возможность делать из обычных фотографий пространственные изображения. Что касается объектива для съёмки пространственных видео от Canon, то о нём мало что известно. Характеристики и розничная стоимость новинки на презентации раскрыты не были.

Китайская платформа коротких видео Kuaishou, главный конкурент Douyin — китайского раздела TikTok, — представила основанный на искусственном интеллекте сервис создания видео по текстовому описанию Kling. Этот сервис во многом напоминает OpenAI Sora, свидетельствуя, что крупные китайские технологические компании стремятся догнать американских коллег в области ИИ.

Источник изображений: kling.kuaishou.com

Модель ИИ Kling, которая пока находится на стадии тестирования, способна создавать по текстовому описанию видеоролики продолжительностью до 2 минут с разрешением 1080p и поддержкой различных соотношений сторон. В серии демонстрационных видеороликов присутствуют разные сюжеты: китайский мальчик в очках ест чизбургер в заведении быстрого питания; белый кот едет за рулём машины на фоне небоскрёбов и пешеходов; ребёнок едет на велосипеде по саду, наблюдая за сменой времён года.

Kuaishou — не единственная китайская компания, отметившаяся разработкой конкурента Sora. В апреле стартап Shengshu Technology совместно с Университетом Цинхуа представила аналогичный ИИ-генератор Vidu. Собственный проект в этом году обещала представить и компания Zhipu AI — один из ведущих китайских стартапов в области генеративного ИИ.

Ранее Kuaishou представила большую языковую модель KwaiYii и генератор изображений Kolors. Функция AI Dancer позволяет анимировать фотографии — люди на них танцуют под различные ритмы. В ближайшее время компания также пообещала представить службу преобразования статических изображений в видео — она основана на модели Kling. Посещаемость платформы коротких видео Kuaishou, по её собственным подсчётам, составляет 400 млн человек в день — для сравнения, у Douyin от ByteDance 600 млн пользователей ежедневно.

«Сбер» официально объявил о запуске бета-версии нейросети Kandinsky Video 1.1, которая способна создавать полноценные видео продолжительностью 6 секунд на основе текстового описания или статического изображения. Оценить возможности алгоритма можно на платформе fusionbrain.ai и в Telegram-боте Kandinsky.

Источник изображения: fusionbrain.ai

Нейросеть генерирует непрерывную сцену с движением объектов и фона продолжительностью до шести секунд на скорости 8 кадров в секунду или 32 кадра в секунду. Поддерживается генерация роликов в форматах 16:9, 9:16 и 1:1. Обновлённый алгоритм способен создавать ролики не только по текстовому описанию, но и на основе статического изображения. За счёт этого пользователи имеют больше возможностей для реализации своих творческих задумок. В дополнение к этому пользователь может контролировать динамику генерируемого видео путём изменения параметра «motion score».

Браузер Microsoft Edge скоро предложит функцию закадрового перевода и дублирования видео в реальном времени на таких сайтах, как YouTube, LinkedIn, Coursera и т.д. В рамках конференции Build, стартовавшей 21 мая в Сиэтле (США), компания Microsoft объявила, что новая функция, работающая на основе искусственного интеллекта, сможет переводить разговорный контент, предоставляя дубляж и субтитры прямо во время просмотра.

Источник изображения: geralt/Pixabay

В настоящее время эта функция поддерживает перевод с испанского на английский, а также перевод с английского на немецкий, хинди, итальянский, русский и испанский. Ожидается, что новая функция Edge на базе ИИ также сделает видео более доступными для слабослышащих или страдающих потерей слуха пользователей, предлагая автоматическое создание субтитров.

Microsoft сообщила, что Edge также будет поддерживать перевод устного контента в реальном времени на новостных сайтах, таких как Reuters, CNBC и Bloomberg. В дальнейшем компания планирует увеличить количество поддерживаемых сайтов, а также расширить возможности Edge по переводу большего количества языков.

Новая функция пополнит набор возможностей Edge на базе ИИ, появившихся у браузера благодаря интеграции с Copilot. В настоящее время Edge поддерживает возможность обобщения содержания видеороликов YouTube, но он пока не обладает способностью генерировать текстовые резюме для каждого видео, поскольку при их создании полагается на транскрипцию видео.

Около трёх месяцев прошло с тех пор как OpenAI представила генеративную нейросеть Sora, которая может создавать реалистичное видео по текстовому описанию. Теперь у Google есть чем ответить: в рамках конференции Google I/O была анонсирована нейросеть Veo. Алгоритм может генерировать «высококачественные» видеоролики с разрешением Full HD продолжительностью более минуты с применением разных визуальных и кинематографических стилей.

Источник изображения: Google

В пресс-релизе Google сказано, что алгоритм Veo обладает «продвинутым пониманием естественного языка», что позволяет ИИ-модели понимать кинематографические термины, такие как «таймлапс» или «съёмка пейзажа с воздуха». Пользователи могут добиться желаемого результата с помощью не только текстовых подсказок, но также «скормить» ИИ изображения или видео, получая в конечном счёте «последовательные и целостные» ролики, в которых на протяжении всего времени движения людей, животных и объектов выглядят реалистично.

Генеральный директор ИИ-подразделения Google DeppMind Демис Хассабис (Demis Hassabis) заявил, что пользователи могут корректировать генерируемые ролики с помощью дополнительных подсказок. Кроме того, Google изучает возможность интеграции дополнительных функций, которые позволят Veo создавать раскадровки и более продолжительные видео.

Несмотря на сегодняшний анонс Veo, обычным пользователям придётся какое-то время подождать, прежде чем алгоритм станет общедоступным. На данном этапе Google приглашает к тестированию предварительной версии нейросети ограниченно количество создателей контента. Компания хочет поэкспериментировать с Veo, чтобы определить, каким образом следует осуществлять поддержку авторов контента и развивать сотрудничество с ними, давая творческим людям право голоса в разработке ИИ-технологий Google. Некоторые функций Veo в ближайшие несколько недель станут доступны ограниченному числу пользователей сервиса VideoFX, которые подадут заявки на участие в тестировании предварительной версии алгоритма. В будущем Google намерена также добавить некоторые функции Veo в YouTube Shorts.

За последние пару лет генеративные нейросети преодолели важный этап развития, став более мощными и способными создавать по текстовому описанию не только изображения, но и видео. Новый алгоритм VASA-1 от Microsoft, вероятно, сумеет удивить многих, поскольку для его работы вообще не нужно описание. Достаточно предоставить одно изображение человека и аудиодорожку, на основе которых нейросеть сгенерирует видео говорящего человека с широким спектром эмоций и естественной мимикой.

Источник изображения: Microsoft

Результат работы VASA-1 выглядит очень естественно и правдоподобно. Всего из одного снимка лица и записи голоса алгоритм создаёт реалистичное видео, на котором запечатлённый на снимке человек буквально «оживает», а его мимика, движения губ и головы выглядят вполне натурально. Поскольку созданные с помощью VASA-1 видео с ходу сложно отличить от реальных, уже высказываются опасения по поводу того, что алгоритм может использоваться злоумышленниками для создания фейков.

Что касается самой нейросети, то главным её отличием от других подобных алгоритмов является наличие целостной модели генерации лицевой мимики и движений головы. Специалисты Microsoft провели обширную исследовательскую работу, включая оценку ряда новых метрик. В результате они установили, что новый алгоритм значительно превосходит представленные ранее аналоги по многим параметрам.

«Наш метод не только обеспечивает генерацию видео высокого качества с реалистичной мимикой лица и движениями головы, но также поддерживает функцию онлайн-генерации видео 512×512 точек с частотой 40 кадров в секунду с незначительной начальной задержкой. Это открывает путь к взаимодействию в реальном времени с реалистичными аватарами, имитирующими поведение человека во время разговора», — говорится в сообщении Microsoft.

Другими словами, нейросеть может создавать качественные фейковые видео на основе всего одного изображения. Поэтому не удивительно, что Microsoft называет VASA-1 «исследовательской демонстрацией» и не планирует выводить его на коммерческий рынок, по крайней мере, в ближайшее время.

Группа «М.Видео-Эльдорадо» провела 13 апреля в магазине «М.Видео» в ТЦ «Метрополис» проверку заявленной работоспособности при низких температурах и физическом воздействии смартфона HONOR Magic 6 Pro.

Источник изображения: VK

За ходом эксперимента можно было наблюдать благодаря прямой трансляции «М.Видео» в социальной сети VK. За неделю до его начала команда экспертов Лаборатории М.Видео погрузила HONOR Magic 6 Pro в воду и по специальной технологии постепенно заморозила смартфон до температуры -20 °C, получив прозрачный ледяной куб. Накануне эксперимента смартфон отключили от зарядки, изолировали и заморозили техническое отверстие. 13 апреля в 12:30 эксперимент стартовал при заряде аккумулятора на 83 %. На устройстве был установлен автоматический уровень яркости экрана и запущено цикличное воспроизведение видео из соцсети VK. Для управления смартфоном использовалась экосистемная технология HONOR Connect, позволяющая управлять устройством с помощью ноутбука HONOR и использовать один комплект клавиатуры с мышью для всех устройств, объединённых учётной записью HONOR.

Находясь более 9 часов в ледяном кубе и непрерывно вращаясь в центрифуге с тяжёлыми стеклянными шариками для поверки защитных свойств экрана HONOR Magic 6 Pro продолжал воспроизводить видео.

Как сообщается, после более 9 часов нахождения во льду с непрерывным воспроизведением видео, кремний-углеродный аккумулятор второго поколения разрядился не полностью. По окончании эксперимента у него осталось 10 % заряда, что подтвердило заявление производителя об устойчивости к минусовым температурам. Кроме того, в ходе испытаний смартфона в центрифуге с постоянными ударами утяжелённых стеклянных шариков по экрану была продемонстрирована впечатляющая устойчивость защитного стекла HONOR NanoCrystal Shield к повреждениям от такого рода воздействия.

«Мы, как главный эксперт по технике, регулярно проверяем девайсы, представленные в нашей сети, тем более, если производителем заявлены исключительные характеристики, — сообщил руководитель департамента «Телеком» группы «М.Видео-Эльдорадо» Сергей Уваров. — Мы вдохновились глобальным экспериментом HONOR и решили провести свой собственный, чтобы продемонстрировать устойчивость HONOR Magic 6 Pro к низким температурам и ударам. Результат впечатляет, только плановое закрытие магазина и торгового центра в 23:00 остановило нас. Думаем, что, если бы смартфон в эксперименте стартовал со 100 % заряда, мы стали бы свидетелями более 13 часов непрерывного экранного времени и воспроизведения видео при температуре −20 ℃».

Новейший флагман HONOR Magic 6 Pro был отмечен пятью золотыми наградами рейтинга DXOMARK за качество экрана, съёмку на основную камеру, селфи, автономность и звук.

HONOR Magic 6 Pro в цветах «Графитовый чёрный» с задней панелью из матового стекла и «Шалфейный зелёный» с отделкой из текстурной экокожи уже доступен для предзаказа.

Реклама | ООО "Техкомпания ОНОР" ИНН 9731055266 erid: 4CQwVszH9pWxHwP2ziY

Разработчики из Meta✴ Platforms анонсировали появление обновлённого видеопроигрывателя в мобильных приложениях Facebook✴. С его помощью пользователям социальной сети будет комфортнее просматривать вертикальные видео, подобные тем, что публикуются в TikTok или Reels.

Источник изображения: Meta✴

Новый проигрыватель по умолчанию будет воспроизводить контент из Reels, Facebook✴ Live, а также длинные видео в полноэкранном портретном режиме. На начальном этапе распространения этого нововведения плеер станет доступен пользователям iOS-версии приложения Facebook✴ в США и Канаде. Более широкого распространения функции следует ожидать в течение следующих нескольких месяцев.

Ранее в Facebook✴ использовались разные форматы при воспроизведении видео. Например, пользователи могли просматривать длинные ролики в портретной ориентации, тогда как некоторые видео воспроизводились непосредственно в ленте Facebook✴. Обновлённый плеер будет автоматически ориентироваться на вертикальные видео, но также позволит воспроизводить в портретной ориентации большинство горизонтальных роликов. Достаточно просто повернуть телефон, чтобы плеер переключился на воспроизведение контента в режиме портретной ориентации.

OpenAI опубликовала несколько короткометражных фильмов, созданных при помощи высокореалистичного генератора видео на основе искусственного интеллекта Sora. Сама модель, генерирующая видео по статическим изображениям и текстовым описаниям, пока остаётся недоступной для публики.

Источник изображения: openai.com

Короткометражные ленты были созданы профессионалами творческой отрасли: кинематографистами, художниками, креативными работниками рекламных агентств и музыкантами, которым OpenAI предоставила доступ к модели. «Хотя нам предстоит внести в Sora множество улучшений, мы уже имеем представление о том, как эта модель способна помочь творческим личностям воплотить идеи в действительность», — рассказали в компании.

Руководство OpenAI, по сведениям Bloomberg, уже провело несколько встреч с голливудскими кинематографистами и представителями студий, стремясь повысить интерес к применению Sora в обычном крупнобюджетном кинопроизводстве. Тем временем зрители уже подвергли критике создателей независимого фильма ужасов «Поздний вечер с дьяволом» (Late Night With The Devil), которые использовали при его создании созданные ИИ статические изображения. Звучали призывы бойкотировать ленту за то, что её создатели прибегли к помощи ИИ вместо традиционного найма художников.

Эд Ньютон-Рекс (Ed Newton-Rex), гендиректор некоммерческой организации Fairly Trained, которая взялась сертифицировать модели ИИ, обученные добросовестно на лицензионных материалах, выразил сомнение, что Sora обучалась на лицензированном контенте. OpenAI продолжительное время не комментировала этот аспект разработки Sora, но впоследствии технический директор компании Мира Мурати (Mira Murati) заверила, что это были общедоступные и лицензированные данные, а также видеозаписи, полученные в рамках лицензионного соглашения с Shutterstock.

Больше роликов можно найти в официальном блоге OpenAI.

Американский стартап Figure показал первые плоды сотрудничества с компанией OpenAI по расширению возможностей гуманоидных роботов. Figure опубликовала новое видео со своим роботом Figure 01, ведущим диалог с человеком в режиме реального времени. Машина на видео отвечает на вопросы и выполняет его команды.

Источник изображения: Figure

Стремительный темп развития проекта Figure 01 и компании Figure в целом не может не впечатлять. Бизнесмен и основатель стартапа Бретт Эдкок (Brett Adcock) «вышел из тени» год назад, после того как компания привлекла внимание крупных игроков на рынке робототехники и технологий искусственного интеллекта, включая Boston Dynamics, Tesla Google DeepMind, Archer Aviation и других, и поставила цель «создать первого в мире коммерчески доступного гуманоидного робота общего назначения».

К октябрю того же года Figure 01 «встал на ноги» и продемонстрировал свои возможности в выполнении базовых автономных задач. К концу всё того же 2023 года робот обрёл возможность обучаться выполнению различных задач. К середине января Figure подписала первый коммерческий контракт на использование Figure 01 на автомобильном заводе компании BMW в североамериканском штата Северная Каролина.

В прошлом месяце Figure опубликовала видео, на котором Figure 01 выполняет работу на складе. Практически сразу после этого компания анонсировала разработку второго поколения машины и объявила о сотрудничестве с OpenAI «по разработке нового поколения ИИ-моделей для гуманоидных роботов». Сегодня Figure поделилась видео, в котором демонстрируются первые результаты этого сотрудничества.

Через свою страницу в X (бывший Twitter) Адкок сообщил, что встроенные в Figure 01 камеры отправляют данные в большую визуально-языковую модель ИИ, обученную OpenAI, в то время как собственные нейросети Figure «также через камеры робота захватывает изображение окружения с частотой 10 Гц». Алгоритмы OpenAI также отвечают за возможность робота понимать человеческую речь, а нейросеть Figure преобразует поток полученной информации в «быстрые, низкоуровневые и ловкие действия робота».

Глава Figure утверждает, что во время демонстрации робот не управлялся дистанционно и видео показано с реальной скоростью. «Наша цель — научить мировую модель ИИ управлять роботами-гуманоидами на уровне миллиардов единиц», — добавил руководитель стартапа. При таком темпе развития проекта ждать осталось не так уж и долго.

В феврале OpenAI впервые продемонстрировала нейросеть Sora, способную генерировать реалистичные видео из текстовых описаний. Пока этот инструмент доступен лишь для художников, дизайнеров и кинематографистов. Сегодня технический директор OpenAI Мира Мурати (Mira Murati) сообщила, что Sora станет доступна широкой публике «позднее в этом году». Мурати пообещала, что к способности Sora создавать видео добавится генерация звукового сопровождения, что сделает ролики ещё более реалистичными.

Источник изображения: OpenAI

Сейчас OpenAI работает над возможностью редактирования контента в видеороликах Sora, поскольку инструменты искусственного интеллекта не всегда создают точные изображения. «Мы пытаемся выяснить, как использовать эту технологию в качестве инструмента, с помощью которого люди смогут редактировать медиаконтент», — рассказала Мурати.

Мурати уклонилась от ответа на вопрос, какие данные OpenAI использовала для обучения Sora. «Я не собираюсь вдаваться в подробности использованных данных, но это были общедоступные или лицензированные данные», — заявила она. Мурати не подтвердила и не опровергла использование видео с YouTube, Facebook✴ и Instagram✴. Она отметила, что Sora использует контент фотохостинга Shutterstock, с которым у OpenAI заключено партнёрское соглашение.

Мурати рассказала, что на сегодняшний день Sora отличается от других моделей ИИ повышенными требованиями к вычислительным ресурсам. OpenAI работает над тем, чтобы сделать этот инструмент «доступным по той же цене», что и модель DALL-Eдля преобразования текста в изображение.

Опасения в обществе по поводу инструментов генеративного ИИ и их способности создавать дезинформацию усиливаются. По словам Мурати, Sora не сможет создавать изображения общественных деятелей, как и DALL-E. Видео от Sora также будут включать водяные знаки, но они не являются идеальной защитой и могут быть удалены из видео при помощи ИИ или традиционных технологий.

Несколько недель назад компания Open AI представила нейросеть Sora, способную по текстовому описанию генерировать реалистичное видео продолжительностью до одной минуты с разрешением 1920 × 1080 пикселей. Теперь же компания HarrisX провела опрос, предлагая взрослым американцам отличить сгенерированное ИИ видео от настоящего. Оказалось, что большая часть респондентов ошиблась в 5 из 8 предлагаемых в рамках опроса роликов.

Источник изображения: Mariia Shalabaieva / unsplash.com

В опросе, который проходил в период с 1 по 4 марта в США, участвовали более 1000 американцев. Авторы исследования сгенерировали четыре высококачественных ролика с помощью нейросети Sora, а также выбрали четыре небольших видео, которые были сняты на камеру в реальном мире. Респондентам в случайном порядке показывали эти видео, а их цель была определить, снят ролик человеком или его сгенерировал ИИ. Мнения участников опроса разделились, но при этом в 5 из 8 случаев большая часть респондентов дала неверный ответ.

Это исследование указывает на то, что создаваемый с помощью генеративных нейросетей контент становится всё более реалистичным и отличить его от реального всё труднее. Именно поэтому в разных странах стали чаще звучать призывы к властям о необходимости законодательного регулирования этого сегмента. В числе прочего предлагается обязать пользователей нейросетей помечать генерируемый контент соответствующим образом, чтобы он не вводил других в заблуждение и не мог стать источником дезинформации.

Источник изображения: variety.com

Алгоритм Sora ещё недоступен широкой публике, но уже сейчас он вызывает серьёзную тревогу в обществе, особенно в индустрии развлечений, где развитие технологий генерации видео влечёт массу негативных последствий, например, для киностудий. Более того, всё чаще поднимается вопрос о том, что подобные Sora алгоритмы могут использоваться для создания фейковых видео с участием политиков и знаменитостей, что может привести к самым непредсказуемым последствиям.

Компания X Илона Маска (Elon Musk), владелец одноимённой соцсети, вскоре запустит приложение для SmartTV, сообщил ресурс Fortune со ссылкой на информированный источник. По словам источника, приложение выйдет на следующей неделе, и оно выглядит «идентично» телевизионному приложению YouTube. Поначалу приложение будет доступно на телевизорах Amazon и Samsung.

Источник изображения: X

Цель Маска — превратить X в видеоплатформу, способную конкурировать с YouTube, которая предоставит пользователям возможность смотреть «продолжительные видео на большом экране». Этот шаг является частью плана, представленного в июле и призванного сделать X более привлекательной для интернет-инфлюэнсеров и рекламодателей. По словам источника, помимо YouTube Маск также планирует конкурировать с такими сервисами как Twitch, Signal и социальной платформой Reddit.

Идея расширить присутствие сервиса микроблогинга на экраны телевизоров не нова. До этого Twitter запускал телевизионные приложения как минимум три раза: первые версии вышли в 2010 году на ныне несуществующей платформе Google TV и в 2011 году на платформе Samsung Smart Hub для SmartTV. В 2016 году, после заключения сделки на трансляцию 10 игр НФЛ компания запустила приложения для потоковой передачи видео для Amazon Fire TV, Apple TV и Xbox One.

Fortune отметил, что Маск сосредоточил внимание на медийных знаменитостях, онлайн-инфлюэнсерах и стриминге онлайн-видеоигр. Компания недавно подписала контракт с бывшей звездой CNN Доном Лемоном (Don Lemon) на запуск нового шоу исключительно для X, а бывший ведущий Fox News Такер Карлсон (Tucker Carlson) часто публикует продолжительные видео на X, в числе которых недавнее интервью с президентом России Владимиром Путиным.

Маск призвал авторов перенести весь свой видеоконтент на X, утверждая, что они выиграют от увеличения потоков рекламных доходов. Сообщается, что почти половина пользователей YouTube в США в 2023 году смотрели его видео на телевизорах, а в январе компания Nielsen сообщила, что YouTube является крупнейшим потоковым сервисом в США с 8,6 % просмотров на телевизионных экранах. Для сравнения, у Netflix этот показатель равен 7,9 %.

Вместе с тем соцсеть X по-прежнему теряет пользователей и рекламодателей. Согласно недавнему исследованию Edison Research, использование платформы упало на 30 % за последний год.

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Источник изображения: youtube.com/@ai_beauty303

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).

В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.