На ежегодной конференции Max компания Adobe продемонстрировала экспериментальный проект Super Sonic — прототип программного обеспечения на основе ИИ, которое может превращать текст в аудио, распознавать объекты и голос автора для быстрого создания звуковых эффектов и фонового аудио для видеопроектов.

Источник изображения: Adobe

«Мы хотели дать нашим пользователям контроль над процессом, […] выйти за рамки первоначального рабочего процесса преобразования текста в звук, и именно поэтому мы работали над таким аудиоприложением, которое действительно даёт вам точный контроль над энергией и синхронизацией и превращает его в выразительный инструмент», — рассказал руководитель отдела ИИ Adobe Джастин Саламон (Justin Salamon).

Super Sonic использует ИИ для распознавания объектов в любом месте видеоряда, чтобы создать запрос и сгенерировать нужный звук. В другом режиме инструмент анализирует различные характеристики голоса и спектр звука и использует полученные данные для управления процессом генерации. Пользователю необязательно использовать голос, можно хлопать в ладоши, играть на инструменте или извлекать исходный звук любым другим доступным способом.

Стоит отметить, что на конференции Max компания Adobe традиционно представляет ряд экспериментальных функций. В дальнейшем многие из них попадают в Adobe Creative Suite. Super Sonic может стать полезным дополнением, например, к Adobe Premiere, но пока дальнейшие перспективы проекта неясны, и он остаётся в статусе демонстрационной версии.

Ранее разработчики Super Sonic участвовали в разработке функции генеративного ИИ Firefly под названием Generative Extend, которая позволяла удлинять короткие видеоклипы на несколько секунд, включая звуковую дорожку.

Возможность создавать звуковые эффекты из текстового запроса или голоса — полезная функция, но далеко не новаторская. Многие компании, такие как ElevenLabs, уже предлагают подобные коммерческие инструменты.

Adobe показала возможности готовящихся к выходу инструментов искусственного интеллекта, предназначенных для работы с видео — в их число входит функция создания видеороликов из неподвижных изображений. За эти функции отвечает модель семейства Firefly, которая будет интегрирована в приложения Adobe Creative Cloud и сможет редактировать звук и видео.

Источник изображения: youtube.com/@AdobeVideo

В рекламном ролике показаны кадры, созданные с помощью ИИ семейства Firefly, генерирующего видео по текстовому описанию — ещё в апреле Adobe сообщила, что такой набор функций появится, но их возможности компания продемонстрировала только сейчас. Можно будет генерировать видео по описанию и корректировать результаты с помощью «средств управления камерой», имитирующих смену угла обзора, её движение и расстояние, с которого ведётся съёмка. Присутствует функция генерации видеоролика по статическому изображению, которое задаётся как образец; можно генерировать и промежуточные кадры, если при монтаже видео образуется пробел.

Качество видео на демонстрационном ролике не уступает модели OpenAI Sora, которую Adobe может также добавить в видеоредактор Premiere Pro в качестве стороннего модуля. Но в текущем воплощении возможности Firefly ещё ограничены — модель генерирует видео продолжительностью до пяти секунд. Важным преимуществом модели от Adobe является то, что создаваемые ей материалы «коммерчески безопасны». Это значит, что ИИ обучался на лицензированных и общедоступных материалах, а также на контенте из коллекции Adobe Stock — компания заверяет, что созданное таким образом видео можно неограниченно использовать в коммерческих целях.

Функции генерации видео по текстовому описанию или статическому изображению появятся в бета-версии приложения Firefly в этом году. Предназначенная для работы с видео модель семейства Firefly будет интегрирована в приложения Creative Cloud, Experience Cloud и Adobe Express. Компания также продемонстрировала несколько роликов, созданных при помощи функции Generative Extend, которая увеличивает продолжительность существующих видеоматериалов — аналогичным образом в Photoshop функция Generative Expand готовит фоновые изображения. Adobe не уточнила, когда новые возможности станут доступны пользователям, но пообещала выпустить их в этом году.

Adobe работает над новой моделью генеративного искусственного интеллекта семейства Firefly, которая привнесёт новые возможности в платформу видеомонтажа Premiere Pro. Интеграция ИИ-модели позволит пользователям генерировать видео, добавлять и удалять объекты с помощью текстовых подсказок (подобно инструменту Generative Fill в Photoshop), а также увеличить длину видеоклипов.

Источник изображения: Adobe

В отличие от многих других связанных с Firefly анонсов, Adobe не раскрыла конкретных дат, кроме того, что интеграция Premiere Pro с новым ИИ ожидается в этом году. Adobe рассматривает интеграцию и других ИИ-моделей от сторонних поставщиков, среди которых Runway, Pika Labs и даже нашумевшая Sora от OpenAI. Компания отметила возможность добавления к сгенерированным клипам специальных меток, по которым сервис Content Credentials сможет определить, какую именно ИИ-модель использовали в его создании.

У Adobe, как производителя программного обеспечения для творческих профессий, есть явное преимущество во внедрении генеративного искусственного интеллекта, равно как и другие разработчики ИИ могут быть весьма заинтересованы в сотрудничестве с ней, так что интеграция с продуктами сторонних компаний кажется весьма вероятной.

Adobe уверяет, что основанный на искусственном интеллекте генератор изображений Firefly является более безопасным, чем его аналоги, потому что он обучался преимущественно на материалах Adobe Stock — собственном фотобанке компании с сотнями миллионов лицензионных изображений. Но в реальности для обучения Firefly использовались также изображения других ИИ-генераторов, выступающих прямыми конкурентами платформе Adobe, и компания особо этого не скрывает, обращает внимание Bloomberg.

Источник изображений: adobe.com

Для обучения моделей ИИ, лежащих в основе популярных генераторов контента, необходимы огромные объёмы данных, и занимающиеся этими технологиями компании часто подвергаются критике за использование материалов, защищённых авторским правом. С такими претензиями сталкивались компания Midjourney, разработавшая одноимённую платформу; OpenAI, ответственная за Dall-E; и Stability AI, выпустившая Stable Diffusion. Поэтому в Adobe решили отдалиться от других представителей отрасли и объявить свой генератор изображений более этичным и юридически защищённым — это важно для пользователей её платных продуктов, которые не хотят проблем с авторскими правами. Adobe заверила, что Firefly не будет создавать контент на основе интеллектуальной собственности частных лиц или брендов и не станет генерировать недопустимых изображений.

В компании признали, что в массив обучающих материалов первоначально всё-таки попал контент, созданный с помощью ИИ, поскольку его можно загружать в Adobe Stock, но оговорились, что его доля не превышает 5 %, и он безопасен, потому что все изображения в фотобанке проходят модерацию. Эта практика с самого начала вызвала недовольство некоторых сотрудников компании, утверждает анонимный источник Bloomberg — выдвигались предложения со временем «отучить» систему от созданных ИИ картинок, но планов реализовать это предложение в компании нет и сейчас. Adobe заявляет на своём сайте, что Firefly лучше, чем OpenAI Dall-E, поскольку она демонстрирует уважение к творческому сообществу, будучи обученной только на лицензированных или бесплатных данных.

Adobe никогда публично не отмечала, что Firefly был частично обучен на изображениях из ИИ-генераторов конкурентов, которые, по её собственным утверждениям, менее этичны. В марте 2023 года Adobe Firefly увидел свет в формате бета-версии, и тогда же отвечающий за связи с сообществом Adobe Stock сотрудник компании Рауль Серон (Raúl Cerón) заявил, что при обучении общедоступной версии генератора изображений материалы других ИИ-систем использоваться не будут.

Публичный выпуск платформы состоялся в сентябре, и компания выплатила авторам Adobe Stock особую «премию Firefly» за то, что их «контент использовался для обучения первой коммерческой модели Firefly». И среди них были те, кто загрузил изображения, созданные ИИ, подтвердил Мэт Хейворд (Mat Hayward) — другой сотрудник компании, ответственный за связи с сообществом Adobe Stock. Созданные генераторами конкурентов картинки «улучшают набор данных для обучения модели, и мы решили включить этот контент в коммерческую версию Firefly», — сообщил он.

Adobe добавила генератор изображений на базе искусственного интеллекта Firefly в приложение Express для мобильных устройств под управлением Android и iOS. Это заметно расширит возможности по созданию и редактированию изображений вдали от стационарного рабочего места.

Источник изображения: Adobe

Пользователи Adobe Express могут создавать изображения на основе текстовых подсказок, и таким же образом добавлять, удалять и перемещать отдельные элементы картинок. Приложение позволяет в одно касание применять правки, удалять фоны и изменять размеры изображений. Подписчики Adobe Creative Cloud могут импортировать и редактировать в Express проекты из Illustrator и Photoshop.

Во время бета-тестирования расширенные функции Adobe Express Premium доступны бесплатно, однако позднее Adobe перенесёт их в платную подписку за $10 в месяц. Для участия в тестировании необходимо зарегистрироваться в Adobe.

Запущенная в 2021 году облачная платформа Adobe Express получила поддержку генеративного ИИ Firefly ещё в августе прошлого года, но только для ПК.

На мероприятии Adobe Max представлена модель Firefly Image 2 — обновлённая версия генератора изображений в Photoshop научилась создавать изображения более высокого качества. Собственные генеративные ИИ-модели появились в векторном редакторе Illustrator и в облачной платформе Adobe Express.

Источник изображения: adobe.com

Firefly Image 2 генерирует более качественные изображения по сравнению с предшественницей — наиболее ярко это проявляется в мелких деталях, таких как листва, текстура кожи, волосы, руки и черты лица при прорисовке фотореалистичных картинок. Созданные с Firefly Image 2 изображения отличают более высокое разрешение, более яркие цвета и высокий контраст. Модель также предлагает расширенные возможности редактирования картинок при помощи ИИ — можно вручную или автоматически регулировать глубину резкости, эффект размытия при движении и даже поле зрения, как при ручном управлении камерой.

Функция Generative Match (генеративное сопоставление) позволяет стилизовать генерируемое ИИ изображение под представленный образец — таковым может служить картинка из предустановленного набора или загруженный пользователем файл, причём степень схожести можно регулировать при помощи ползунка. Все созданные ИИ изображения маркируются соответствующими метаданными, чтобы избежать злоупотреблений. Во избежание злоупотреблений пользователь также каждый раз при загрузке собственной картинки даёт согласие на условия использования инструмента, подтверждая, что у него есть права на работу с этим образцом, миниатюра которого сохраняется на серверах Adobe и не применяется для обучения ИИ. Firefly Image 2 пока доступна как автономная модель в веб-версии, и в обозримом будущем она будет интегрирована в приложения Creative Cloud.

Собственная ИИ-модель Firefly Vector появится и в Adobe Illustrator — как заявил разработчик, это «первая в мире генеративная модель искусственного интеллекта для векторной графики». Она создаёт векторные изображения по текстовым описаниям, разбивая их на «логические» слои. Firefly Vector, утверждают в Adobe, по выходе из бета-тестирования сможет использоваться в коммерческих целях, поскольку она была обучена на лицензионном контенте, включая Adobe Stock, а также на бесплатных материалах, авторские права на который считаются истекшими. Генератор Firefly Vector уже можно опробовать в бета-версии Adobe Illustrator, включая дополнительные функции: Retype — генератор 3D-моделей, и Retype — редактор векторных шрифтов.

Наконец, собственной генеративной моделью Firefly Design обзавелась платформа Adobe Express, на которой теперь можно генерировать различные дизайнерские шаблоны также по текстовому описанию.

В Adobe похвастались, что оригинальным генератором Firefly уже воспользовались для создания 3 млрд изображений, а вторая версия появилась ещё до того, как первой исполнился один год.

После нескольких месяцев бета-тестирования Adobe добавила в свою облачную дизайнерскую платформу Express функции на основе модели генеративного ИИ Firefly собственной разработки. Adobe Express (ранее известная как Adobe Spark) разработана, чтобы сделать создание контента более доступным для пользователей, не имеющих профессионального опыта в дизайне. Платформа предлагает простые шаблоны для создания иллюстраций и постеров, редактирования видео и решения других задач.

Источник изображений: Adobe

Adobe Express для ПК уже доступна, развёртывание мобильной версии запланировано на ближайшее время. Платформа предлагает несколько тарифных планов:

• Бесплатный базовый с ограниченной функциональностью;
• Premium за $9,99 в месяц с доступом к дополнительным функциям и ресурсам, этот вариант бесплатен для подписчиков Creative Cloud;
• Корпоративный, предлагаемый для больших команд, которым необходима поддержка совместных рабочих процессов.

Adobe Express впервые стала доступна пользователям в 2021 году, но разработка ИИ-функций началась лишь в июне этого года. Последняя версия платформы позволяет создавать изображения и текстовые эффекты с помощью текстовых подсказок на более чем 100 языках. Быстрые действия, такие как автоматическое удаление фона и озвучивание простой анимации персонажей, также включены в последнюю версию Express. С полным списком новых функций можно ознакомиться на сайте Adobe.

Пользователи Express могут создавать собственные текстовые и графические эффекты

Не секрет, что Adobe Express была создана в противовес дизайнерским платформам Canva и Microsoft Designer, причём оказалась в роли догоняющей. К примеру, Canva начала использовать функции на базе ИИ ещё в 2019 году, представив инструмент для автоматического удаления фона, простота которого часто становится альтернативой более сложным графическим пакетам, таким как Adobe Photoshop.

Конечно, генеративные функции Adobe Express уступают своим аналогам в Photoshop. Зато Adobe предоставляет гарантии, что модель генеративного ИИ в Express полностью обучена на контенте, принадлежащем Adobe, чего может быть достаточно, чтобы склонить часть пользователей к использованию продукта.

Компания Adobe представила расширение Firefly на основе генеративного ИИ для корпоративных пользователей. «Предложение включает полную компенсацию за контент, созданный с помощью этого инструмента», — утверждает Клод Александр (Claude Alexandre), вице-президент по цифровым медиа Adobe. Компания уверена в способности своего ИИ уважать защищённые авторским правом изображения и выплатит компенсацию своим клиентам, если им будет предъявлен иск за нарушение авторских прав в отношении любых изображений, созданных при помощи Firefly.

Источник изображения: Adobe

«Все, что создано с помощью инструмента Firefly для преобразования текста в изображение будет полностью возмещено компанией как доказательство того, что мы поддерживаем коммерческую безопасность и готовность ИИ-функций», — добавил Александр. Стандарты генеративного ИИ и авторского права ещё не урегулированы юридически, что заставляет компании воздерживаться от использования ИИ в своих бизнес-операциях. Александр надеется, что решение Adobe внесёт ясность.

Модель Firefly обучается на стоковых изображениях, права на которые принадлежат Adobe, а также на контенте с открытой лицензией (например, изображения Creative Commons) и контенте, являющемся общественным достоянием. «Adobe уже довольно давно предлагает компенсацию за использование собственных продуктов, в частности за стоковые изображения», — отметил Александр.

Предложение будет доступно только для корпоративных клиентов, и Adobe отказалась сообщить, сколько она выделила средств для возможных судебных разбирательств. Также компания не разъяснила, означает ли возмещение убытков при использовании Firefly, что иск в случае нарушения авторских прав нужно подавать напрямую к Adobe, а не к пользователю Firefly.

Исследователь прав интеллектуальной собственности Андрес Гуадамуз (Andres Guadamuz) уверен, что обещание Adobe не следует воспринимать легкомысленно: «У них должны быть очень серьёзные гарантии от их юристов. Adobe утверждает, что Firefly была обучена на полностью законных исходных данных. Они провели тщательное исследование своих источников обучения и уверены, что на них не подадут в суд».

Adobe надеется, что гарантия возмещения убытков придаст компаниям уверенности в развёртывании генеративных инструментов ИИ в их бизнесе. Пока неясно, как создатели стоковых изображений, используемых для обучения Firefly, получат компенсацию за свою работу. Adobe сообщила, что разрабатывает модель вознаграждения для участников Adobe Stock на основе «этичного и ответственного» подхода и поделится подробностями, когда Firefly выйдет из статуса бета-версии.

Компания Adobe добавила инструменты генеративного искусственного интеллекта Firefly в приложение Express для быстрого создания плакатов, листовок, видеороликов и других графических материалов. Теперь программа может генерировать изображения и визуальные эффекты на основе текстовых подсказок.

Источник изображений: Adobe

Сегодняшнее объявление произошло всего через две недели после того, как Adobe также интегрировала Firefly в Photoshop. Компания называет Adobe Express приложением для создания контента «все-в-одном». В программе есть каталог из более чем 20 000 графических объектов и шрифтов, которые могут быть персонализированы с помощью генеративного ИИ. Например, можно использовать визуальный эффект воздушных шаров для любого используемого шрифта. Как и при преобразовании текста в изображение, эффект будет взят из набора данных Adobe Stock.

Новая версия Adobe Express получила возможность редактирования видео, что будет удобно для пользователей TikTok или Instagram✴ Reels, а также функции импорта, редактирования и экспортирования файлов PDF. По словам старшего вице-президента службы подписки Adobe Creative Cloud Говинда Балакришнана (Govind Balakrishnan), компания планирует добавить новые функции бета-версии настольного приложения Adobe Express в мобильное приложение через два-три месяца.

В релизе базовая версия приложения будет иметь порог генерируемого контента, который на данный момент не определён. Также будет возможность оформить подписку на премиальную версию Adobe Express, в которой на выбор предлагается больше шаблонов, чем в бесплатном варианте. Стоимость подписки будет начинаться от $9,99 в месяц.

Менее чем через месяц после дебюта своего нового набора инструментов редактирования Firefly на основе генеративного ИИ, Adobe уже работает над множеством обновлений, чтобы расширить возможности своих пользователей с помощью Creative Cloud. Если изначально Firefly предлагал ИИ для генерации изображений, то теперь в набор добавились приложения для работы с аудио- и видеоматериалами.

Источник изображения: Adobe

Firefly, созданный на основе разработок компании Sensei, представляет собой набор генеративных моделей ИИ, которые могут создавать и преобразовывать аудио, видео, изображения и 3D-модели с помощью текстовых подсказок так же, как это делают Dall-E и ChatGPT. Функции Firefly уже доступны в экосистеме Adobe, включая Premiere Pro, Illustrator, After Effects и Photoshop, но пока только в рамках программы закрытого бета-тестирования.

Новые функции по работу с аудио и видео помогут профессиональным редакторам сократить объём рутинной работы. Теперь чтобы вставить изображения-заполнители в видеоряд, добавить эффекты или найти перебивку для проекта достаточно просто ввести свои идеи в текстовую подсказку Firefly, а остальное алгоритм сделает сам. Пользователям станет доступно «улучшение преобразования текста в цвет», широкие возможности, которые позволят регулировать уровни яркости и насыщенности, изменять время суток и даже время года с помощью подсказок на естественном языке.

Функции генеративного ИИ охватывают и обработку звука, позволяя вставлять фоновую музыку и звуковые эффекты на основе текстовых запросов. Также ожидается появление анимированных шрифтов и автоматизированной функции b-roll («перебивка»), которая анализирует содержимое сценария для создания раскадровок и предлагает видеоклипы. Причём ИИ Firefly сам будет помогать новым пользователям обучаться использованию новых функций, создавая для них персонализированные практические руководства.