Исследователи из Института Макса Планка представили ИИ-модель DragGAN, которая позволяет манипулировать изображениями практически в режиме реального времени. Инструмент похож на функцию «Искривление» в Photoshop, но гораздо мощнее, так как пользователь не просто перемещает пиксели, а использует искусственный интеллект для повторного создания базового объекта. Более того он позволяет вращать изображения, как если бы они были в 3D-формате.
Источник изображения: arxiv.org / Drag Your GAN
DragGAN может не только изменять размеры объекта на изображении или превращать улыбку в хмурое выражение лица простым щелчком мыши, но и поворачивать его таким образом, как если бы это была 3D-модель. Например, можно изменить направление лица человека. Приведённые ниже видео взяты с сайта исследовательской группы. Полный текст исследовательской работы можно прочитать на сайте arXiv.
Как отмечает команда разработчиков, то, что действительно интересно в этой работе, это не манипуляция изображениями как таковая, а пользовательский интерфейс. Мы уже давно можем использовать инструменты ИИ, такие как GANs, для создания реалистичных изображений, но большинству методов не хватает гибкости и точности. Вы можете сказать генератору изображений ИИ: «Сделай изображение льва, наблюдающего за саванной», и получите его, но может оказаться, что лев сидит не совсем в той позе, которая вам нужна.
DragGAN предлагает решение этой проблемы. Интерфейс точно такой же, как и в традиционных редакторах изображений, но вместо того, чтобы просто размазывать существующие пиксели, модель создаёт объект заново. Исследователи пишут: «Наш подход не только может создавать окклюзию объектов, но и может деформировать их в соответствии с жёсткостью, например, при сгибании ноги лошади».
Пока это только демонстрация, которая не даёт оценить технологию полностью, но это ещё один пример того, как сделать манипуляции с изображениями с помощью ИИ более доступными.