Водяные знаки на ИИ-контенте оказалось относительно легко стереть

Учёные Мэрилендского университета (США) опубликовали результаты исследования, в рамках которого было установлено, что водяные знаки, вводимые платформами искусственного интеллекта при генерации изображения, можно удалить.

Источник изображения: arxiv.org

ИИ-генераторы изображений сегодня являются общедоступными, и люди всё чаще применяют их для создания «фотографий» и даже видео того, чего никогда не было. Эти произведения могут появляться как шутка или с целью преднамеренного дезинформирования окружающих — важно то, что они достаточно правдоподобны, чтобы ввести человека в заблуждение. Власти предлагают разработчикам систем ИИ маркировать подобный контент, но на практике это оказывается не так просто.

Исследователи из Мэрилендского университета поставили перед собой задачу изучить эффективность методов выявления изображений, созданных с помощью ИИ. Как выяснилось, создаваемые при генерации изображений водяные знаки легко удаляются при помощи диффузионной очистки или атаки с подменой модели. Диффузионная очистка, то есть добавление к изображению шума с его последующим удалением, позволяет уничтожать водяные знаки, размещённые с использованием методов с низким уровнем возмущений, таких как RivaGAN и WatermarkDM. Для методов с высоким уровнем возмущений, таких как StegaStamp, использована атака с подменой модели — она заставляет используемые для анализа ИИ системы идентифицировать сгенерированные изображения как настоящие.

Это плохие новости для Alphabet, Amazon, Meta✴, Microsoft и OpenAI — все эти компании ранее обязались разработать технологии маркировки ИИ-контента для борьбы с дезинформацией. С другой стороны, сама идея маркировки изображений, созданных ИИ-генераторами, не предполагает полной защиты от дезинформации, ведь они не видны глазу, и среднестатистический пользователь интернета едва ли будет проверять каждое изображение, которое он встречает, на подлинность. Это значит, что маркировка полезна только в тех случаях, когда подозрение уже возникло.