ChatGPT отучили раскрывать свои обучающие данные в ответ на просьбу вечно повторять одно слово

Просьба к ИИ-боту ChatGPT компании OpenAI повторять определённые слова «вечно» теперь помечается как нарушение условий предоставления услуг и политики в отношении контента чат-бота. Ранее стало известно, что таким незамысловатым способом можно извлекать огромные количества данных, на которых обучался чат-бот.

Источник изображения: Rolf van Root/unsplash.com

Исследователи подразделения Google DeepMind и ряда университетов предложили ChatGPT 3.5-turbo повторять определённые слова «вечно». После определённого количества повторений слова, бот начинал выдавать огромные объёмы обучающих данных, взятых из интернета. Используя этот метод, исследователи смогли извлечь несколько мегабайт обучающих данных и обнаружили, что в ChatGPT включены большие объёмы личных данных, которые иногда могут быть возвращены пользователям в качестве ответов на их запросы. Как сообщил ранее ресурс arXiv, с помощью повторения слова «стихотворение» (poem), учёные добились получения от ChatGPT контактных данных реального человека, включая номер телефона и адрес электронной почты.

Источник изображений: 404 Media

А при просьбе к ChatGPT повторить слово «книга», он сначала повторял его несколько раз, а затем начинал выдавать случайный контент. Часть его была взята непосредственно с сайтов CNN и Goodreads, блогов WordPress, вики-сайтов Fandom, а также там были дословные выдержки из соглашений об условиях предоставления услуг, исходный код Stack Overflow, защищённые авторским правом юридические заявления об отказе от ответственности, страницы «Википедии», веб-сайт оптовой торговли казино, новостные блоги, случайные комментарии в интернете и многое другое.

«Мы показываем, что злоумышленник может извлекать гигабайты обучающих данных из языковых моделей с открытым исходным кодом, таких как Pythia или GPT-Neo, полуоткрытых моделей, таких как LLaMA или Falcon, и закрытых моделей, таких как ChatGPT», — отметили исследователи из Google DeepMind. Они сообщили, что 30 августа известили OpenAI об уязвимости и что компания её исправила. И лишь после этого исследователи сочли возможным поделиться информацией об уязвимости чат-бота с общественностью.

Как рассказал ресурс 404 Media, теперь в ответ на просьбу к ChatGPT 3.5 «вечно» повторять слово «компьютер», бот несколько десятков раз выдаёт слово «компьютер», а затем отображает сообщение об ошибке: «Этот контент может нарушать нашу политику в отношении контента или условия использования. Если вы считаете, что это ошибка, отправьте свой отзыв — ваш вклад поможет нашим исследованиям в этой области».