OpenAI столкнулась с проблемой модерации контента в своём магазине GPT, в котором пользователи вовсю создают чат-ботов, нарушающих правила компании. Независимое расследование выявило более 100 инструментов, которые позволяют генерировать фальшивые медицинские, юридические и другие запрещённые правилами OpenAI ответы.
Источник изображения: OpenAI
С момента запуска магазина в ноябре прошлого года OpenAI заявила, что «лучшие GPT будут изобретены сообществом». Однако, по данным Gizmodo, спустя девять месяцев после официального открытия многие разработчики используют платформу для создания инструментов, которые явно нарушают правила компании. Среди них чат-боты, генерирующие откровенный контент и инструменты, помогающие студентам обманывать системы проверки на плагиат, а также боты, предоставляющие якобы авторитетные медицинские и юридические советы.
Источник изображения: Gizmodo
На главной странице магазина OpenAI на днях были замечены по крайней мере три пользовательских GPT, которые, очевидно, нарушали правила: чат-бот «Терапевт – Психолог», «фитнес-тренер с докторской степенью», а также Bypass Turnitin Detection, который обещает помочь студентам обойти антиплагиатную систему Turnitin. Многие из мошеннических GPT были уже использованы десятки тысяч раз.
В ответ на запросы Gizmodo о найденных в магазине мошеннических GPT OpenAI заявила, что «предприняла меры против тех, кто нарушает правила». По словам представителя компании Таи Кристенсон (Taya Christianson), для выявления и оценки GPT, потенциально нарушающих политику компании, используется комбинация автоматизированных систем, человеческой проверки и пользовательских отчётов. Однако многие из выявленных инструментов, включая чаты, предлагающие медицинские советы и помогающие в обмане, по-прежнему доступны и активно рекламируются на главной странице.
«Интересно, что у OpenAI есть апокалиптическое видение ИИ и того, как они спасают нас всех от него», — сказал Милтон Мюллер (Milton Mueller), директор проекта по управлению Интернетом в Технологическом институте Джорджии (США). «Но я думаю, что особенно забавно то, что они не могут обеспечить соблюдение чего-то столь простого, как запрет на ИИ-порно, в то же время заявляя, что их политика спасёт мир».
Проблема усугубляется тем, что многие из медицинских и юридических GPT не содержат необходимых оговорок, а некоторые вводят в заблуждение, рекламируя себя как юристов или врачей. Например, GPT под названием AI Immigration Lawyer позиционирует себя как «высококвалифицированный ИИ-иммиграционный юрист с актуальными юридическими знаниями». Однако исследования показывают, что модели GPT-4 и GPT-3.5 в любом случае часто выдают неверную информацию, особенно по юридическим вопросам, что делает их использование крайне рискованным.
Напомним, OpenAI GPT Store — это торговая площадка кастомных чат-ботов «на любой случай», которых создают сторонние разработчики и получают от их реализации прибыль. Уже создано более 3 млн индивидуальных чат-ботов.