Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о её наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Компания Anthropic, основанная бывшими инженерами OpenAI и поддерживаемая Google, выпустила обновлённую версию своего чат-бота Claude. Разработчики внесли в алгоритм ряд значительных изменений, вроде возможности поиска в интернете или более крупного контекстного окна, которые сделали его более производительным и удобным для пользователей.

Источник изображения: Anthropic

Что касается нововведений, то следует отметить увеличение вместительности контекстного окна Claude 2.1 до 200 тыс. слов (более 500 страниц текста). Для сравнения, контекстное окно предыдущей версии Claude 2 вмещало около 75 тыс. слов. По словам разработчиков, новая версия ИИ-бота вдвое реже подвисает в процессе обработки запросов, а также может обрабатывать такие действия, как поиск в интернете или работа со специализированными калькуляторами через внешние дополнения. Алгоритм также стал лучше работать на длинных контекстах при ответах на пользовательские запросы.

Возможность контекстного окна Claude 2.1 вместить 200 тыс. слов выглядит весьма впечатляюще. Это значительно больше, чем 32 тыс. слов, которые доступны платным пользователям ChatGPT на базе модели GPT-4. Anthropic называет это достижение «первым в отрасли» и утверждает, что чат-бот способен тщательно анализировать целые базы программного кода. Отметим, что возможность использования контекстного окна с максимальным количеством слов доступна только для самого дорогого тарифного плана Pro.

Anthropic также приблизила Claude к ChatGPT благодаря интеграции возможности использования внешних инструментов посредством API. Теперь пользователи могут подключать внешние инструменты, а бот будет выбирать наиболее подходящий из них по контексту запроса. В дополнение к этому появилась возможность давать Claude постоянные инструкции, благодаря чему алгоритм будет выдавать соответствующие ответы на определённые запросы или при общении с конкретными пользователями.

Возвращение Сэма Альтмана (Sam Altman) в OpenAI всё ещё остаётся под вопросом, в связи с чем клиенты компании остаются в состоянии неопределённости, и некоторые из них уже рассматривают возможность перейти на альтернативные решения: модели искусственного интеллекта от Meta✴ и Anthropic. При этом в новом руководстве OpenAI задумались о слиянии компании с Anthropic.

Источник изображения: Andrew Neel / unsplash.com

Решение совета директоров OpenAI уволить гендиректора Сэма Альтмана стало тревожным сигналом для миллионов разработчиков, основателей стартапов и облачных провайдеров, которые используют модели компании в собственных продуктах или бизнес-процессах. За минувшие выходные они начали активно искать альтернативные платформы, опасаясь перебоев в сервисах. Опасения усугубились накануне, когда более 700 сотрудников OpenAI (более 90 % работников компании) пригрозили уйти в отставку, если Альтман не будет восстановлен в должности.

Несколько основателей стартапов, работающих с OpenAI, рассказали, что рассматривают возможность перехода на модель с открытым исходным кодом, такую как Meta✴ Llama 2 или коммерческую Anthropic Claude; некоторые также сообщили, что хотят сменить поставщика облачных услуг с Microsoft Azure на Google Cloud или Amazon Web Services, передаёт Business Insider. Другие, напротив, решили отказаться от услуг своих облачных провайдеров в пользу Microsoft Azure, где доступны модели OpenAI и других разработчиков — этому способствовали сведения о переходе в Microsoft Сэма Альтмана и бывшего президента OpenAI Грега Брокмана (Greg Brockman). В инфраструктуру Microsoft Azure решил перевести свои ИИ-проекты и финансовый конгломерат Morgan Stanley, выступающий одним из крупнейших клиентов OpenAI.

Популярнейшей альтернативой оказалась ИИ-модель Anthropic Claude — к её разработчику обратились уже более сотни клиентов OpenAI. Они отметили, что кризис в компании заставил их усомниться в зависимости от единой вертикально-интегрированной модели. Более эффективной для них теперь представляется диверсификация моделей и даже разработка собственной. Этот же подход рекомендуют своим клиентам и консалтинговые фирмы: «частичное обучение в OpenAI с дальнейшим использованием Llama для другого компонента и Stable Diffusion для ещё одного».

Тем временем совет директоров OpenAI уже обратился к главе конкурирующей компании Anthropic с предложением занять пост Альтмана и в перспективе произвести слияние двух стартапов. Но гендиректор Anthropic Дарио Амодей (Dario Amodei) ответил отказом по обоим пунктам, стало известно The Information. После отставки Альтмана главой OpenAI была назначена бывшая технологический директор компании Мира Мурати (Mira Murati), которую уже успел сменить бывший глава Twitch Эммет Шир (Emmett Shear).

Amazon намерена увеличить своё присутствие в сфере ИИ и инвестировать $4 млрд в стартап Anthropic, специализирующийся на технологиях машинного обучения и системах искусственного интеллекта на базе нейронных сетей. Это решение подчёркивает нарастающую конкуренцию в области ИИ, где технологические гиганты, такие как Microsoft, уже сделали значительные вложения в подобные проекты.

Источник изображения: Anthropic

Это очередной масштабный инвестиционный проект в данной области, в который вовлекается одна из крупнейших технологических компаний с целью укрепить свои позиции на перспективном рынке.

В рамках данной сделки Anthropic планирует использовать кастомные чипы Amazon для создания и внедрения решений на основе ИИ. Amazon, в свою очередь, намерена интегрировать технологии Anthropic в свои продукты и сервисы.

По словам источников, начальный объём инвестиций Amazon составит $1,25 млрд. Эта сумма может вырасти до $4 млрд, если будут выполнены определённые условия. Anthropic, в свою очередь, обязуется потратить часть полученных средств на услуги облачных технологий Amazon Web Services.

Сервис видеоконференций Zoom объявил о намерении повысить производительность своей платформы за счёт интеграции чат-бота Claude, который построен на основе нейросети специалистами компании Anthropic. На начальном этапе ИИ-бот появится в сервисе Contact Center, который используется бизнес-партнёрами Zoom в качестве канала для поддержки клиентов.

Источник изображения: Zoom

В заявлении сказано, что запущенный в марте чат-бот Claude позволит специалистам служб поддержки клиентов обеспечить «лучшие функции самообслуживания», которые помогут клиентам решить их проблемы. Zoom ещё не определилась, каким образом чат-бот будет интегрироваться в другие продукты, такие как Team Chat, Meetings, Phone, Whiteboard и Zoom IQ.

Однако разработчики намерены со временем реализовать возможности ИИ-алгоритма для повышения производительности платформ и усиления конкуренции с аналогичными сервисами других компаний. В арсенале Zoom уже есть набор ИИ-функций, реализованных в Zoom IQ благодаря партнёрству с Open AI. В настоящее время пользователи сервиса могут использовать нейросеть для генерации черновиков сообщений и резюме на основе текстовых подсказок.

В дополнение к этому, дочернее подразделение Zoom Ventures, которое занимается инвестированием в стартапы, объявило о намерении продолжить сотрудничать с Anthropic, которую также поддерживает Google. В компании уверены, что партнёрство с Open AI и Anthropic поможет дальнейшему развитию бизнеса и позволит интегрировать в сервисы Zoom передовые функции, востребованные среди пользователей.

Стартап Anthropic смог расширить контекстное окно ввода своего чат-бота Claude до 75 000 слов — это большое улучшение по сравнению с текущими моделями. Компания заявляет, что чат-бот может обработать целый художественный роман менее чем за минуту.

Источник изображения: Anthropic

Часто упускаемое из виду ограничение для чат-ботов — это память. Хотя языковые модели ИИ, лежащие в основе этих систем, действительно обучаются на терабайтах текста, объем, который эти системы могут обработать во время использования, весьма ограничен. Для ChatGPT это около 3000 слов. И хотя существуют способы обхода этих ограничений, однако этого все равно мало. Компания Anthropic, основанная бывшими инженерами OpenAI, значительно расширила контекстное окно для своего чат-бота Claude, доведя его до 75 000 слов. Как она отмечает в своём блоге, этого достаточно, чтобы обработать произведение «Великий Гэтсби» за один раз. Фактически, компания протестировала систему, отредактировав одно предложение в романе и попросив ИИ заметить изменение. Это произошло за 22 секунды.

Языковые модели ИИ измеряют информацию не количеством символов или слов, а токенами – семантической единицей, которая не всегда коррелируется с количеством символов, а так как слова могут быть длинными или короткими, их длина не обязательно соответствует количеству токенов. В этом отношении контекстное окно Claude превосходит модель OpenAI, так как может оперировать 100 000 токенам по сравнению с 9 000 ранее, в то время как полнофункциональная модель GPT-4 с может обрабатывать до 32 000 токенов.

Сейчас новые возможности Claude доступны только бизнес-партнёрам Anthropic, которые подключаются к чат-боту через API компании. Цена также неизвестна, но она наверняка значительно выросла, так как обработка большего количества текста означает увеличение затрат на вычисления.

Запущенный бывшими сотрудниками OpenAI стартап Anthropic представил свой чат-бот на основе искусственного интеллекта (ИИ) — он получил название Claude. Модель делает многое из того, на что способен ChatGPT, но первые пользователи отмечают, что новый ИИ легче в общении, а ещё он реже даёт неприятные высказывания.

Источник изображения: anthropic.com

В феврале этого года Google инвестировала в Anthropic $300 млн. Разработанный стартапом чат-бот действительно похож на ChatGPT: он даёт развёрнутые ответы на вопросы, помогает в написании докладов и программного кода. Пользователям доступны настройки тона речи, личностных особенностей и поведения чат-бота. Цель проекта — создание ИИ-ассистента, который будет «полезным, честным и безвредным». Кроме того, он лишён доступа к интернету: важным отличием платформы является её «автономность».

Помимо стандартной версии Claude, компания анонсировала Claude Instant — недорогую и более производительную модель по сравнению с полнофункциональным аналогом. За несколько месяцев до выпуска Anthropic предоставила доступ к Claude нескольким партнёрам: Notion, Quora и DuckDuckGo — последняя недавно представила поискового ИИ-ассистента DuckAssist, в котором также использованы технологии OpenAI. Цены на доступ к модели разработчик предоставляет по индивидуальному запросу.