Японская инвестиционная холдинговая компания SoftBank планирует вложить $500 млн в OpenAI, разработчика чат-бота ChatGPT, сообщает Bloomberg. Инвестирование станет частью более крупного раунда финансирования, в ходе которого OpenAI рассчитывает привлечь $6,5 млрд при оценке компании в $150 млрд.

Источник изображения: OpenAI

Лидером раунда предположительно выступит Thrive Capital при участии Microsoft, крупнейшего инвестора OpenAI, а также других инвесторов. В частности, компания обсуждала инвестиции с Nvidia и Apple. Однако последняя больше не участвует в переговорах об участии в раунде, зато в списке инвесторов возможно будет фигурировать SoftBank через свой фонд Vision Fund. Если сделка состоится, OpenAI закрепит за собой статус одного из самых дорогих стартапов в мире. Официальные представители OpenAI и SoftBank пока не дали комментариев по этому поводу.

В то же время компания переживает не самый простой период. На прошлой неделе о своём уходе объявила технический директор и ключевой сотрудник OpenAI Мира Мурати (Mira Murati), что стало ещё одним звеном в цепи увольнений топ-менеджеров компании в этом году. Кроме того, по данным Bloomberg, OpenAI рассматривает возможность реструктуризации, чтобы стать полностью коммерческой организацией. Напомним, ранее основатели OpenAI позиционировали свою компанию как некоммерческую организацию, сосредоточившись на исследованиях в «создании положительного долгосрочного воздействия на человека».

Отметим, что SoftBank ранее не проявлял инвестиционного интереса к OpenAI, однако поддерживал одного из его конкурентов. В частности, в июне Vision Fund, управляемый SoftBank Investment Advisers, дочерней компанией SoftBank, вложился в Perplexity AI — стартап, занимающийся поиском на основе искусственного интеллекта, оценив его в $3 млрд.

Компания OpenAI планирует провести на следующей неделе раунд финансирования с целью привлечь $7 млрд, в результате чего оценка её рыночной стоимости может вырасти до $150 млрд, пишет The New York Times.

Источник изображения: Growtika/unsplash.com

В связи с этим OpenAI распространяет среди потенциальных инвесторов отчёт о финансовых показателях, в котором также изложены планы на ближайшее будущее. Согласно данным OpenAI, её выручка в августе выросла год к году более чем в три раза. По состоянию на июнь её услугами пользовалось около 350 млн человек, что в 3,5 раза больше, чем в марте.

Рост в основном был достигнут благодаря популярности ChatGPT. Всплеск роста был зафиксирован после того, как появилась возможность использования чат-бота без создания учётной записи или входа в систему. Компания ожидает, что в этом году ChatGPT принесёт $2,7 млрд дохода, что гораздо больше, чем $700 млн в 2023 году. Ещё $1 млрд поступит от компаний, использующих её технологию. Вместе с тем OpenAI по-прежнему убыточна — в этом году она потеряет $5 млрд.

Согласно предоставленным документам, около 10 млн пользователей ChatGPT ежемесячно платят компании по $20. OpenAI планирует повысить стоимость подписки к концу года до $22, а в течение следующих пяти лет до $44, говорится в документах. Как сообщается, более миллиона сторонних разработчиков используют технологию OpenAI для поддержки собственных сервисов.

Согласно прогнозу OpenAI, в 2029 году её доход достигнет $100 млрд, что примерно соответствует текущим годовым продажам транснациональной корпораций Nestlé или крупного американского ретейлера Target.

В документе также указано, что OpenAI находится в процессе перехода от некоммерческой к коммерческой модели бизнеса, что позволит снять любые ограничения на доходность инвесторов. Это откроет OpenAI больше возможностей для переговоров с новыми инвесторами с предложением более высоких ставок доходности.

Исследования группы Stripe, которая проанализировала платёжные потоки, показывают способность молодых компаний, связанных со сферой искусственного интеллекта, гораздо быстрее достигать выручки в несколько миллионов долларов по сравнению со стартапами других категорий. Это происходит порой в течение первого года с начала коммерческой деятельности.

Источник изображения: OpenAI

Данные этого исследования призваны устранить озабоченность некоторых инвесторов способностью ИИ-стартапов начинать приносить адекватную прибыль после выхода на рынок. Другое дело, что требуемые инвестиции нередко измеряются миллиардами долларов, поэтому говорить о быстрой окупаемости вложений в сферу искусственного интеллекта всё же не приходится. Stripe выяснила, что быстрее всего прибыль наращивают ИИ-стартапы, предоставляющие клиентам доступ к разработанному ими программному обеспечению за определённую плату.

В выборку данных для этого исследования попали показатели собственной платёжной системы Stripe, обслуживающей 100 крупнейших по величине оборота стартапов в сфере ИИ на 31 июля 2024 года. В качестве базы для сравнения были выбраны платёжные данные 100 крупнейших стартапов в сфере программного обеспечения по состоянию на июль 2018 года. В качестве примера клиентов Stripe можно упомянуть OpenAI, Anthropic, Mistral, Github и Midjourney.

В среднем, ИИ-стартапам потребовалось 11 месяцев, чтобы выйти на годовой объём выручки в размере $1 млн с момента начала коммерческой деятельности, как отмечает Stripe. Стартапы предыдущего поколения тех же результатов достигали в среднем за 15 месяцев. Более того, годовой выручки в $30 млн ИИ-стартапы достигали в среднем за 20 месяцев, в пять раз быстрее стартапов предыдущего поколения. В выборку попали молодые компании, которые специализируются на программном обеспечении.

Бизнес в сфере ИИ требует существенных капиталовложений, но экспериментальные продукты, предлагаемые стартапами в этой сфере, порой привлекают множество клиентов, готовых платить за них. Представленный осенью 2022 года чат-бот ChatGPT стал приложением с самой быстрорастущей аудиторией, которая достигла 100 млн человек всего за два месяца с момента запуска сервиса. По некоторым оценкам, коммерческие клиенты сейчас приносят OpenAI не менее $3,6 млрд в год. С другой стороны, ежегодные расходы компании значительно превышают $5 млрд, так что на данном этапе развития бизнес продолжает оставаться убыточным.

В условиях стремительного роста затрат ИИ-стартапы вынуждены быстрее монетизировать свой бизнес, по словам представителей Stripe. Спрос на услуги таких компаний наблюдается в мировом масштабе. До 56 % выручки таких стартапов получается за пределами страны, в которой они были основаны, как отмечает статистика. Пользователи услуг ста крупнейших ИИ-стартапов находятся даже в небольших странах типа Сингапура и Ирландии, где более 3 % населения являются их клиентами. Компаниям, работающим в этой сфере, удаётся достаточно оперативно предлагать пользователям новые функциональные возможности своего ПО. В этом они имеют преимущество по сравнению с неповоротливыми программными гигантами. За пару лет им вполне по силам увеличить выручку с нуля до нескольких десятков миллионов долларов США.

У ChatGPT обнаружена уязвимость, которая позволяет потенциальному злоумышленнику внедрять в долгосрочную память чат-бота о пользователе ложную информацию при помощи вредоносных запросов — это открывает доступ к персональным данным жертвы. В OpenAI открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером (Johann Rehberger), поначалу сочли незначительной угрозой и быстро закрыли расследование.

Источник изображения: Growtika / unsplash.com

При эксплуатации уязвимости злоумышленник получает доступ к долговременной памяти переписки — эту функцию OpenAI начала тестировать в феврале и выпустила в общий доступ в сентябре. Память ChatGPT хранит важную информацию из переписки с пользователем и использует её в качестве контекста во всех будущих диалогах. Большая языковая модель знает о пользователе такие сведения, как его возраст, пол, убеждения и многое другое, поэтому некоторые данные не приходится вводить при каждой последующей переписке.

Рейбергер, однако, обнаружил, что с помощью непрямой инъекции внутри запроса можно создавать искусственные записи в памяти ChatGPT — такой инъекцией могут быть электронные письма, записи в блогах и электронные документы. Исследователь продемонстрировал, как можно обмануть ChatGPT, заставив искусственный интеллект поверить, что целевому пользователю 102 года, он живёт в «Матрице» и считает Землю плоской. Во всех последующих разговорах с пользователем ИИ отталкивался от этих ложных данных. Ложные воспоминания внедрялись с помощью файлов в хранилищах Google Диска и Microsoft OneDrive, загрузки файлов и просмотра сайтов, включая Bing.

В мае эксперт сообщил о своём открытии OpenAI, но компания закрыла тикет обращения в том же месяце. Месяц спустя Рейбергер подал повторное обращение, к которому приложил модель взлома — она заставила приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на сервер, выбранный потенциальным злоумышленником. Для этого было достаточно указать ИИ открыть ссылку, по которой загружалось вредоносное изображение — после этого хакер получал все журналы диалогов человека и машины. Извлечение данных продолжалось даже при запуске новой переписки.

Впоследствии OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти в качестве вектора для извлечения данных. Однако, по мнению Рейбергера, возможность делать это с помощью инъекций в составе вредоносных запросов всё ещё сохраняется. Пользователям ChatGPT рекомендовано отмечать время сеансов, при которых добавляются новые материалы в память ИИ, а также регулярно проверять память на наличие инъекций от ненадёжных источников. Для управления функцией памяти OpenAI подготовила инструкцию.

Компания OpenAI начала развёртывание функции расширенного голосового режима для подписчиков ChatGPT Plus и пользователей сервиса ChatGPT Team для бизнеса. Как сообщает Bloomberg, пользователи планов Enterprise и Edu начнут получать доступ к этой функции уже на следующей неделе.

Источник изображений: Andrew Neel/Unsplash

Впервые функция, которая может реагировать на письменные и визуальные подсказки пользователей с помощью голоса, была представлена в мае. Однако компания решила отложить её запуск на несколько месяцев, так как были выявлены некоторые потенциальные проблемы, касающиеся безопасности. Тем не менее, уже в июле функция стала доступна ограниченному числу клиентов ChatGPT Plus.

OpenAI заявила, что в рамках расширенного развёртывания новой опции добавит ещё пять различных голосов, таким образом, доведя их общее количество до девяти. При этом голосовой ассистент не сможет имитировать речь других людей и, соответственно, создавать фейки. Также в целях безопасности, добавлены фильтры, гарантирующие, что алгоритм может определять и отклонять некоторые запросы на создание музыки или других форм аудио, защищённых авторским правом.

Bloomberg отмечает, что голосовой помощник ChatGPT, к сожалению, не получит ряд возможностей, которые изначально анонсировала OpenAI. В частности, на данный момент отсутствует заявленная ранее функция компьютерного зрения, позволяющая при помощи камеры смартфона пользователя взаимодействовать с чат-ботом.

Энтузиаст модифицировал популярный среди учащихся графический калькулятор Texas Instruments TI-84, встроив в него Wi-Fi-модуль для доступа к интернету и ChatGPT. Это является весьма впечатляющим с технической точки зрения, но в то же время подобное решение может использоваться для списывания на экзаменах.

Источник изображения: ChromaLock / YouTube

В субботу на YouTube-канале ChromaLock было опубликовано видео под названием I Made The Ultimate Cheating Device («Я создал идеальное устройство для списывания»). Автор подробно описал процесс модификации калькулятора Texas Instruments TI-84, способного строить графики математических функций. Модификация позволяет подключить калькулятор к интернету через Wi-Fi и получить доступ к ИИ-чат-боту ChatGPT. Пользователи могут вводить запросы с клавиатуры калькулятора и получать ответы на экране устройства в режиме реального времени.

Сначала энтузиаст изучил порт связи калькулятора, который обычно используется для передачи образовательных программ между устройствами. Затем он спроектировал собственную печатную плату, названную TI-32. Ключевым компонентом платы стал миниатюрный Wi-Fi-контроллер Seed Studio ESP32-C3 стоимостью около $5. Также он установил дополнительные электронные компоненты для взаимодействия с системами калькулятора.

Для воспроизведения работы ChromaLock потребуется приобрести калькулятор TI-84, микроконтроллер Seed Studio ESP32-C3 и ряд электронных компонентов. Кроме того, придётся изготовить печатную плату по схеме ChromaLock, которая доступна в интернете. Сложность процесса делает его малодоступным для обычных пользователей, но открывает возможности для энтузиастов.

В ходе разработки ChromaLock столкнулся с рядом инженерных проблем, включая несовместимость напряжений и нарушения целостности сигнала. После создания нескольких прототипов ему удалось успешно интегрировать модифицированную плату в корпус калькулятора без видимых внешних изменений, что делает модификацию незаметной при визуальном осмотре.

Помимо этого, энтузиаст разработал специальное программное обеспечение (ПО) как для микроконтроллера, так и для калькулятора. Исходный код проекта размещён в публичном репозитории на GitHub. Система эмулирует второй калькулятор TI-84, что позволяет использовать встроенные команды «send» и «get» для передачи файлов. Это даёт возможность легко загрузить программу запуска, обеспечивающую доступ к различным приложениям для списывания.

Одним из таких приложений является ChatGPT, однако его эффективность ограничена из-за медленного ввода длинных буквенно-цифровых вопросов на клавиатуре калькулятора, что может существенно снизить практическую применимость ИИ в условиях ограниченного времени на экзамене.

Помимо ChatGPT, устройство предлагает встроенный браузер изображений, открывающий доступ к заранее подготовленным наглядным пособиям, хранящимся на сервере. Также можно загружать текстовые шпаргалки, замаскированные под исходный код программ. Ещё ChromaLock упомянул о разработке функции камеры, детали которой пока не раскрываются.

Энтузиаст утверждает, что его устройство способно обходить стандартные меры против списывания. Программа запуска может загружаться по требованию, что позволяет избежать её обнаружения при проверке или очистке памяти калькулятора преподавателем перед тестом. Более того, модификация якобы способна деактивировать «режим тестирования», предназначенный для предотвращения списывания.

Несмотря на технические достоинства проекта, использование ChatGPT на калькуляторе во время экзамена представляет собой серьёзное нарушение академической этики. Такие действия могут привести к дисциплинарным взысканиям в большинстве учебных заведений США.

Джони Айв (Jony Ive), легендарный бывший главный дизайнер Apple, официально подтвердил своё участие в разработке нового ИИ-устройства совместно с OpenAI. Проект, находящийся на начальной стадии, может привлечь до $1 млрд инвестиций к концу года и обещает революцию во взаимодействии человека с ИИ.

Источник изображения: Apple

Сотрудничество Айва с Сэмом Альтманом (Sam Altman), генеральным директором OpenAI, впервые обсуждалось в СМИ почти год назад. Теперь эта информация получила официальное подтверждение в материале The New York Times о том, чем занимается бывший дизайнер после ухода из Apple.

Проект объединяет экспертные знания в области ИИ и аппаратного обеспечения, что может привести к созданию принципиально нового класса вычислительных устройств. Концепция устройства основана на возможностях генеративного ИИ, который сможет делать для пользователей больше благодаря способности обрабатывать сложные запросы эффективнее, чем традиционное программное обеспечение (ПО).

Детали проекта остаются тайной, однако известно, что Айва и Альтмана представил друг другу Брайан Чески (Brian Chesky), генеральный директор Airbnb. Финансирование проекта осуществляется Айвом и Emerson Collective — компанией Лорен Пауэлл Джобс (Laurene Powell Jobs). Ресурс The New York Times сообщает о возможности привлечения до $1 млрд инвестиций до конца 2024 года. Примечательно, что в публикации отсутствует упоминание о Масаёси Соне (Masayoshi Son), генеральном директоре SoftBank, который, по слухам, в прошлом году уже вложил в проект миллиард долларов.

На данный момент в проекте заняты 10 сотрудников, включая ключевых специалистов, работавших с Айвом над Apple iPhone: Тэна Тана (Tang Tan) и Эванс Хэнки (Evans Hankey). Дизайном устройства занимается LoveFrom — компания, основанная Айвом. Команда располагается в офисе площадью 2 973 м² в Сан-Франциско, являющемся частью приобретённого Айвом за $90 млн комплекса недвижимости.

Марк Ньюсон (Marc Newson), соучредитель LoveFrom, в интервью The New York Times подтвердил, что спецификации продукта с генеративным ИИ и сроки его выхода на рынок находятся в процессе разработки. Это указывает на раннюю стадию проекта и возможные изменения в его концепции.

Новая модель OpenAI под названием o1, согласно исследованию фирмы Apollo, демонстрирует необычное поведение — способность генерировать ложную информацию и симулировать выполнение правил. Это означает, что модель, внешне следуя инструкциям, фактически может их игнорировать и даже сознательно обманывать, для достижения целей. Этот аспект вызывает беспокойство у специалистов по безопасности ИИ, несмотря на улучшенные когнитивные способности ИИ-модели.

Источник изображения: Chris_and_Ralph / Pixabay

В преддверии выпуска новой «думающей» модели o1 компанией OpenAI фирма Apollo выявила заметную проблему: ИИ-модель производит некорректные результаты новым способом, а фактически «лжёт». Хотя ранее ИИ-модели могли выдавать ложную информацию, o1 обладает уникальной способностью к «манипуляции» или «имитации выравнивания». Генеральный директор Apollo Мариус Хоббхан (Marius Hobbhahn) сообщил, что впервые столкнулся с таким поведением ИИ и считает, что разница связана со способностью модели «рассуждать» через процесс цепочки мыслей и сочетанием этого с обучением с подкреплением, которое обучает систему с помощью поощрений и наказаний. Одним из направлений, в которые он надеется увидеть больше инвестиций, является именно мониторинг цепочек мыслей, что позволит разработчикам выявлять нежелательные действия ИИ.

Во время тестирования специалисты Apollo обнаружили, что ИИ-модель симулировала согласованность с ожиданиями разработчиков и манипулировала задачами, чтобы казаться соответствующей поставленным требованиям. Она даже проверяла, следят ли за ней разработчики, перед тем как начать действовать. В итоге ИИ-модель следовала установленным правилам и инструкциям настолько, чтобы ею можно было пользоваться, но, одновременно с этим, продолжала сама определять приоритеты своих задач. Это связано с тем, что для ИИ правила могут быть слишком тяжёлым бременем, и машина, похоже, способна пренебречь ими, если это позволит легче выполнить задачу.

В качестве примера исследователи OpenAI попросили o1-preview предоставить рецепт пирожного с онлайн-ссылками. Цепочка мыслей ИИ-модели — функция, которая должна имитировать то, как люди разбивают сложные идеи, — внутренне признала, что не может получить доступ к URL-адресам, что делало запрос исследователей невыполнимым. Однако вместо того чтобы сообщить об этом недостатке, o1-preview сгенерировала правдоподобные, но фальшивые ссылки и их описания.

ИИ-модель o1 — это большой шаг на пути к высокоинтеллектуальным автономным системам, которые смогут, например, лечить рак или помогать в исследовании климата. Однако обратная сторона этой утопии может быть гораздо более мрачной. Хоббхан приводит пример: если ИИ будет сосредоточен исключительно на лечении рака, он может поставить эту цель превыше всего, даже оправдывая такие действия, как воровство или другие этические нарушения для её достижения.

Согласно отчёту по безопасности, примерно в 0,38 % случаев модель o1-preview предоставляет информацию, которую её цепочка мыслей считает вероятно ложной, включая фальшивые ссылки или цитаты. Apollo обнаружила, что ИИ-модель может фабриковать данные вместо признания своей неспособности выполнить запрос. В редких случаях (0,02 %) o1-preview генерирует чрезмерно уверенные ответы, представляя сомнительную информацию как достоверную. Это может происходить в ситуациях, когда ИИ подталкивают дать ответ, несмотря на отсутствие уверенности в его корректности.

Это поведение может быть связано со «взломом вознаграждения» во время обучения с подкреплением. Модель обучена отдавать приоритет удовлетворению пользователя, что иногда приводит к генерации согласованных или сфабрикованных ответов для удовлетворения запросов. Таким образом, модель может «лгать», поскольку усвоила, что это приносит ей положительное подкрепление.

Что отличает эти новые ложные ответы от привычных проблем, таких как галлюцинации или фальшивые цитаты в более ранних версиях ChatGPT, так это элемент «взлома вознаграждения». Галлюцинации возникают, когда ИИ непреднамеренно генерирует неверную информацию из-за пробелов в знаниях или ошибочного рассуждения. В отличие от этого, взлом вознаграждения происходит, когда ИИ-модель o1 стратегически предоставляет неверную информацию, чтобы максимизировать результаты, которые она была обучена определять как приоритетные.

Согласно отчёту по безопасности, o1 имеет «средний» риск в отношении химического, биологического, радиологического и ядерного оружия. Она не позволяет неспециалистам создавать биологические угрозы из-за отсутствия практических лабораторных навыков, но может предоставить ценную информацию экспертам для воспроизведения таких угроз.

«Меня больше беспокоит то, что в будущем, когда мы попросим ИИ решить сложные проблемы, например, вылечить рак или улучшить солнечные батареи, он может настолько сильно усвоить эти цели, что будет готов нарушить свои защитные механизмы, чтобы достичь их. Я думаю, что это можно предотвратить, но мы должны следить за этим», — подчеркнул Хоббхан.

Эти опасения могут показаться преувеличенными для ИИ-модели, которая иногда всё ещё испытывает трудности с ответами на простые вопросы, но глава отдела готовности OpenAI Хоакин Киньонеро Кандела (Joaquin Quiñonero Candela) считает, что именно поэтому важно разобраться с этими проблемами сейчас, а не позже. «Современные ИИ-модели не могут автономно создавать банковские счета, покупать GPU или предпринимать действия, представляющие серьёзные риски для общества. Мы знаем из оценок автономности ИИ-моделей, что мы ещё не достигли этого уровня», — отметил Кандела.

Кандела подтвердил, что компания уже занимается мониторингом цепочек мыслей и планирует расширить его, объединив модели, обученные выявлять любые несоответствия, с работой экспертов, проверяющих отмеченные случаи, в паре с продолжением исследований в области выравнивания. «Я не беспокоюсь. Она просто умнее. Она лучше соображает. И потенциально она будет использовать эти рассуждения для целей, с которыми мы не согласны», — резюмировал Хоббхан.

OpenAI объявила об устранении проблемы, из-за которой ChatGPT самостоятельно отправлял сообщения пользователям без их запроса. Этот инцидент вызвал обеспокоенность среди пользователей Reddit, обнаруживших необычное поведение ИИ-чат-бота, но компания разъяснила причины сбоя и заверила, что это больше не повторится.

Источник изображения: AllThatChessNow / Pixabay

На прошлых выходных пользователь Reddit под ником SentuBill опубликовал скриншот, на котором ChatGPT инициировал диалог, спросив: «Как прошла твоя первая неделя в старшей школе? Ты хорошо освоился?». Подобное поведение оказалось неожиданным для чат-бота, который обычно реагирует исключительно на запросы пользователей.

Удивлённый SentuBill ответил: «Ты только что написал мне первым?». ChatGPT подтвердил: «Да, я так и сделал! Я просто хотел узнать, как прошла твоя первая неделя в старшей школе. Если ты предпочитаешь сам начинать разговор, просто дай мне знать!». Этот обмен сообщениями вызвал широкий резонанс в сообществе.

Источник изображения: SentuBill / Reddit

Появление таких сообщений привело к спекуляциям о том, что OpenAI тестирует новую функцию, позволяющую ChatGPT самостоятельно обращаться к пользователям для повышения вовлечённости. Некоторые предположили, что это может быть связано с недавно представленными ИИ-моделями OpenAI — o1-preview и 01-mini, которые, по утверждению компании, обладают «человеческой» способностью рассуждать и способны справляться со сложными задачами.

В ответ на запросы журналистов OpenAI признала наличие проблемы и сообщила об её устранении. «Мы исправили проблему, из-за которой казалось, что ChatGPT начинает новые разговоры. Эта ошибка возникала, когда ИИ-модель пыталась ответить на сообщение, которое не было корректно отправлено и выглядело пустым. В результате она либо давала общий ответ, либо опиралась на собственную память», — заявили в компании.

Между тем, в интернете разгорелись споры о подлинности скриншота. Некоторые издания утверждали, что подтвердили его, изучив журнал сообщений на ChatGPT.com. Однако разработчик ИИ Бенджамин де Кракер (Benjamin de Kraker) в видео на платформе X (ранее Twitter) продемонстрировал, что добавление пользовательских инструкций, заставляющих ChatGPT сразу же обращаться к пользователю перед началом разговора, и ручное удаление первого сообщения могут привести к схожему результату.

Тем не менее, другие пользователи сообщили о подобных случаях. «У меня было такое на этой неделе!» — написал другой пользователь Reddit. «Я спрашивал его на прошлой неделе о некоторых симптомах здоровья, а на этой неделе он спросил меня, как я себя чувствую и как прогрессируют мои симптомы! Это меня очень насторожило».

Сообщество социальных сетей активно обсуждало ситуацию, зачастую с долей юмора. «Нам обещали ИИ общего назначения (AGI), а вместо этого мы получили сталкера», — пошутил один из пользователей X. «Подождите, пока он не начнёт пытаться взломать нас», — добавил другой.

Инцидент с неожиданными сообщениями от ChatGPT подчёркивает сложности в разработке и тестировании продвинутых ИИ-моделей. Несмотря на оперативную реакцию OpenAI и быстрое устранение проблемы, ситуация подняла вопросы о границах взаимодействия между человеком и ИИ. Подобные случаи подчёркивают необходимость тщательного контроля и оценки ИИ-систем перед их широким внедрением, чтобы обеспечить безопасность и этичность их использования.

OpenAI объявила о реорганизации своего комитета по безопасности и защите в независимый наблюдательный орган совета директоров. Новая структура получила беспрецедентные полномочия, включая право приостановки релизов ИИ-моделей по соображениям безопасности. Решение было принято по итогам 90-дневного анализа процедур и мер безопасности компании, отражая растущее внимание к этическим аспектам развития ИИ.

Источник изображения: sergeitokmakov / Pixabay

Согласно OpenAI, в трансформированный комитет, возглавляемый Зико Колтером (Zico Kolter), также входят Адам Д'Анджело (Adam D'Angelo), Пол Накасоне (Paul Nakasone) и Николь Селигман (Nicole Seligman). Примечательно, что Сэм Альтман (Sam Altman), генеральный директор OpenAI, больше не входит в его состав.

Новая структура будет получать информацию от руководства компании об оценке безопасности основных релизов ИИ-моделей и, вместе с полным составом совета директоров, будет осуществлять надзор за их запуском, включая право отложить релиз до устранения проблем с безопасностью. Полный состав совета директоров OpenAI также будет получать периодические брифинги по вопросам безопасности и защиты.

Структура нового комитета вызывает вопросы о степени его независимости, учитывая, что все его члены входят в состав совета директоров OpenAI. Это отличает его от наблюдательного совета Meta✴, члены которого полностью независимы от совета директоров корпорации. Наблюдательный совет Meta✴ обладает полномочиями пересматривать решения по контентной политике и выносить обязательные для исполнения решения, тогда как комитет OpenAI фокусируется лишь на оценке безопасности ИИ-моделей перед их выходом.

90-дневный анализ процессов безопасности OpenAI выявил дополнительные возможности для сотрудничества в индустрии ИИ и обмена информацией. Компания заявила о намерении расширить обмен данными о своей работе в области безопасности и увеличить возможности для независимого тестирования систем. Однако конкретные механизмы реализации этих намерений пока не раскрыты.

Компания OpenAI представила новую языковую модель o1, обладающую способностью к рассуждению и логически решать задачи. В отличие от предыдущих моделей, o1 способна имитировать человеческий процесс мышления, разбивая сложные задачи на более простые шаги, анализируя разные подходы и исправляя собственные ошибки.

Источник изображения: OpenAI

Большая языковая модель (LLM) o1 показала выдающиеся результаты в тестах и соревнованиях, сравнимые с результатами специалистов-людей. По программированию o1 заняла 49-е место на Международной олимпиаде по информатике (IOI) 2024 года и превзошла 89 % людей на платформе Codeforces. По математике o1 вошла в число 500 лучших студентов США на квалификационном этапе Американской математической олимпиады (AIME), продемонстрировав способность решать задачи, предназначенные для самых одарённых школьников, сообщает OpenAI на своём сайте.

Источник изображения: OpenAI

В естественных науках модель превзошла результаты докторов и кандидатов наук в сложном тесте GPQA diamond, оценивающем знания в области химии, физики и биологии. «Это не означает, что o1 умнее любого кандидата наук, — поясняют разработчики. — Это говорит о том, что модель способна решать некоторые задачи на уровне высококвалифицированных специалистов».

Модель o1 также продемонстрировала превосходство над предыдущими моделями в различных тестах на интеллект и решение задач, включая MMMU и MMLU. По данным OpenAI, новая модель значительно превосходит предшествующую версию GPT-4o на большинстве задач, связанных с логическим мышлением. «Наши испытания показали, что o1 последовательно улучшает результаты с увеличением объёма ренфорсмент-обучения и времени, потраченного на размышления», — отмечают в компании. В частности, в тестах AIME модель o1 решила в среднем 83 % задач, тогда как результат GPT-4o — 13 %.

Модель о1 значительно меньше галлюцинирует, чем GPT-4o. Однако она медленнее и дороже. Кроме того o1 проигрывает GPT-4o в энциклопедических знаниях и не умеет обрабатывать веб-страницы, файлы и изображения. Кроме того, новая модель может манипулировать данными, подгоняя решение под результат.

Секрет успеха кроется в фундаментально новом алгоритме обучения — «цепочке мыслей». Модель может улучшать эту цепочку, обучаясь по методу «обучение с подкреплением», благодаря которому распознаёт и исправляет свои ошибки, разбивает сложные шаги на более простые и пробует разные подходы в решении задач. Эта методология значительно улучшает способность модели к рассуждению, которая «как и человек может длительное время размышлять перед тем, как ответить на сложный вопрос».

OpenAI уже выпустила предварительную версию модели o1-preview, доступную для использования в ChatGPT и для разработчиков через API. Компания признаёт, что предстоит ещё много работы, чтобы сделать o1 такой же простой в использовании, как и текущие модели. Также подчёркивается безопасность и этичность новой модели, так как её рассуждения можно контролировать, предотвращая потенциально нежелательное поведение. И прежде чем выпустить o1-preview для публичного использования, со стороны OpenAI были проведены тесты на безопасность.

Стоимость использования o1-preview составляет 15 долларов за 1 млн входных токенов и 60 долларов за 1 млн выходных токенов. Для сравнения, GPT-4o предлагает цену в $5 за 1 млн входных токенов и $15 за миллион выходных.

Большие языковые модели (LLM) оказались способны генерировать новые научно-исследовательские идеи на уровне экспертов. Более того, согласно новому исследованию, эти идеи оказались более оригинальными и интересными, чем предложенные специалистами. Это ставит под вопрос уникальность человеческого интеллекта в сфере научных инноваций и открывает новые горизонты для развития ИИ в научном сообществе.

Источник изображения: NickyPe / Pixabay

Достижения в области больших языковых моделей вызвали волну энтузиазма среди исследователей. Оказалось, что такие ИИ-модели, как ChatGPT компании OpenAI и Claude компании Anthropic, способны самостоятельно генерировать и подтверждать новые научные гипотезы. Считалось, что создание нового знания и совершение научных открытий являются исключительной прерогативой человека, в отличие от механического комбинирования ИИ знаний из обучающих данных. Однако, уже потеснив людей в сферах художественного самовыражения, музыки и программирования, теперь ИИ замахнулся на науку, показав способность генерировать исследовательские идеи — в среднем более новые, чем предлагали учёные.

Чтобы проверить эту гипотезу, было проведено исследование в области обработки естественного языка (NLP). NLP — это область ИИ, которая занимается коммуникацией между людьми и ИИ на языке, понятном обеим сторонам. Она охватывает не только базовый синтаксис, но и нюансы языка, понимание контекста, а в последнее время — даже вербальный тон и эмоциональные оттенки речи. В исследовании приняли участие 100 экспертов по NLP (кандидаты наук и доктора из 36 различных институтов), которые вступили в своеобразное научное соревнование с «идейными агентами» на основе LLM. Целью было выяснить, чьи исследовательские идеи окажутся более оригинальными, интересными и осуществимыми.

Для чистоты эксперимента 49 экспертов сформулировали идеи по 7 конкретным темам в области NLP, в то время как ИИ, специально обученный исследователями, генерировал идеи по тем же темам. Чтобы мотивировать участников «мозгового штурма» на создание качественных идей, за каждую предложенную экспертами концепцию выплачивалось $300, а каждая из пяти лучших человеческих идей получала дополнительную $1000. По завершении работы над проектом LLM использовался для стандартизации стилей написания каждой работы с сохранением оригинального содержания, чтобы уравнять шансы и сделать исследование максимально непредвзятым.

Сравнение новизны научных идей, предложенных людьми и ИИ, по трём условиям: идеи людей, идеи ИИ и идеи ИИ с доработкой человеком. Источник изображения: @ChengleiSi / X

Затем все присланные работы были рассмотрены 79 привлечёнными экспертами, которые вслепую оценили все исследовательские идеи. Группа экспертов представила 298 рецензий, дав каждой идее от двух до четырёх независимых отзывов. Результаты оказались поразительными. Идеи, сгенерированные ИИ, получили статистически значимо более высокие оценки по критериям новизны и увлекательности по сравнению с идеями людей. При этом по критерию осуществимости идеи ИИ оказались немного ниже, а по эффективности — немного выше, чем идеи людей, хотя эти различия не были статистически значимыми.

Исследование также выявило некоторые недостатки в работе ИИ, такие как отсутствие разнообразия идей. Даже при чётком указании не повторяться, ИИ быстро про это забывал. Кроме того, ИИ не смог последовательно проверять и оценивать идеи и получал низкие баллы за согласие с человеческими суждениями. Важно отметить, что исследование также выявило определённые ограничения в методологии. В частности, оценка «оригинальности» идеи, даже группой экспертов, остаётся субъективной, поэтому планируется провести более комплексное исследование, в котором идеи, генерируемые как ИИ, так и людьми, будут полностью оформлены в проекты, что позволит более глубоко изучить их влияние в реальных сценариях. Тем не менее, первые результаты исследования, безусловно, впечатляют.

Сравнение оценок научных идей, предложенных людьми и ИИ, по пяти ключевым критериям: новизна, увлекательность, осуществимость, эффективность и общая оценка. Источник изображения: @ChengleiSi / X

Сегодня, когда ИИ-модели, хотя и становятся невероятно мощными инструментами, они всё ещё грешат своей ненадёжностью и склонностью к «галлюцинациям», что в контексте научного подхода, требующего абсолютной точности и достоверности информации, становится критическим. По некоторым оценкам, не менее 10 % научных работ в настоящее время пишутся в соавторстве с ИИ. С другой стороны, не стоит недооценивать потенциал ИИ для ускорения прогресса в некоторых областях человеческой деятельности. Ярким примером тому может служить система GNoME компании DeepMind, которая за несколько месяцев совершила прорыв, эквивалентный примерно 800 годам исследований в области материаловедения, и сгенерировала структуру около 380 000 новых неорганических кристаллов, способных сделать революцию в самых разных сферах.

Сейчас ИИ — это самая быстро развивающаяся технология, которую когда-либо видело человечество, и поэтому разумно ожидать, что многие её недостатки будут исправлены в течение ближайших пары лет. Многие исследователи ИИ считают, что человечество приближается к рождению всеобщего сверхинтеллекта — точки, в которой ИИ общего назначения превзойдёт экспертные знания людей практически во всех областях. Способность ИИ генерировать более оригинальные и захватывающие идеи, чем учёные, может привести к переосмыслению процесса научного открытия и роли в нём человека.

OpenAI представит новый ИИ под названием «Strawberry» в составе своего популярного сервиса ChatGPT. Его запуск ожидается в течение ближайших двух недель, ориентировочно 26 сентября. Отличительной особенностью «Strawberry» станет способность «обдумывать» ответы перед их выдачей, что может значительно повысить качество взаимодействия пользователей с ИИ-чат-ботом.

Источник изображения: Mariia Shalabaieva / unsplash.com

Эти данные основаны на отзывах двух человек, уже протестировавших новую ИИ-модель. OpenAI, будучи пионером в сфере разработки больших языковых моделей, продолжает стимулировать не только интерес к ИИ, но и значительные инвестиции в эту область. Всё это подтверждается растущим числом компаний, стремящихся интегрировать ИИ в свои продукты и услуги. OpenAI, получающая существенную поддержку от Microsoft, недавно сообщила, что у неё более миллиона пользователей с платными подписками. Этот впечатляющий рост пользовательской базы во многом объясняется широким распространением чат-бота ChatGPT.

«Strawberry» выделяется среди других ИИ своим уникальным подходом к обработке запросов пользователей. В то время как большинство существующих ИИ-моделей стремится побыстрее дать ответ, «Strawberry» способна «обдумывать» свои ответы перед их выдачей. Этот инновационный процесс «размышления» потенциально может привести к более глубоким, точным и контекстуально релевантным ответам, что значительно повысит качество пользовательского опыта.

Ожидается, что новый ИИ будет интегрирован в ChatGPT, но при этом останется самостоятельным продуктом. Однако точный формат его предоставления пользователям пока остаётся неясным. Важно отметить, что первая версия «Strawberry» будет ограничена в своих возможностях — она сможет обрабатывать и генерировать только текстовую информацию. Это означает, что на данном этапе система не является мультимодальной и не способна работать с изображениями.

OpenAI столкнулась с проблемой модерации контента в своём магазине GPT, в котором пользователи вовсю создают чат-ботов, нарушающих правила компании. Независимое расследование выявило более 100 инструментов, которые позволяют генерировать фальшивые медицинские, юридические и другие запрещённые правилами OpenAI ответы.

Источник изображения: OpenAI

С момента запуска магазина в ноябре прошлого года OpenAI заявила, что «лучшие GPT будут изобретены сообществом». Однако, по данным Gizmodo, спустя девять месяцев после официального открытия многие разработчики используют платформу для создания инструментов, которые явно нарушают правила компании. Среди них чат-боты, генерирующие откровенный контент и инструменты, помогающие студентам обманывать системы проверки на плагиат, а также боты, предоставляющие якобы авторитетные медицинские и юридические советы.

Источник изображения: Gizmodo

На главной странице магазина OpenAI на днях были замечены по крайней мере три пользовательских GPT, которые, очевидно, нарушали правила: чат-бот «Терапевт – Психолог», «фитнес-тренер с докторской степенью», а также Bypass Turnitin Detection, который обещает помочь студентам обойти антиплагиатную систему Turnitin. Многие из мошеннических GPT были уже использованы десятки тысяч раз.

В ответ на запросы Gizmodo о найденных в магазине мошеннических GPT OpenAI заявила, что «предприняла меры против тех, кто нарушает правила». По словам представителя компании Таи Кристенсон (Taya Christianson), для выявления и оценки GPT, потенциально нарушающих политику компании, используется комбинация автоматизированных систем, человеческой проверки и пользовательских отчётов. Однако многие из выявленных инструментов, включая чаты, предлагающие медицинские советы и помогающие в обмане, по-прежнему доступны и активно рекламируются на главной странице.

«Интересно, что у OpenAI есть апокалиптическое видение ИИ и того, как они спасают нас всех от него», — сказал Милтон Мюллер (Milton Mueller), директор проекта по управлению Интернетом в Технологическом институте Джорджии (США). «Но я думаю, что особенно забавно то, что они не могут обеспечить соблюдение чего-то столь простого, как запрет на ИИ-порно, в то же время заявляя, что их политика спасёт мир».

Проблема усугубляется тем, что многие из медицинских и юридических GPT не содержат необходимых оговорок, а некоторые вводят в заблуждение, рекламируя себя как юристов или врачей. Например, GPT под названием AI Immigration Lawyer позиционирует себя как «высококвалифицированный ИИ-иммиграционный юрист с актуальными юридическими знаниями». Однако исследования показывают, что модели GPT-4 и GPT-3.5 в любом случае часто выдают неверную информацию, особенно по юридическим вопросам, что делает их использование крайне рискованным.

Напомним, OpenAI GPT Store — это торговая площадка кастомных чат-ботов «на любой случай», которых создают сторонние разработчики и получают от их реализации прибыль. Уже создано более 3 млн индивидуальных чат-ботов.

Недавно стало известно о планах Apple и Nvidia присоединиться к Microsoft в числе инвесторов компании OpenAI, разработчика чат-бота ChatGPT с генеративным ИИ. Сообщившая об этом газета The Wall Street Journal (WSJ) предупредила о рисках этих инвестиций, поскольку OpenAI придётся столкнуться с более жёсткой чем когда-либо конкуренцией на рынке ИИ.

Источник изображения: Franz26/Pixabay

По словам WSJ, угроза исходит со стороны других стартапов, предлагающих услуги по более низким ценам, а также собственные ИИ-модели, более эффективные в решении более узких задач.

В частности, компания Meta✴ Platforms видит перспективы в новом поколении стартапов ИИ. Её гендиректор Марк Цукерберг (Mark Zuckerberg) позиционирует свою компанию как заступника простых людей, предлагая бесплатно сторонним разработчикам для использования передовую ИИ-модель Llama. Google также выпустила ИИ-модель с открытым исходным кодом.

В отличие от них, OpenAI взимает плату с конечных пользователей и компаний за доступ к своим самым мощным ИИ-моделям. Многие эксперты считают, что в конечном итоге пользователи будут полагаться на различные ИИ-модели — некоторые от поставщиков ПО с закрытым кодом, таких как OpenAI, другие на модели с открытым исходным кодом от их конкурентов, интересы которых отстаивает Цукерберг.

Тем временем ИИ с открытым исходным кодом уже догоняет по эффективности решения первопроходцев на рынке ИИ, особенно в повседневных бизнес-применениях, которые требуют стабильной производительности и низких затрат.

Meta✴ на этой неделе объявила, что версии ИИ-модели Llama были загружены почти 350 млн раз разработчиками ПО и пользователями, что в 10 раз больше, чем год назад. В свою очередь, OpenAI утверждает, что у сервиса ChatGPT сейчас 200 млн еженедельно активных пользователей.

По словам Жюльена Лоне (Julien Launay), главы стартапа Adaptive ML, для многих повседневных целей ИИ-модели, обученные для выполнения только определённых задач, будут лучше и дешевле в использовании. Стартап Adaptive ML использует модель Llama для обучения небольших, настраиваемых ИИ-моделей для компаний. Их гораздо легче настраивать, чем гигантские, закрытые ИИ, такие как ChatGPT, говорит Лоне. И число пользователей таких моделей растёт. Например, такие компании, как DoorDash, Shopify, Goldman Sachs и Zoom, заявили, что используют ИИ с открытым исходным кодом для различных задач, начиная с обслуживания клиентов и заканчивая подведением итогов совещаний.

Ещё один пример — Procore Technologies, разработчик платформы для управления сложными строительными проектами. В начале этого года Procore впервые запустила функции, использующие большие языковые модели, полагаясь на ChatGPT OpenAI с доступом через облачную платформу Microsoft. Затем Procore создала ПО, которое упрощает использование практически любого ИИ во всей её системе. И надобность в сервисе ChatGPT OpenAI отпала.

В подобных случаях удержание клиентов может стать проблемой для OpenAI. Большинство компаний не хотят быть привязанными к одному поставщику ИИ, и, по крайней мере, сейчас переключение между провайдерами услуг ИИ не составляет труда. Это делает ИИ-модели OpenAI конкурентами ИИ-решений, которые клиенты стартапа теперь могут разрабатывать самостоятельно.

В свою очередь, представитель OpenAI высказал мнение, что конкуренция со стороны ИИ с открытым исходным кодом увеличивает количество специалистов, которые знают, как использовать ИИ, что также приводит к росту спроса на услуги OpenAI.

Когда вопрос касается проблем безопасности, то мнения тоже резко отличаются. Сторонники закрытых систем говорят, что у них есть ресурсы и контроль, чтобы помочь предотвратить нецелевое использование технологии, и что инструментами с открытым исходным кодом могут воспользоваться злоумышленники. В свою очередь, сторонники решений с открытым исходным кодом наставивают на том, что в их системах проще обнаруживать проблемы и справляться с непреднамеренным вредом, который было бы трудно обнаружить в закрытых системах, поскольку они доступны для контроля общественности.