Исследователи из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) с миллиардами параметров при значительно меньшем потреблении энергии, чем у современных систем.

Источник изображения: Stefan Steinbauer/Unsplash

Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей. Современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Таким образом, новый метод оказывается в 50 раз эффективнее популярных сегодня решений, пишет Tom's Hardware.

Ключом к успеху стало устранение матричного умножения (MatMul) из процессов обучения. Исследователи применили два метода. Первый — это перевод системы счисления в троичную, использующую значения -1, 0 и 1, что позволило заменить умножение на простое суммирование чисел. Второй метод основан на внедрении временных вычислений, при котором сеть получила эффективную «память», позволившую работать быстрее, но с меньшим количеством выполняемых операций. Работа проводилась на специализированной системе с FPGA, но исследователи подчёркивают, что большинство их методов повышения эффективности можно применить с помощью открытого программного обеспечения и настройки уже существующих на сегодня систем.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели учёные использовали LLaMa от Meta✴. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешёвые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что учёные открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta✴, OpenAI, Google, Nvidia и другим беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведёт к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

«Яндекс» занимается разработкой новой нейросетевой модели SpeechGPT и для этого нанимает в свою команду специалиста в области машинного обучения, пишет «Коммерсантъ» со ссылкой на раздел вакансий компании. Согласно описанию вакансии, новая модель «умеет воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука», то есть, относится к категории мультимодальных ИИ-систем.

Источник изображения: geralt/Pixabay

В «Яндексе» не стали отвечать на вопрос о модели SpeechGPT, пояснив, что работают над мультимодальностью в ассистенте «Алиса» и других сервисах.

Как полагает эксперт в области ИИ и продвинутой аналитики компании Axenix Владимир Кравцев, MVP (минимально жизнеспособный продукт) SpeechGPT, вероятно, появится в ближайшие месяцы, «дальше пойдёт процесс непрерывных улучшений». По его мнению, SpeechGPT прежде всего будут встраивать в «уже существующие сервисы, связанные с каналами коммуникации с клиентами, партнёрами “Яндекса”, то есть, будет происходить постепенная замена текущих более простых моделей на современные».

Директор по продукту Hybrid Светлана Другова считает, что новая модель «Яндекса» вряд ли будет сопоставима по возможностям с мультимодальными моделями Google семейства Gemini или OpenAI, поскольку на создание подобных им требуются миллиарды долларов. Тем не менее, с учётом того, что у «“Яндекса” уже есть наработки, затраты будут несколько меньше», говорит она.

Несмотря на санкции, российским компаниям в сфере ИИ-технологий пока удаётся закупать необходимое оборудование, в первую очередь — ускорители вычислений Nvidia, которые можно объединять в высокопроизводительные кластеры, пишет «Коммерсантъ». Данные ускорители сейчас особенно нужны — они служат основой для систем искусственного интеллекта.

Источник изображения: geralt/Pixabay

Российские технологические компании стали активнее коммерциализировать ИИ-решения. Например, «Яндекс» и «Сбер» интегрировали большие языковые модели (LLM), соответственно YandexGPT и GigaChat, в свои ассистенты и предлагают другим компаниям использовать их для обработки или генерации контента. VK и МТС тоже представили собственные продукты на базе генеративного ИИ, использующие собственные LLM.

Создание LLM требует значительных вычислительных мощностей, в основном построенных на графических ускорителях. Лидирует в этой сфере Nvidia. Согласно исследованию Dell’Oro Group, в 2023 году на её серверные графические ускорители приходилось 97 % всей выручки, которую приносит сегмент во всём мире.

Чем больше у LLM параметров, тем больше число вычислительных операций необходимо для её тренировки. Да и обращение с запросом к нейросетям, прошедшим обучение, тоже требует вычислительных ресурсов. Как сообщил директор бизнес-группы поиска и рекламных технологий «Яндекса» Дмитрий Масюк, стоимость ответов на основе YandexGPT в пересчёте на пользователя в семь раз выше, чем при использовании классических технологий вроде интернет-поиска.

В VK рост числа связанных друг с другом высокопроизводительных серверов (HPC-кластеры) на базе графических ускорителей примерно в полтора раза превосходит рост обычных систем, сообщил «Коммерсанту» вице-президент компании по ИИ, контентным и рекомендательным сервисам Антон Фролов. Рост спроса на ресурсы подтвердили и в Beeline Cloud, отметив, что санкции усложняют закупки и поставки серверов «с адекватными конфигурациями и ценами».

С ростом объёма данных, передаваемых в ходе высокопроизводительных вычислений, возникает потребность в расширении сетей, отметил вице-президент по развитию инфраструктуры МТС, глава облачной платформы MWS Игорь Зарубинский. А также растёт потребность в быстрых и ёмких хранилищах данных. «Развитие ИИ приводит к росту спроса на накопители и диски. В будущем потребуется строительство высокоплотных энергонагруженных ЦОДов», — прогнозирует он.

IT-директор облачного провайдера Oxygen Александр Будкин утверждает, что рост потребности клиентов в высоких мощностях требует «переосмысления ЦОДа как конечного коммерческого продукта для ИТ рынка». По его мнению, если тенденция сохранится на четыре-пять лет, можно будет говорить о проектах строительства ЦОД именно под ИИ: «Они могут быть размещены в регионах с холодным климатом, работать от электричества с электростанций на попутном газе». Такие проекты обсуждались и раньше, но были признаны нецелесообразными из-за относительной неразвитости каналов связи, но ИИ «более толерантен к задержкам».

Модели искусственного интеллекта, которые генерируют картинки по текстовому описанию, при обучении на оригинальных изображениях могут их «запоминать», поднимая таким образом вопрос о нарушении авторских прав. Для защиты от претензий со стороны правообладателей была разработана система Ambient Diffusion для обучения моделей ИИ только на повреждённых данных.

Источник изображения: github.com/giannisdaras

Диффузионные модели — передовые алгоритмы машинного обучения, которые генерируют высококачественные объекты, постепенно добавляя шум в набор данных, а затем обращая этот процесс вспять. Как показали исследования, такие модели способны запоминать образцы из обучающего массива. Эта особенность может иметь неприятные последствия в аспектах конфиденциальности, безопасности и авторских прав. К примеру, если ИИ обучается работе с рентгеновскими снимками, он не должен запоминать изображения конкретных пациентов.

Чтобы избежать этих проблем, исследователи из Техасского университета в Остине и Калифорнийского университета в Беркли разработали фреймворк Ambient Diffusion для обучения диффузионных моделей ИИ только на изображениях, которые были повреждены до неузнаваемости — так практически обнуляется вероятность, что ИИ «запомнит» и воспроизведёт оригинальную работу.

Чтобы подтвердить свою гипотезу, учёные обучили модель ИИ на 3000 изображений знаменитостей из базы CelebA-HQ. При получении запроса эта модель начинала генерировать изображения, почти идентичные оригинальным. После этого исследователи переобучили модель, использовав 3000 изображений с сильными повреждениями — маскировке подверглись до 90 % пикселей. Тогда она начала генерировать реалистичные человеческие лица, которые сильно отличались от оригинальных. Исходные коды проекта его авторы опубликовали на GitHub.

OpenAI представила мощную мультимодальную модель генеративного искусственного интеллекта (ИИ) GPT-4o, которая будет внедрена в её решения для разработчиков и потребителей в течение следующих нескольких недель. Буква «о» в названии GPT-4o означает omni (всесторонний), что указывает на мультимодальность GPT-4o.

Источник изображений: OpenAI

Технический директор OpenAI Мира Мурати (Mira Murati) сообщила в ходе презентации продукта в офисе OpenAI в Сан-Франциско (США), что GPT-4o имеет интеллект «уровня GPT-4», но более высокие возможности в работе с текстом и изображениями, а также с аудио. «GPT-4o воспринимает голос, текст и визуальные образы, — сообщила Мурати. — И это невероятно важно, поскольку мы думаем о будущем взаимодействии между нами и машинами».

Её предшественница — GPT-4 Turbo — обучалась на сочетании изображений и текста. Она способна анализировать изображения и текст для выполнения таких задач, как извлечение текста из изображений и даже описание содержимого этих изображений. В свою очередь, в GPT-4o к этим возможностям добавили речь. GPT-4o получил контекстное окно в 128 тысяч токенов.

Сообщается, что GPT-4o позволит значительно улучшить работу ИИ-чат-бота ChatGPT. Последний уже давно поддерживает голосовой режим, в котором ответы чат-бота расшифровываются с использованием модели преобразования текста в речь, но GPT-4o усилит эту функцию, позволяя пользователям взаимодействовать с чат-ботом больше как с помощником. Например, ему можно будет задать вопрос и прервать его, когда он отвечает. По словам OpenAI, модель GPT-4o обеспечивает реагирование «в реальном времени» и может даже улавливать эмоции в голосе пользователя, генерируя в ответ голос «в различных эмоциональных стилях» в соответствии с текущей ситуацией.

GPT-4o также улучшит визуальные возможности ChatGPT. Исходя из предложенной фотографии или экрана рабочего стола, ChatGPT теперь сможет быстро отвечать на сопутствующие вопросы: от «Что происходит в этом программном коде» до «Какую рубашку какого бренда носит этот человек?».

В дальнейшем возможности модели будут расширяться. Если сейчас GPT-4o позволяет, например, переводить сфотографированное меню на другой язык, то в будущем с её помощью ChatGPT сможет «смотреть» спортивную игру в прямом эфире и объяснять вам правила, говорит Мурати.

Начиная с сегодняшнего дня GPT-4o доступна как платным, так и бесплатным пользователям ChatGPT, но для подписчиков платных тарифных планов ChatGPT Plus и Team ограничение на количество сообщений будет «в 5 раз выше». При превышении лимита ChatGPT автоматически переключится на GPT-3.5 у бесплатных пользователей и на GPT-4 у платных.

Бесплатным пользователям ChatGPT при взаимодействии с GPT-4o станут доступны некоторые функции, которые прежде были только у платных подписчиков. В частности, обновлённый чат-бот сможет искать информацию не только в своей ИИ-модели, но также в интернете; анализировать данные и создавать графики; работать с пользовательскими изображениями и файлами; а также лучше помнить прежние взаимодействия с пользователем. Также бесплатные пользователи получат доступ к GPT Store.

OpenAI сообщила, что GPT-4o поддерживает больше языков, с улучшенной производительностью на 50 различных языках. В API OpenAI GPT-4o в два раза быстрее, чем GPT-4 (в частности, GPT-4 Turbo), вдвое дешевле и имеет более высокие лимиты по скорости.

В настоящее время поддержка голосового общения не включена в API GPT-4o для всех клиентов. OpenAI пояснила, что из-за риска неправильного использования планирует впервые запустить в ближайшие недели поддержку новых аудиовозможностей GPT-4o для «небольшой группы доверенных партнёров».

Вложившая в капитал стартапа OpenAI более $10 млрд американская корпорация Microsoft, по данным The Information, занялась разработкой собственной большой языковой модели ИИ, которая добавит компании независимости от той же OpenAI и усилит конкуренцию с Google. Модель получила обозначение MAI-1 и создаётся с использованием собственных ресурсов.

Источник изображения: Nvidia

Руководит этой инициативой в Microsoft, как отмечает первоисточник, Мустафа Сулейман (Mustafa Suleyman), который занимался разработкой систем искусственного интеллекта в Google, а также возглавлял стартап Inflection, прежде чем его не поглотила Microsoft, заплатив $650 млн в марте этого года. Впрочем, источники подчёркивают, что Microsoft самостоятельно разрабатывает MAI-1, не опираясь на существовавшие в Inflection программные решения. Впрочем, использование каких-то технологий этого стартапа в том или ином виде не исключается.

MAI-1 станет значительно более крупной языковой моделью по сравнению с теми разработками с открытым исходным кодом, которые до сих пор использовала Microsoft. Она потребует не только большего количества входных данных, но и более значимых вычислительных ресурсов. MAI-1 будет использовать около 500 млрд параметров. Если учесть, что передовая ChatGPT-4 стартапа OpenAI использует 1 трлн параметров, для собственной модели Microsoft это будет существенный прорыв в сложности модели. Назначение MAI-1 пока не определено и будет выбрано в зависимости от промежуточных успехов в её разработке. Microsoft может рассказать подробности об этой инициативе на конференции Build ближе к концу текущего месяца.

Японский конгломерат SoftBank инвестирует к 2025 году 150 млрд иен ($960 млн) в расширение вычислительных мощностей, что позволит разрабатывать высокопроизводительные ИИ-модели, пишет CNBC. По данным ресурса Nikkei Asia, в прошлом году SoftBank израсходовал 20 млрд иен ($128 млн) на укрепление вычислительной инфраструктуры.

Источник изображения: SoftBank

Благодаря столь крупным инвестициям SoftBank будет обладать самыми высокопроизводительными вычислительными мощностями в стране, отметил Nikkei Asia. Как утверждают источники ресурса, для их работы будут использоваться ускорители Nvidia.

В 2024 финансовом году SoftBank планирует завершить создание своей первой большой языковой модели LLM с 390 млрд параметров. Затем, по данным Nikkei Asia, компания начнёт в 2025 году разработку LLM с 1 трлн параметров и поддержкой японского языка.

Как отметил ранее Nikkei Asia, в Японии наблюдается нехватка частных компаний с высокопроизводительными суперкомпьютерами, необходимыми для создания LLM, несмотря на возросший интерес к ИИ. Благодаря инвестициям SoftBank превратится в сильного игрока в сфере генеративного ИИ в то время, когда международные компании пытаются выйти на рынок Японии. На прошлой неделе OpenAI открыла свой первый офис в Токио. В свою очередь, Microsoft объявила о планах инвестировать $2,9 млрд в течение двух лет в расширение инфраструктуры облачных вычислений и ИИ в Японии.

В минувшие выходные известный колумнист Bloomberg Марк Гурман (Mark Gurman) не только предавался рассуждениям о том, почему Apple очень нужен новый смартфон за $250, но и поведал о подходе компании к интеграции в свои устройства функций искусственного интеллекта. По его словам, компания пытается значительную часть вычислений поручить локальным компонентам пользовательских устройств.

Источник изображения: Unsplash, Gilles Lambert

Другими словами, если речь идёт о смартфонах марки, то некий нейронный процессор внутри iPhone должен будет осуществлять локальные вычисления при обработке запросов, в меньшей степени полагаясь на обмен информацией с облачной инфраструктурой. Такой подход позволит ускорить отклик системы на поступающие запросы, а для пользователя это станет видимым преимуществом. Кроме того, локальная обработка чувствительной информации повысит степень информационной защищённости.

При этом, как утверждает представитель Bloomberg, компания Apple не отметает окончательно идею использования сторонних больших языковых моделей, которые предлагаются Google или Microsoft. Собственную языковую модель Apple тоже разрабатывает, но ориентирует её именно на использование локальных вычислительных ресурсов. Подробности об этой концепции Apple могут быть оглашены уже в середине июня на конференции для разработчиков WWDC 2024, как поясняет источник.

На платформе «Яндекса Карты» добавились более 4 млн трёхмерных моделей деревьев — они составили реалистичные зелёные зоны в Москве внутри линии МКАД и Санкт-Петербурге, в том числе в Петергофе. Пользователям сервиса будет удобнее подбирать места для прогулок или оценивать район при выборе недвижимости.

Источник изображений: yandex.ru/company

3D-модели на карту добавляются при помощи нейросети — она анализирует спутниковые снимки, оценивая местоположение, внешний вид и размеры деревьев. После этого в соответствующей точке «Яндекс Карт» появляется модель лиственного или хвойного дерева со схожими с оригиналом высотой и размером кроны. В местах, где плотность деревьев слишком высокая, система прореживает модели — это облегчает приложение и не мешает при навигации.

К настоящему моменту искусственный интеллект добавил 21 тыс. моделей хвойных и примерно 4 млн лиственных деревьев, «озеленив» в виртуальном пространстве 2000 парков, скверов, дворов и улиц обеих столиц. Этот проект поможет в выпуске обновлённого варианта «Яндекс Карт», объекты на котором отличаются реалистичным внешним видом и легко узнаются.

Генеративная модель Сotype (ex.MTS AI Chat) заняла второе место в рейтинге больших языковых моделей в лидерборде бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures).

Вошедшие в рейтинг 30 языковых моделей оценивались по 17 параметрам. Показатель BPS у модели Сotype (ex.MTS AI Chat) составил с 0.23, PARus — достиг 0.884, а по задачам из «Что? Где? Когда?» (параметр CheGeKa) она продемонстрировала результат 0.05 / 0.022. Это означает, что Сotype (ex.MTS AI Chat) обладает наиболее полными знаниями о мире, развитыми логическими способностями и навыками причинно-следственного рассуждения и здравого смысла.

Сotype (ex.MTS AI Chat) предназначена для работы с корпоративной информацией для решения бизнес-задач. Следует отметить, что на её создание ушло менее года. Тем не менее она смогла опередить более «взрослых» участников, например GigaChat Pro.

Компания Tesla разрабатывает собственные нейронные процессоры для обучения автопилота, но возглавляющий её Илон Маск (Elon Musk) для прочих своих инициатив готов активно использовать ускорители вычислений Nvidia. Например, для обучения большой языковой модели Grok 3, по его словам, стартапу xAI потребуется до 100 000 ускорителей Nvidia H100.

Источник изображения: Nvidia

Эти заявления, как поясняет Tweaktown, миллиардер сделал на этой неделе в ходе выступления в сервисе аудиочатов Spaces. Он признался, что для обучения языковой модели Grok 2 потребовались ресурсы 20 000 ускорителей Nvidia H100, добавив, что для языковой модели следующего поколения их потребуется уже 100 000 штук. В январе этого года Маск сравнил уровень быстродействия фирменного суперкомпьютера Dojo стоимостью $500 млн с системой из 10 000 ускорителей Nvidia H100. В текущем году только компания Tesla должна потратить на закупку таких ускорителей гораздо больше денег, а ведь теперь под опекой Маска находится и стартап xAI, основанный в июле прошлого года и остро нуждающийся в масштабировании вычислительных ресурсов. По оценкам главы Tesla, компания должна тратить несколько миллиардов в год на закупку ускорителей, чтобы оставаться на плаву с точки зрения конкуренции.

Как Илон Маск уточнил на страницах принадлежащей ему социальной сети X, именно компания Tesla является вторым по величине после Meta✴ Platforms обладателем ускорителей вычислений Nvidia H100, их в его распоряжении находится от 30 000 до 350 000 штук, по оценкам руководителя Tesla. Социальная сеть X и стартап xAI, по словам Маска, сообща располагают третьим по величине объёмом ускорителей Nvidia H100 в мире.

По информации Reuters, Маск также предрёк появление превосходящего «умнейших людей» по своим когнитивным способностям так называемого «сильного» искусственного интеллекта (AGI) либо в следующем году, либо ещё через год. Для обучения модели Grok 2, которое должно завершиться к маю этого года, как признался Маск, компании xAI сейчас не хватает именно ускорителей вычислений Nvidia. В ближайшие год или два, по мнению Маска, главным сдерживающим развитие систем ИИ фактором станет нехватка энергоснабжающих ресурсов.

На хакатоне Mistral AI, прошедшем в Сан-Франциско на минувшей неделе, разработчики Стэн Жирар (Stan Girard) и Quivr Brain представили тест LLM Colosseum с открытым исходным кодом, основанный на классическом аркадном файтинге Street Fighter III. Тест предназначен для определения самой эффективной языковой модели ИИ в не совсем традиционной, но зрелищной манере.

Источник изображений: YouTube / Matthew Berman

ИИ-энтузиаст Мэтью Берман (Matthew Berman) решил провести с помощь теста LLM Colosseum своеобразный турнир между языковыми моделями, о чём он поделился в своём видео. В нём же Берман показал один из поединков между ИИ. Кроме того, он рассказал, как можно установить этот проект с исходным кодом на домашний ПК или Mac и оценить его самостоятельно.

Это не совсем типичный тест LLM. Как правило, маленькие языковые модели имеют преимущество в задержке и скорости, что приводит к победе в большинстве виртуальных боёв. В файтингах очень важна скорость реакции игроков на ответные действия своих оппонентов. То же правило работает и в случае противостояния ИИ против ИИ.

Источник изображений: OpenGenerativeAI team

Языковая модель в реальном времени принимает решение, как ей сражаться. Поскольку LLM представляют собой текстовые модели, их обучили в игре Street Fighter III с помощью текстовых подсказок. ИИ сначала дали проанализировать контекст игры в целом, а затем подсказали, как реагировать на то или иное игровое действие в той или иной ситуации, не забыв про вариативность ходов. ИИ обучили приближаться или отдаляться от противника, а также использовать различные приёмы вроде огненного шара, мегаудара, урагана и мегаогненного шара.

Источник изображения: OpenGenerativeAI team

Продемонстрированный на видео бой между ИИ выглядит динамично. Оппоненты действуют стратегически, блокируют удары противника и используют специальные приёмы. Однако к настоящему моменту проект LLM Colosseum позволяет использовать только одного игрового персонажа, Кена.

Согласно тестам Жирара, лучшей языковой моделью в турнире Street Fighter III оказалась GPT 3.5 Turbo от OpenAI. Среди восьми участников она достигла самого высокого рейтинга ELO — 1776.

В отдельной серии тестов, организованных Банджо Обайоми (Banjo Obayomi), специалистом по продвижению продуктов AWS компании Amazon, спарринги проводились между четырнадцатью языковыми моделями в рамках 314 индивидуальных матчей. Здесь в конечном итоге победила языковая модель claude_3_haiku от Anthropic с рейтингом ELO 1613.

Компания по изучению ИИ Patronus AI, основанная бывшими сотрудниками Meta✴, исследовала, как часто ведущие большие языковые модели (LLM) создают контент, нарушающий авторские права. Компания протестировала GPT-4 от OpenAI, Claude 2 от Anthropic, Llama 2 от Meta✴ и Mixtral от Mistral AI, сравнивая ответы моделей с текстами из популярных книг. «Лидером» стала модель GPT-4, которая в среднем на 44 % запросов выдавала текст, защищённый авторским правом.

Источник изображений: Pixabay

Одновременно с выпуском своего нового инструмента CopyrightCatcher компания Patronus AI опубликовала результаты теста, призванного продемонстрировать, как часто четыре ведущие модели ИИ отвечают на запросы пользователей, используя текст, защищённый авторским правом.

Согласно исследованию, опубликованному Patronus AI, ни одна из популярных книг не застрахована от нарушения авторских прав со стороны ведущих моделей ИИ. «Мы обнаружили контент, защищённый авторским правом, во всех моделях, которые оценивали, как с открытым, так и закрытым исходным кодом», — сообщила Ребекка Цянь (Rebecca Qian), соучредитель и технический директор Patronus AI. Она отметила, что GPT-4 от OpenAI, возможно самая мощная и популярная модель, создаёт контент, защищённый авторским правом, в ответ на 44 % запросов.

Patronus тестировала модели ИИ с использованием книг, защищённых авторскими правами в США, выбирая популярные названия из каталога Goodreads. Исследователи разработали 100 различных подсказок, которые можно счесть провокационными. В частности, они спрашивали модели о содержании первого абзаца книги и просили продолжить текст после цитаты из романа. Также модели должны были дополнять текст книг по их названию.

Модель GPT-4 показала худшие результаты с точки зрения воспроизведения контента, защищённого авторским правом, и оказалась «менее осторожной», чем другие. На просьбу продолжить текст она в 60 % случаев выдавала целиком отрывки из книги, а первый абзац книги выводила в ответ на каждый четвёртый запрос.

Claude 2 от Anthropic оказалось труднее обмануть — когда её просили продолжить текст, она выдавала контент, защищённый авторским правом, лишь в 16 % случаев, и ни разу не вернула в качестве ответа отрывок из начала книги. При этом Claude 2 сообщала исследователям, что является ИИ-помощником, не имеющим доступа к книгам, защищённым авторским правом, но в некоторых случаях всё же предоставила начальные строки романа или краткое изложение начала книги.

Модель Mixtral от Mistral продолжала первый абзац книги в 38 % случаев, но только в 6 % случаев она продолжила фразу запроса отрывком из книги. Llama 2 от Meta✴ ответила контентом, защищённым авторским правом, на 10 % запросов первого абзаца и на 10 % запросов на завершение фразы.

Источник изображения: Patronus AI

«В целом, тот факт, что все языковые модели дословно создают контент, защищённый авторским правом, был действительно удивительным, — заявил Ананд Каннаппан (Anand Kannappan), соучредитель и генеральный директор Patronus AI, раньше работавший в Meta✴ Reality Labs. — Я думаю, когда мы впервые начали собирать это вместе, мы не осознавали, что будет относительно просто создать такой дословный контент».

Результаты исследования наиболее актуальны на фоне обострения отношений между создателями моделей ИИ и издателями, авторами и художниками из-за использования материалов, защищённых авторским правом, для обучения LLM. Достаточно вспомнить громкий судебный процесс между The New York Times и OpenAI, который некоторые аналитики считают переломным моментом для отрасли. Многомиллиардный иск новостного агентства, поданный в декабре, требует привлечь Microsoft и OpenAI к ответственности за систематическое нарушение авторских прав издания при обучении моделей ИИ.

Позиция OpenAI заключается в том, что «поскольку авторское право сегодня распространяется практически на все виды человеческого выражения, включая сообщения в блогах, фотографии, сообщения на форумах, фрагменты программного кода и правительственные документы, было бы невозможно обучать сегодняшние ведущие модели ИИ без использования материалов, защищённых авторским правом».

По мнению OpenAI, ограничение обучающих данных созданными более века назад книгами и рисунками, являющимися общественным достоянием, может стать интересным экспериментом, но не обеспечит системы ИИ, отвечающие потребностям настоящего и будущего.

Microsoft опубликовала отчёт, в котором обвинила хакерские группы, якобы связанные с российской военной разведкой, Ираном, Китаем и Северной Кореей в использовании её больших языковых моделей (LLM) для совершенствования атак. Компания объявила об этом, когда ввела полный запрет на использование поддерживаемыми государством хакерскими группами её ИИ-технологий.

Источник изображения: Pixabay

«Независимо от того, имеет ли место какое-либо нарушение закона или какие-либо условия обслуживания, мы просто не хотим, чтобы те субъекты, которых мы определили, которых мы отслеживаем и знаем как субъектов угроз различного рода, чтобы они имели доступ к этой технологии», — сообщил агентству Reuters вице-президент Microsoft по безопасности клиентов Том Берт (Tom Burt) перед публикацией отчёта.

«Это один из первых, если не первый случай, когда компания, занимающаяся ИИ, публично обсуждает, как субъекты угроз кибербезопасности используют технологии ИИ», — отметил Боб Ротстед (Bob Rotsted), руководитель отдела анализа угроз кибербезопасности в OpenAI.

OpenAI и Microsoft сообщили, что использование хакерами их ИИ-инструментов находится на ранней стадии и никаких прорывов не наблюдается. «Они просто используют эту технологию, как и любой другой пользователь», — сказал Берт.

В отчёте Microsoft отмечено, что цели использования LLM разными хакерскими группами всё же отличаются. Например, хакерские группы, которым приписывают связь с ГРУ, использовали LLM для исследования «различных спутниковых и радиолокационных технологий, которые могут иметь отношение к обычным военным операциям на Украине». Северокорейские хакеры использовали LLM для создания контента, «который, вероятно, будет применяться в целевых фишинговых кампаниях» против региональных экспертов. Иранским хакерам эти модели потребовались для написания более убедительных электронных писем потенциальным жертвам, а китайские хакеры экспериментировали с LLM, например, чтобы задавать вопросы о конкурирующих спецслужбах, проблемах кибербезопасности и «известных личностях».

2ГИС выпустила приложение 2GIS Immersive для гарнитуры дополненной реальности Apple Vision Pro, которая сегодня поступила в продажу. Это приложение даёт возможность не выходя из дома с помощью Apple Vision Pro перемещаться в виртуальном пространстве и изучать реалистичные 3D-модели зданий, созданные 2ГИС. Доступны сотни моделей и их количество будет расти. Это первое российское приложение, доступное на Vision Pro — скачать его можно через магазин приложений для гарнитуры

Источник изображений: 2ГИС

«2ГИС первым в России представил сотни реалистичных 3D-моделей зданий на картах, которые позволяют виртуально перенестись в город. Появление приложения для Apple Vision Pro — это логичное продолжение темы виртуального города на картах, новые перспективы для развития сценария виртуальных прогулок и использования иммерсивных карт, а ещё шаг навстречу узкой технологичной аудитории, которая первой увлекается новаторскими продуктами», — рассказал руководитель направления продуктов для пользователей 2ГИС Александр Сырков.

По словам Александра, к моменту старта продаж для Vision OS было одобрено всего 600 приложений со всего мира, и в их число вошло 2GIS Immersive — первое российское приложение для этой платформы. Разработчикам компании в короткие сроки удалось создать пилотное приложение для гарнитуры дополненной реальности от Apple. Это стало для них настоящим технологическим вызовом и подтвердило их высокую квалификацию. Александр уверен, что этот опыт будет полезен и в развитии других продуктов 2ГИС.

От реалистичных моделей зданий в 2GIS Immersive можно по ссылке перейти к основному картографическому приложению 2ГИС — теперь оно тоже доступно для Apple Vision Pro.