Meta✴ представила Llama 3 — большую языковую модель нового поколения, которую без лишней скромности называет «самой способной LLM с открытым исходным кодом». Компания выпустила две версии: Llama 3 8B и Llama 3 70B соответственно с 8 и 70 миллиардами параметров. По словам компании, новые ИИ-модели значительно превосходят соответствующие модели прошлого поколения и являются одними из лучших моделей для генеративного ИИ из ныне существующих.

Источник изображения: vecstock / freepik.com

В подтверждение своих слов Meta✴ приводит результаты популярных тестов MMLU (знания), ARC (способность к обучению) и DROP (анализ фрагментов текста). Llama 3 8B превосходит другие модели своего класса с открытым исходным кодом, такие как Mistral 7B от Mistral и Gemma 7B от Google с 7 миллиардами параметров, по крайней мере в девяти тестах: MMLU, ARC, DROP, GPQA (вопросы по биологии, физике и химии), HumanEval (тест на генерацию кода), GSM-8K (математические задачи), MATH (ещё один математический тест), AGIEval (набор тестов на решение задач) и BIG-Bench Hard (оценка рассуждений на основе здравого смысла).

Источник изображений: Meta✴

Mistral 7B и Gemma 7B уже не назвать современными, при этом в некоторых тестах Llama 3 8B не показывает значимого превосходства над ними. Однако куда сильнее Meta✴ гордится более продвинутой моделью, Llama 3 70B, которую ставит в один ряд с другими флагманскими моделями для генеративных ИИ, включая Gemini 1.5 Pro — самую продвинутую в линейке Gemini от Google. Llama 3 70B опережает Gemini 1.5 Pro в тестах MMLU, HumanEval и GSM-8K, но уступает передовой модели Claude 3 Opus от Anthropic, превосходя лишь слабейшую модель серии, Sonnet, в пяти тестах: MMLU, GPQA, HumanEval, GSM-8K и MATH. Meta✴ также разработала собственный набор тестов, от написания текстов и кода до обобщений и выводов, в котором Llama 3 70B обошла Mistral Medium, GPT-3.5 от OpenAI и Claude Sonnet от Anthropic.

По словам Meta✴, новые модели более «управляемы», реже отказываются отвечать на вопросы и в целом выдают более точную информацию, в том числе в некоторых научных областях, что, вероятно, обосновано огромным количеством данных, использованных для их обучения: 15 триллионов токенов и 750 миллиардов слов, что в семь раз больше, чем в случае с Llama 2.

Откуда столько данных? Meta✴ ограничилась заверением, что все они взяты из «общедоступных источников». При этом в наборе данных для обучения Llama 3 содержалось в четыре раза больше кода в сравнении с использованным для Llama 2, а 5 % набора составляли данные на 30 отличных от английского языках, чтобы улучшить работу с ними. Кроме того, использовались синтетические данные, то есть полученные от других ИИ-моделей.

«Наши текущие ИИ-модели настроены отвечать лишь на английском, но мы обучаем их с использованием данных на других языках, чтобы ИИ лучше распознавал нюансы и закономерности», — прокомментировала Meta✴.

Вопрос необходимого количества данных для дальнейшего обучения ИИ в последнее время поднимается особенно часто, и Meta✴ уже успела подпортить репутацию на этом поприще. Не так давно сообщалось, что Meta✴ в погоне за конкурентами «скармливала» ИИ защищённые авторским правом электронные книги, хотя юристы компании предупреждали о возможных последствиях.

Что касается безопасности, Meta✴ встроила в новое поколение собственных ИИ-моделей несколько протоколов безопасности, таких как Llama Guard и CybersecEval, чтобы бороться с неправомерным использованием ИИ. Компания также выпустила специальный инструмент Code Shield для анализа безопасности кода открытых моделей генеративных ИИ, позволяющий обнаружить потенциальные уязвимости. Известно, что ранее эти же протоколы не уберегли Llama 2 от недостоверных ответов и выдачи персональной медицинской и финансовой информации.

Но и это ещё не всё. Meta✴ обучает модель Llama 3 с 400 миллиардами параметров — она сможет разговаривать на разных языках и принимать больше входящих данных, в том числе работать с изображениями. «Мы стремимся сделать Llama 3 многоязычной и мультимодальной моделью, умеющей учитывать больше контекста. Мы также стараемся улучшить производительность и расширить возможности языковой модели в рассуждениях и написании кода», — сказали в Meta✴.

Meta✴ готовится вывести на рынок свою новую разработку в области ИИ — программный комплекс для генерации кода, получивший название Code Llama. Этот шаг поможет компании влиться в ряды таких влиятельных игроков отрасли, как OpenAI, Google и Microsoft.

Источник изображения: TheDigitalArtist / Pixabay

Code Llama представляет собой модель ИИ, способную по запросу пользователя самостоятельно генерировать программный код. Ожидается, что она будет представлена в виде решения с открытым исходным кодом, и, по данным источников, её запуск может состояться уже на следующей неделе. Этот стратегический ход Meta✴ направлен на конкуренцию с мощной ИИ-моделью Codex компании OpenAI.

Созданная на основе большой языковой модели нового поколения Llama 2, Code Llama использует её возможности для понимания и создания текста. Llama 2, работающая в рамках открытого исходного кода, уже изменила традиционный ИИ-пейзаж, позволяя компаниям создавать собственные ИИ-приложения без привязки к платным решениям OpenAI, Google и Microsoft.

Модель Code Llama обещает ещё больше трансформировать разработку ИИ. Ведь её цель — упростить создание ИИ-помощников, автоматизировав генерацию программного кода в реальном времени, что значительно повысит эффективность разработчиков. Это поможет пользователям отказаться от платных ИИ-помощников, включая такой продукт Microsoft, как GitHub Copilot, созданный на основе Codex.

Кроме развития социальных сетей, Meta✴ активно участвует в исследованиях и разработке ИИ. В феврале этого года компания представила Llama, ИИ-модель, сравнимую по производительности с известным чат-ботом GPT-3 компании OpenAI. Появление Llama привело к появлению других языковых моделей с открытым исходным кодом, таких как Alpaca и Vicuna, которые имеют свои собственные улучшения. В июле 2023 года Meta✴ показала обновлённую версию Llama 2. В отличие от своей предшественницы, модель Llama 2 имеет коммерческую лицензию, что позволяет использовать её в различных бизнес-приложениях.

Инвестиции в ИИ являются одним из приоритетных направлений для генерального директора Meta✴ Марка Цукерберга (Mark Zuckerberg). В июне он заявил: «Мы продолжаем наблюдать за сильным вовлечением в наши приложения, и у нас есть самый захватывающий план, который я видел за последнее время: Llama 2, Threads, Reels, новые ИИ-продукты в процессе разработки, а также запуск Quest 3 этой осенью».

Во II квартале 2023 года Meta✴ продолжала инвестировать в ИИ и виртуальную реальность, даже несмотря на стремление к экономии. Компания ожидает, что её суммарные расходы в 2023 году составят от 88 млрд до 91 млрд, что больше прежних прогнозов.

Запуск Code Llama подчёркивает стремление Meta✴ к инновациям и желание занять лидирующие позиции в области ИИ. Этот шаг может переопределить ландшафт индустрии, дав разработчикам новые инструменты и усилив конкуренцию с уже существующими игроками.

Вчера Meta✴ совместно с Microsoft представила новое поколение большой языковой модели (LLM) — Llama 2, которая будет использоваться в генеративных ИИ-приложениях и сервисах. Теперь, как сообщает компания Qualcomm, она будет работать совместно с Meta✴ над механизмом интеграции Llama 2 в электронику, в частности — мобильные устройства на чипсетах Qualcomm Snapdragon.

Источник изображения: Placidplace/pixabay.com

Как заявила Qualcomm в пресс-релизе, целью сотрудничества стало обеспечение работы приложений и сервисов на базе Llama 2 на таких устройствах без необходимости подключения их к облаку — это требуется, например, при использовании других ИИ-продуктов вроде ChatGPT и Bing Chat.

Как заявили в Qualcomm, способность запускать большие языковые модели вроде Llama 2 на самом устройстве вроде смартфона, ПК или AR/VR-гарнитуры имеет ряд достоинств.

Например, это позволяет разработчикам экономить на облачных сервисах, а также обеспечивать пользователям конфиденциальный, более надёжный и персонализированный опыт, чем тот, что можно обеспечить при использовании облачного сервиса.

Qualcomm намерена обеспечить поддержку ИИ-сервисов на основе Llama 2 на устройствах, использующих чипсеты Qualcomm Snapdragon — уже в 2024 году. Правда, пока неизвестно, будет ли такая поддержка предусмотрена только в новых чипсетах или Qualcomm удастся каким-то образом организовать совместимость с уже используемыми.

В Meta✴ заявляют, что Llama 2 тренировалась на 40 % большем объёме данных, чем Llama первого поколения. Разработчик уже анонсировал варианты сотрудничества с Microsoft — модель будут бесплатно предоставлять исследователям и коммерческими клиентами облака Azure. Кроме того, возможна загрузка и запуск LLM локально, на ПК под управлением ОС Windows.

Meta✴ и Microsoft представили Llama 2 — большую языковую модель нового поколения. Новая версия будет доступна для исследовательских и коммерческих целей, поддерживая открытый подход к разработке и распространению современных моделей ИИ. Это станет новым шагом в долгосрочном партнёрстве между двумя компаниями, направленном на расширении доступа к базовым технологиям ИИ по всему миру.

Источник изображения: ME

Недавние прорывы в области ИИ, особенно в области генеративного ИИ, завоевали общественное признание технологии и продемонстрировали то, что разработчики этих технологий давно знают, что обладают потенциалом помочь людям совершать невероятные вещи, создавать новую эру экономических и социальных возможностей, предоставлять индивидуальным пользователям, создателям контента и бизнесам новые способы выражения себя.

Компании верят, что открытый подход является правильным для разработки современных моделей ИИ, особенно в области генеративных ИИ, где технология быстро развивается. Открытость доступа к моделям ИИ способствует тому, что поколение разработчиков и исследователей может их испытать, быстро находя и решая проблемы.

Meta✴ уже более десяти лет ставит в центр своих усилий в области ИИ исследовательскую работу, открытый исходный код и сотрудничество с академическими и промышленными партнёрами. Десятки больших языковых моделей уже были выпущены и стимулируют прогресс разработчиков и исследователей. Используя их в качестве основных ингредиентов для новых опытов с применением генеративного ИИ, бизнес-сфера уже впечатлена огромным спросом на Llama 1 со стороны исследователей — более 100 000 запросов на доступ к большой языковой модели.

Теперь Meta✴ готова открыть исходный код следующей версии Llama 2 и предоставить её бесплатно для исследовательских и коммерческих целей. Начиная со вчерашнего дня, Llama 2 будет доступна в каталоге моделей Azure AI, что позволит разработчикам, использующим Microsoft Azure, работать с ней и использовать инструменты облачных технологий для фильтрации контента и функций безопасности.

Люди и бизнес получили выгоду от долгосрочного партнерства между Microsoft и Meta✴. Теперь, благодаря расширенному партнёрству, Microsoft и Meta✴ поддерживают открытый подход, чтобы предоставить расширенный доступ к базовым технологиям ИИ в интересах бизнеса по всему миру. Этому подходу верят не только Meta✴ и Microsoft, но и широкий круг сторонников, включая компании, которые дали раннюю обратную связь и готовы создавать новые продукты с Llama 2.

Открытый подход Meta✴ способствует прозрачности, доступности и безопасности ИИ. В Meta✴ понимают, что хотя ИИ принёс значительные преимущества обществу, он также несёт риски. Компания привержена ответственному подходу к развитию ИИ и предоставляет ряд ресурсов, призванных помочь тем, кто использует Llama 2, поступать также ответственно.

В Meta✴ создали новые инициативы для мобилизации творчества отдельных лиц, исследователей и разработчиков по всему миру, чтобы получить отзывы о том, как ИИ-модели работают и как их можно улучшить.

На протяжении всей истории компании Meta✴, инженеры разработали и поделились фреймворками, которые сейчас стали стандартами отрасли — например, React, ведущий фреймворк для создания веб- и мобильных приложений, и PyTorch, который теперь является популярным фреймворком для ИИ. Открытое распространение современных больших языковых моделей, по их мнению, также будет способствовать разработке полезного и безопасного генеративного ИИ. В Meta✴ с нетерпением ждут, чтобы увидеть, что мир создаст с помощью Llama 2.

500 тыс. архивных сообщений iMessage потребовались IT-специалисту Иззи Миллеру (Izzy Miller) из США, чтобы обучить языковую ИИ-модель воспроизводить реалистичные диалоги со своими друзьями в групповом чате. По словам разработчика, модель хорошо запомнила подробности жизней собеседников и потрясающе легко имитирует их манеру общения.

Источник изображения: Alex Knight/unsplash.com

Групповые чаты с друзьями, коллегами, жителями одного дома или членами одного спортивного клуба сегодня используются повсеместно. Применяя технологию, аналогичную той, что стоит за решениями Bing Chat и ChatGPT, Миллер создал рабочий клон чата с пятью лучшими друзьями. По его словам, с использованием современных технологий сделать это оказалось на удивление легко — на работу ушло несколько выходных и сотня долларов. По словам специалиста, удивительно не только то, что модель усвоила манеру общения людей, но и то, кем они являются по сути, с кем встречаются, с кем ходили в школу и где жили.

Конечно, создать подобный клон получится не у каждого, поскольку Миллер является экспертом в IT, работающим над собственным стартапом Hex, также связанным с ИИ-технологиями. Тем не менее для опытного в данной сфере человека разработка не составит особого труда. Сам Миллер использовал большую языковую модель LLaMA, разработанную компанией Meta✴ и утёкшую в Сеть. По словам Миллера, она приблизительно соответствует по возможностям GPT-3 компании OpenAI. Для обучения модели были использованы 500 тыс. сообщений, загруженные из iMessage и позволившие ИИ скопировать манеры поведения всех участников группового чата.

По мнению разработчика, ещё два-три года назад на реализацию подобного проекта у группы университетских исследователей ушли бы месяцы, а теперь один человек справился буквально за несколько дней.

Источник изображения: Иззи Миллер

Впрочем, система всё ещё не совершенна. Иногда размывается разница между личностями участников, а сама ИИ-модель не обладает чувством времени и часто путается в событиях прошлого и настоящего. Например, бывшие подруги участников чата упоминаются как нынешние, а более реальным считается то, что чаще упоминается в переписке. В частности, клоны ведут себя так, как будто они всё ещё в колледже — именно тогда друзья общались больше всего.

Как заявил Миллер, модель «думает», что на дворе ещё 2017 год, а участникам чата всё ещё чуть больше 20 лет. Это добавляет комизма диалогам, поскольку модель напоминает «портал в прошлое».

Впрочем, недооценивать технологии не стоит — судя по новостям, боты вполне способны влиять на настроение и поступки пользователей и будут играть всё большую роль в жизни людей. Некоторые эксперты предупреждают, что техногиганты могут создавать цифровые копии людей, которые, например, можно продавать потенциальным работодателям для проведения виртуальных интервью или даже давать к ним доступ полиции. Также многие специалисты из разных отраслей опасаются, что ИИ будет способствовать дальнейшему усилению одиночества людей. Впрочем, сам Миллер считает, что его проект служит лишь забавным дополнением к реальной жизни, и друзья намерены в скором будущем встретиться лично, хотя работа и разбросала их по территории США.