Сегодня на конференции для разработчиков Google I/O, компания Google объявила о запуске PaLM 2 — своей новейшей большой языковой модели (LLM). PaLM 2 будет доступна в составе чат-бота Google Bard, а также станет базовой моделью для большинства новых ИИ-функций для её продуктов. PaLM 2 теперь доступен разработчикам через Google PaLM API, Firebase и Colab.
Источник изображения: Google
Google, как и OpenAI, не предоставила много технических подробностей о том, как обучала эту ИИ-модель — даже число параметров названо не было. Единственное, что представители компании указали о технической части — PaLM 2 была обучена на основе новейшей инфраструктуры Google JAX и TPU v4. В брифинге для прессы перед сегодняшней конференцией вице-президент Google DeepMind Зубин Гахрамани (Zoubin Ghahramani) сказал: «В ходе нашей работы мы обнаружили, что больше не всегда лучше. Вместо этого компания решила сосредоточиться на своих возможностях».
Google говорит, что новая модель лучше подходит для философских рассуждений, математики и логики. Как отметил Гахрамани, компания обучила модель большому количеству математических и научных текстов с поддержкой математических формул. Не секрет, что большие языковые модели — с их упором на язык — с трудом справляются с математическими задачами, не прибегая к сторонним плагинам. Однако, Google утверждает, что PaLM 2 может легко решать математические задачи и даже создавать диаграммы.
PaLM 2 также имеет улучшенную поддержку написания и отладки кода. Модель была обучена на 20 языках программирования, в том числе на популярных, таких как JavaScript и Python, а также на узкоспециалзированных, как Prolog, Verilog и Fortran. PaLM 2 легла в основу Codey — специализированной ИИ-модели Google для написания кода и его отладки, которую Google также запускает сегодня в рамках своей службы автодополнения и генерации кода, среди прочего.
Google также подчеркнула, что PaLM 2 была обучена с помощью более 100 мировых языков, что делает её, по словам компании, «отличным решением для многоязычных задач», чем предыдущие модели.
Google говорит о PaLM как о семействе моделей, в которое входят множество моделей. Среди них и Med-PaLM 2 — модель, ориентированная на медицинские знания. Существует также Sec-PaLM, версия, ориентированная на решение вопросов безопасности, и уменьшенная версия PaLM 2, которая может работать на смартфонах и потенциально откроет PaLM для вариантов использования с упором на конфиденциальность, когда ИИ работает не выходя за пределы устройства пользователя.