Компания «Яндекс» представила семейство больших языковых моделей нового поколения YandexGPT 3; пользователи Yandex Cloud уже могут поработать с одной из них — YandexGPT 3 Pro. Она лучше подходит для бизнес-пользователей, поскольку эффективнее обрабатывает сложные запросы и может следовать заданному формату ответов на них. При необходимости можно дополнительно обучить YandexGPT 3 самостоятельно. В ближайшее время нейросети нового поколения появятся в сервисах «Яндекса» для широкого круга пользователей.
Источник изображений: yandex.ru/company
YandexGPT 3 Pro демонстрирует особые успехи в сферах клиентской поддержки, онлайн-продаж, цифровых коммуникаций, рекламы и управления персоналом. Она может самостоятельно создавать договоры, счета, должностные инструкции, нормативную и прочую документацию. YandexGPT 3 Pro значительно продвинулась вперёд относительно YandexGPT 2: новая нейросеть корректно обрабатывает инструкции с несколькими условиями, её ответы стали точнее и полнее, работа с фактами — более тщательной, а процент стилистических ошибок снизился.
«Яндекс» использовал несколько тестов, чтобы оценить работу YandexGPT 3 Pro. Была разработана русскоязычная версия международного бенчмарка MMLU — ему дали название YaMMLU_ru. Чтобы оценить работу ИИ-модели в задачах по генерации идей, обобщению данных, классификации и генерации контента, использовалась методика тестирования Side by Side (SBS). YandexGPT 3 в 69 % случаев давала более качественные ответы на пользовательские запросы, чем YandexGPT 2; в бизнес-запросах она стала лучше в 60 % случаев.
Качество ответов в рамках заданного формата проверялось с помощью русскоязычного теста на основе бенчмарка IFEval: у YandexGPT 3 оно по сравнению с YandexGPT 2 выросло на 10 п.п., а консистентность удвоилась — это значит, что модель нового поколения стала лучше понимать, как отвечать на одинаковые по содержанию, но разные по форме запросы.
Наконец, число фактических ошибок YandexGPT 3 сократилось с 16,4 % до 13,5 %, а доля неподтверждённой информации упала с 6,4 % до 5 %. В 5 раз сократилось число отказов отвечать на запросы. Эти испытания разработчики провели на особо сложных запросах, которые могут возникнуть в реальных сценариях.