Институт искусственного интеллекта Пола Аллен (AI2) в 2024 году планирует выпустить большую языковую модель Open Language Model (OLMo), ориентированную на научные изыскания. OLMo разрабатывается в сотрудничестве с AMD, консорциумом Large Unified Modern Infrastructure, который предоставляет суперкомпьютерные мощности для обучения и образования, а также Surge AI и MosaicML, которые предоставляют данные и обучающий код.
Источник изображения: pixabay
Ханна Хаджиширзи (Hanna Hajishirzi), старший директор по нейролингвистическим исследованиям (НЛП) в AI2, заявила, что «исследовательским и технологическим сообществам нужен доступ к открытым языковым моделям для продвижения науки. С OLMo мы работаем над устранением разрыва между государственными и частными исследовательскими возможностями и знаниями путём создания конкурентоспособной языковой модели». По мнению Хаджиширзи, несмотря на то, что многие модели с открытым исходным кодом на сегодняшний день привнесли новый опыт и даже «раздвинули границы», они не были специфично ориентированы.
AI2 рассматривает OLMo как платформу, а не просто очередную ИИ-модель и по словам Хаджиширзи, всё, что AI2 делает для OLMo, будет общедоступно, включая датасет и API. Другое отличие OLMo, по словам Ноа Смита (Noah Smith), старшего директора по исследованиям НЛП в AI2, заключается в том, чтобы позволить модели лучше использовать и понимать учебники и академические статьи. Заметим, что это не первая попытка сделать научную нейросеть. Например, печально известная модель Galactica от Meta✴. Однако Хаджиширзи считает, что обучение AI2 в академических кругах и инструменты, разработанные учёными для исследований, такие как Semantic Scholar, помогут сделать OLMo «уникально подходящей» для научных и академических приложений.
Обучение должно начаться в ближайшие месяцы на суперкомпьютере LUMI в Финляндии — самом быстром суперкомпьютере в Европе по состоянию на январь. AI2 приглашает сотрудников помочь внести свой вклад и критически оценить процесс разработки модели. Желающие могут связаться с организаторами на странице проекта OLMo.