Stability AI опубликовал набор небольших нейросетей StableLM с открытым кодом для конкуренции с GPT-4

Стартап Stability AI, разработавший нейросеть Stable Diffusion с открытым кодом, способную генерировать изображения по текстовому запросу, выпустил набор ИИ-моделей StableLM с открытым исходным кодом, генерирующих текст и предназначенных для конкуренции с большими языковыми моделями, такими как GPT-4 компании OpenAI.

Источник изображения: Pixabay

Набор моделей StableLM с 3 и 7 млрд параметров, доступный в «альфа-версии» на платформах GitHub и Hugging Spaces, может генерировать текст и программный код, а также «демонстрировать, как небольшие и эффективные модели могут обеспечивать высокую производительность при соответствующем обучении».

«Языковые модели станут основой нашей цифровой экономики, и мы хотим, чтобы каждый имел право голоса при их разработке», — написала команда Stability AI в своём блоге на сайте компании.

Источник изображений: Stability AI

Набор StableLM обучался на новом экспериментальном массиве данных, построенном на The Pile, но в три раза большем, с 1,5 трлн токенов контента. Stability AI не сообщила, есть ли у моделей StableLM те же проблемы, что и у других языковых моделей, а именно склонность генерировать токсичные ответы на определённые вопросы и придумывать ложные факты. Но, учитывая, что The Pile содержит непристойные и довольно резкие выражения, это вполне может быть.

«Как это бывает с любой предварительно обученной большой языковой моделью без дополнительной тонкой настройки и обучения с подкреплением, ответы, которые получает пользователь, могут быть разного качества и потенциально могут включать оскорбительные выражения и взгляды, — написала Stability AI. — Ожидается, что это будет исправлено за счёт масштабирования, более качественных данных, отзывов сообщества и оптимизации».

Тем не менее, получившие настройку с использованием методики Alpaca, разработанной в Стэнфорде, на наборах данных с открытым исходным кодом, в том числе от стартапа AI Anthropic, модели StableLM ведут себя как ChatGPT, реагируя на поручения (иногда с юмором), такие, как «написать сопроводительное письмо для разработчика программного обеспечения» и «написать текст для эпической рэп-битвы».

Хотя некоторые эксперты подвергают критике модели с открытым исходным кодом, утверждая, что они могут использоваться в сомнительных целях, например, для создания фишинговых электронных писем или поддержки атак вредоносных программ. Но Stability AI утверждает, что открытый исходный код на самом деле является правильным подходом. «Открытый, детализированный доступ к нашим моделям позволяет широкому исследовательскому и академическому сообществу разрабатывать методы интерпретации и безопасности, выходящие за рамки того, что возможно с закрытыми моделями», — заявила компания.

Тем не менее, против Stability AI подан ряд судебных исков, в которых она обвиняется в нарушении авторских прав миллионов художников, так как разрабатывала Stable Diffusion с использованием изображений, защищённых правом на интеллектуальную собственность.