Сегодня 09 января 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Энтузиасты запустили современную ИИ-модель Llama на древнем ПК с Pentium II и Windows 98

Специалисты из EXO Labs сумели запустить довольно мощную большую языковую модель (LLM) Llama на 26-летнем компьютере, работающем под управлением операционной системы Windows 98. Исследователи наглядно показали, как загружается старый ПК, оснащённый процессором Intel Pentium II с рабочей частотой 350 МГц и 128 Мбайт оперативной памяти, после чего осуществляется запуск нейросети и дальнейшее взаимодействие с ней.

 Источник изображения: GitHub

Источник изображения: GitHub

Для запуска LLM специалисты EXO Labs задействовали собственный интерфейс вывода для алгоритма Llama98.c, который создан на базе движка Llama2.c, написанного на языке программирования C бывшим сотрудником OpenAI и Tesla Андреем Карпатым (Andrej Karpathy). После загрузки алгоритма его попросили создать историю о Сонном Джо. Удивительно, но ИИ-модель действительно работает даже на таком древнем ПК, причём история пишется с хорошей скоростью.

Загадочная организация EXO Labs, сформированная исследователями и инженерами из Оксфордского университета, вышла из тени в сентябре этого года. Согласно имеющимся данным, она выступает за открытость и доступность технологий на базе искусственного интеллекта. Представители организации считают, что передовые ИИ-технологии не должны находиться в руках горстки корпораций, как это происходят сейчас. В дальнейшем они рассчитывают «построить открытую инфраструктуру для обучения передовых ИИ-моделей, что позволит любому человеку запускать их где угодно». Демонстрация возможности запуска LLM на древнем ПК, по их мнению, доказывает то, что ИИ-алгоритмы могут работать практически на любых устройствах.

В своём блоге энтузиасты рассказали, что для реализации поставленной задачи на eBay был приобретён старый ПК с Windows 98. Затем, подключив устройство в сеть с помощью разъёма Ethernet, они через FTP сумели передать в память устройства нужные данные. Вероятно, компиляция современного кода для Windows 98 оказалась более сложной задачей, решить которую помогла опубликованная на GitHub работа Андрея Карпатого. В конечном счёте удалось добиться скорости генерации текста в 35,9 токенов в секунду при использовании LLM размером 260K с архитектурой Llama, что весьма неплохо, учитывая скромные вычислительные возможности устройства.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Hitman: World of Assassination и другие игры IO Interactive сняли с продажи в российском Steam и Epic Games Store 10 ч.
Выходцы из Annapurna Interactive завладели портфолио Private Division, включая Kerbal Space Program 2 и загадочную игру от авторов «Покемонов» 12 ч.
Gravelord ворвётся в ранний доступ Steam уже совсем скоро — дата выхода и новый трейлер олдскульного шутера о гробовщике в духе Quake и Duke Nukem 13 ч.
Суд оштрафовал Еврокомиссию за нарушение собственного закона 13 ч.
Game Pass «съел» до 80 % чистых продаж Indiana Jones and the Great Circle и Starfield на Xbox 14 ч.
Microsoft намерена объединить «лучшее из Xbox и Windows» для портативных консолей 16 ч.
Дракула и Доктор Дум против Фантастической четвёрки: первый сезон Marvel Rivals погрузит Нью-Йорк в вечную ночь 19 ч.
The Witcher 4 выйдет с поддержкой новейших RTX-технологий Nvidia 20 ч.
Valve рассказала, когда разрешит устанавливать SteamOS на консоли сторонних производителей 20 ч.
Sega показала первый геймплей Virtua Fighter 6 от создателей Yakuza, но он ненастоящий 21 ч.