Сегодня 11 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

 Источник изображений: AMD

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
OpenAI прокачала память ChatGPT, чтобы бот мог ссылаться на прошлые диалоги 27 мин.
«То, что я ждал от The Movies 2»: голливудская стратегия Hollywood Animal от авторов This is the Police вышла в прокат раннего доступа Steam 2 ч.
Роскомнадзор порекомендовал перестать пользоваться зарубежными протоколами VPN 2 ч.
AMD признала, что в процессорах Zen 5 имеется опасная уязвимость EntrySign 2 ч.
Масштабное дополнение к Katana Zero вернулось из небытия с новым трейлером — оно всё ещё бесплатное и почти готово 3 ч.
В графическом онлайн-редакторе Canva появился ИИ для генерации изображений и создания приложений 3 ч.
«Смотрится очень круто»: сюжетный трейлер Heroes of Might & Magic: Olden Era взбудоражил фанатов перед летним релизом 4 ч.
Новый геймплейный трейлер раскрыл дату выхода философского выживания The Alters от создателей Frostpunk 2 5 ч.
Журналисты раскопали причины провала Apple с внедрением ИИ в Siri 6 ч.
Cloud.ru готовит облачную платформу для локального развёртывания ИИ-сервисов 6 ч.
Новая статья: Обзор блока питания Ocypus Iota P1000 43 мин.
Акции Apple, Tesla и Meta рухнули вслед за Nasdaq после взлёта в среду — инвесторы обеспокоены пошлинами 46 мин.
Audio-Technica выпустила наушники за $6800 для фанатов «Звёздных войн» 2 ч.
Oppo представила флагманский планшет Pad 4 Pro, смарт-часы Watch X2 Mini и беспроводные наушники Enco Free4 3 ч.
В Австралии начали строить ультрасовременную антенну дальней космической связи — она обеспечит связь с «Вояджерами» и не только 5 ч.
Исправление опечатки на умных часах OnePlus Watch 3 увеличило их цену на 50 % до $500 5 ч.
ИИ-континент: Евросоюз намерен как минимум утроить ёмкость дата-центров в ближайшие годы 6 ч.
Oppo представила ультрафлагман Find X8 Ultra — с мощной камерой, Snapdragon 8 Elite и батареей на 6100 мА·ч за $885 7 ч.
Oppo представила компактные флагманы Find X8s и X8s+ с новейшим MediaTek и ценой от $570 7 ч.
Представлено умное табло Busy Bar от создателей хакерского мультитула Flipper Zero 7 ч.