Компания AMD опубликовала результаты собственных тестов ИИ-производительности мобильного процессора Ryzen 7 7840U с номинальным энергопотреблением 15 Вт и конкурирующего Intel Core Ultra 7 155H с TDP 28 Вт при работе с большими языковыми моделями (LLM) Llama 2 и Mistral Instruct 7B. Сравнение оказалось не в пользу чипа Intel. Несмотря на меньший показатель энергопотребления процессор AMD оказался эффективнее.
Источник изображений: AMD
Для сравнения двух чипов компания AMD установила на ноутбуки с конкурирующими процессорами приложение LM Studio для работы с различными языковыми моделями. Перед последними были поставлены задачи написать историю, написать скрипт игры на движке Unity, а также написать стихотворение. Для выполнения задач использовались ИИ-модели Llama 2 7B от Meta✴ и Mistral Instruct 7B с поддержкой 7 млрд параметров. Последняя является разработкой выходцев из Meta✴ и компании DeepMind.
За показатель ИИ-производительности AMD взяла время с момента отправки запроса до начала выдачи ответа (Time to first token), а также количество выданных токенов в секунду. Компания напомнила, что для решения ИИ-задач процессоры Ryzen могут использовать три типа ядер: специальный ИИ-движок NPU, встроенное графическое ядро RDNA 3, а также вычислительные ядра Zen 4. По словам AMD, победным результатам Ryzen 7 7840U против конкурента в указанных задачах также способствовала поддержка её чипом инструкций AVX512 и VNNI. Ранее Intel также обеспечивала поддержку этих инструкций в потребительских чипах, но после отказалась от этого.
На фоне публикации внутренних тестов AMD также сообщила в своём официальном блоге, как запустить инструмент LM Studio для работы с различными языковыми моделями на ПК с процессорами Ryzen AI или ПК с видеокартами Radeon RX 7000, расписав всё в виде подробного руководства.
Как пишет портал Tom’s Hardware, Intel хорошо осведомлена об относительно невысокой ИИ-производительности её семейства процессоров Meteor Lake. Именно поэтому компания уже заявила, что будущие процессоры Arrow Lake и Lunar Lake, выпуск которых ожидается во второй половине этого года, предложат втрое больше ИИ-быстродействия для GPU и NPU.