Британский разработчик чипов Imagination Technologies на фоне получения $100 млн инвестиций меняет свою стратегию в сфере искусственного интеллекта, отказываясь от использования отдельных нейропроцессоров (NPU) и внедряя ИИ-функции в графические процессоры (GPU).

Источник изображения: imaginationtech.com

По данным Tom's Hardware со ссылкой на источник, это стратегическое решение было принято в течение последних 18 месяцев из-за сложностей с собственным разработанным ранее программным стеком, который не успевал за быстро меняющимися потребностями клиентов в области искусственного интеллекта. Создание ИИ-функциональности, способной раскрыть все возможности нейропроцессора от Imagination Technologiesоказалось было затруднено.

Компания переключила внимание на GPU, которые по своей природе многопоточны и хорошо подходят для задач, требующих эффективной параллельной обработки данных. Imagination Technologies считает, что GPU можно усовершенствовать дополнительными вычислительными возможностями для ИИ, что сделает их подходящими для периферийных приложений, особенно в устройствах с уже существующими GPU, таких как смартфоны.

Напомним, что Imagination Technologies, работающая на рынке около 40 лет, приобрела известность благодаря графическим процессорам PowerVR Kyro для ПК и IP-ядрам GPU PowerVR, используемым Apple, Intel и другими компаниями. Теперь же в рамках новой стратегии компания сотрудничает с UXL Foundation над разработкой SYCL — открытой платформой, конкурирующей с программно-аппаратной архитектурой параллельных вычислений CUDA от Nvidia. Такой подход отвечает потребностям клиентов, которые уже используют GPU для обработки графики и задач искусственного интеллекта.

Источник изображения: imaginationtech.com

Получение инвестиций в размере $100 млн от Fortress Investment Group, вероятно, связано с новой стратегией Imagination Technologies. Компания уверена, что GPU на данный момент являются лучшим решением для удовлетворения потребностей клиентов в области ИИ, прекратив разработку отдельных нейронных ускорителей. Тем не менее, Imagination не исключает возможности возвращения к разработке специализированных нейропроцессоров в будущем, если развитие программного обеспечения для ИИ изменит ситуацию.

В процессорах Ryzen 7000 (Phoenix) компания AMD впервые представила встроенные ИИ-движки или NPU Xilinx (XDNA) с производительностью до 10 TOPS. За ним последовали Ryzen 8000 (Hawk Point) с производительностью NPU до 16 TOPS. Но лишь после анонса серии Ryzen AI 300 Strix Point (XDNA2) с производительностью 50 TOPS, AMD представила специально разработанный компилятор LLVM с открытым исходным кодом под названием Peano.

Источник изображения: AMD

Проект Peano должен подтолкнуть развитие приложений для AMD NPU, которые смогут использовать эти новые процессоры для ускорения больших языковых моделей. В частности, AMD продемонстрировала, как использовать системы на базе Ryzen и Radeon с такими инструментами, как LM Studio. Компания также представила несколько примеров использования процессоров Ryzen AI для разработки программного обеспечения, хотя они и не предназначены для конечных пользователей.

Важность встроенных NPU будет продолжать расти: AMD, Intel и Qualcomm вступили в гонку за самый быстрый ИИ-ускоритель. AMD приходится догонять, так как Intel быстрее выпустила своё ПО для NPU. В ядре ​​Linux инструкции для Meteor Lake NPU появились ещё до выпуска новой архитектуры, а исходный код плагина NPU доступен на платформе OpenVINO. Поскольку обе компании предлагают конечным пользователям компиляторы и ПО с открытым исходным кодом, разработчикам будет проще предлагать межвендорные решения. Информация о подобных разработках для серии Snapdragon X отсутствует.

«От имени AMD я рад объявить об открытии исходного кода серверной части LLVM для процессоров AMD/Xilinx AI Engine. Эти процессоры существуют во многих устройствах, включая SoC Ryzen AI. В настоящее время репозиторий ориентирован на поддержку архитектуры AIE2, реализованной ускорителями XDNA в устройствах Phoenix и Hawk Point. Обратите внимание, что эти ускорители включают в себя массив процессоров, тогда как серверная часть LLVM поддерживает только один процессор. Поддержка устройств в целом доступна в инструментах с открытым исходным кодом на основе MLIR» — прокомментировал выпуск компилятора главный инженер AMD/Xilinx Стивен Нойендорфер (Stephen Neuendorffer).

Компания PowerColor показала на выставке Computex 2024 прототип необычной видеокарты Radeon, которая, помимо GPU, оснащена дискретным ИИ-процессором (NPU). Применённый здесь нейронный чип от Kneron обеспечивает снижение энергопотребления видеокарты во время игры, при этом не сильно сказываясь на производительности. Экономия энергопотребления с помощью NPU подтверждена тестами.

Источник изображения: VideoCardz

Согласно тестам, проведённым PowerColor, энергопотребление в игре Cyberpunk 2077 снизилось с 263,2 Вт до 205,3 Вт — экономия составила 22 %. Аналогичные результаты были продемонстрированы и в игре Final Fantasy XV. Для сравнения, встроенный режим энергосбережения AMD позволяет сэкономить только 18,5 %. Сами же PowerColor и Kneron заявляют о снижении потребления на 20 %, так что в реальности система работает даже чуть лучше.

Источник изображения: X/harukaze5719

По сообщению VideoCardz, технология работает как на программном, так и на аппаратном уровнях. NPU анализирует изображение в реальном времени, а также оперирует такими параметрами, как температура GPU и скорость вращения вентиляторов. На основе собираемых данных нейронный чип оптимизирует работу видеокарты, на лету меняя лимиты энергопотребления. Таким образом получается снизить энергопотребление без существенной потери производительности.

Заметим, что чип Kneron поддерживает два режима — ECO и Boost — переключиться между которыми можно с помощью фирменного программного обеспечения. В режиме ECO видеокарта интеллектуально определяет изменения температуры GPU и динамически регулирует скорость вращения вентилятора. В режиме Boost чип динамически регулирует энергопотребление и тепловыделение GPU, строго контролируя энергопотребление для обеспечения высокой производительности и стабильности.

Независимые тесты показали, что технология PowerColor приводит не только к падению энергопотребления, но и к снижению кадровой частоты в играх примерно на 10 % по сравнению со стандартным режимом. Так, в Final Fantasy XV кадровая частота упала со 118 FPS в режиме без оптимизации потребления со стороны NPU до 107 FPS с активным NPU. Таким образом, основная цель технологии — экономия энергии, а не увеличение быстродействия.

Отметим, что использование NPU становится популярным трендом. Например, в 2023 году Intel впервые интегрировала их в линейку ноутбуков Core Ultra и Meteor Lake для экономии заряда батарей, поскольку вычисления искусственного интеллекта сильно нагружают процессор. Для настольных ПК нейронные процессоры менее актуальны, поскольку существующие видеокарты последнего поколения способны эффективно выполнять подобные вычисления.

Пока неизвестно, когда именно PowerColor планирует выпустить видеокарты со встроенным NPU и планирует ли вовсе. Возможно, мы увидим первые модели уже в этом году. Также интересно будет посмотреть, встроит ли AMD технологию NPU в свои будущие видеокарты, которую ранее принесла в настольные компьютеры с процессорами Ryzen 8000G. Как отмечают эксперты, реализованные PowerColor с помощью NPU функции можно было бы реализовать и программными методами.

Говоря об основных преимуществах представленных сегодня мобильных процессоров Lunar Lake, Intel выделила 40-% улучшение энергоэффективности и ИИ-сопроцессор NPU 4, вычислительная мощность которого выросла втрое (по сравнению с Meteor Lake). Столь большого внимания NPU заслужил, так как благодаря его возросшей до 48 TOPS (триллионов операций в секунду) производительности процессоры Lunar Lake могут стать основой ноутбуков, соответствующих требованиям Microsoft к Copilot+ PC.

Давая определение Copilot+ PC, компания Microsoft установила нижнюю планку производительности NPU в 40 TOPS. Согласно её требованиям, процессоры, имеющие более высокую вычислительную мощность ИИ-блока, получат возможность работать со встроенными ИИ-функциями операционной системы Windows — в первую очередь, со спорной функцией Recall.

NPU-блок Lunar Lake оказывается выше этой планки в отличие от предшествующего Meteor Lake, имеющего производительность NPU на уровне 11,5 TOPS. Для того, чтобы получить необходимый уровень производительности, в NPU нового процессора Intel добавила дополнительные конвейеры — теперь их стало шесть вместо двух, а также увеличила частоты. При этом структурно NPU продолжают основываться на архитектуре Movidius Myriad X, представленной в 2018 году.

Однако несмотря на значительный рывок, Intel не удалось предложить NPU с самой высокой производительностью на рынке. Хотя Lunar Lake превосходит по этому параметру Qualcomm Snapdragon X Elite, обеспечивающий 45 TOPS, в то же время он проигрывает процессорам Ryzen AI 300, производительность NPU которых составляет 50 TOPS.

Но Intel добавляет ещё одну величину в уравнение, указывая на возможность использования для ИИ-задач XMX-движков графического ядра X^e2. Отдельно от NPU они способны обеспечить до 67 TOPS производительности. Суммарно же Intel говорит об общей ИИ-производительности на уровне 120 TOPS, где в этом числе учитывается ещё и мощность процессорных ядер.

Для практической иллюстрации нейросетевых возможностей Lunar Lake компания Intel измерила время выполнения 20 итераций в Stable Diffusion — новый процессор справился с задачей вчетверо быстрее Meteor Lake, затратив при этом лишь на четверть больше энергии.

Компания добавила, что в то время, как её конкуренты только готовятся выйти на рынок ПК с аппаратной поддержкой ИИ, она уже осуществляет масштабные поставки таких решений, поскольку процессоры Meteor Lake c NPU вышли в конце прошлого года. Отгрузки их преемников Lunar Lake начнутся в третьем квартале, и Intel ожидает, что они будут использоваться в более чем 80 различных моделях мобильных ПК от 20 производителей. В итоге за этот год Intel планирует выпустить на рынок более 40 млн процессоров серии Core Ultra, в которую войдут и представители семейства Lunar Lake.

Компания Nvidia заявила, что её потребительские графические ускорители GeForce RTX показывают куда более высокую производительность в задачах ИИ по сравнению со специализированными нейропроцессорами в новейших центральных. Последние, по мнению Nvidia, годятся разве что для базовых ИИ-задач.

Источник изображения: Nvidia

Компания Nvidia не так давно провела презентацию, в рамках которой показала способности своих потребительских видеокарт GeForce RTX в задачах искусственного интеллекта. По мнению Nvidia, её графические процессоры способны обеспечить более высокую производительность в приложениях ИИ по сравнению с выделенными нейропроцессорами (NPU), которыми оснащаются многие современные мобильные процессоры Intel, AMD, Apple и Qualcomm. Данные встроенные ИИ-ускорители предлагают производительность 10–45 TOPS (триллионов операций в секунду). По словам Nvidia, её видеокарты способны обеспечить от 100 до 1300 TOPS в зависимости от модели.

В подтверждение этого тезиса были приведены результаты тестов, в которых видеокарты GeForce RTX сравнивались с чипом Apple M3 Max, установленным на новейших MacBook Pro и обладающим NPU с производительностью 18 TOPS. В тестах оценивалась производительность в популярных приложениях для обработки изображений и видео с использованием возможностей ИИ, таких как Stable Diffusion, Arnold, Blender и других. Тест показал, что ноутбук с мобильной видеокартой GeForce RTX 4090 превосходит MacBook Pro с M3 Max более чем в 5 раз. Более того, даже мобильная видеокарта среднего уровня RTX 4050 превосходит тот же MacBook Pro более чем в 2 раза, по данным Nvidia. В среднем мобильная RTX 4090 превосходила M3 Max в 5 раз, а мобильная RTX 4050 — на 50–100 %.

В другом показательном тесте замерялась скорость работы с большими языковыми моделями (LLM). Здесь GeForce RTX 4090 также значительно опередила чип Apple даже при увеличении размера обрабатываемых пакетов данных. GeForce RTX 4090 оказался быстрее на 42 %, чем M3 Max.

По мнению Nvidia, результаты тестирования наглядно демонстрируют, что производительность графических процессоров в задачах ИИ может в разы превосходить специализированные нейропроцессоры (NPU). Компания даже предложила разделить аппаратные средства для ИИ на три категории — базовый ИИ, премиальный ИИ и тяжелый ИИ. Последняя категория относится к мощным серверным решениям на базе GPU, способным обеспечить тысячи TOPS. Потребительские видеокарты, по мнению Nvidia, способны справиться с премиальным ИИ, а вот встроенных NPU хватит лишь для базового ИИ.

Однако по мнению специалистов, пока рано говорить о том, что графические процессоры полностью вытеснят NPU в компьютерах, ориентированных на работу с ИИ. К примеру, Microsoft в своем определении к ПК с искусственным интеллектом (AI PC) требует наличия как GPU, так и NPU. Кроме того, не стоит забывать про энергоэффективность, так как мощные графические процессоры потребляют гораздо больше энергии по сравнению с оптимизированными нейропроцессорами.

В целом, по мере развития инструментов на основе ИИ и усложнения решаемых ими задач, вычислительных мощностей специализированных NPU может оказаться недостаточно. А значит, роль мощных графических процессоров будет только возрастать.

В конце отметим, что н е упустила Nvidia возможности сравнить свои видеокарты и с решениями конкурента. В тесте генерации изображений при помощи искусственного интеллекта настольная GeForce RTX 4090 показала преимущество почти в 3 раза над флагманским графическим ускорителем AMD Radeon RX 7900 XTX . При этом все модели линейки GeForce RTX начиная с RTX 4070 Super превзошли по производительности самую мощную видеокарту AMD.

Компания Qualcomm опубликовала короткое видео, в котором продемонстрировала, как ноутбук на базе процессора Snapdragon X Elite до 10 раз превзошёл по производительности лэптоп на базе процессора Intel Core Ultra 7 в задачах, связанных с работой ИИ-алгоритмов по генерации изображений.

Источник изображений: Qualcomm

Согласно описанию под видео, Snapdragon X Elite оснащён вспомогательным ИИ-сопроцессором (NPU) с производительностью 45 TOPS (триллионов операций в секунду). Именно производительность NPU и была продемонстрирована в видео поставщика. Быстродействие Snapdragon X Elite и Intel Core Ultra 7, который, как и все процессоры из серии Meteor Lake, также оснащён собственным NPU, проверяли в программах генерации изображений Stable Diffusion и GIMP. Позже в Qualcomm пояснили, что для тестов Snapdragon X Elite использовались Stable Diffusion и Fast Stable Diffusion версии 1.5. Система на базе Intel Core Ultra 7 также использовала Stable Diffusion 1.5 с плагинами OpenVINO Backend и user_guide_for_windos_users.

Видео начинается с тестов систем в Stable Diffusion. Ноутбук на базе Snapdragon X Elite завершил задачу по генерации картинки с фруктами за 7,25 секунды. В свою очередь лэптоп на базе Intel Core Ultra 7 справился с задачей за 22,26 секунды. Обеим системам задавалось одинаковое описание нужного изображения.

В генераторе GIMP перед обеими системами также была поставлена задача сгенерировать картинки, на этот раз с изображением льва, греющегося на солнышке. Для системы с Snapdragon X Elite использовался нативный плагин Qualcomm AI Stack. Ноутбук с чипом Snapdragon справился с генерацией 10 разных изображений львов за 12,12 секунды. В свою очередь машина на базе Intel при использовании плагина OpenVINO сгенерировала за то же время только одну картинку. По словам нашего выпускающего редактора Андрея Созинова, в настоящий момент находящегося на выставке MWC 2024, в рамках живой демонстрации ноутбук на базе Snapdragon X Elite в той же задаче генерации картинок в Stable Diffusion в три раза превзошёл систему на базе Intel Core Ultra 7.

Превосходство Snapdragon X Elite в задачах ИИ вполне ожидаемо, поскольку NPU в составе тех же чипов Intel Core Ultra обеспечивает производительность всего до 34 TOPS. Meteor Lake являются первыми процессорами Intel, оснащёнными NPU. Intel ранее заявила, что процессоры будущего поколения Arrow Lake (настольные) и Lunar Lake (мобильные) предложат в три раза более высокую ИИ-производительность по сравнению с Meteor Lake. В рамках выставки CES 2024 в начале января стало известно, что указанные чипы находятся на финальной стадии своей разработки и будут представлены позже в этом году.

Источник изображения: Tom's Hardware

Следует добавить, что несколько дней назад Snapdragon X Elite засветился в базе данных синтетического теста Geekbench, где продемонстрировал убедительно высокую производительность против x86-совместимых мобильных процессоров конкурентов.

В одном из будущих обновлений «Диспетчер задач» операционной системы Windows 11 получит поддержку ИИ-блоков NPU в составе процессоров AMD Ryzen 8040. Такая поддержка уже реализована в операционной системе для процессоров Intel Meteor Lake.

Источник изображений: TechPowerUp

Первое поколение ИИ-сопроцессоров NPU (Neural Processing Unit) на архитектуре XDNA появились в составе мобильных процессоров Ryzen 7040 (Phoenix). Спустя несколько месяцев компания Intel представила аналогичные NPU в составе своих мобильных процессоров Core Ultra (Meteor Lake). Недавно стало известно, что API DirectML в составе ОС Windows 11 получит врождённую поддержку NPU чипов Core Ultra. И хотя AMD уже успела выпустить даже настольные гибридные процессоры Ryzen 8000G, отдельные модели которых также оснащены NPU, а в скором времени на рынке появятся ноутбуки с мобильными процессорами Ryzen 8040, API DirectML операционной системы Windows 11 до сих пор не имеет поддержки NPU этих чипов.

ИИ-сопроцессоры (NPU) в составе чипов Intel Meteor Lake уже поддерживаются функцией мониторинга «Диспетчера задач» (на скриншоте ниже). В перспективе такая же поддержка будет реализована для процессоров Ryzen 8040. Об этом говорится в официальном блоге компании AMD.

«Поскольку ПК с поддержкой ИИ становятся более популярными, растёт и потребность в наличии инструментов системного мониторинга, который будет следить за работой новых NPU (нейронных сопроцессоров), доступных в составе отдельных моделей мобильных чипов Ryzen 8040. Блок нейронного процессора, также называемый встроенным ИИ-движком, способен увеличить время автономной работы системы за счёт разгрузки задач искусственного интеллекта, которые в противном случае выполнялись бы на центральном или графическом процессоре. AMD работает с Microsoft над внедрением инфраструктуры MCDM (модель вычислительного драйвера Microsoft) в мобильных процессорах серии Ryzen 8040 с поддержкой AMD NPU. MCDM — это производная от модели драйвера дисплея Windows (WDDM), предназначенная для вычислительных устройств без графического процессора, таких как NPU. MCDM позволяет NPU использовать существующую инфраструктуру управления устройствами графического процессора, включая планирование, управление питанием, управление памятью и отладку производительности с помощью таких инструментов, как диспетчер задач. MCDM служит фундаментальным уровнем, обеспечивающим плавное выполнение рабочих нагрузок ИИ на устройствах NPU», — говорится в блоге AMD.

Возможность мониторинга поведения приложения в режиме реального времени будет особенно полезна для владельцев ноутбуков, поскольку у пользователей появится возможность контролировать запуск определённых задач и регулировать настройки энергопотребления, чтобы увеличить время автономной работы устройства.

К сожалению, AMD не поясняет, планируется ли расширение поддержки «Диспетчера задач» Windows 11 на процессоры Ryzen 8000G и Ryzen 7040. Как уже говорилось выше, обе серии чипов также оснащены NPU, но на базе архитектуры XDNA первого поколения.

На сегодняшний день ИИ стал синонимом облачных платформ с чат-ботами, таких как Bing Chat, Google Bard, Windows Copilot и ChatGPT. Но Intel в преддверии официального запуска процессоров Meteor Lake 14 декабря попытается убедить потребителей в том, что ИИ может (и должен) работать локально на их ПК. Чипы нового поколения будут включать не только ядра ЦП и графическую подсистему, но и ИИ-сопроцессор NPU (Neural Processing Unit). К его задействованию Intel привлекла более 100 софтверных компаний, разрабатывающих более 300 ИИ-функций.

Источник изображений: Intel

Изменить представление клиентов об использовании ИИ может оказаться непростой задачей, так как большинство потребителей не задаётся вопросом о том, где — в облаке или на ПК — работает тот или иной ИИ-инструмент. Intel пытается изменить эту ситуацию, используя все возможные способы, от конференции Intel Innovation до финансовых отчётов. Компания призывает разработчиков использовать в своих приложениях сопроцессор искусственного интеллекта NPU и предлагает комплект разработчика с открытым исходным кодом OpenVINO.

Не все разработчики обязательно будут громко представлять все ИИ-возможности своего ПО. Но Intel выделила нескольких партнёров, которые готовы на такой шаг, и среди них — Adobe, Audacity, BlackMagic, BufferZone, CyberLink, DeepRender, MAGIX, Rewind AI, Skylum, Topaz, VideoCom, Webex, Wondershare Filmora, XSplit и Zoom.

Некоторые компании уже назвали преимущества от использования NPU. Так, Deep Render утверждает, что NPU позволит их алгоритму сжимать видео в пять раз эффективнее. Topaz Labs, которая использует ИИ для повышения качества фотографий и видео, планирует задействовать NPU для ускорения своих моделей глубокого обучения. XSplit применит NPU для повышения производительности приложения Vcam для удаления и манипулирования фоном картинки с веб-камеры.

Большинство компаний полагают, что, хотя NPU может быть наиболее энергоэффективным средством ускорения определённых функций ИИ, совместное использование NPU, GPU и CPU на локальном компьютере станет самым быстрым способом достижения поставленной цели. Фактически это соответствует точке зрения самой Intel.

Некоторые разработчики сочетают локальную обработку с облачным ИИ. Например, инструмент Generative Fill от Adobe использует облако, чтобы генерировать новые сцены на основе текстовых описаний пользователя, но применение этих сцен к изображению выполняется на ПК.

Безусловно, на волне бума ИИ Intel постарается сделать всё, чтобы для потребителя знаменитый слоган «Intel Inside» превратился в «AI Inside».

Чипы нового поколения Intel Meteor Lake будут включать в себя не только ядра центрального процессора, а также графической подсистемы, но и дебютировавший в этой линейке сопроцессор NPU (Neural Processing Unit), оптимизированный для алгоритмов искусственного интеллекта.

Источник изображений: Intel

Наличие NPU в чипах Intel Meteor Lake позволит ноутбукам локально, то есть собственными силами без обращения к облаку обрабатывать ПО на базе ИИ, например, Stable Diffusion или основанные на языковых моделях чат-боты без снижения производительности или чрезмерного потребления энергии. Эта подсистема помогла в восемь раз повысить энергоэффективность в рабочих нагрузках с ИИ. Intel уже демонстрировала работу этого сопроцессора на выставке Computex 2023, правда, тогда он назывался VPU (Versatile Processing Unit).

NPU входит в состав SoC-чиплета процессоров Intel Meteor Lake и включает в себя два движка Neural Compute Engine, каждый из которых можно занять собственной рабочей нагрузкой, или объединить усилия для одной крупной задачи. Разработчики стороннего ПО могут пользоваться API, соответствующими отраслевым стандартам, что упрощает внедрение платформы, уточнили в Intel. NPU является полностью независимой подсистемой — вплоть до того, что в «Диспетчере задач» Windows он отображается как отдельное вычислительное устройство наряду с центральным и графическим процессорами.

Возможности Meteor Lake в работе с алгоритмами ИИ компания Intel продемонстрировала на примере генератора изображений Stable Diffusion. Интегрированный графический процессор справился с эталонной задачей за 14,5 с, продемонстрировав потребление в 37 Вт. NPU обрабатывал ту же задачу несколько дольше — 20,7 с, но на это потребовались всего 10 Вт мощности. Есть возможность и объединить ресурсы — совместными усилиями GPU и NPU справились за 11,3 с, причём мощность оказалась ниже, чем в первом случае — 30 Вт.

Intel оказалась уже не первой в данном сегменте: на борту платформы Apple M1 присутствует подсистема Neural Engine для ИИ-алгоритмов, используемых при обработке изображений и ПО с дополненной реальностью; мобильные чипы серии AMD Ryzen 7000 «Phoenix» тоже располагают аналогичным кластером — производитель обозначает его как Ryzen AI.

QNAP представила сетевое хранилище TS-AI642 с 8-ядерным центральным процессором и нейронным процессором (NPU) производительностью 6 TOPS — последний служит ускорителем для ИИ-приложений. Система оборудована портом 2.5GbE с возможностью расширения до 10GbE через PCIe, есть также два выхода HDMI с поддержкой разрешения 4K.

Источник изображений: qnap.com

Центральным процессором в QNAP TS-AI642 служит 8-ядерный чип с кластерами Arm Cortex-A76 и Cortex-A55. NPU на 6 TOPS позволяет на 200 % увеличить производительность в ИИ-приложениях: в менеджере фотографий QuMagie, системах распознавания текста, системе полнотекстового поиска Qsirch; можно также повысить число камер, подключённых к работающим в реальном времени системе распознавания лиц QVR Face Insight и системе подсчёта людей QVR Human.

Сетевое хранилище QNAP TS-AI642 можно использовать как профессиональное оборудование видеонаблюдения с возможностью развернуть решение QVR Elite с 2 бесплатными каналами — или до 64 каналов при покупке дополнительной лицензии. Два порта HDMI позволяют подключать пару мониторов, на которых оперативно менять активные каналы. Сетевой интерфейс представлен встроенным портом 2.5GbE, но есть также слот PCIe 3.0, к которому можно подключить карту 10GbE.

На борту есть шесть отсеков для дисков, но, как напомнил производитель, можно также подключить блок расширения TL-D1600S с 12 дисковыми отсеками, увеличив тем самым дисковое пространство до 350 Тбайт (если это будут 22-Тбайт накопители в RAID-5). Поддерживается резервное копирование системных образов для защиты от вирусов-вымогателей, а безопасный удалённый доступ можно настроить с помощью виртуальной частной сети QVPN.