Neo Semiconductor придумала память 3D X-AI, которая умеет обрабатывать ИИ-нагрузки без GPU

Компания NEO Semiconductor представила чипы 3D X-AI, призванные заменить память HBM, которая используется в современных ускорителях на базе графических процессоров. Память типа 3D DRAM имеет встроенный модуль обработки ИИ, который принимает на себя потоки данных, не требующие математических вычислений. Это способствует решению проблемы, связанной с шириной шины между процессором и памятью, помогая повысить производительность и эффективность систем ИИ.

Источник изображений: NEO Semiconductor

В основе чипа 3D X-AI располагается слой нейронной схемы, на котором обрабатываются данные из 300 слоёв памяти на том же кристалле. Плотность памяти на компоненте в восемь раз превышает аналогичный показатель текущей HBM, а 8000 нейронных схем обеспечивают 100-кратный рост производительности за счёт обработки данных прямо в памяти. Плюсом к тому радикально уменьшается объём передаваемых через интерфейс данных и загрузка GPU, за счёт чего потребление энергии ускорителем снижается на 99 %.

«Существующие чипы для ИИ впустую расходуют значительные ресурсы производительности и мощности из-за архитектурной и технологической неэффективности. Чипы ИИ сегодняшней архитектуры хранят данные в HBM и делегируют выполнение всех вычислений графическому процессору. Эта архитектура разделённых хранения и обработки данных неизбежно превращает шину в узкое место в аспекте производительности. Передача огромных объёмов данных через шину сокращает производительность и очень увеличивает потребление энергии. 3D X-AI может осуществлять обработку данных ИИ в каждом чипе HBM. Это может значительно сократить объём данных, передаваемых между HBM и графическим процессором, чтобы повысить производительность и существенно снизить потребление энергии», — рассказал основатель и гендиректор NEO Semiconductor Энди Сю (Andy Hsu).

Один кристалл 3D X-AI имеет ёмкость 128 Гбайт и предлагает скорость обработки данных ИИ 10 Тбайт/с. Двенадцать кристаллов в одном корпусе HBM могут обеспечить объём в 1,5 Тбайт памяти с пропускной способностью 120 Тбайт/с. Разработчики оборудования для обработки ИИ изучают решения, способные повысить их пропускную способность и скорость работы — полупроводники становятся быстрее и эффективнее, а шина между компонентами часто оказывается узким местом. Intel, Kioxia и TSMC, например, работают над оптическими технологиями, призванными ускорить связь между компонентами на материнской плате. Перенеся часть обработки рабочей нагрузки ИИ с графического процессора в HBM, решение NEO Semiconductor может сделать ускорители намного эффективнее, чем сегодня.