Сегодня 25 сентября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → gaudi 3

Intel выпустила серверные 128-ядерные процессоры Xeon 6 Granite Rapids и ИИ-ускорителя Gaudi 3

Компания Intel сообщила о выпуске новых серверных процессоров серии Xeon 6 (Granite Rapids), которые располагают исключительно P-ядрами. Также компания объявила о выпуске специализированного ИИ-ускорителя Gaudi 3.

 Источник изображений: Intel

Источник изображений: Intel

Granite Rapids производятся по техпроцессу Intel 3 (5 нм). В серию вошли пять моделей с количеством ядер от 72 до 128, базовой частотой от 2,0 до 2,7 ГГц и максимальной частотой 3,9 ГГц (на одном ядре), а также от 3,2 до 3,7 ГГц на всех ядрах. Процессоры получили от 432 до 504 Мбайт кеш-памяти L3 и обладают заявленным показателем TDP от 400 до 500 Вт.

Чипы поддерживают как однопроцессорные, так и двухпроцессорные сборки, имеют поддержку 12-канальной ОЗУ DDR5-6400 и MRDIMM-8800, а также оснащены поддержкой 96 линий PCIe.

Intel заявляет, что Xeon 6 отличаются от предшественников увеличенным числом ядер, удвоенной пропускной способностью памяти и возможностями ускорения ИИ, встроенными в каждое ядро. Эти чипы разработаны для удовлетворения требований производительности ИИ — от Edge-систем до центров обработки данных и облачных сред.

Intel заявляет, что новые Xeon 6 более чем вдвое быстрее процессоров Epyc Genoa (максимально — 96 ядер Zen 4) в широком спектре вычислительных нагрузок и более чем впятеро быстрее в нейросетевых задачах.

В свою очередь специализированные ИИ-ускорители Gaudi 3 специально оптимизированы для работы с генеративными моделями. В их составе используются 64 тензорных процессора (TPC) и восемь движков матричного умножения (MME) для ускорения вычислений глубоких нейронных сетей. Также ускорители Gaudi 3 получили 128 Гбайт набортной памяти HBM2 и поддерживают до 24 портов Ethernet 200 Гбит для масштабируемых сетей. Для Gaudi 3 заявляется бесшовная совместимость с фреймворком PyTorch и усовершенствованными трансформными и диффузионными моделями Hugging Face.

Intel заявляет, что новые ИИ-ускорители Gaudi 3 обеспечивают до 20 процентов большую пропускную способность и двукратное улучшение соотношения цены и производительности по сравнению с H100 для вывода модели LLaMa 2 70B.

Intel представила ИИ-ускорители Gaudi 3, которые громят NVIDIA H100 по производительности и энергоэффективности

Сегодня на мероприятии Vision 2024 компания Intel представила множество новых продуктов, среди которых ИИ-ускорители Gaudi 3. По заявлениям создателей, они позволяют обучать нейросети в 1,7 раза быстрее, на 50 % увеличить производительность инференса и работают на 40 % эффективнее конкурирующих H100 от NVIDIA, которые являются самыми популярными на рынке.

 Источник изображений: Intel

Источник изображений: Intel

Gaudi 3 — третье поколение ускорителей ИИ, появившихся благодаря приобретению Intel в 2019 году компании Habana Labs за $2 млрд. Массовое производство Gaudi 3 для OEM-производителей серверов начнётся в третьем квартале 2024 года. Помимо этого, Gaudi 3 будет доступен в облачном сервисе Intel Developer Cloud для разработчиков, что позволит потенциальным клиентам испытать возможности нового чипа.

Gaudi 3 использует ту же архитектуру и основополагающие принципы, что и его предшественник, но при этом он выполнен по более современному 5-нм техпроцессу TSMC, тогда как в Gaudi 2 использованы 7-нм чипы. Ускоритель состоит из двух кристаллов, на которые приходится 64 ядра Tensor Processing Cores (TPC) пятого поколения и восемь матричных математических движков (MME), а также 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Вокруг установлено 128 Гбайт HBM2e с пропускной способностью 3,7 Тбайт/с. Также Gaudi 3 укомплектован 24 контроллерами Ethernet RDMA с пропускной способностью по 200 Гбит/с, которые обеспечивают связь как между ускорителями в одном сервере, так и между разными серверами в одной системе.

Gaudi 3 будет выпускаться в двух формфакторах. Первый — OAM (модуль ускорителя OCP) HL-325L, использующийся в высокопроизводительных системах на основе ускорителей вычислений. Этот ускоритель получит TDP 900 Вт и производительность 1835 терафлопс в FP8. Модули OAM устанавливаются по 8 штук на UBB-узел HLB-325, которые можно объединять в системы до 1024 узлов. По сравнению с прошлым поколением, Gaudi 3 обеспечивает вдвое большую производительность в FP8 и вчетверо — в BF16, вдвое большую пропускную способность сети и 1,5 раза — памяти.

OAM устанавливаются в универсальную плату, поддерживающую до восьми модулей. Модули и платы уже отгружены партнёрам, но массовые поставки начнутся лишь к концу года. Восемь OAM на плате HLB-325 дают производительность 14,6 петафлопс в FP8, остальные характеристики масштабируются линейно.

Второй формфактор — двухслотовая карта расширения PCIe с TDP 600 Вт. По заявлениям Intel, несмотря на заметно меньший TDP этой версии, производительность в FP8 осталась той же — 1835 терафлопс. А вот масштабируемость хуже — модули рассчитаны на работу группами по четыре. Gaudi 3 в данном формфакторе появятся в 4 квартале 2024 года.

Dell, HPE, Lenovo и Supermicro уже поставили клиентам образцы систем с Gaudi 3 с воздушным охлаждением, а в ближайшее время должны появится модели с жидкостным охлаждением. Массовое производство начнётся лишь в 3 и 4 кварталах 2024 года соответственно.

Intel также поделилась собственными тестами производительности, сравнив Gaudi 3 с системами на основе H100. По словам Intel, Gaudi 3 справляется с обучением нейросетей в 1,5–1,7 раза быстрее. Сравнение велось на моделях LLAMA2-7B и LLAMA2-13B на системах с 8 и 16 ускорителями, а также на модели GPT 3-175B на системе с 8192 ускорителями. Intel не стала сравнивать системы на Gaudi 3 с системами на H200 от NVIDIA, у которого на 76 % больше памяти, а её пропускная способность выше на 43 %.

Intel сравнила Gaudi 3 с H200 в инференсе, но уже не кластерами, а отдельным модулем. В пяти тестах с LLAMA2-7B/70B производительность Gaudi 3 оказалась на 10–20 % ниже, в двух равна и в одном чуть выше H200. При этом Intel заявляет о 2,6-кратном преимуществе в энергопотреблении по сравнению с H100.

Intel столкнулась с огромным спросом на ускорители вычислений Gaudi2 в Китае

В июле этого года компания Intel объявила о начале поставок в Китай ускорителей вычислений Gaudi2, которые соответствуют актуальным ограничениям США в области экспортного контроля. Как сообщают тайваньские источники, данный вид продукции оказался очень востребован в КНР, и теперь Intel приходится заказывать дополнительное количество чипов у компании TSMC, чтобы удовлетворить спрос.

 Источник изображения: Intel

Источник изображения: Intel

Напомним, что с осени прошлого года на поставку ускорителей вычислений в Китай действуют ограничения со стороны США, распространяющиеся на любые изделия, использующие технологии американского происхождения. Являющаяся лидером сегмента компания NVIDIA в сжатые сроки адаптировала для китайского рынка ускорители A800, у которых по сравнению с A100 была уменьшена скорость обмена данными, позже приступив к поставкам в Китай аналогичным образом адаптированных ускорителей H800. Руководство AMD тоже недавно заявило, что компания готова предлагать китайским клиентам ускорители вычислений, адаптированные с учётом действующих санкций США.

Как известно, ускорители NVIDIA оказались в дефиците по всему миру из-за резко возросшего спроса и неспособности TSMC проводить тестирование и упаковку профильных чипов в необходимых количествах. Китай тоже не смог избежать этой участи, а санкции США только усугубили ситуацию. Как сообщает South China Morning Post со ссылкой на опрошенные известным таблоидом DigiTimes отраслевые источники, ускорители Gaudi2 на китайском рынке пользуются высоким спросом с момента начала поставок в июле, и теперь Intel вынуждена обратиться к TSMC за увеличением объёмов выпуска.

В первом поколении ускорители Gaudi использовали услуги TSMC не только для производства вычислительных чипов по 16-нм технологии, но и при упаковке с использованием технологии CoWoS, поэтому пока сложно судить, в какой степени Intel зависит от услуг TSMC при экспансии производства Gaudi2. Китайские компании в условиях санкций США готовы скупать любые вычислительные решения, которые позволят сократить отставание от западных конкурентов в сфере развития актуальных сейчас систем искусственного интеллекта.

Intel анонсировала ИИ-ускорители Gaudi2 для Китая и будет поставлять их местным облачным провайдерам, несмотря на санкции

Компания Intel на этой неделе провела пресс-конференцию в Пекине, где был анонсирован выход ускорителей вычислений Habana Gaudi2 на китайский рынок. Чтобы соответствовать требованиям американских правил экспортного контроля, версия Gaudi2 для китайских облачных провайдеров и производителей серверов будет модифицирована, сообщает DigiTimes.

 Источник изображения: Intel

Источник изображения: Intel

Компания NVIDIA ещё осенью прошлого года успела быстро перестроиться под требования американских санкций, начав поставки в Китай специально модифицированных ускорителей вычислений A800 и H800, обладающих усечённым быстродействием. По некоторым данным, Intel собирается последовать примеру NVIDIA и предложить клиентам в Китае, включая Inspur, New H3C и xFusion, адаптированные версии своих ускорителей.

Следует напомнить, что ускорители Gaudi2 в Европе и США начали предлагаться в мае прошлого года, ко второму полугодию Supermicro смогла построить на их основе серверную систему для обучения искусственного интеллекта. Программное обеспечение для этих ускорителей было недавно адаптировано под использование популярных сейчас больших языковых моделей (LLM).

На рынке Китая ускорители Habana Gaudi2 могут стать альтернативой решениям NVIDIA в ряде выполняемых задач, поскольку последняя из компаний не в силах сейчас угнаться за спросом на свою продукцию во всём мире, а в Китае ситуация ещё и усугубляется санкциями. Впрочем, за год присутствия этих ускорителей Intel на рынках США и Европы особого распространения они получить не успели, но в Китае именно санкции против продукции AMD и NVIDIA могут косвенно способствовать успеху изделий Intel. В линейке продукции этой компании ускорители Habana Gaudi2 лучше всего адаптированы под работу с большими языковыми моделями. К 2025 году Intel рассчитывает представить более конкурентоспособные ускорители вычислений с архитектурой, заимствованной у GPU.

Изначально основанная в 2016 году Habana была израильским стартапом, прежде чем в 2019 году её купила Intel. Китайские клиенты, как выясняется, успели познакомиться с разработками Habana ещё до этого момента, поэтому для них ускорители Gaudi2 не будут новинками в полном смысле.


window-new
Soft
Hard
Тренды 🔥
Figma перезапустила ИИ-помощника дизайнера приложений под другим именем — прежний копировал софт Apple 4 ч.
Еженедельный чарт Steam: футбольный симулятор EA Sports FC 25 ещё до официального релиза отнял лидерство у Warhammer 40,000: Space Marine 2 5 ч.
RCloud by 3data запустила облачный кластер в дата-центре Miran в Санкт-Петербурге 5 ч.
HP внедрит ИИ в принтеры — Print AI улучшит печать веб-страниц и не только 5 ч.
Dino Crisis, Onimusha, Darkstalkers и другие: Capcom поинтересовалась у фанатов, какие игры «прокачать» после Dead Rising Deluxe Remaster 5 ч.
Ubisoft отменила закрытый показ Assassin’s Creed Shadows для прессы и в последний момент отказалась от участия в Tokyo Game Show 2024 7 ч.
Warhammer 40,000: Rogue Trader получила сюжетное дополнение Void Shadows, а Owlcat Games взялась за работу над следующим большим патчем 8 ч.
«Диспетчер задач» в Windows 11 начнёт показывать больше информации о накопителях ПК 8 ч.
«Окончательно возрождён»: геймплейный трейлер Хэйхати Мисимы раскрыл дату выхода легендарного бойца в Tekken 8 10 ч.
Ловушка для геймеров-пиратов: вредонос ClickFix маскируется под CAPTCHA для заражения ПК 10 ч.
Клавиатуры SteelSeries Apex Pro Gen 3 получили передовые переключатели OmniPoint 3.0 и новый звук клавиш 5 ч.
Sony выпустила 27-дюймовый OLED-монитор INZONE M10S для киберспорта — 1440p и 480 Гц 5 ч.
Новая статья: Обзор и тестирование корпуса Zalman P50 DS White: «аквариум» с подсветкой 5 ч.
Intel выпустила серверные 128-ядерные процессоры Xeon 6 Granite Rapids и ИИ-ускорителя Gaudi 3 5 ч.
Первые обзоры Intel Lunar Lake — отличная автономность, средняя производительность, но неплохие возможности для игр 6 ч.
Газ, электричество, вода: бывшую штаб-квартиру Compaq в Техасе превратят в ИИ ЦОД 7 ч.
Blue Origin впервые испытала вторую ступень ракеты New Glenn статическим прожигом ракетных двигателей 9 ч.
Altera поделилась подробностями об FPGA Agilex 3 и анонсировала предстоящий релиз Quartus Prime Pro 9 ч.
Складной смартфон Motorola Razr 50s представлен официально, хотя сделала это не Motorola 9 ч.
Netgear представила маршрутизаторы Nighthawk с Wi-Fi 7 стоимостью от $230 до $500 10 ч.