Nvidia ещё предстоит доказать, что она способна разрабатывать конкурентоспособные серверные процессоры, но состоявшийся игрок в лице AMD уже продемонстрировал, что воспринимает Arm-процессор Nvidia Grace Hopper Superchip серьёзно. Компания сравнила свои чипы EPYC с платформой Nvidia Grace и заявила о двухкратном преимуществе собственного продукта. Публикацию, конечно, следует воспринимать с некоторой долей скепсиса, но она даёт некоторое представление о Nvidia Grace.

Источник изображений: amd.com

Согласно проведённым AMD тестам, её процессоры EPYC 9754 (128 ядер) и 9654 (96 ядер) более чем вдвое превосходят 144-ядерный Nvidia Grace Superchip (он включает два 72-ядерных CPU Grace) по производительности в различных рабочих нагрузках, включая вычисления общего назначения, Java, транзакционные базы данных, системы поддержки принятия решений, веб-серверы, аналитику, кодирование видео и высокопроизводительные вычисления (HPC). Так, в тесте SPECpower_ssj2008 одно- и двухсокетные системы на AMD EPYC 9754 превзошли Nvidia Grace примерно в 2,50 и 2,75 раза соответственно, а двухсокетный сервер на AMD EPYC 9654 оказался быстрее аналога от Nvidia примерно в 2,27 раза.

Процессоры EPYC, уверяют в AMD, удерживают более 300 мировых рекордов как по производительности, так и по эффективности в различных тестах, включая бизнес-приложения, технические вычисления, управление данными, аналитику данных, цифровые службы, медиа и развлечения, а также инфраструктурные решения. Но следует учесть, что чипы Nvidia Grace Hopper предназначены для рабочих нагрузок, связанных с обучением и запуском систем искусственного интеллекта.

Процессоры AMD EPYC построены на архитектуре x86, что означает совместимость с широким ассортиментом ПО, а Nvidia Grace имеют архитектуру Arm, которая пока распространена меньше. AMD указывает, что с учётом высоких производительности, энергоэффективности и совместимости с существующим ПО чипы EPYC предлагают более низкую совокупную стоимость владения (Total Cost of Ownership — TCO), чем Nvidia Grace, но не упоминают, что в задачах, связанных с обучением и работой ИИ платформа «зелёных» может и сама предложить значительные преимущества относительно ускорителей AMD Instinct.

Решение Nvidia ежегодно выпускать новую архитектуру в сегменте ускорителей вычислений само по себе не является новостью, но когда о непреклонности следовать новому курсу заявляет сам основатель компании, это заслуживает отдельного упоминания. На этой неделе он заявил, что преемник Blackwell появится через год.

Источник изображения: Nvidia

До сих пор компания Nvidia, как поясняет The Verge, фактически выпускала новую вычислительную архитектуру раз в два года. Если Ampere дебютировала в 2020 году, то Hopper пришла ей на смену только в 2022 году, а Blackwell начнёт покорять рынок в конце 2024 года. На отчётном мероприятии Nvidia было сказано, что фактический выпуск чипов с архитектурой Blackwell уже осуществляется некоторое время, но в фазу поставок он перейдёт в текущем квартале, в третьем продолжит наращиваться, а клиенты получат соответствующие ускорители лишь в четвёртом квартале текущего года. «Мы получим большую выручку от реализации Blackwell в этом году», — заявил генеральный директор Nvidia Дженсен Хуанг (Jensen Huang).

Сторонние аналитики уже предполагали, что в следующем году Nvidia представит вычислительную архитектуру Rubin, а на недавнем квартальном мероприятии глава компании пояснил: «Могу заявить, что после Blackwell будет другой чип. Мы придерживаемся однолетнего ритма». Попутно будут синхронизированы с такой периодичностью и прочие анонсы Nvidia. По словам главы компании, будут выпускаться новые центральные процессоры, новые GPU, новые сетевые компоненты. В буквальном смысле, грядёт «гора новых чипов», как пояснил Дженсен Хуанг.

Решения на основе Blackwell, по словам генерального директора Nvidia, совместимы с системами для Hopper как электрически, так и механически. Это позволяет облегчить переход на новую аппаратную базу. В частности, с H100 можно будет перейти сначала на H200, которые начинают поставляться в этом квартале, а затем и на B100 (Blackwell), которые появятся позже. При этом существующее программное обеспечение на новых ускорителях Blackwell будет работать ещё эффективнее.

Глава Nvidia развеял опасения тех инвесторов, которые ожидали снижения спроса на ускорители поколения Hopper в преддверии начала поставок Blackwell. Предложение будет отставать от спроса до некоторого периода следующего года, как считает руководство, пока будет осуществляться переход на H200, а потом и на Blackwell. Клиенты закупают ускорители H100 десятками тысяч штук, сейчас архитектура Hopper обеспечивает основную часть роста выручки Nvidia в сегменте ускорителей вычислений. Спрос на Hopper продолжает увеличиваться и сейчас, по словам руководства компании.

В ожидании квартального отчёта Nvidia акции компании вчера всё же успели обновить исторический максимум, но издание Financial Times подтвердило опасения некоторых из инвесторов, которые ожидали, что клиенты компании могут воздержаться от покупки ускорителей поколения Hopper из-за стремления купить более производительные ускорители Blackwell, когда те появятся на рынке. По крайней мере, подобным образом решила поступить Amazon.

Источник изображения: Nvidia

Речь, как можно догадаться, идёт о подразделении AWS, которое занимается предоставлением облачных услуг сторонним клиентам Amazon. Как стало известно Financial Times, американский гигант принял решение воздержаться от дальнейшей закупки ускорителей серии Grace Hopper ради возможности купить более производительные Grace Blackwell после того, как те появятся на рынке. По меркам Amazon, разрыв по времени между выходами ускорителей этих двух поколений не был таким большим, чтобы имелся смысл покупать именно Grace Hopper.

Подчеркнём, что Grace Hopper (GH200) является только одной из разновидностей ускорителей вычислений Nvidia, которая сочетает графические и центральные процессоры на одной печатной плате, и Amazon по-прежнему готова покупать ускорители серии H100 поколения Hopper, которые лишены центральных процессоров Grace. Преемником GH200 является GB200, сочетающий пару «графических» процессоров B100 с центральным процессором Grace. По предварительным оценкам HSBC, каждый ускоритель GB200 будет стоить около $70 000, а готовая серверная система на их основе потянет на все $3 млн.

Недавно появилась информация, что сроки ожидания заказанных клиентам ускорителей вычислений Nvidia сокращаются. Это говорит о приближении спроса и предложения к состоянию равновесия. Впрочем, в свете откровений о планах Amazon движение к этому состоянию может наблюдаться не только благодаря увеличению поставок, но и за счёт снижения спроса. Кстати, аналитики Morgan Stanley убеждены, что существенной просадки в спросе на ускорители поколения Hopper не возникнет, поскольку даже если от их закупок откажутся крупные облачные провайдеры, имеющиеся объёмы будут перераспределены между корпоративными клиентами и представителями государственных структур, заинтересованных в закупках.

Если технические характеристики многих основанных на архитектуре Blackwell вычислительных решений были раскрыты Nvidia на конференции GTC 2024 в начале недели, то о сроках начала их поставок и примерной стоимости компания в целом не распространялась. В интервью телеканалу CNBC глава Nvidia признался, что непосредственно графический процессор Blackwell B200 оценивается в диапазоне от $30 000 до $40 000.

Источник изображения: Nvidia

Как поясняет источник, подобное позиционирование не слишком отличает Blackwell от предшественника Hopper, который оценивается в сумму от $25 000 до $40 000 за чип. Когда компания выводила на рынок H100, он оказался существенно дороже предшественника A100. Сейчас подобного прироста наблюдаться не будет, если опираться на заявления Дженсена Хуанга (Jensen Huang) в интервью CNBC. Он также заявил, что компания потратила около $10 млрд на разработку чипов семейства Blackwell и их интеграцию в вычислительную инфраструктуру.

Если судить по услышанным Bloomberg заявлениям Хуанга, которые он сделал на выступлении перед аналитиками в рамках GTC 2024, компания Nvidia оценивает ёмкость рынка серверных компонентов в $250 млрд в год на текущем уровне его развития. Из этой суммы основная часть придётся на закупки компонентов для систем искусственного интеллекта, и сама Nvidia рассчитывает на существенную долю этих средств. Финансовый директор компании Колетт Кресс (Colette Kress) скупо отметила, что поставки ускорителей поколения Blackwell начнутся до конца текущего года. Хотя Nvidia лучше подготовилась к высокому спросу на эти компоненты, дефицита избежать всё равно не удастся, по её мнению.

Формально объединяющий на одной плате ускоритель NVIDIA GH200 предназначается для серверного применения, но в интернет-магазине GPTshop можно приобрести рабочую станцию на его основе, которая использует операционную систему Ubuntu. Экзотическая рабочая станция оценивается минимум в $41 500, поскольку подобные ускорители сами по себе являются дорогостоящими компонентами.

Источник изображений: GPTshop

Напомним, что ускоритель GH200 сочетает центральный процессор Grace с архитектурой Arm с 72 ядрами, он поддерживает до 480 Гбайт памяти типа LPDDR5X. По соседству на плате расположился графический процессор H200, который имеет площадь кристалла 814 мм² и содержит 16 896 ядер CUDA, используемых для ускорения вычислений. Указанный интернет-магазин позволяет выбирать между модификацией ускорителя как с памятью HBM3, так и более новой версией с памятью типа HBM3E, которая ещё и предлагается в большем объёме.

Судя по фотографиям рабочей станции, сделанным в интерьере частного дома, система охлаждения этого необычного вычислительного решения строится на вентиляторах Noctua, которые напиханы буквально во все доступные посадочные места. В качестве опций рабочую станцию можно оснастить сетевыми платами Bluefield-3 и ConnectX-7, твердотельными накопителями объёмом до 8 Тбайт, а также жёсткими дисками объёмом до 30 Тбайт. Внутри системного блока может прописаться даже видеокарта GeForce RTX 4060, если пользователю потребуется работать с графикой на более серьёзном уровне. Впрочем, поскольку в качестве операционной системы может использоваться только Ubuntu, рассчитывать на игровое применение такой рабочей станции просто бессмысленно, учитывая концентрацию вычислительных ресурсов именно на стороне NVIDIA GH200.

В принципе, для определённых условий покупка такой рабочей станции примерно за $50 000 может считаться выгодной сделкой, если учесть, что ускоритель NVIDIA H100 предыдущего поколения сам по себе стоит $40 000. Клиенты GPTshop за чуть большие деньги просто получают готовую систему с более высокой производительностью.

Компания NVIDIA в рамках конференции SIGGRAPH 2023 представила вычислительную платформу GH200 Grace Hopper SuperChip нового поколения, представляющую собой двухчиповую систему из центрального и графического процессоров. Она послужит для построения НРС-систем и ИИ-платформ. В её основе используется новое поколение суперчипа NVIDIA Grace, оснащённого набортной высокопроизводительной памятью HBM3e, обеспечивающей доступ к информации со скоростью 5 Тбайт/с.

Источник изображения: NVIDIA

По словам NVIDIA, платформа GH200 Grace Hopper SuperChip нового поколения значительно превосходит по производительности своего предшественника. Один сервер на платформе GH200 Grace Hopper с двумя новыми суперчипами (то есть с двумя парами GPU+CPU) сможет предложить наличие 144 ядер Arm Neoverse, работающих в тандеме с 282 Гбайт передовой набортной высокопроизводительной памяти HBM3e. Такая конфигурация обеспечивает в 3,5 раза больше памяти и в три раза больше пропускной способности, чем предшественник. Производительность подобной платформы с парой суперчипов составляет 8 петафлопс.

«Для удовлетворения растущего спроса на генеративный ИИ центрам обработки данных требуются вычислительные платформы с особыми возможностями. Этот вопрос готова решить новая платформа GH200 Grace Hopper SuperChip, в которой применяется технология набортной памяти HBM3e с повышенной пропускной способностью. Она предлагает возможность объединения нескольких GPU для объединения производительности, а также позволяет создавать серверные системы, которые можно легко развернуть в любом месте центра обработки данных», — прокомментировал глава NVIDIA Дженсен Хуанг (Jensen Huang).

Суперчип Grace Hopper, лежащий в основе новой платформы, может быть объединён с такими же суперчипами с помощью шины NVIDIA NVLink. Эта высокоскоростная технология предоставляет графическому процессору полный доступ к памяти центрального процессора, обеспечивая суммарно 1,2 Тбайт быстрой памяти в случае конфигурации с двумя суперчипами. Это позволяет развёртывать крупномасштабные вычислительных системы, необходимые для решения комплексных задач, связанных с генеративными ИИ.

Память стандарта HBM3e, использующаяся в составе платформы GH200 Grace Hopper SuperChip нового поколения, обладает на 50 % более высокой производительностью по сравнению с HBM3 и обеспечивает совокупную пропускную способность на уровне 10 Тбайт/с в системе с несколькими платформами GH200 Grace Hopper SuperChip. Это позволяет платформе запускать в 3,5 раза более крупные ИИ-модели и обеспечивает значительный прирост общей производительности за счёт увеличенной в три раза пропускной способности памяти по сравнению с предшественником.

В NVIDIA отмечают, что на фоне растущего спроса на платформу Grace Hopper ведущие производители уже начали предлагать системы, построенные на базе суперчипа Grace Hopper. Новая платформа Grace Hopper SuperChip следующего поколения с памятью HBM3e полностью совместима со спецификациями серверной модульной архитектуры NVIDIA MGX, которая была представлена на выставке Computex 2023. Такая совместимость гарантирует, что любой производитель серверных решений сможет быстро и с минимальными затратами интегрировать Grace Hopper в более чем 100 вариантов серверов, представленных на рынке.

Внедрние новой платформы NVIDIA ведущими производителями серверных систем начнётся во втором квартале 2024 года.

Китайский YouTube-блогер Geekerwan провёл интересный эксперимент с ускорителем вычислений NVIDIA H100 Hopper, проверив его игровую производительность. Несмотря на наличие очень производительного графического процессора, ускоритель показал очень посредственные результаты, что в целом и не удивительно — это решения для совершенно других задач.

Источник изображений: YouTube / Geekerwan

Следует сразу отметить, что NVIDIA H100 Hopper не является видеокартой в привычном понимании. Это ускорители GPGPU, обеспечивающий возможность выполнения неспециализированных вычислений на графических процессорах в составе серверных систем. Стоимость каждого такого ускорителя составляет на данный момент почти $42 тыс.

В составе NVIDIA H100 Hopper используется урезанный графический процессор GH100 с 14 592 ядрами CUDA. Карта получила 80 Гбайт высокопроизводительной памяти HBM3 с поддержкой 5120-битной шины памяти (пять стеков памяти HBM соединяются с графическим процессором посредством 1024-битных шин памяти). Таким образом, здесь обеспечивается пропускная способность до 2 Тбайт/с.

В виде карты расширения ускоритель оснащается пассивной системой охлаждения, поэтому для обеспечения отвода потенциальных 350 Вт тепловой энергии, которая генерируется NVIDIA H100 Hopper, Geekerwan использовал внешний вентилятор, который был подсоединён к задней части испытуемого. Также отметим, что NVIDIA H100 Hopper выпускается ещё и в виде SXM-ускорителей, которые обладают TDP 700 Вт.

Подключить NVIDIA H100 Hopper к обычному ПК не так просто, как может показаться на первый взгляд. Хотя ускоритель выполнен в виде карты расширения с поддержкой интерфейса PCIe 5.0, которого нет даже у видеокарт GeForce RTX 40-й серии, он не оснащён внешними видеоразъёмами для вывода изображения. Для возможности его использования в составе обычного ПК требуется наличие второй видеокарты с видеовыходами, а также некоторые манипуляции с ПО. Последнее также разблокирует у него поддержку технологии трассировки лучей.

В тесте 3DMark TimeSpy ускоритель NVIDIA H100 Hopper продемонстрировал производительность чуть ниже, чем у интегрированной графики Radeon 680M мобильных процессоров Ryzen. В играх ситуация оказалась не лучше. Система не смогла заставить карту работать при TDP выше 100 Вт, поэтому её быстродействие оказалось на очень низком уровне. В игре Red Dead Redemption 2 при разрешении 1440p ускоритель продемонстрировал 8 кадров в секунду, а при понижении настроек качества изображения и разрешения до 1080p — около 27–28 кадров в секунду.

Столь низкая игровая производительность объясняется тем, что в составе графического процессора NVIDIA H100 Hopper присутствуют лишь 24 блока обработки растровой графики. Для сравнения, в составе игровой GeForce RTX 4090 их 160 штук. Кроме того, для таких ускорителей просто нет оптимизированных игровых драйверов.

NVIDIA H100 Hopper при любых обстоятельствах не является игровой видеокартой. Производитель об этом позаботился. Указанный эксперимент лишь в очередной раз призван наглядно это продемонстрировать.

Компания NVIDIA сделала себе имя в сегменте высокопроизводительных вычислений преимущественно за счёт ускорителей на базе графических процессоров. Это не мешает ей расширять ассортимент предложений для сегмента суперкомпьютеров за счёт центральных процессоров собственной разработки. Именно на их основе будет построен суперкомпьютер Isambard 3, который может войти в тройку самых энергоэффективных в мире.

Источник изображения: NVIDIA

Правда, как следует оговориться, выборка сделана среди суперкомпьютерных систем, не использующих ускорители вычислений на основе графических процессоров. По словам представителей NVIDIA, собираемый для Бристольского университета при участии Hewlett Packard Enterprise и других партнёров суперкомпьютер будет обходиться всего 270 кВт потребляемой мощности при пиковой производительности вычислений с точностью FP64 на уровне 2,7 Пфлопс. Это сделает его в шесть раз более эффективным по соотношению быстродействия и потребляемой мощности по сравнению с предшественником — Isambard 2. Подобное сочетание характеристик позволит Isambard 3 войти в тройку наиболее энергоэффективных суперкомпьютеров мира, не использующих специализированные ускорители.

Система Isambard 3 будет введена в строй весной следующего года, и позволит учёным Бристольского университета в Великобритании проектировать сложные энергетические установки, анализировать данные метеорологических исследований и заниматься поиском лекарственных средств, которые помогут в борьбе с болезнью Паркинсона, остеопорозом и коронавирусом COVID-19. В основе суперкомпьютера будут лежать 384 центральных процессора NVIDIA Grace с Arm-совместимой архитектурой. Напомним, что данные чипы способны предложить до 144 ядер (на двух кристаллах).

Когда осенью прошлого года американские власти сформулировали ограничения по производительности ускорителей вычислений, поставляемых в Китай, компания NVIDIA достаточно быстро выпустила на местный рынок специальный чип A800, который являлся аналогом полноценного A100, но предусматривал ограничение по скорости передачи информации. Теперь очередь дошла и до архитектуры Hopper — китайским клиентам NVIDIA предложила ускорители H800.

NVIDIA H100 в одном из вариантов исполнения. Источник изображения: NVIDIA

Что именно ограничено на уровне характеристик относительно H100, агентство Reuters не уточняет, но даёт понять, что главным критерием снова стала скорость передачи информации. Осенью были запрещены поставки в Китай ускорителей вычислений NVIDIA, по своей производительности соответствующих A100 и H100, причём в последнем случае сама NVIDIA сохраняет право отгружать их китайским клиентам до сентября текущего года. По всей видимости, это не помешало ей заблаговременно представить адаптированный под новые требования ускоритель H800, у которого ограничена скорость передачи информации.

По словам представителей NVIDIA, ускорители модели H800 уже используются в центрах обработки данных китайских компаний Alibaba Group, Baidu и Tencent Holdings. По данным китайских источников, скорость передачи данных у H800 снижена примерно в два раза относительно полноценного H100. Сотрудники NVIDIA не стали конкретизировать, в чём заключаются отличия, но пояснили, что «семейство продуктов 800 полностью соответствует требованиям правил в области экспортного контроля».