Американская федеральная корпорация TVA (Tennessee Valley Authority) одобрила выделение суперкомпьютеру Colossus компании xAI Илона Маска (Elon Musk) мощности в 150 МВт, что позволит запустить объект почти в полную силу.

Источник изображения: x.com/xai

Вычислительный кластер для систем искусственного интеллекта xAI Colossus сможет запустить почти все свои 100 000 ускорителей Nvidia — ранее число работающих компонентов ограничивалось доступной для предприятия мощностью. Огромный запрос объекта на электричество вызывал обеспокоенность у местных заинтересованных сторон относительно воздействия на энергосистему всего региона. Компания Илона Маска xAI впервые запустила суперкомпьютер в июле 2024 года, и уже тогда ему требовалось значительно больше энергии, чем было доступно — первоначально было выделено лишь 8 МВт.

Команда Маска попыталась восполнить пробел, используя собственные источники питания, и ещё до конца лета местная ресурсоснабжающая компания Memphis Light, Gas & Water (MLGW) модернизировала действующую подстанцию, чтобы обеспечить объекту 50 МВт, но и этого было мало. Для одновременного запуска всех 100 000 ИИ-ускорителей требуется примерно 155 МВт мощности, то есть с выделенной властями квотой его потребности будут почти удовлетворены.

MLGW и TVA провели работу с местными жителями и заверили их, что возросший уровень энергопотребления со стороны объекта xAI не окажет отрицательного влияния на надёжность электроснабжения в районе Мемфиса. Гендиректор MLGW Дуг Макгоуэн (Doug McGowen) отметил, что при новой квоте мощность остаётся в пределах прогнозируемой пиковой нагрузки компании, и в случае необходимости у TVA будет закуплена дополнительная мощность.

Чтобы удовлетворить возросшие с развитием отрасли ИИ потребности в электроэнергии, крупные технологические компании, включая Amazon, Google, Microsoft и Oracle, начали вкладываться в альтернативные источники, в том числе в ядерную энергетику. Однако последняя сможет быть развернута не менее чем через пять лет. До этого времени потребителям придётся использовать для питания центров обработки данных существующую инфраструктуру, что вызывает опасения по поводу её способности справляться с растущим спросом.

Стартап Илона Маска (Elon Musk) в области искусственного интеллекта xAI намеревается колоссально расширить свой суперкомпьютер Colossus — до более чем 1 млн графических процессоров. Это поможет сократить разрыв с такими конкурентами как Google, OpenAI и Anthropic, сообщает Financial Times.

Источник изображения: x.com/xai

Colossus собрали в этом году всего за три месяца — сейчас он включает массив из 100 тыс. ускорителей искусственного интеллекта Nvidia, и по данному критерию это крупнейший суперкомпьютер в мире. Он используется для обучения моделей ИИ для чат-бота Grok, который менее продвинут и имеет меньше пользователей, чем OpenAI ChatGPT или Google Gemini.

Работы по расширению объекта в теннессийском Мемфисе в десять раз уже начались, сообщили в Торговой палате агломерации. Помощь в реализации проекта окажут Nvidia, Dell и Supermicro; будет сформирована «специальная оперативная группа xAI».

Компании, работающие в области ИИ, активно пытаются обеспечить для себя поставки ускорителей или доступ к центрам обработки данных — обучение и запуск больших языковых моделей требует серьёзной вычислительной мощности. Так, ответственная за ChatGPT компания OpenAI получила от Microsoft инвестиции на сумму более $14 млрд; вложения создавшей чат-бот Claude компании Anthropic от Amazon составили $8 млрд — гигант электронной коммерции также пообещал партнёру доступ к новому кластеру из более чем 100 тыс. ИИ-ускорителей собственной разработки.

Маск решил не формировать партнёрских проектов, а с нуля построить самодостаточную компанию xAI, которая недавно привлекла очередные $5 млрд при оценке в $45 млрд. Проект метит в конкуренты OpenAI, в создании которой в 2015 году бизнесмен также участвовал — недавно он подал на на неё в суд с требованием запретить реорганизацию в коммерческую компанию.

Гендиректор Nvidia Дженсен Хуанг (Jensen Huang) ранее заявил, что объекты масштаба Colossus обычно строятся не три месяца, а три года. «Мы не просто лидируем; мы беспрецедентными темпами ускоряем прогресс, обеспечивая стабильность [электро]сети с использованием технологии Megapack», — заявил Брент Майо (Brent Mayo), старший менеджер xAI по строительству и инфраструктуре, когда компанию попытались обвинить в манипуляциях с разрешительной строительной документацией и чрезмерными требованиями к региональной энергосистеме.

Илон Маск (Elon Musk) стремится стать лидером в гонке по созданию нейросетей следующего поколения. Для этого он планирует вдвое расширить ИИ-кластер xAI Colossus, который в настоящее время включает в себя 100 тыс. графических ускорителей Nvidia H100.

Источник изображения: servethehome.com

Эта новость пришла от Nvidia, а позднее сам Маск подтвердил её в своём аккаунте в соцсети X, написав, что ИИ-суперкомпьютер Colossus близок к тому, чтобы вместить 200 тыс. ускорителей Nvidia H100 и H200, которые разместятся в здании площадью более 7000 м² в Мемфисе, штат Теннесси. Суперкомпьютер Colossus примечателен тем, что сотрудники xAI сумели собрать его и ввести в эксплуатацию в крайне сжатые сроки. Обычно на создание суперкомпьютеров уходят годы, но в данном случае, по словам Маска, весь процесс от начала до конца занял 122 дня.

При этом принадлежащая миллиардеру xAI потратила на создание Colossus не менее $3 млрд, поскольку сейчас он состоит из 100 тыс. ускорителей Nvidia H100, которые обычно стоят в районе $30 тыс. за штуку. Теперь же бизнесмен намерен модернизировать кластер за счёт использования более производительных ускорителей H200, каждый из которых стоит около $40 тыс. В конечном счёте Маску придётся потратить ещё несколько миллиардов долларов, не говоря уже о затратах на электроэнергию для поддержания работоспособности кластера. Конечная цель бизнесмена состоит в том, чтобы к лету следующего года нарастить количество используемых ускорителей до 300 тыс. единиц, причём для дальнейшей модернизации планируется задействовать новейшие Nvidia Blackwell B200.

Маск делает большую ставку на ИИ-ускорители Nvidia с целью дальнейшего развития чат-бота Grok от xAI и других технологий на базе нейросетей. Ранее на этой неделе в интернете появилось видео, демонстрирующее ИИ-кластер xAI изнутри, в котором можно увидеть множество серверных стоек с ускорителями Nvidia.

Новый дорогой проект Илона Маска (Elon Musk) — суперкомпьютер xAI Colossus для систем искусственного интеллекта, — впервые приоткрыл двери для общественности. На объект были допущены журналисты ресурса ServeTheHome. Они в подробностях рассказали о кластере на серверах Supermicro, сборка которого заняла 122 дня, — он работает уже без малого два месяца.

Источник изображения: servethehome.com

Серверы с графическими процессорами построены на платформе Nvidia HGX H100. Каждый из них включает восемь ускорителей Nvidia H100 и универсальную систему жидкостного охлаждения Supermicro 4U с поддержкой горячей замены компонентов для каждого графического процессора в отдельности. Серверы установлены в стойках по восемь штук — получаются 64 ускорителя на стойку. В нижней части каждой стойки находится ещё один блок Supermicro 4U с резервной насосной системой и системой мониторинга стойки.

Стойки сгруппированы по восемь штук, что даёт 512 графических процессоров на массив. Каждый сервер имеет четыре дублирующих блока питания; в задней части стоек можно разглядеть трёхфазные блоки питания, коммутаторы Ethernet; есть также коллекторы размером со стойки, которые обеспечивают работу жидкостного охлаждения. Кластер Colossus содержит более 1500 стоек или около 200 массивов. Ускорители на эти массивы были установлены всего за три недели, рассказал ранее глава Nvidia Дженсен Хуанг (Jensen Huang).

Из-за высоких требований к пропускной способности суперкластера ИИ, который непрерывно производит обучение моделей, инженерам xAI пришлось приложить усилия в плане сетевого взаимодействия. Каждая графическая карта оборудована выделенным сетевым контроллером на 400 GbE с дополнительным 400-Гбит сетевым адаптером на сервер. То есть у каждого сервера Nvidia HGX H100 есть Ethernet со скоростью 3,6 Тбит/с — да, весь кластер работает на Ethernet, а не на InfiniBand или других экзотических интерфейсах, стандартных для суперкомпьютеров.

Суперкомпьютеру для обучения моделей ИИ, включая Grok 3, требуются не только графические процессоры, но и накопители, а также центральные процессоры, однако информацию о них компания xAI разглашает лишь частично. На видео, подвергнутых цензуре, видно, что за это отвечают серверы на чипах x86 в корпусах Supermicro — они также оборудованы жидкостным охлаждением и предназначены либо для работы в качестве хранилищ данных, либо для рабочих нагрузок, ориентированных на центральные процессоры.

На объекте установлены также аккумуляторы Tesla Megapack. При работе кластера возможны резкие перепады в потребляемой энергии, поэтому эти батареи ёмкостью до 3,9 МВт·ч каждая пришлось установить между электросетью и суперкомпьютером в качестве энергетического буфера.