Запустив Memphis Supercluster — «самый мощный в мире кластер для обучения искусственного интеллекта», Илон Маск (Elon Musk) также поделился снимком ещё одного суперкомпьютера одной из своих компаний. Это система Dojo, построенная на разработанных Tesla ускорителях Dojo D1, которая будет обучать автопилот для электромобилей. В ходе квартального отчёта Маск также сообщил, что удвоит усилия по разработке и развёртыванию Dojo из-за высоких цен на продукцию Nvidia.

Источник изображений: x.com/elonmusk

Маск пообещал до конца года запустить Dojo D1. Производительность этого кластера эквивалентна 8000 ускорителей Nvidia H100, что, по мнению бизнесмена, «не очень много, но и не мелочь». Для сравнения, открытый в Теннеси суперкомпьютер xAI для обучения ИИ в итоге будет оперировать 100 тыс. ускорителями Nvidia H100.

Маск впервые представил гигантские чипы Dojo D1 в 2021 году — их целевая производительность составляет 322 Тфлопс. В августе прошлого года Tesla занялась поиском старшего инженера по программе технических работ в центре обработки данных — это один из первых шагов, которые обычно предпринимаются организацией при планировании запуска собственного ЦОД. В сентябре Tesla также увеличила объёмы заказов на Dojo D1, что свидетельствует об уверенности компании в продукте. В мае стало известно, что их массовое производство уже идёт.

Похоже, теперь эти ускорители прибыли в США, и Маск уже поделился снимками суперкомпьютера Dojo. Чип Dojo D1 представляет собой процессор типа «система на пластине» в массиве 5 × 5. То есть 25 сверхпроизводительных кристаллов выполнены на одной пластине и соединены между собой с использованием технологии TSMC InFO (Integrated Fan-Out) — они работают как единый процессор и оказываются эффективнее аналогичных многопроцессорных машин. Предприятие в Теннесси принадлежит xAI и используется преимущественно для обучения большой языковой модели Grok, а чипы Dojo ориентированы на видеообучение и будут применяться для работы над технологией автопилота.

Опубликованное одним из техасских блогеров пару дней назад видео облёта территории местного предприятия Tesla продемонстрировало процесс строительства новых корпусов для корпоративного центра обработки данных, некоторые зрители даже сравнили элементы системы охлаждения с вентиляторами видеокарты. Илон Маск (Elon Musk) добавил, что этот ЦОД через полтора года будет потреблять до 500 МВт энергии.

Источник изображения: YouTube, Brad Sloan

На своей странице в социальной сети X миллиардер добавил, что в этом году суперкомпьютерный кластер Tesla в Техасе, ранее известный под условным обозначением Dojo, будет потреблять до 130 МВт электроэнергии на своё питание и охлаждение, а дальнейшее его расширение в последующие 18 месяцев приведёт к тому, что уровень энергопотребления превысит 500 МВт.

Не менее важным оказалось замечание Маска по поводу состава серверного оборудования, которое будет эксплуатироваться в кластере. Он подчеркнул, что процессорами собственной разработки Tesla ограничиваться не будет, и они сформируют лишь половину аппаратной базы этого кластера. Вторую половину сформирует оборудование Nvidia и других поставщиков. «Играть ради победы или вообще не играть», — пояснил свой принцип Илон Маск со страниц социальной сети X.

Говоря о перспективе появления бортовых компьютеров Tesla для автопилота, следующего поколения, Илон Маск пояснил, что пятое поколение бортовых ПК будет носить обозначение AI5, и выйдет оно во второй половине следующего года. По всей видимости, от банального сокращения «HW» (от английского hardware — аппаратное обеспечение) компания решила перейти на более актуальное «AI» (artificial intelligence — искусственный интеллект), чтобы подчеркнуть спектр решаемых новой платформой задач. По словам Маска, AI5 будет примерно в десять раз быстрее HW4. Компания также будет самостоятельно разрабатывать всё программное обеспечение для своего суперкомпьютерного кластера, как добавил её генеральный директор.

Недавнее упоминание TSMC о методах производства чипов с высокой степенью интеграции для суперкомпьютера Tesla Dojo, который Tesla будет использовать для развития своих систем искусственного интеллекта, имело вполне прагматичный повод. Как стало известно на этой неделе, TSMC уже приступила к производству чипов Tesla, использующих метод упаковки CoW-SoW.

По данным тайваньских СМИ, компания TSMC уже приступила к производству чипов Dojo D1 для нужд компании Tesla. По своей вычислительной производительности они будут превосходить существующие системы более чем в 40 раз. Новая технология упаковки позволяет создавать логические процессоры в масштабе целой кремниевой пластины типоразмера 300 мм. В массовом производстве TSMC собирается освоить данный метод упаковки и интеграции к 2027 году.

На одной пластине процессоры Dojo объединяются в массив размером 5 на 5 штук. До 60 микросхем памяти типа HBM могут располагаться на такой кремниевой пластине. Tesla собирается вложить в развитие суперкомпьютера Dojo в Нью-Йорке не менее $500 млн. На этом пути её мешают различные препятствия. Например, в декабре прошлого года штат компании покинули два крупных специалиста по разработке данного суперкомпьютера.

Предполагается, что запуск Dojo будет иметь критическое значение для вывода на рынок роботизированного такси Tesla, формальный анонс которого намечен на 8 августа текущего года. Если суперкомпьютер Dojo расположится в Нью-Йорке, то его вычислительный компаньон, построенный на ускорителях Nvidia, будет работать рядом со штаб-квартирой компании в штате Техас. Центр обработки данных в Остине будет потреблять до 100 МВт мощности.

Тим Заман (Tim Zaman) ушёл из автомобильной компании Tesla, где с 2019 года возглавлял отдел AI Infra и принимал активное участие в создании суперкомпьютеров Dojo на базе специальных чипов Tesla D1. Одновременно c этой деятельностью он почти год курировал отдел машинного обучения в X (ранее Twitter). После приобретения Илоном Маском (Elon Musk) компании Twitter, он привлёк многих сотрудников Tesla к работе «по совместительству» в этой социальной сети.

Источник изображения: Pixabay

Тим Заман объявил о переходе из Tesla в компанию Google через несколько дней после того, как Google DeepMind представила нейросеть Gemini, свой ответ на серию больших языковых моделей OpenAI GPT. «В этот понедельник я присоединяюсь к Google DeepMind. Рад быть ребёнком среди легенд! — заявил Заман. — С 2016 года работал в NVIDIA, с 2019 — в Tesla. Теперь моя интуиция подводит меня к следующему предприятию, в котором есть ингредиенты, чтобы снова изменить мир».

Тим Заман о себе на своём сайте www.timzaman.nl

Осведомлённые аналитики утверждают, что на решение Замана о переходе в Google DeepMind повлиял уход из Tesla руководителя проекта Dojo Ганеша Венкатараманана (Ganesh Venkataramanan). Под названием Dojo были представлены несколько суперкомпьютеров Tesla, в которых используются специальные чипы Tesla D1, разработанные командой Венкатараманана и изготовленные TSMC.

Dojo были анонсированы в 2021 году, а первый суперкомпьютер был запущен в эксплуатацию в 2022 году. Он содержит около 3000 чипов D1, что обеспечивает общую производительность 1,1 эксафлопс для вычислений смешанной точности (BF16/CFP8). В настоящее время Tesla развернула несколько своих суперкомпьютеров Dojo в различных центрах обработки данных и создаёт собственный вычислительный центр в штаб-квартире в Остине, штат Техас.

В конце августа прошлого года компания Tesla рассказала об архитектуре своей суперкомпьютерной системы Dojo, которая будет применяться для работы с фирменными системами искусственного интеллекта, ориентированными на машинное зрение и автоматическое управление транспортом. Как отмечают тайваньские источники, компоненты для этого суперкомпьютера Tesla заказывает у TSMC весьма активно.

Источник изображений: Tesla

Основной компонент, на котором строится суперкомпьютер Tesla Dojo — это чип D1 собственной разработки, который представляет собой «систему-на-пластине», то есть занимает целую 300-мм кремниевую пластину, на которой размещается 25 ускорителей и другие функциональные элементы. Его компания TSMC производит по 7-нм технологии и упаковывает особым образом, что уже стало нормой для ускорителей вычислений. В этом году Tesla собирается закупить у TSMC около 5000 таких чипов, в следующем году она намерена удвоить количество до 10 000 чипов, а также продолжить наращивание закупок уже в 2025 году.

Для TSMC увеличение объёмов заказов на выпуск 7-нм продукции является положительной тенденцией, поскольку на фоне снижения спроса на компоненты для смартфонов данное направление деятельности страдало от снижения уровня загрузки производственных линий. По крайней мере, в следующем году за счёт заказов Tesla и прочих клиентов степень загрузки линий на 7-нм направлении вырастет до оптимальных величин. К концу 2024 года Tesla намеревается довести уровень производительности своего суперкомпьютера Dojo до 100 эксафлопс, поэтому процесс масштабирования системы продолжается.

Tesla сообщила о запуске производства суперкомпьютера собственной разработки Dojo, предназначенного для обучения систем автопилота. Компания собирается потратить на проект $1 млрд. Компания рассчитывает уже к октябрю следующего года преодолеть барьер в 100 Эфлопс производительности — это более чем в 60 раз мощнее самого мощного суперкомпьютера на сегодняшний день.

Источник изображения: Tesla

В финансовом отчёте Tesla по результатам II квартала 2023 года говорится: «Для решения проблемы автономных транспортных средств необходимы четыре основных технологических столпа: чрезвычайно большой набор данных из реального мира, обучение нейросети, аппаратное и программное обеспечение для транспортных средств. Мы разрабатываем каждый из этих столпов силами компании. В этом месяце мы сделаем шаг к более быстрому и дешёвому обучению нейросети с запуском производства нашего обучающего компьютера Dojo».

В распоряжении компании уже есть суперкомпьютер на базе ускорителей NVIDIA, один из самых больших в мире, но в суперкомпьютере Dojo используются чипы, разработанные инженерами Tesla. Проект был анонсирован в 2019 году — тогда же глава компании сообщил, как будет назваться система.

В 2021 году Илон Маск (Elon Musk) рассказал, что работа над суперкомпьютером идёт полным ходом, а год спустя раскрыл технические характеристики Dojo: основу платформы составляют «системы-на-пластине» (System-On-Wafer) — чип представляет собой целую 300-мм кремниевую пластину. Сама Tesla называет их Training Tile. Каждая пластина включает 25 ускорителей D1, и потребляет 15 кВт энергии.

Одна стойка с шестью такими пластинами будет обеспечивать производительность в 100 Пфлопс, и получается, что всего десяток стоек обеспечит производительность в 1 Эфлопс, то есть 1 квинтильон операций на числах с плавающей запятой в секунду. Tesla планирует к октябрю 2024 года достичь производительности в 100 Эфлопс для всех своих систем вместе взятых. Для сравнения, самый мощный суперкомпьютер на текущий момент — Frontier — обладает пиковой вычислительной мощностью в 1,679 Эфлопс.

«Наше стремление быть на острие разработки ИИ помогло открыть новую главу с началом производства обучающих компьютеров Dojo. Надеемся, что наши огромные потребности в обучении нейросетей будут удовлетворены оборудованием Dojo собственной разработки. Чем выше способность нейросети к обучению, тем больше возможностей для внедрения новых решений нашим подразделением Autopilot», — добавили в Tesla.

Tesla представила последнюю версию суперкомпьютера под названием Dojo, который является собственной разработкой компании и оптимизирован под алгоритмы искусственного интеллекта, в частности для машинного обучения с использованием видеоданных, поступающих от электромобилей автопроизводителя. Сообщается, что система настолько мощная, что даже отключила энергосистему в Пало-Альто во время презентации.

Источник изображений: Tesla

В арсенале Tesla уже имеется большой суперкомпьютер на основе графических процессоров NVIDIA, входящий в число самых мощных в мире. Однако Dojo изготовлен по индивидуальному заказу автопроизводителя, в нём используются чипы, разработанные силами самой Tesla и заточенные под её задачи.

Ожидается, что новый суперкомпьютер расширит возможности в плане обучения нейронных сетей с помощью видеоданных, что имеет решающее значение для технологии компьютерного зрения, которая является основой системы автономного вождения Tesla.

Для построения Tesla Dojo использовались «системы-на-пластине» (System-On-Wafer), т.е. чип представляет собой целую кремниевую пластину (Training Tile в терминологии Tesla). На каждой такой пластине размещено 25 ускорителей D1 и 40 модулей ввода-вывода. В дополнение к этому имеются подсистемы питания и охлаждения. По данным Tesla, одна пластина Dojo может заменить шесть блоков графических процессоров, причём производство одной пластины дешевле в сравнении с блоком графических процессоров.

В одном системном лотке размещается шесть кремниевых пластин. По данным Tesla, один лоток эквивалентен «3-4 полностью загруженным стойкам суперкомпьютера». В настоящее время компания продолжает тестирование инфраструктуры, необходимой для объединения нескольких шкафов и создания Dojo ExaPOD мощностью 1,1 Эфлопс с 1,3 Тбайт SRAM и 13 Тбайт DRAM с высокой пропускной способностью. Tesla планирует построить семь Dojo ExaPOD в Пало-Альто.