Подразделение Amazon Web Services (AWS) компании Amazon объявило на проводимой им конференции re:Invent, что клиенты её облачной платформы теперь могут пользоваться системами с ускорителями Trainium2, предназначенными для обучения и запуска больших языковых моделей искусственного интеллекта.

Источник изображения: aws.amazon.com

Представленные в прошлом году чипы работают в четыре раза быстрее предшественников: один инстанс EC2 с 16 ускорителями Trainium2 предлагает производительность до 20,8 Пфлопс. Это значит, что при развёртывании масштабной модели Meta✴ Llama 405B на платформе Amazon Bedrock клиент получит «трёхкратный прирост скорости генерации токенов по сравнению с другими доступными предложениями крупных облачных провайдеров». Можно будет также выбрать систему EC2 Trn2 UltraServer с 64 ускорителями Trainium2 и производительностью 83,2 Пфлопс. Отмечается, что показатель 20,8 Пфлопс относится к плотным моделям и точности FP8, а 83,2 Пфлопс — к разреженным моделям и FP8. Для связи между ускорителями в системах UltraServer используется интерконнект NeuronLink.

Совместно со своим партнёром в лице Anthropic, основным конкурентов OpenAI в области больших языковых моделей, AWS намеревается построить крупный кластер систем UltraServer с «сотнями тысяч чипов Trainium2», где стартап сможет обучать свои модели. Он будет в пять раз мощнее кластера, на котором Anthropic обучала модели текущего поколения — по оценке AWS, он «станет крупнейшим в мире вычислительным кластером для ИИ, о котором сообщалось до настоящего времени». Проект поможет компании превзойти показатели, которые обеспечиваются актуальными ускорителями Nvidia, которые по-прежнему пользуются высоким спросом и остаются в дефиците. Хотя в начале следующего года Nvidia готовится запустить ускорители нового поколения Blackwell, которые при 72 чипах на стойку предложат до 720 Пфлопс для FP8.

Возможно, поэтому AWS уже сейчас анонсировала ускорители нового поколения Trainium3, которые предлагают ещё один четырёхкратный прирост производительности для систем UltraServer — ускорители будут производиться с использованием техпроцесса 3 нм, а их развёртывание начнётся в конце 2025 года. Потребность в системах нового поколения в компании обосновали тем, что современные модели ИИ по масштабам подходят к триллионам параметров. Инстансы Trn2 пока доступны только в регионе US East инфраструктуры AWS, но скоро появятся и в других; системы UltraServer в настоящее время работают в режиме предварительного доступа.

Не всем разработчикам систем искусственного интеллекта нравится высокая зависимость от аппаратных решений Nvidia. Компания Apple, например, использует для развития собственных систем как свои процессоры семейства M, так и ускорители альтернативных поставщиков, среди которых есть и Amazon. Представители компаний признались в этом на текущей неделе.

Источник изображения: Amazon

Весьма необычный рассказ о сотрудничестве между технологическими гигантами на таком уровне состоялся на площадке ежегодной конференции AWS Reinvent, проводимой облачным подразделением Amazon. Интересы Apple, как одного из клиентов AWS, на сцене представлял старший директор по машинному обучению и искусственному интеллекту Бенуа Дюпен (Benoit Dupin), который до 2014 года работал как раз в Amazon.

«У нас налажено прочное сотрудничество, а инфраструктура надёжна и позволяет обслуживать наших клиентов по всему миру», — заявил Дюпен о взаимодействии Apple и AWS. Как он добавил, первая из компаний использует инфраструктуру второй на протяжении более десяти лет, чтобы обеспечить работу голосового ассистента Siri, а также сервисов Apple Maps и Apple Music. Поисковые сервисы Apple строила на чипах Amazon Inferentia и Graviton, и переход на них обеспечил повышение эффективности на 40 %.

Собственные языковые модели Apple хочет предварительно обучать на чипах Amazon Trainium2. Как ожидается, это позволит поднять эффективность процесса с точки зрения соотношения производительности и энергозатрат на величину до 50 %. По словам представителей AWS, компания Apple оказалась в числе первых клиентов, приступивших к тестированию процессоров Trainium. Впрочем, из открытых источников известно, что она также применяла для обучения своей системы Apple Intelligence процессоры Google семейства Tensor.

В отличие от ведущих чат-ботов, таких как OpenAI ChatGPT, подход Apple к искусственному интеллекту не основан на больших кластерах на ускорителях Nvidia. Вместо этого Apple использует чип iPhone, iPad или Mac для выполнения максимально возможного числа задач локально на устройстве, а сложные запросы на серверы Apple, использующие её собственные чипы M-серии.