Многие разработчики в области генеративного ИИ переходят от использования облачных ресурсов к работе с нейросетями на своих устройствах. Для них Qualcomm на выставке MWC 2024 представила новейший инструмент AI Hub, который упрощает доступ разработчиков к моделям ИИ. Qualcomm AI Hub содержит постоянно пополняемую библиотеку генеративных моделей ИИ, которые могут быть легко загружены на устройства на базе Qualcomm. Сейчас в AI Hub уже представлено более 75 моделей.
Источник изображений: Qualcomm
«Выпустив Snapdragon 8 Gen 3 для смартфонов и Snapdragon X Elite для ПК, мы положили начало масштабной коммерциализации искусственного интеллекта на устройствах. Теперь Qualcomm AI Hub предоставит разработчикам возможность полноценно использовать потенциал этих передовых технологий и создавать захватывающие приложения с поддержкой ИИ», — сообщила Дурга Маллади (Durga Malladi), старший вице-президент Qualcomm по технологическому планированию и периферийным технологиям.
Библиотека Qualcomm AI Hub содержит некоторые из самых популярных моделей в отрасли, такие как Whisper, система автоматического распознавания речи (ASR) от OpenAI, и Stable DIffusion, модель преобразования текста в изображение от Stability AI. По утверждению Qualcomm, модели ИИ в AI Hub аппаратно оптимизируются, обеспечивая «превосходную производительность искусственного интеллекта на устройстве».
Максимально эффективное использование всех ядер Qualcomm AI Engine, включая NPU, CPU и GPU, приводит к повышению энергоэффективности, снижению использования памяти и четырёхкратному увеличению скорости вывода. Ещё одним преимуществом использования моделей ИИ на локальном устройстве является повышенная по сравнению с облаком безопасность данных, что особенно важно при создании моделей, использующих конфиденциальную или проприетарную информацию.
По словам Маллади, «Qualcomm AI Hub предоставляет разработчикам обширную библиотеку моделей ИИ, позволяющую быстро и легко интегрировать предварительно оптимизированные модели ИИ в свои приложения, что приводит к более быстрому, надёжному и конфиденциальному пользовательскому опыту». Оптимизированные модели ИИ доступны сегодня на Qualcomm AI Hub, GitHub и Hugging Face. Разработчики могут оформить подписку, начиная с сегодняшнего дня.