Nvidia рассказала на конференции GDC 2024, как партнёры применяют её технологии в области искусственного интеллекта для создания реалистичных цифровых воплощений человека в профессиональной деятельности и для игровых приложений. Наиболее востребованными решениями являются Nvidia ACE (Avatar Cloud Engine) для генерации речи и анимации, Nvidia NeMo для генерации реплик и Nvidia RTX для прорисовки с трассировкой лучей.

Источник изображения: blogs.nvidia.com

Inworld AI продемонстрировала разработанную при поддержке Nvidia игру Covert Protocol, в которой геймер может почувствовать себя опытным частным детективном — здесь расширены возможности взаимодействия с неигровыми персонажами. В проекте использован инструмент Inworld Engine, объединяющий системы познания, восприятия и поведения — это помогает сформировать повествование в игре, — а также средства создания игровой среды с визуализацией при помощи RTX. В игре также применяются технология распознавания речи Nvidia Riva и микросервисы Nvidia Audio2Face.

Цифровая платформа UneeQ, специализирующаяся на создании 3D-аватаров на базе ИИ для корпоративных приложений, также внедрила микросервис Nvidia Audio2Face и объединила его с собственной технологией Synanim ML. Это повысило реалистичность генерируемых ИИ аватаров, а заказчики UneeQ повысили качество обслуживания собственных клиентов.

Nvidia также рассказала о технологии Neural Radiance Cache (NRC) — это основанный на ИИ алгоритм трассировки лучей, направленный на обработку непрямых источников света в динамичных сценах без потребности предварительной обработки статического освещения с учётом геометрии и материалов. Технология Nvidia Spatial Hash Radiance Cache (ShaRC) предлагает те же возможности, но без использования нейросети с совместимостью с любым графическим процессором с поддержкой трассировки лучей в DirectX или Vulkan.

Наконец, Nvidia сообщила, что вскоре расширится число игр с поддержкой технологии масштабирования DLSS 3.5, главным преимуществом которой является решение Ray Reconstruction — реконструкция трассировки лучей взамен стандартных алгоритмов шумоподавления. Поддержка DLSS 3.5 появится в Black Myth: Wukong и Naraka: Bladepoint; она уже есть в Portal with RTX, а скоро появится и в бета-версии платформы Nvidia RTX Remix, позволяющей добавлять трассировку лучей в классические игры.

Присутствие технологии трассировки лучей становится всё более заметным в современных играх, но эта функция всё ещё остаётся крайне ресурсоёмкой, требуя мощных видеокарт. Но один разработчик показал, что есть и альтернатива — включить трассировку лучей на центральном процессоре. Это действительно возможно, хотя и чрезвычайно непрактично.

Источник изображения: gitlab.freedesktop.org

Константин Зойрер (Konstantin Seurer) занимается созданием новых функций для открытой библиотеки Mesa на базе Vulkan, посвящённых обработке графики ресурсами центрального процессора. Новая функция VK_KHR_ray_query открыла возможность запуска трассировки лучей на CPU, что было продемонстрировано на спецверсии классической игры Quake 2 RTX. Разработчик не сообщил, на каком оборудовании он запустил этот проект, но с иронией отметил: «О производительности не спрашивайте».

Скриншот игры пояснил его слова: загрузка графического процессора, как и ожидалось, составила 0 %, а загруженный на 34 % центральный процессор выдал 1 кадр в секунду. Вероятно, загрузка центрального процессора на 34 % свидетельствует, что в данном исполнении игра не поддерживает многоядерной архитектуры. Предложенное автором проекта решение представляется недостаточно практичным, но опробовать его скоро смогут все желающие — оно будет включено в выпуск Mesa 24.1.

Компания NVIDIA сообщила, что к настоящему моменту более 500 игр и приложений получили поддержку технологий семейства RTX — трассировки лучей, ИИ-масштабирования изображения и других технологий на базе ИИ. Список проектов с поддержкой данных технологий продолжает пополняться с каждым месяцем.

Источник изображения: NVIDIA

Прошло пять лет с тех пор, как компания NVIDIA выпустила первые видеокарты GeForce RTX 20-й серии с поддержкой трассировки лучей (RTX) и пообещала, что эта технология станет одной из важнейших в сегменте игровой графики. Одновременно с этим NVIDIA представила DLSS (Deep Learning Super Sampling) — технологию масштабирования изображения на базе ИИ-алгоритмов, которая позволила использовать трассировку лучей даже на относительно слабых видеокартах с её номинальной поддержкой. За эти пять лет NVIDIA успела выпустить ещё два поколения видеокарт RTX, а также преодолеть отметку в 500 игр и других приложений с поддержкой DLSS и трассировкой лучей.

С полным списком игр и приложений (более 520) с поддержкой RTX можно ознакомиться на сайте NVIDIA. К настоящему моменту 388 игр получили поддержку одной или нескольких функций входящих в общий пакет RTX: это либо поддержка DLSS, либо поддержка трассировки лучей, либо поддержка аппаратных технологий ИИ, реализованных в видеокартах GeForce RTX. В списке также имеются 119 приложений. Поэтому, если считать только игры, то до отметки в 500 игровых проектов компания ещё не добралась.

Примечательно, что только восемь игр к настоящему моменту получили абсолютно полную поддержку трассировки лучей последнего поколения, при этом две из них, по сути, представляют собой одну и ту же игру — это Cyberpunk 2077 и масштабное дополнение Cyberpunk 2077: Phantom Liberty. То же может относиться к Portal RTX и Portal: Prelude RTX. При этом три игрs (если не считать повторно Phantom Liberty) имеют поддержку технологии DLSS 3.5 Ray Reconstruction или реконструкции лучей с помощью DLSS.

Технология DLSS 2 является самой распространённой. Указанная версия масштабирования изображения поддерживается 361 игрой и 14 приложениями. Многие из них также поддерживают трассировку лучей. Также показательно, что только пять игр имели поддержку DLSS 1. Технически их было больше, но многие из них через время были обновлены до DLSS 2.

К настоящему моменту технология DLAA (Deep Learning Anti-Aliasing) или сглаживание без масштабирования поддерживается 41 игрой.

Наиболее свежей ИИ-технологией NVIDIA является Frame Generation, являющаяся частью DLSS 3. Она работает только с видеокартами GeForce RTX 40-й серии и служит для генерации искусственных промежуточных кадров для повышения плавности игрового процесса. Для работы технологии требуется усовершенствованный аппаратный ускоритель Optical Flow Accelerator (OFA), являющийся частью каждого графического процессора из серии Ada Lovelace. Технология Frame Generation — не без недостатков. Её использование не только повышает плавность игры, но также увеличивает задержку ввода. Для компенсации этого NVIDIA выпустила технологию Reflex, но она, к сожалению, поддерживается далеко не всеми играми. К настоящему моменту поддержку DLSS 3 имеют 61 игра и четыре приложения.

С учётом того, что за год выходят тысячи новых игр, поддержка RTX в чуть более 500 из них кажется каплей в море. Однако очевидным становится факт растущего числа главных игровых релизов, которые получают поддержку одной или нескольких функций NVIDIA RTX.

Сегодня компания Apple представила серию процессоров M3, в которой сосредоточилась не только на повышении производительности CPU, но и значительно переработала и улучшила GPU. Apple M3, M3 Pro и M3 Max являются первыми компьютерными процессорами, выполненными по 3-нм техпроцессу. Все три чипа M3 дебютируют в новых MacBook Pro, а младший M3 войдет в состав нового 24-дюймового iMac.

Кристалл базового Apple M3 насчитывает 25 млрд транзисторов — на 5 млрд больше, чем M2. Чип включает восьмиядерный центральный процессор с четырьмя производительными и четырьмя энергоэффективными ядрами. По заявлениям Apple, он на 35 % превосходит M1 по производительности CPU. Как именно M3 сопоставляется с M2 не уточняется, но во время анонса M2 в прошлом году, Apple заявила, что CPU в нем на 18 % быстрее, чем у M1. Новый Apple M3 также оснащен 10-ядерным графическим процессором с архитектурой нового поколения, который, как утверждается, на 65 % быстрее, чем графика M1. Новый процессор поддерживает до 24 Гбайт объединенной памяти и один внешний дисплей (в дополнение к встроенному в iMac и MacBook).

Apple M3

Apple M3 Pro

Apple M3 Pro обладает 37 млрд транзисторов и предлагает 12-ядерный центральный процессор с шестью производительными и шестью энергоэффективными ядрами. Также здесь применён 18-ядерный графический процессор, который на 40 % быстрее, чем у M1 Pro. Apple утверждает, что производительность CPU на 30 % выше, чем у M1 Pro, при выполнении однопоточных задач. M3 Pro поддерживает до 36 Гбайт унифицированной оперативной памяти, что несколько больше 32 Гбайт у M2 Pro.

Apple M3 Max

Старший M3 Max и вовсе включает 92 млрд транзисторов. Этот чип оснащён 16-ядерным центральным процессором с 12 производительными и четырьмя энергоэффективными ядрами, а также 40-ядерным GPU, который на 50 % быстрее, чем у M1 Max. Новый M3 Max поддерживает до 128 Гбайт унифицированной памяти, что является значительным апгрейдом по сравнению с 96 Гбайт у M2 Max. Apple утверждает, что производительность GPU в M3 Max на 80 % выше, чем в M1 Max. Это звучит как значительное улучшение, особенно если учесть, что в начале этого года Apple заявляла, что M2 Max на 30 % быстрее M1 Max в плане графики.

Если это не было очевидно из исходных спецификаций, то в новом семействе процессоров Apple большое внимание уделила усовершенствованию GPU, значительно модернизировав его архитектуру для улучшения работы в играх и профессиональных приложениях. В чипах M3 впервые для процессоров Apple и соответственно компьютеров Mac, реализованы аппаратное ускорение трассировки лучей и аппаратное ускорение сетчатых шейдеров (Mesh shaders).

Lies of P на MacBook Pro с M3

Аппаратное ускорение трассировки лучей уже давно присутствует в графических ускорителях NVIDIA и AMD. Появление этой функции в чипах Apple M3 означает, что разработчики игр смогут реализовать на Mac улучшенные тени и отражения, которые прежде были доступны на консолях последнего поколения и игровых компьютерах базе Windows. Аппаратное ускорение Mesh shaders позволяет значительно ускорить обработку большого числа полигонов в сцене, разбивая полигональные сетки на фрагменты, каждым из которых занимается отдельная группа потоков. Таким образом разработчики смогут более гибко подходить к созданию сложных сцен в играх и даже в приложениях с интенсивным использованием GPU.

Apple также представляет новую функцию динамического кэширования для GPU в чипах M3. Она позволит динамически выделять GPU именно тот объем унифицированной памяти, который необходим для каждой конкретной задачи. Apple утверждает, что подобная функция уникальна, но разработчикам ПО и игр не нужно будет создавать для неё специальные системы, поскольку это прозрачный и автоматический процесс. Это должно повысить производительность профессиональных приложений и игр.

Как все эти улучшения отразятся на рынке игр для Mac, пока неясно, но повышение производительности, аппаратное ускорение трассировки лучей и новая функция динамического кэширования выглядят как большие преимущества для разработчиков игр и пользователей Mac. В начале этого года компания Apple предложила разработчикам инструмент, похожий на Proton, и призвала их выпустить игры для Windows на Mac. Владельцы компьютеров Mac с помощью инструментария Apple Game Porting Toolkit уже могут запускать различные игры с поддержкой DirectX 12 на компьютерах с чипами M1 и M2, хотя, конечно, при этом не всегда можно получить высокую производительность. Тем не менее, Apple прилагает всё больше усилий, чтобы Mac стал полноценной игровой платформой, и новые чипы M3 тому подтверждение.

Новые чипы Apple M3, M3 Pro и M3 Max также оснащены улучшенным нейронным движком для ускорения работы машинного обучения и ИИ-алгоритмов. Кроме того, Apple оснастила новые чипы аппаратным декодером AV1, благодаря чему владельцы новых Mac получат возможность более энергоэффективного воспроизведения контента в формате AV1.

Говоря об энергоэффективности, следует отметить, что Apple перешла на новейший 3-нм техпроцесс в семействе M3. Уже за счёт этого можно ожидать некоторого улучшения энергоэффективности. Сама Apple отмечает, что M3 обеспечит такую же многопоточную производительность, как и M1, при вдвое меньшем энергопотреблении. Компания заявила, что время автономной работы новых MacBook Pro составит до 22 часов, что является самым продолжительным временем работы Mac.

Компания Apple сравнила производительность чипа M3 с 12-ядерным ноутбуком MSI Prestige 13 Evo (A13M-050US) стоимостью $1299 с процессором Intel Core i7-1360P и графикой Iris Xe. Производитель утверждает, что его Apple M3 обеспечивает такую же производительность CPU, как и чип Intel, потребляя лишь четверть от мощности последнего, и такую же производительность GPU при потреблении 20 % мощности.

На этой неделе мир игровых технологий переживает настоящий ренессанс. NVIDIA анонсировала обновлённую версию своей технологии DLSS, акцентируя внимание на улучшении возможностей трассировки лучей. Параллельно AMD представила свою долгожданную альтернативу DLSS — FSR 3. Ожидается, что первые игры, поддерживающие эти технологии, появятся уже в следующем месяце.

Источник изображения: NVIDIA

NVIDIA, кроме анонса DLSS 3.5, также выпустила соответствующий комплект разработки программного обеспечения (SDK). Этот комплект был замечен на Github пользователем под псевдонимом emoose, создателем инструмента DLSSTweaks, который позволяет геймерам настраивать параметры DLSS.

Тем временем эксперты и технические обозреватели с нетерпением ожидают выхода FSR3 и DLSS 3.5, чтобы сравнить их между собой. Одной из игр, которая позволит провести такое сравнение, станет Cyberpunk 2077 — официально анонсировано, что игра получит обновления, поддерживающие обе технологии.

Реконструкция лучей с помощью ИИ позволяет получить высококачественное изображение с трассировкой лучей в формате 4K из источника с разрешением 1080 пикселей (источник изображения: NVIDIA)

AMD уже раскрыла, что в ближайшее время около дюжины игр будут поддерживать FSR 3, и этот список будет расширяться. NVIDIA, в свою очередь, подтвердила поддержку DLSS 3.5 для таких игр, как Cyberpunk 2077, Portal RTX и Alan Wake 2, обещая дополнительные анонсы в ближайшем будущем.

В то же время встраивание DLSS 3.5 в игры может оказаться не таким простым процессом. Новая возможность технологии — реконструкция лучей — требует специальной интеграции в графический конвейер игры. Для облегчения этого процесса NVIDIA подготовила специальный плагин для Unreal Engine 5. Пользователи Reddit обнаружили инструкцию, которая объясняет структуру этого плагина.

Компоненты плагина DLSS 3.5 для Unreal Engine 5 включают в себя:

• DLSS Super Resolution (DLSS-SR) — суперразрешение DLSS;
• Deep Learning Anti-Aliasing (DLAA) — антиалиасинг на основе глубокого обучения;
• в разработке — DLSS Ray Reconstruction (DLSS-RR) — реконструкция лучей с помощью DLSS.

Эти компоненты позволят разработчикам максимально эффективно использовать возможности DLSS 3.5 в своих проектах на Unreal Engine 5.

DLSS 3.5 SDK (источник изображения: GitHub)

Благодаря улучшенным алгоритмам масштабирования DLSS 3.5, некоторые игроки уже отметили улучшение качества изображения и снижение эффекта «призрачности» в Last of Us и Need for Speed Unbound после замены dll-библиотеки на её обновлённую версию из DLSS 3.5 SDK.

Технологические новшества в игровой индустрии всегда вызывают большой интерес. Внедрение таких технологий, как DLSS 3.5 и FSR3, может существенно улучшить игровой опыт. Однако их успешное применение во многом зависит от того, насколько грамотно разработчики смогут интегрировать их в свои продукты.

NVIDIA заявила, что сегодня 83 % владельцев настольных компьютеров с видеокартами GeForce RTX 40-й серии в играх с поддержкой RTX используют трассировку лучей, а 79 % — DLSS, что свидетельствует о широком внедрении этих технологий. Среди владельцев видеокарт предыдущих поколений — GeForce RTX 30-й и 20-й серий — 56 % и 43 % соответственно используют трассировку лучей, а 71 % и 68 % — DLSS.

Источник изображения: blogs.nvidia.com

NVIDIA впервые представила нейронный рендеринг в архитектуре Turing пять лет назад. Он сочетает в себе две дополняющие друг друга технологии: трассировку лучей в реальном времени и ИИ-масштабирование DLSS с традиционными методами затенения, которые долгое время были основным режимом рендеринга графики в реальном времени. Благодаря выделенным тензорным ядрам для ИИ и ядрам RT для трассировки лучей, RTX и DLSS изменили игровую индустрию, считает NVIDIA. Уже в 2018 году 37 % владельцев видеокарт RTX 20-й серии пользовались трассировкой лучей, а 26 % включили DLSS.

А GeForce RTX 40-я серия — третье поколение RTX — сделала трассировку лучей и DLSS новым стандартом в играх. Производительность трассировки лучей значительно улучшилась благодаря таким усовершенствованиям, как переупорядочение выполнения шейдеров, передовые механизмы Opacity Micromap и Displaced Micro-Mesh.

На этой неделе Cyberpunk 2077 представляет технологию Ray Tracing: Overdrive Mode, демонстрирующую эволюцию трассировки лучей, предлагая улучшенное освещение, тени и отражения в реальном времени. Эти инновации позволяют даже в самых требовательных играх одновременно реализовывать несколько эффектов трассировки лучей или даже полную трассировку лучей, также известную как трассировка пути, для непревзойдённого реализма и погружения.

Технология DLSS Super Resolution была усовершенствована благодаря постоянному обновлению нейронной сети и обучению моделей на суперкомпьютере NVIDIA с вычислительной мощностью более одного эксафлопса, что обеспечило значительное повышение производительности без ущерба для качества изображения. Функция DLSS 3 на основе ИИ создаёт новые высококачественные кадры для более плавного игрового процесса, сохраняя при этом высокую скорость отклика благодаря NVIDIA Reflex. ИИ теперь может генерировать семь из каждых восьми пикселей с помощью комбинации суперразрешения и генерации кадров.

Эта комбинация трассировки лучей третьего поколения и DLSS привела к 16-кратному скачку операций трассировки лучей на пиксель за последние пять лет. Сегодня доступно уже более 400 игр и приложений с поддержкой трассировки лучей, а скоро их станет ещё больше. Ведь скорость внедрения технологии DLSS 3 в семь раз выше, чем у DLSS 2, подчёркивает NVIDIA.

Компания Imagination Technologies представила серию графических процессоров IMG DXT для мобильных устройств, которые наделены поддержкой масштабируемой трассировки лучей. Производитель отмечает, что IMG DXT будет интегрироваться в однокристальные системы (SoC), которые используются в смартфонах и планшетах. При этом речь идёт не только о премиальных, но и более доступных устройствах.

Источник изображений: Imagination Technologies

Графические процессоры IMG DXT доступны в трёх конфигурациях и с разными характеристиками. Производители недорогих устройств могут выбрать базовую версию IMG DXT с кластером ускорения лучей (Ray Acceleration Cluster, RAC) половинного размера. OEM-производители, стремящиеся к повышенной производительности, могут выбрать одиночную, двойную или четырёхканальную конфигурацию RAC для разных задач.

IMG DXT поддерживает технологию Vulkan Fragment Shading Rate (FSR), которая уменьшает количество обрабатываемых фрагментов и улучшает графическую производительность с минимальным влиянием на визуальное качество, одновременно повышая эффективность трассировки лучей. Новинки также поддерживают технологии 2D-текстурирования с двойной скоростью, код процессоров RISC-V, ASTC HDR и конвейерное управление мастер-данными.

По словам Imagination Technologies, IMG DXT обеспечивает до 50 % более высокую графическую производительность по сравнению с мобильными GPU предыдущих поколений. Для новинок указывается производительность от 256 Гфлопс до 2,25 Тфлопс в операциях FP32, пропускная способность до 72 ГТ/с (гигатекселей в секунду), а также скорость до 9,0 TOPS в задачах, связанных с работой алгоритмов ИИ.