NVIDIA анонсировала технологию интеллектуального масштабирования изображения DLSS 3.5, важнейшим преимуществом которой стала реконструкция трассировки лучей (Ray Reconstruction) — нейросеть, заменяющая стандартные алгоритмы шумоподавления.
Источник изображений: nvidia.com
Трассировка лучей для каждого пикселя на изображении — чрезвычайно требовательная к ресурсам задача даже для профессиональных приложений, от которых не требуется обработка данных в реальном времени. Поэтому применяются обходные методы, такие как просчёт лучей по образцам: трассировка производится для отдельных точек сцены, число которых достаточно велико для получения репрезентативной выборки освещения, отражательной способности и затемнённых участков.
Алгоритмы подавления шума чреваты потерей качества и детализации
На выходе получается сильно зашумлённое изображение, но его достаточно, чтобы оценить, как должна выглядеть сцена при полноценной трассировке лучей. Чтобы получить результаты по всем пикселям, производится временная и пространственная интерполяции — по сути, алгоритм шумоподавления «крадёт» лучи из прошлого и смешивает пиксели с соседними, что чревато понижением качества картинки, например, возникновением «ореолов», и потерей детализации.
Ray Reconstruction обладает рядом преимуществ перед шумоподавителями
Решением проблемы является технология реконструкции лучей — она подменяет стандартные подавители шума нейросетью, при обучении которой использовалось в пять раз больше данных, чем при разработке DLSS 3, а образцами служили изображения, получение которых в реальном времени было бы невозможным. Нейросеть распознаёт различные эффекты трассировки лучей, принимая более разумные решения для интерполяции по времени и пространству — она обучена различать «плохие» и «хорошие» пиксели, благодаря чему обеспечивается более качественный результат.
Технология работает совместно с другими решениями NVIDIA: алгоритмом DLSS Super Resolution, который выстраивает 4K-изображения по образцу более низкого разрешения, а также DLSS Frame Generation (только для видеокарт серии NVIDIA GeForce RTX 40) — он генерирует дополнительные промежуточные кадры на основе соседних, повышая тем самым плавность движения.
Дебют NVIDIA DLSS 3.5 состоится этой осенью. Технология дебютирует в играх Cyberpunk 2077: Phantom Liberty, Portal with RTX и Alan Wake 2, а также в программах NVIDIA Omniverse, Chaos Vantage и D5 Renderer.