Microsoft официально представила Automatic Super Resolution (Auto SR или ASR) — технологию масштабирования изображения на уровне операционной системы, призванную работать независимо от интеграции в игры. В то же время компания опубликовала список игр, в которых технология Auto SR заработает автоматически, а также те игры, где потребуется её ручное включение.

Источник изображений: Microsoft

Automatic Super Resolution в большей степени похожа на апскейлеры Nvidia Image Scaling (NIS) и AMD Radeon Super Resolution (RSR), за исключением того, что она не привязана к какому-то определённому производителю видеокарт и работает на уровне ОС. Уровень сложности интеграции Auto SR (разработчикам игр это делать не нужно) аналогичен этим двум технологиям.

Функция масштабирования изображения на уровне операционной системы или драйвера является отличной альтернативой интеграции фирменных технологий масштабирования. Кроме того, в отличие от фирменных технологий апскелинга, Auto SR работает с масштабированием целых кадров изображения, включая пользовательский интерфейс.

Microsoft упростила процесс внедрения разных технологий масштабирования в игры, выпустив для этого универсальный API DirectSR. Однако он требует поддержки со стороны разработчиков игр. Они должны подготовить свои игровые движки для предоставления тому или иному апскейлеру необходимых переменных (векторы движения, глубина цвета и т. д.), в противном случае DirectSR работать не будет. Auto SR в свою очередь может оказаться хорошей альтернативой для игр, которые никогда не получат поддержку DirectSR. В частности, речь идёт о старых и классических играх.

Ключевая задача Auto SR — повысить игровую производительность. Однако финальное качество масштабируемого изображения будет, конечно, ниже, чем у фирменных технологий апскейлинга. Однако Auto SR не требует интеграции на уровне того же драйвера. Кроме того, в отличие от Nvidia Image Scaling (NIS) и AMD Radeon Super Resolution (RSR), в которых применяются методы пространственного масштабирования, технология Auto SR использует ИИ-алгоритмы для компенсации потери качества.

Microsoft объясняет, что Auto SR использует специальную модель искусственного интеллекта, обученную на игровом контенте. Для работы ей не нужны ядра GPU и CPU. Вместо них технология полагается на аппаратный ИИ-движок Neural Processing Unit (NPU), который разгружает задачи по масштабированию с видеокарты и центрального процессора. Без NPU Auto SR работать не будет.

Auto SR предназначена для уже выпущенных игр, с частью которых она будет применяться автоматически (с их списком можно ознакомиться ниже). В свою очередь DirectSR предназначен для новых игр, в которые необходимо интегрировать указанный API. Таким образом, хотя оба решения и направлены на обеспечение масштабирования и повышения производительности, они предлагают разные уровни качества и не предназначены для конкуренции друг с другом. Auto SR будет работать автоматически со следующими играми: BeamNG.drive, Borderlands 3, Control (DX11), Dark Souls III, God of War, Kingdom Come: Deliverance, Resident Evil 2, Resident Evil 3, Sekiro: Shadows Die Twice, Sniper Ghost Warrior Contracts 2 и The Witcher 3.

В настоящий момент Auto SR поддерживается только компьютерами Copilot Plus PC. Иными словами, она будет работать только на системах с процессорами Qualcomm Snapdragon X. Вероятно, позже поддержка технологии появится на ноутбуках с процессорами AMD Ryzen AI 300 и Intel Core Ultra 200V (Lunar Lake). Microsoft таже хочет в будущем добавить для Auto SR поддержку HDR и систем с несколькими мониторами.

Microsoft сообщила о доступности предварительной версии Agility Software Development Kit 1.714.0 для разработчиков, в который включена поддержка API DirectSR. Последний призван упростить интеграцию различных технологий масштабирования в игры.

Источник изображения: VideoCardz

DirectSR представляет собой расширение DirectX 12, разработанное Microsoft вместе с AMD, Intel и Nvidia. Оно позволяет добавлять поддержку AMD FSR, Intel XeSS и Nvidia DLSS через единый механизм, значительно сокращая время и объём работы, которые затрачивались для интеграции каждой технологии по отдельности.

Раньше каждую технологию масштабирования приходилось реализовывать вручную с помощью отдельных SDK (за исключением игровых движков со специальными плагинами для масштабирования, которые есть, например, в Unreal Engine 5). С помощью DirectSR все три средства масштабирования можно реализовать одним махом. DirectSR охватывает ключевые функции и особенности, присущие всем технологиям временного масштабирования. В большинстве случаев речь здесь идёт о векторах движения, буферах глубины и цвета, метках реакции и экспозиции.

Поскольку DirectSR технически является альтернативным методом интеграции технологий масштабирования, объединяющим DLSS, XeSS и FSR, новый API от Microsoft должен поддерживаться на уровне графического драйвера для аппаратных решений масштабирования. Это означает, что актуальные версии графических драйверов, например, с аппаратной поддержкой Nvidia DLSS и XMX-совместимой версии Intel XeSS, пока не поддерживают DirectSR, и пользователям придётся перейти на версию драйверов, в которых будет реализована совместимость с новым API.

Microsoft заявляет, что DirectSR в перспективе получит встроенную поддержку вариантов масштабирования, не зависящих от используемого графического процессора. В выпущенной предварительной версии DirectSR компания добавила встроенную поддержку только для AMD FSR 2.2. Однако следует ожидать, что Microsoft добавит встроенную поддержку Intel DP4a (необходимой для программной реализации XeSS, не зависящей от используемого GPU), в будущем обновлении, возможно, в полной версии DirectSR.

DirectSR пока недоступен ни в одной игре, но разработчики уже могут использовать этот API. Он доступен в предварительной версии Agility SDK 1.714.0.

Компания Microsoft ведёт разработку технологии масштабирования изображения Automatic Super Resolution (Auto SR) на уровне операционной системы Windows. Функцию можно будет использовать не только для игр, но и для приложений. Для этого в ОС будут присутствовать соответствующие настройки. Как выяснилось, изначально функция Auto SR будет доступна только для компьютеров, подпадающих под категорию Copilot Plus PC.

Источник изображения: VideoCardz

Copilot Plus PC — новый бренд, которым будут обозначаться ноутбуки на Windows от разных производителей, оснащённые аппаратным обеспечением для работы искусственного интеллекта и поддерживающие функции ИИ во всей операционной системе. Вчера под этим брендом были представлены новые ноутбуки Surface от Microsoft, а также решения от Dell, Lenovo, Samsung, HP, Acer и Asus. Всех их объединяет одна вещь — в их основе используются Arm-процессоры Qualcomm Snapdragon X Elite. Изначально ПК именно с такими процессорами получат поддержку Auto SR. Другими словами, X86-совместимые чипы и даже 10-ядерные Arm-процессоры Snapdragon X Plus поддержку данной функции не получат. По крайней мере, не сразу. Также Auto SR будет работать только с определённым набором «отобранных игр».

Источник изображения: Microsoft

В описании Auto SR компания Microsoft не упоминает никакие другие процессоры, кроме Qualcomm Snapdragon X Elite. Однако в этом году состоится выпуск чипов AMD Strix Point и Intel Lunar Lake, которые должны также стать частью бренда Microsoft Copilot Plus PC.

Хотелось бы надеяться, что Auto SR не будет ограничена только этими процессорами и системами. У Windows сильное сообщество моддеров, поэтому в какой-то момент функция наверняка будет разблокирована для всех платформ и всех игр, если Microsoft сама не расширит её поддержку. А пока можно использовать встроенные в игры технологии масштабирования на уровне драйвера, например, Radeon Super Resolution, или воспользоваться сторонними инструментами, вроде Lossless Scaling.

Технология масштабирования видео Nvidia RTX Video стала доступна в браузере Mozilla Firefox. Технология задействует мощности видеокарт Nvidia GeForce RTX и специальные ИИ-алгоритмы для повышения качества видеопотока, аналогично тому, как работает технология DLSS в играх.

Источник изображений: Nvidia

Очевидную пользу от технологии Nvidia RTX Video могут оценить, например, пользователи платных стриминговых сервисов. Технология масштабирует разрешение изображения видео до более высокого. При этом в данном случае нет необходимости платить за более высокое качество видеопотока. Алгоритмы RTX Video также устраняют артефакты сжатия, улучшают резкость и яркость цвета при использовании режима HDR.

Ранее технология Nvidia RTX Video была доступна только для браузеров Google Chrome и Microsoft Edge. Теперь она стала доступна и для Mozilla Firefox. Также следует отметить, что Nvidia RTX Video поддерживается медиапроигрывателем VLC Media Player.

А технология RTX Video HDR с помощью ИИ-алгоритма автоматически переводит транслируемый SDR-контент в расширенный динамический диапазон (HDR). Однако для оптимальной функциональности рекомендуется наличие монитора с сертификацией не ниже VESA DisplayHDR 600.

Согласно Nvidia, технология RTX Video поддерживается браузером Firefox версии 126 и новее. Для использования RTX Video в браузере Firefox необходимо выполнить следующие шаги:

• установить последние версии драйвера GeForce RTX Game Ready Driver, Nvidia Studio или Nvidia RTX Enterprise;
• убедиться, что в Windows включён режим HDR (Система → Дисплей → HDR);
• открыть контрольную панель Nvidia, перейти в раздел «Регулировка параметров изображения для видео»;
• в пункте «Улучшение видео RTX» включить Super Resolution и High Dynamic Range.

Компания Intel выпустила новую версию своей технологии масштабирования изображения XeSS и сообщила, что поддержка XeSS теперь реализована в более чем 100 различных играх.

Источник изображений: Intel

Новейшая версия технологии масштабирования XeSS 1.3 обеспечивает более высокую производительность по сравнению с предыдущей версией. Однако следует уточнить, что в новой версии были изменены профили масштабирования изображения. Иными словами, хотя компания заявляет о повышении производительности у XeSS 1.3, этот прирост достигается за счёт меньшего разрешения (более высокого уровня масштабирования), а не благодаря той же оптимизации кода самой XeSS.

В новую версию XeSS 1.3 компания добавила алгоритм с новой ИИ-моделью, которая, как заявляется, обеспечивает отображение более визуально сложных элементов, лучшую реконструкцию изображения, улучшенное сглаживание, уменьшение ореолов вокруг объектов и повышенную временную стабильность.

В XeSS 1.3 также представлены два дополнительных профиля настроек масштабирования: Ultra Performance и Ultra Quality Plus. Первые максимально повышают производительность за счёт снижения качества изображения, а вторые призваны минимизировать снижение качества картинки за счёт снижения производительности. Кроме того, в XeSS 1.3 представлена технология Native Anti-Aliasing, являющаяся аналогом Nvidia DLAA и представляющая собой сглаживание без масштабирования.

Как уже говорилось выше, XeSS 1.3 использует иные уровни масштабирования. Настройки «Ultra Quality» теперь обеспечивают масштабирования в 1,5 раза вместо 1,3, в свою очередь настройки «Quality» предлагают масштабирование в 1,7 раза вместо 1,5. Настройки «Balanced» масштабируют картинку в 2,0x вместо 1,7x, «Performance» — 2,3x вместо 2,0x, а «Ultra Performance» масштабирует изображения в три раза.

Intel также приводит несколько сравнений технологий масштабирования XeSS 1.2 и XeSS 1.3. Однако учитывая, что каждый профиль настроек XeSS 1.3 был изменён просто за счёт изменения разрешения, это сравнение может показаться бессмысленным. И всё же окончательные выводы можно будет делать после того, как XeSS 1.3 станет доступна в играх, и можно будет сравнить эффективность профилей настроек обеих технологий, их производительность и, что важнее, обеспечиваемое ими качество изображения.

Intel сообщила, что выпустила новую версию SDK с поддержкой XeSS 1.3, поэтому игровые разработчики уже могут приступать к интеграции новой технологии в свои проекты.

Компания AMD продолжает работу над технологией интеллектуального масштабирования изображения в играх FidelityFX Super Resolution третьего поколения — вскоре она обновится до версии FSR 3.1, а разработчикам игр решение будет доступно со второго квартала.

Источник изображения: amd.com

AMD FSR 3.1 содержит несколько улучшений, в том числе улучшенное качество изображения, поддержку Vulkan и Xbox Game Dev Kit и важное нововведение — разделение технологий генерации кадров и собственно масштабирования. Это значит, что разработчики игр смогут сочетать алгоритм генерации кадров AMD FSR 3.1 с другими технологиями масштабирования, такими как DLSS, XeSS и TSR.

AMD перечислила, в каких направлениях она усовершенствовала FSR в новом выпуске: повышена временная стабильность в покое и движении — уменьшены эффекты мерцания и шума вокруг движущихся объектов; уменьшены эффекты ореолов вокруг объектов; повышено качество сохранения деталей. Кроме того, упрощена отладка для разработчиков и обеспечена совместимость с обновлёнными версиями FSR.

Основные улучшения AMD FSR 3.1 компания продемонстрировала на примере игры Ratchet & Clank: Rift Apart — это одно из первых наименований, где реализована поддержка последней версии. AMD сообщила, что сейчас FSR 3 работает более чем с 40 играми, но официального списка игр с поддержкой FSR 3.1 пока нет. Разработчикам откроется доступ к новой версии технологии через платформу GPUOpen — точная дата не указывается, но известно, что произойдёт это во II квартале.

Технология масштабирования AMD FidelityFX Super Resolution (FSR) была представлена в 2021 году, то есть спустя три года после дебюта технологии NVIDIA DLSS. Первое поколение FSR было основано на простом методе пространственного масштабирования. С выпуском FSR 2 компания перешла к использованию более сложного метода временного масштабирования. Однако в отличие от той же DLSS, FSR не использует ИИ-алгоритмы для работы. Скоро это может измениться.

Источник изображения: VideoCardz

Поскольку FSR не работает с ИИ-алгоритмами, она не требует специальных аппаратных блоков в графическом процессоре видеокарты для эффективной работы. В этом и заключается ключевое отличие между FSR, DLSS от NVIDIA и XeSS от Intel. Две последние используют ИИ для исправления артефактов изображения. Для работы DLSS требуются тензорные ядра. В свою очередь, XeSS выпущена в двух версиях, одна из которых полагается на XMX-ядра в составе GPU видеокарт Intel, а вторая — на инструкции DPAa у поддерживающихся видеокарт от других производителей.

Похоже, AMD тоже занимается вопросом интеграции ИИ в свою технологию апскейлинга. По крайней мере, на это намекнул её технический директор Марк Пейпермастер (Mark Papermaster).

«Для нас 2024 год будет очень важным. Мы потратили много лет на разработку аппаратных и программных возможностей для ИИ. Мы только что завершили разработку искусственного интеллекта для всего нашего портфолио продуктов, включая облачные, периферийные устройства, ПК, а также для наших встроенных и игровых устройств. Мы наделяем наши игровые устройства возможностью масштабировать изображение с помощью искусственного интеллекта. В этом году ожидается масштабное развёртывание [этой технологии]. Теперь у нас есть все возможности для этого. Своих партнёров мы уже известили», — заявил Пейпермастер.

Из слов Пейпермастера можно сделать вывод, что у компании появились возможности для интеграции ИИ в FSR. Правда, в самом заявлении ничего не говорится непосредственно об FSR. Однако поскольку его комментарий касался в том числе и игрового оборудования, то вполне логично предположить, что он имел ввиду именно технологию FSR. Наличие поддержки ИИ сделает её похожей на DLSS и XeSS.

Следует добавить, что DLSS и XeSS являются закрытыми технологиями, а FSR в своём нынешнем воплощении — открытой. Как переход на ИИ-основу скажется на её открытости — неизвестно.

Несколько дней назад сообщалось, что компания Microsoft разрабатывает некую технологию под названием DirectSR. На тот момент было выдвинуто предположение, что речь идёт об универсальной технологии масштабирования изображения в играх, которая будет поддерживаться всеми производителями видеокарт. К сожалению, DirectSR не является универсальным апскейлером.

Источник изображения: VideoCardz

В Microsoft объяснили, что DirectSR — это новый API, предназначенный для игровых разработчиков. Он призван упростить и сделать более универсальным процесс интеграции уже существующих и будущих технологий масштабирования в игровые проекты.

DirectSR был разработан при поддержке ведущих производителей видеокарт в лице NVIDIA и AMD. Новый API собираются представить на конференции GDC 2024 в марте. DirectSR охватывает ключевые функции и особенности, присущие всем технологиям временного масштабирования. В большинстве случаев речь здесь идёт о векторах движения, буферах глубины и цвета, метках реакции и экспозиции. Для эффективной работы апскейлера в игре эти переменные (в случае той же AMD FSR) должны быть распределены между игровыми кадрами. Судя по всему, другие существующие технологии временного масштабирования имеют аналогичные требования и ключевые особенности. DirectSR с одной стороны сделает процесс интеграции различных апскейлеров более универсальным, а с другой — позволит расширить количество переменных для их использования в составе других возможных будущих технологий масштабирования.

«Мы рады анонсировать DirectSR — наш новый API, разработанный при поддержке производителей GPU и предназначенный для упрощения процесса интеграции технологий масштабирования (Super Resolution, SR) в новое поколение игр. Масштабирование изображения является передовой технологией, которая не только увеличивает разрешение в играх, но также позволяет повысить их визуальное качество. DirectSR представляет собой то недостающее звено, которого не хватало разработчикам игр при интеграции апскейлеров для обеспечения наиболее эффективного и плавного игрового процесса независимо от того или иного аппаратного обеспечения. Этот API позволяет использовать технологии масштабирования от разных вендоров через общий набор входных и выходных данных и с помощью одного пути выполнения кода активировать в играх различные решения, включая NVIDIA DLSS Super Resolution, AMD FidelityFX Super Resolution и Intel XeSS. API DirectSR скоро станет доступен в качестве превью-версии в составе пакета Agility SDK для тестирования и отзывов со стороны разработчиков игр», — сообщила Microsoft на своём сайте.

На данный момент самыми популярными технологиями масштабирования являются NVIDIA DLSS2 и DLSS 3 (закрытые технологии, работающие только на видеокартах GeForce RTX), AMD FSR 2 и FSR 3 (обе являются открытыми технологиями), а также Intel XeSS (так и не стала открытой, несмотря на обещания Intel). Также можно выделить TSR в составе Unreal Engine, которая тоже может получить поддержку DirectSR.

В рамках грядущей конференции для игровых разработчиков GDC 2024, которая официально стартует 23 марта, компания Microsoft представит новую технологию масштабирования DirectSR или Direct Super Resolution.

Источник изображений: VideoCardz

Подробности о новой технологии пока остаются неизвестными, но предполагается, что DirectSR станет универсальной программной технологией масштабирования изображения для видеокарт, реализованной на уровне операционной системы Windows и работающей при поддержке графических ядер. Каких именно графический ядер — Microsoft объяснит в марте.

Весьма вероятно, что основная цель технологии DirectSR заключается в обеспечении универсальной совместимости с новейшими архитектурами графических процессоров, которые уже поддерживают собственные технологии масштабирования Intel XeSS, AMD FSR и NVIDIA DLSS. Примеры тех же AMD FSR и Intel XeSS показывают, что такие технологии не обязательно привязаны к видеокартам тех или иных вендоров, и могут работать на оборудовании сторонних разработчиков, хотя их эффективность при этом может сильно отличаться.

В настоящее время разработчикам игр приходится добавлять каждую технологию масштабирования в свои игры по отдельности. Microsoft же со своей стороны может представить технологию, которая будет поддерживаться всеми современными архитектурами GPU одновременно и которую будет значительно проще реализовать в играх.

Презентация Microsoft запланирована на 21 марта. Вместе с Microsoft в ней примут участие представители компаний AMD и NVIDIA. Недавно из утечек также стало известно, что Microsoft работает над внедрением в Windows 11 новой функции масштабирования под названием Auto SR.

На данный момент непонятно, связана ли Auto SR каким-то образом с DirectSR. Однако из доступного описания следует, что она использует для работы алгоритмы ИИ.

Компания Microsoft работает над функцией масштабирования видео из низкого разрешения в более высокое с помощью ИИ-алгоритмов. Вероятно, речь идёт об аналоге инструментов NVIDIA DLSS и AMD FSR, который будет интегрирован непосредственно в Windows 11.

Источник изображения: Microsoft

Упоминания функции под названием Automatic Super Resolution обнаружились в последних тестовых сборках Windows 11, которые доступны участникам программы предварительной оценки Microsoft. В описании этого инструмента сказано, что новая функция «использует искусственный интеллект для обеспечения в поддерживаемых играх более плавного игрового процесса с улучшенной детализацией».

Отметим, что описание технологии Automatic Super Resolution указывает на то, что Microsoft намерена интегрировать в Windows 11 функцию, которая похожа на технологию Deep Learning Super Resolution. Последняя задействует ИИ-алгоритмы для повышения кадровой частоты и качества изображения в играх. AMD и Intel также ведут разработку аналогов, популярность которых растёт в последнее время.

Источник изображения: Tom Warren / The Verge

Microsoft ещё не анонсировала новую функцию, поэтому трудно сказать, как именно она будет работать и в какие сроки может стать общедоступной. Технология DLSS задействует для масштабирования изображения тензорные ядра ускорителей GeForce RTX. Вполне возможно, что для корректной работы функции Automatic Super Resolution потребуется наличие соответствующей видеокарты или процессора с NPU.

Документы компании Apple раскрыли подробности о технологии масштабирования MetalFX. Информация, содержащаяся в разделе Legal & Regulatory программных продуктов Apple, указывает, что в основе MetalFX используется технология масштабирования FidelityFX Super Resolution (FSR) компании AMD, пишет портал Notebook Check.

Источник изображений: Apple

Apple описывает MetalFX, как фреймворк, который интегрируется вместе с API Metal для повышения качества изображения из более низкого входного разрешения в более высокое выходное разрешение. При этом с задачей он справляется за меньшее время, чем GPU требуется отрисовать изображение в изначально высоком родном разрешении.

Иными словами, технология позволяет снизить уровень использования аппаратных ресурсов и одновременно повысить уровень игровой производительности. До недавнего времени предполагалось, что Apple разработала MetalFX полностью самостоятельно. Однако более внимательное знакомство с лицензионными соглашениями для программного обеспечения компании раскрыло, что в основе MetalFX используется технология AMD FSR.

В отличие от FSR-масштабирования MetalFX не имеет открытого исходного кода. Вероятно, Apple доработала технологию под свои нужды. Примечательно, что в состав MetalFX входит поддержка технологий временного и пространственного масштабирования, а также различные методы сглаживания, которые являются основными элементами технологии FSR от AMD. Также любопытно, что множество игр, которые уже вышли для устройств Apple или готовятся выйти, а это Death Stranding, No Man’s Sky, Resident Evil Village, Myst, Resident Evil 4, Assassin’s Creed Mirage, Lies of P, Baldur’s Gate 3 и The Medium, поддерживают в том числе AMD FSR.

Для разработчиков игр, которые портируют свои проекты с поддержкой AMD FSR на macOS, очевидно удобнее реализовывать в этих играх поддержку MetalFX, поскольку обе технологии очень похожи. Это также помогает объяснить, каким образом полноценная ПК-игра Resident Evil Village без проблем работает на мобильном процессоре A17 Pro смартфона iPhone 15 Pro.

Даже если Apple в итоге не платит никаких роялти за использование FidelityFX Super Resolution компании AMD, последняя всё равно может извлечь из этого пользу. Разработчики игр, зная, что FSR служит основной MetalFX, будут активнее внедрять поддержку FSR в свои проекты. Таким образом это поможет более быстрому распространению технологии AMD. С точки зрения Apple, чем больше разработчиков будут создавать игры с поддержкой FSR, тем больше шансов, что эти игры в итоге также окажутся и на её платформе.

Компания AMD сделала свою технологию интеллектуального масштабирования изображения в играх AMD FidelityFX Super Resolution 3 (FSR 3) открытой, опубликовав её исходный код под лицензией MIT. Теперь разработчики и энтузиасты могут её изучить и интегрировать в свои игры и другие разработки.

Источник изображения: VideoCardz

На данный момент релиз открытого исходного кода включает поддержку технологии только для DirectX 12 и Unreal Engine 5. Поддержка Vulkan пока находится в разработке. Её планируют выпустить позднее.

Источник изображения здесь и ниже: AMD

В состав FSR 3 входит компонент Frame Generation или генератор кадров. Сам по себе Frame Generation опционален. Его необязательно использовать в рамках интеграции FSR 3. Тем не менее компания опубликовала все необходимые DLL-библиотеки для его использования. И это первый случай, когда какая либо-компания публикует свою технологию генерации кадров открытым исходным кодом. Для игр, в которых уже есть поддержка FSR2, AMD рекомендует заменить FSR2 на версию 3.0.

AMD сообщает, что в версии FSR3 v3.0.3 были внесены улучшения качества и расширена поддержка мониторов с переменной частотой обновления (VRR) в логике управления кадрами.

Весь необходимый инструментарий, а также инструкции по интеграции FSR 3 можно найти на сайте GPU Open. Сам исходный код технологии также опубликован в репозитории на сайте GitHub.

Компания NVIDIA сообщила, что к настоящему моменту более 500 игр и приложений получили поддержку технологий семейства RTX — трассировки лучей, ИИ-масштабирования изображения и других технологий на базе ИИ. Список проектов с поддержкой данных технологий продолжает пополняться с каждым месяцем.

Источник изображения: NVIDIA

Прошло пять лет с тех пор, как компания NVIDIA выпустила первые видеокарты GeForce RTX 20-й серии с поддержкой трассировки лучей (RTX) и пообещала, что эта технология станет одной из важнейших в сегменте игровой графики. Одновременно с этим NVIDIA представила DLSS (Deep Learning Super Sampling) — технологию масштабирования изображения на базе ИИ-алгоритмов, которая позволила использовать трассировку лучей даже на относительно слабых видеокартах с её номинальной поддержкой. За эти пять лет NVIDIA успела выпустить ещё два поколения видеокарт RTX, а также преодолеть отметку в 500 игр и других приложений с поддержкой DLSS и трассировкой лучей.

С полным списком игр и приложений (более 520) с поддержкой RTX можно ознакомиться на сайте NVIDIA. К настоящему моменту 388 игр получили поддержку одной или нескольких функций входящих в общий пакет RTX: это либо поддержка DLSS, либо поддержка трассировки лучей, либо поддержка аппаратных технологий ИИ, реализованных в видеокартах GeForce RTX. В списке также имеются 119 приложений. Поэтому, если считать только игры, то до отметки в 500 игровых проектов компания ещё не добралась.

Примечательно, что только восемь игр к настоящему моменту получили абсолютно полную поддержку трассировки лучей последнего поколения, при этом две из них, по сути, представляют собой одну и ту же игру — это Cyberpunk 2077 и масштабное дополнение Cyberpunk 2077: Phantom Liberty. То же может относиться к Portal RTX и Portal: Prelude RTX. При этом три игрs (если не считать повторно Phantom Liberty) имеют поддержку технологии DLSS 3.5 Ray Reconstruction или реконструкции лучей с помощью DLSS.

Технология DLSS 2 является самой распространённой. Указанная версия масштабирования изображения поддерживается 361 игрой и 14 приложениями. Многие из них также поддерживают трассировку лучей. Также показательно, что только пять игр имели поддержку DLSS 1. Технически их было больше, но многие из них через время были обновлены до DLSS 2.

К настоящему моменту технология DLAA (Deep Learning Anti-Aliasing) или сглаживание без масштабирования поддерживается 41 игрой.

Наиболее свежей ИИ-технологией NVIDIA является Frame Generation, являющаяся частью DLSS 3. Она работает только с видеокартами GeForce RTX 40-й серии и служит для генерации искусственных промежуточных кадров для повышения плавности игрового процесса. Для работы технологии требуется усовершенствованный аппаратный ускоритель Optical Flow Accelerator (OFA), являющийся частью каждого графического процессора из серии Ada Lovelace. Технология Frame Generation — не без недостатков. Её использование не только повышает плавность игры, но также увеличивает задержку ввода. Для компенсации этого NVIDIA выпустила технологию Reflex, но она, к сожалению, поддерживается далеко не всеми играми. К настоящему моменту поддержку DLSS 3 имеют 61 игра и четыре приложения.

С учётом того, что за год выходят тысячи новых игр, поддержка RTX в чуть более 500 из них кажется каплей в море. Однако очевидным становится факт растущего числа главных игровых релизов, которые получают поддержку одной или нескольких функций NVIDIA RTX.

Компания Adobe на своём мероприятии Adobe Max продемонстрировала работу технологии Res-Up, которая позволяет значительно улучшить качество анимированных GIF-изображений и видео с низким разрешением. Решение пока не является общедоступным, и опробовать его всем желающим не получится, но его потенциал впечатляет.

Источник изображений: Adobe

Технология Adobe Res-Up предлагает увеличение изображения за счёт диффузии — одного из методов генеративного искусственного интеллекта; она позволяет повышать резкость и детализацию картинки. В одном из примеров Adobe продемонстрировала работу с фрагментом фильма «Красный дом» (The Red House) 1947 года — его разрешение было увеличено с 480 × 360 до 1280 × 960 пикселей.

Полученные при помощи ИИ кадры стали намного чётче: алгоритм убрал большую часть размытости и даже добавил новые детали, такие как пряди волос и блики. Картинка смотрится немного неестественно, что, впрочем, свойственно многим изображениям и видеороликам, полученным с ИИ, но это заметный шаг вперёд по сравнению технологией Video Super Resolution от Microsoft.

Достоин внимания ещё один пример с небольшим фрагментом видео, на котором изображён слонёнок: алгоритм сделал видео намного более чётким и снова добавил новые детали, в том числе морщины на коже. Только на этот раз картинка смотрится более естественной — подрисованные морщины органично двигаются вместе с животным. Adobe пока не готова сделать технологию Res-Up общедоступной, но не исключено, что она в перспективе будет интегрирована в программы Adobe Premiere Pro или Express.

Компания AMD в рамках своего мероприятия Gaming Festival 2023 на выставке Gamescom сообщила, что поддержку технологии масштабирования изображения FidelityFX Super Resolution (FSR) версии 3 первыми получат две игры — Forspoken и Immortals of Aveum. В перспективе список поддерживаемых игр будет расширяться. Важной особенностью технологии станет технология генерации дополнительных кадров, что повысит FPS в играх.

Источник изображений: AMD

В составе новой версии FSR используется технология генерации дополнительных кадров в играх Fluid Motion Frames (FMF), которую можно сравнить с технологией генератора кадров DLSS3 Frame Generation от компании NVIDIA. Последняя значительно повышает FPS в играх, генерируя дополнительные кадры на основе данных о предыдущих, но вместе с этим увеличивает время задержки.

Сокращение времени задержки также будет ключевым направлением для FSR 3, поскольку компания понимает, что геймерам нужны не только высокая частота кадров в играх, но и максимально быстрый отклик на действия игрока. В AMD отметили, что интеграция FSR 3 в игры, где уже присутствует поддержка FSR 2, не будет представлять никаких сложностей.

Первыми играми, в которых будут использованы возможности FSR 3, являются Forspoken и Immortals of Aveum. Первая вышла в январе и судя по обзорам и отзывам игроков не оправдала ожиданий. Вторая в свою очередь была выпущена несколько дней назад. Это первая игра, использующая игровой движок Unreal Engine 5.1.

На сегодняшней презентации AMD показала возможности FSR 3 в игре Forspoken, запущенной в разрешении 4K, при использовании максимальных настроек качества изображения с трассировкой лучей. Для демонстрации был выбран режим FSR 3 «Производительность». Благодаря этому частота кадров игры увеличилась более чем в три раза.

Минимальные требования для FSR 3 подразумевают наличие видеокарты уровня Radeon RX 5000 и новее или же видеокарт NVIDIA GeForce RTX 2000 и новее. Поддержка FSR 3 будет распространяться по лицензии MIT. Технология будет также совместима с консолями. AMD ожидает, что патчи с поддержкой FSR 3 для Forspoken и Immortals of Aveum выйдут во второй половине сентября.