ИИ на страже видеоигр: технологии суперсэмплинга простыми словами — DLSS, FSR и XeSS
Статья

ИИ на страже видеоигр: технологии суперсэмплинга простыми словами — DLSS, FSR и XeSS

Представить современный ПК-гейминг без технологий апскейла практически невозможно: почти ни одна игра не обходится без поддержки одной из трех ключевых технологий суперсэмплинга — DLSS, FSR или XeSS. Удобные по многим параметрам, для ряда пользователей они стали камнем преткновения и предметом многочисленных споров. Кто-то уверен, что благодаря суперсэмплингу получается добиваться отличной картинки почти без потерь, кто-то ругает разработчиков за отсутствие желания оптимизировать игры. В этой статье поговорим, в чем различия трех существующих на рынке предложений, чем они хороши и в чем их минусы.

DLSS

Скриншот из Hitman 3. Источник: NVIDIA
Скриншот из Hitman 3. Источник: NVIDIA

DLSS (Deep Learning Super Sampling) — технология от NVIDIA, ставшая первым подобным предложением на рынке. Она была своего рода необходимостью: впервые DLSS предложили вместе с выходом карт серии RTX, в которых появилась трассировка лучей, сильно снижающая производительность. Чтобы добиться вменяемого фреймрейта при работе новой на тот момент технологии, пришлось идти на ухищрения, главным из которых и стала DLSS.

Если не вдаваться в технические сложности, DLSS запускает игру в более низком разрешении и «достраивает» картинку с помощью нейросети. Последняя обучена на серверах NVIDIA, где запускались тайтлы в разрешении 16К, и по «запомненным» картинкам карты серии RTX дополняют изображение до нужного «растянутого» разрешения. Если первая версия суперсэмплинга училась на конкретных играх, то вторая уже более универсальна и в дополнение к информации из обучения использует данные о смещении кадров относительно друг друга и учитывает несколько кадров подряд, чем напоминает другую систему сглаживания, ТАА (Temporal Anti-Aliasing).

После второй версии DLSS вышли третья и 3.5, но по принципу работы они несколько отличаются от предшественниц. Например, DLSS 3 позволяет генерировать промежуточные кадры, увеличивая FPS, а в версии 3.5 добавили реконструкцию лучей, позволяющую снизить шумы при трассировке. Благодаря этому в играх часто встречаются отдельные настройки, позволяющие задействовать все три DLSS: собственно, суперразрешение, генерацию кадров и реконструкцию лучей. В анонсированной линейке RTX 50XX также появится множественная генерация кадров, а все предыдущие технологии получат существенное улучшение. В сумме этот апгрейд обозначен как DLSS 4.

В целом сегодня DLSS считается лучшим решением среди аналогов, но обладает существенным недостатком: для работы технологии требуются видеокарты семейства RTX, причем для более новых версий DLSS ожидаемо нужны более старшие модели из-за особенностей вычисления на тензорных ядрах. Например, генерация кадров невозможна на картах ниже поколения 40XX.

FSR

Источник: AMD
Источник: AMD

Если NVIDIA делает ставку на уникальное железо и нейросети, то AMD решила пойти другим путем. Предложенная компанией технология FSR (FidelityFX Super Resolution) также поднимает разрешение с более низкого до требуемого, но использует совершенно другие принципы.

Первую версию FSR неправильно называть апскейлером: она не столько повышала разрешение, сколько заполняла промежутки дополнительной информацией. С этой точки зрения решение AMD напоминало, скорее, технологии сглаживания: например, FXAA строится на заполнении пространства полутонами, за счет чего изображение лишается «лесенок», но становится более мутным. FSR была более сложной альтернативой, так как использовала другие математические принципы вместе с системой фильтров, позволяющих убирать самые очевидные «косяки» алгоритма. Результат был неоднозначным: изображение, разумеется, становилось лучше, но не дотягивало до требуемого разрешения — разница бросалась в глаза.

Вторая версия FSR вышла пару лет спустя и оказалась в разы лучше первой. Ключевое изменение — работа с информацией, получаемой от движка: по сути, из геймплея технология заранее узнает векторы движения и глубины, позволяющие понять, насколько сильная разница будет между соседними кадрами, и правильно накладывать изображение с учетом того. Но проблем всё еще хватает: например, FSR плохо справляется с тонкими объектами и испытывает немало проблем с гостингом и мерцанием. Зато FSR работает на любых видеокартах и не требует каких-то дополнительных ухищрений, в отличие от решения NVIDIA.

XeSS

Источник: Intel
Источник: Intel

Последней из тройки ведущих производителей железа на рынок суперсэмплинга пришла Intel. Технология во многом связана с видеокартами Intel Arc, которые, подобно серии RTX от NVIDIA, имеют отдельные вычислительные блоки XMX, предназначенные для ускорения работы нейросетей. При этом XeSS берет лучшее от обоих конкурентов и совмещает нейросетевой апскейлинг с доступностью на любых видеокартах.

Принцип во многом похож на таковой у DLSS: XeSS прогоняет через нейросеть каждый кадр за несколько миллисекунд и рендерит изображение, сравнивая его с эталонным. В отличие от решения NVIDIA, местный алгоритм проводит операции большим количеством меньших чисел, что несколько ускоряет процессы. При этом в зависимости от наличия или отсутствия ядер XMX сеть работает в полном или урезанном виде — очевидно, качество на картах Intel выше.

Современная версия технологии работает преимущественно лучше, чем FSR, но уступает DLSS. Со временем инженерам удалось добиться большей четкости, снижения мерцания и гостинга, но полностью от них избавиться пока остается сложной задачей. При этом XeSS более требовательна в сравнении с FSR: качество картинки будет «сжирать» частоту, что стоит учитывать.

Разница между решениями

Источник: Techspot
Источник: Techspot

Как можно понять из описаний конкретных апскейлеров, технологии различаются во многом тем, как именно они проводят апскейл. При этом тем, кто не погружается глубоко в вопрос, может показаться, что технологии просто привязаны к производителям видеокарт. Что интересно, многие инженеры, занимающиеся апскейлом, в целом с такой позицией согласны и отмечают, что в идеальном мире выбор технологии вообще не должен быть на плечах геймера. В будущем, как надеются многие, игра будет сканировать систему и выбирать наиболее подходящую технологию самостоятельно.

Теперь, когда мы разобрались с тем, какие системы в целом предлагает современный рынок, пришло время поговорить о достоинствах и недостатках подобного подхода.

Минус: графические артефакты

Скриншот из Hogwarts Legacy
Скриншот из Hogwarts Legacy

Генерация контента неизбежно приводит к неправильному отображению тех или иных элементов на экране. Больше всего страдают тайтлы с быстрым экшеном или предметы и персонажи на большом отдалении от игрока: неизбежны гостинг, свечение и различные артефакты. Насколько это заметно, всегда зависит от настроек, предустановок и оптимизации конкретных игр. Стоит заметить, что из-за графических проблем многие геймеры в соревновательных тайтлах полностью отказываются от апскейла.

Плюс: рост FPS

Результаты для Hitman 3 в режиме «Баланс». Источник: Beebom
Результаты для Hitman 3 в режиме «Баланс». Источник: Beebom

Очевидно, что рендер в более низком разрешении с последующим апскейлом позволяет увеличить количество кадров в секунду. Иногда существенно: тесты показывают, что использование DLSS позволяет увеличить FPS чуть ли не втрое. FSR и XeSS показывают менее впечатляющие результаты, но всё еще позволяют добиться куда лучшей производительности, чем без апскейла вовсе.

Минус: увеличение задержки

Увеличение задержки на примере Cyberpunk 2077. Источник: Eurogamer
Увеличение задержки на примере Cyberpunk 2077. Источник: Eurogamer

Как уже говорилось выше, на генерацию кадров и достраивание изображения уходит определенное количество времени, что сказывается на задержке ввода. В некоторых случаях это не является существенной проблемой, но для игр, где особенно важна скорость реакции, подобные промедления могут сыграть критическую роль — еще один минус в копилку для мультиплеера.

Плюс: современные технологии сильно улучшают картинку

Источник: NVIDIA
Источник: NVIDIA

Удивительно, но факт: DLSS благодаря уникальным алгоритмам способна выдавать более качественное изображение, чем аналогичное нативное. В сети можно увидеть немало примеров, при которых технология NVIDIA показывает себя лучше в сравнении с классическими примерами сглаживания на аналогичном разрешении. Особенно существенная разница наблюдается на разрешениях 1440р и 4К.

Минус: лень разработчиков

Источник: NVIDIA
Источник: NVIDIA

Всё больше игр выходят совершенно неоптимизированными, и, кажется, это с нами уже навсегда. Виной тому как раз суперсэмплинг: зачем стараться запустить игру на более слабом железе, если можно просто прикрутить апскейл? Как итог, даже топовые видеокарты попросту не справляются с современными тайтлами на высоких разрешениях и настройках без DLSS и ее аналогов. Удивительно, но даже сама NVIDIA в презентациях показывает откровенно низкий FPS в играх исключительно для демонстрации мощности собственных ИИ-технологий.

Плюс: улучшенный менеджмент ресурсов

Dragon's Dogma II чудовищно оптимизирована и почти неиграбельна без технологий суперсэмплинга
Dragon's Dogma II чудовищно оптимизирована и почти неиграбельна без технологий суперсэмплинга

В статье о проблемах портирования затрагивалась такая тема, как причины появления статтеров в играх. ИИ, в особенности за счет генерации кадров, способен сильно улучшить ситуацию: за счет того, что видеокарта рассчитывает сразу несколько кадров наперед, количество статтеров и замедлений сильно снижается, что сказывается на плавности изображения.

Минус: производители видеокарт стали обманывать покупателей

Источник: NVIDIA. Внимание на серые показатели — чистая производительность без DLSS
Источник: NVIDIA. Внимание на серые показатели — чистая производительность без DLSS

Здесь речь пойдет в первую очередь об NVIDIA. Во время презентации новой линейки глава компании Дженсен Хуанг заявил, что RTX 5070 по производительности не уступает RTX 4090, но тут же добавил, что подобное «невозможно без использования ИИ». На деле чисто по характеристикам 5070 куда слабее 4090, а похожие результаты возможны исключительно благодаря новой технологии мультигенерации кадров. Прямые же тесты и вовсе показывают, что новая линейка в отдельных случаях может проигрывать предыдущему поколению. Получается, что NVIDIA продает не только и не столько технологические улучшения, сколько улучшенные нейросети, встроенные в новое поколение. Ожидаемо, это вызывает немало вопросов у геймеров.

Если в начале существования технологии суперсэмплинга вызывали у всех только восторг, то со временем всё чаще начался слышаться скепсис. В первую очередь со стороны геймеров: минусы нередко перекрывают плюсы, а откровенная лень в вопросах оптимизации раздражает почти всех, кроме девелоперов, которым наконец-то можно тратить время на что-то еще. Чего ждать в будущем — вопрос открытый: все три ключевые технологии продолжают совершенствоваться и показывают себя лучше, чем несколько лет назад. Если при этом удастся победить существенные недостатки вроде задержки и графических артефактов, преимущества станут неоспоримыми. Даже несмотря на то, что реальной графики в кадре становится всё меньше. К слову, Хуанг на вопрос, будет ли однажды всё полагаться исключительно на нейросети, заявил, что подобного мы не дождемся: человеческий вклад и реальный геймплей всё так же остаются актуальны, и это вряд ли изменится в будущем. Дежурное напоминание, что речь идет об инструменте, а не о полноценной замене.

Комментарии