Новая статья, опубликованная исследователями Facebook перед SIGGRAPH 2020, рассказывает о технологии полноэкранного сглаживания Neural Supersampling, основанной на машинном обучении — она не слишком отличается от технологии NVIDIA Deep Learning Super Sampling (DLSS), но при этом не требует какого-либо запатентованного аппаратного или программного обеспечения.
При этом результаты работы технологии весьма впечатляют: как можно видеть на примерах изображений, качество оказывается вполне сопоставимым с DLSS. «Наиболее близкой к нашей работе является недавно представленная технология NVIDIA Deep-Learned Supersampling (DLSS), которая в реальном времени повышает качество рендеринга контента с низким разрешением с помощью нейронной сети», — сообщает описание.
Как отмечают исследователи, их метод легко интегрировать в современные игровые движки, он не требует специального оборудования (например, для отслеживание глаз) или программного обеспечения (например, специальных драйверов DLSS), что делает его применимым к более широкому спектру существующих программных платформ, аппаратных ускорителей и дисплеев.
«Мы выяснили, что для нейросуперсемплинга дополнительная вспомогательная информация, предоставляемая векторами движения, оказалась особенно эффективной. Векторы движения определяют геометрические соответствия между пикселями в последовательных кадрах. Другими словами, каждый вектор движения указывает на субпиксельное местоположение, где точка поверхности, видимая в одном кадре, могла появиться в предыдущем кадре. Эти значения обычно оцениваются методами компьютерного зрения для фотографических изображений, но такие алгоритмы оценки оптического потока подвержены ошибкам. В отличие от этого, конвейер рендеринга может непосредственно генерировать плотные векторы движения, тем самым обеспечивая надёжные и насыщенные входные данные для нейросуперсемплинга, применяемого к визуализированному контенту.
Наш метод основан на вышеупомянутых наблюдениях и объединяет дополнительную вспомогательную информацию с новым пространственно-временным дизайном нейронной сети, который нацелен на максимальное качество изображения и видео, обеспечивая при этом производительность в реальном времени.
Во время принятия решений наша нейронная сеть принимает в качестве входных данных атрибуты рендеринга (цвет, карту глубины и плотные векторы движения на каждый кадр) как текущего, так и нескольких предыдущих кадров, визуализированных с низким разрешением. На выходе нейросеть получает цветное изображение высокого разрешения, соответствующее текущему кадру. Сеть проходит контролируемое обучение: в процессе в качестве эталонного изображения выступает картинка в высоком разрешении, полученная методами полноэкранного сглаживания, — она используется в паре с каждым входным кадром низкого разрешения».
Очевидно, Facebook упомянула и о возможном применении метода Neural Supersampling в приложениях дополненной и виртуальной реальности в рамках собственной платформы Oculus. Однако нет причин, по которым подобную многообещающую альтернативу DLSS нельзя было бы применять и в обычных играх.
