ГлавнаяРегистрацияВход
Приветствую Вас, Гость (зарегистрируйтесь) · RSS

навигатор

Поиск новостей

новости
Игровые новости
Hard & Soft новости
Новости мира
Новости сайта

 
Новости
Главная » Новости » Hard & Soft новости

Facebook создала аппаратно независимую альтернативу NVIDIA DLSS

Новая статья, опубликованная исследователями Facebook перед SIGGRAPH 2020, рассказывает о технологии полноэкранного сглаживания Neural Supersampling, основанной на машинном обучении — она не слишком отличается от технологии NVIDIA Deep Learning Super Sampling (DLSS), но при этом не требует какого-либо запатентованного аппаратного или программного обеспечения.

 

При этом результаты работы технологии весьма впечатляют: как можно видеть на примерах изображений, качество оказывается вполне сопоставимым с DLSS. «Наиболее близкой к нашей работе является недавно представленная технология NVIDIA Deep-Learned Supersampling (DLSS), которая в реальном времени повышает качество рендеринга контента с низким разрешением с помощью нейронной сети», — сообщает описание.

Как отмечают исследователи, их метод легко интегрировать в современные игровые движки, он не требует специального оборудования (например, для отслеживание глаз) или программного обеспечения (например, специальных драйверов DLSS), что делает его применимым к более широкому спектру существующих программных платформ, аппаратных ускорителей и дисплеев.

«Мы выяснили, что для нейросуперсемплинга дополнительная вспомогательная информация, предоставляемая векторами движения, оказалась особенно эффективной. Векторы движения определяют геометрические соответствия между пикселями в последовательных кадрах. Другими словами, каждый вектор движения указывает на субпиксельное местоположение, где точка поверхности, видимая в одном кадре, могла появиться в предыдущем кадре. Эти значения обычно оцениваются методами компьютерного зрения для фотографических изображений, но такие алгоритмы оценки оптического потока подвержены ошибкам. В отличие от этого, конвейер рендеринга может непосредственно генерировать плотные векторы движения, тем самым обеспечивая надёжные и насыщенные входные данные для нейросуперсемплинга, применяемого к визуализированному контенту.

 

Наш метод основан на вышеупомянутых наблюдениях и объединяет дополнительную вспомогательную информацию с новым пространственно-временным дизайном нейронной сети, который нацелен на максимальное качество изображения и видео, обеспечивая при этом производительность в реальном времени.

Во время принятия решений наша нейронная сеть принимает в качестве входных данных атрибуты рендеринга (цвет, карту глубины и плотные векторы движения на каждый кадр) как текущего, так и нескольких предыдущих кадров, визуализированных с низким разрешением. На выходе нейросеть получает цветное изображение высокого разрешения, соответствующее текущему кадру. Сеть проходит контролируемое обучение: в процессе в качестве эталонного изображения выступает картинка в высоком разрешении, полученная методами полноэкранного сглаживания, — она используется в паре с каждым входным кадром низкого разрешения».

Очевидно, Facebook упомянула и о возможном применении метода Neural Supersampling в приложениях дополненной и виртуальной реальности в рамках собственной платформы Oculus. Однако нет причин, по которым подобную многообещающую альтернативу DLSS нельзя было бы применять и в обычных играх.


Источник 

Раздел: Hard & Soft новости | Добавил: Admin | 04.07.20
Просмотров: 1150 | Комментарии: 3
1 Тыдыщ   (05.07.20 21:57)
Ох и врунишки, текст и мелкие детали площадью в несколько пикселей никогда не восстанавливаются корректно без исходника, хоть сколько сэмплов наложи.

2 Alex47   (05.07.20 22:06)
Ждал комментарии знающих - не дождался. Возможно ли с помощью подобных технологий "поднять" разрешение старым "пиксельным" 2D квестам? Понимаю, что за бесплатно этого не будет, и очередная выдойка будет.
Или, всё-таки, технология ещё далека от того, о чём писал выше? Примеры странные слегка, частично. Нейросеть нейросетью, а некоторые моменты, кажется, трудно даже для неё сформировать из набора пикселей, если в сети предварительно не было чего-то подобного, например похожего ассета (к примеру, нижняя гифка, надпись на стене - New York, Paris - ок, разборчиво, а вот Berlin? нейросеть бы споткнулась без подобного примера, думаю).

3 Тыдыщ   (06.07.20 00:21)
Возможно, полностью 2D игры, игры с пиксельными 2D-задниками уже давно во всю реставрируют. Результат хоть и хороший, но полон тех изъянов про которые я написал в предыдущем комментарии про искажённые мелкие детали и текст. Но живую работу художников всё равно это не заменит, лучший пример в ремастере Full Throttle, над которым к тому же работали авторы оригинальной версии игры.

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Статистика

© 2007-2024 NoCD / NoDVD для игр на antistarforce.com. При копировании материалов с сайта ссылка на сайт обязательна