Topic: Нейроалгоритмы для построения и конкуренты svp

Ну собственно 2 вопроса
1. Попробовал софт topaz a.i который путем нейроаглоритмов увеличивает разрешение изображений пытаясь дорисовать отсутвующие детали , выглядет все конечно кривовато но не суть,
    это подтолкнуло на вопрос: чисто теоретически в дальнейшем будущем  есть мысли о реализации чего то подобного в построении кадров для svp ?
2. Неужели у svp до сих пор нет конкурентов в данной области ?

Re: Нейроалгоритмы для построения и конкуренты svp

1 Нейросети даже со звуком пасуют. Дай бог 30% от рилтайма дают на 1060 карточке в задачах текст -> звук

2 телевизоры последних моделей

3 (edited by Cryptor 31-08-2020 13:57:33)

Re: Нейроалгоритмы для построения и конкуренты svp

lionessb wrote:

Ну собственно 2 вопроса
1. Попробовал софт topaz a.i который путем нейроаглоритмов увеличивает разрешение изображений пытаясь дорисовать отсутвующие детали , выглядет все конечно кривовато но не суть,
    это подтолкнуло на вопрос: чисто теоретически в дальнейшем будущем  есть мысли о реализации чего то подобного в построении кадров для svp ?
2. Неужели у svp до сих пор нет конкурентов в данной области ?

dain app например. Интерполяция кадров нейросеткой. Работает очень медленно даже на топовых GPU, но результат значительно качественней чем у SVP. Ну и важный момент, работает только на современных картах NVIDIA, так как используется ядра CUDA.

Re: Нейроалгоритмы для построения и конкуренты svp

Так раз ускорялка уже есть и алгоритмы достаточно эффективные (SVP), то нейросеть нужно прикручивать на улучшение детализации видео (повышение разрешения или битрейта, если ещё позволяет).
Тем более, что обе задачи можно эффективно распределить между свободными ресурсами ЦП и ГП.
Я бы нейросетку посоветовал ещё и на разделение ракурсов видео применять (2д в 3д видео, т.е. в стереопару), только вот кому это сегодня всё ещё интересно, кроме меня?... /плак-плак/

Re: Нейроалгоритмы для построения и конкуренты svp

Такое столько ресурсов жрет. Надо научиться на старых АСИКах битковских такое прощитывать. Там мощщи дуром, но специфической.

Re: Нейроалгоритмы для построения и конкуренты svp

Возможность гибридного испольования, я так понимаю, из-за сложности в схеме видеопотока по всяким фильтрам нереальна? Навроде при 24 - 60 создавать некоторые промежуточные кадры нейросетью (если они лучше), а некоторые - через алгоритм SVP (кадры между оригинальными и нейросетевыми).

Re: Нейроалгоритмы для построения и конкуренты svp

James D wrote:

Возможность гибридного испольования, я так понимаю, из-за сложности в схеме видеопотока по всяким фильтрам нереальна? Навроде при 24 - 60 создавать некоторые промежуточные кадры нейросетью (если они лучше), а некоторые - через алгоритм SVP (кадры между оригинальными и нейросетевыми).

В режиме преобразования в реальном времени нет. Только если вдруг данный софт (dain app) научиться использовать тензорные ядра у современных видео карт для скоростной интерполяции, по типу как у NVIDIA DLSS для апскейла разрешения в реальном времени.

Но можно использовать гибридное кодирование видео. Например с начало нейросетью преобразовать в 48 фпс видео (если оно было 24 фпс), а после до 60 добить в SVP. В результате артефактов должно быть меньше... (но это не точно).