Topic: Нейроалгоритмы для построения и конкуренты svp

Ну собственно 2 вопроса
1. Попробовал софт topaz a.i который путем нейроаглоритмов увеличивает разрешение изображений пытаясь дорисовать отсутвующие детали , выглядет все конечно кривовато но не суть,
    это подтолкнуло на вопрос: чисто теоретически в дальнейшем будущем  есть мысли о реализации чего то подобного в построении кадров для svp ?
2. Неужели у svp до сих пор нет конкурентов в данной области ?

Re: Нейроалгоритмы для построения и конкуренты svp

1 Нейросети даже со звуком пасуют. Дай бог 30% от рилтайма дают на 1060 карточке в задачах текст -> звук

2 телевизоры последних моделей

3 (edited by Cryptor 31-08-2020 13:57:33)

Re: Нейроалгоритмы для построения и конкуренты svp

lionessb wrote:

Ну собственно 2 вопроса
1. Попробовал софт topaz a.i который путем нейроаглоритмов увеличивает разрешение изображений пытаясь дорисовать отсутвующие детали , выглядет все конечно кривовато но не суть,
    это подтолкнуло на вопрос: чисто теоретически в дальнейшем будущем  есть мысли о реализации чего то подобного в построении кадров для svp ?
2. Неужели у svp до сих пор нет конкурентов в данной области ?

dain app например. Интерполяция кадров нейросеткой. Работает очень медленно даже на топовых GPU, но результат значительно качественней чем у SVP. Ну и важный момент, работает только на современных картах NVIDIA, так как используется ядра CUDA.

Re: Нейроалгоритмы для построения и конкуренты svp

Так раз ускорялка уже есть и алгоритмы достаточно эффективные (SVP), то нейросеть нужно прикручивать на улучшение детализации видео (повышение разрешения или битрейта, если ещё позволяет).
Тем более, что обе задачи можно эффективно распределить между свободными ресурсами ЦП и ГП.
Я бы нейросетку посоветовал ещё и на разделение ракурсов видео применять (2д в 3д видео, т.е. в стереопару), только вот кому это сегодня всё ещё интересно, кроме меня?... /плак-плак/

Re: Нейроалгоритмы для построения и конкуренты svp

Такое столько ресурсов жрет. Надо научиться на старых АСИКах битковских такое прощитывать. Там мощщи дуром, но специфической.

Re: Нейроалгоритмы для построения и конкуренты svp

Возможность гибридного испольования, я так понимаю, из-за сложности в схеме видеопотока по всяким фильтрам нереальна? Навроде при 24 - 60 создавать некоторые промежуточные кадры нейросетью (если они лучше), а некоторые - через алгоритм SVP (кадры между оригинальными и нейросетевыми).

Re: Нейроалгоритмы для построения и конкуренты svp

James D wrote:

Возможность гибридного испольования, я так понимаю, из-за сложности в схеме видеопотока по всяким фильтрам нереальна? Навроде при 24 - 60 создавать некоторые промежуточные кадры нейросетью (если они лучше), а некоторые - через алгоритм SVP (кадры между оригинальными и нейросетевыми).

В режиме преобразования в реальном времени нет. Только если вдруг данный софт (dain app) научиться использовать тензорные ядра у современных видео карт для скоростной интерполяции, по типу как у NVIDIA DLSS для апскейла разрешения в реальном времени.

Но можно использовать гибридное кодирование видео. Например с начало нейросетью преобразовать в 48 фпс видео (если оно было 24 фпс), а после до 60 добить в SVP. В результате артефактов должно быть меньше... (но это не точно).

Re: Нейроалгоритмы для построения и конкуренты svp

Уже потестил dainapp, ресурсопотребление конечно конское но не суть. Возник вопрос: он умеет увеличивать фпс только кратно, если исходная частота видео не кратна частоте монитора а хочется получить на выходе максимально-возможно качественный результат с частотой равной герцовки монитора, как такой вариант?: Допустим монитор 120 гц а видео в 25фпс, если я уплавню видео через дайнапп с 8х уплавнением до 200гц, а потом получившийся результат переконвертирую через svp code в 120гц. То часть кадров все равно будут отброшены до значения ниже 120 и часть из получившихся 120 все равно будет достроенна по аглоритмам svp ?  Или из потока в 200гц просто будет отброшена часть кадров до 120 и как то равномерно распределено (напободие тройной буферизации, к примеру когда смотришь 25фпс видео на 60гц мониторе и не видишь подергиваний) ?

Re: Нейроалгоритмы для построения и конкуренты svp

В данном примере 25x8 = 200 кадров после DAINAPP
затем 200 > 120 будут получены путем сохранения каждого 5-го кадра и расчетом промежуточных кадров алгоритмами SVP из 4 кадров 2 кадров.
Если хочется получить 25 > 120 полностью через DAINAPP, то нужно повышать плавность до частоты, кратной 120, а затем выкидывать лишние кадры. Это возможно при повышении частоты кадров в 24 раза: 25x24 = 600 / 5 = 120

10 (edited by lionessb 05-10-2020 17:29:02)

Re: Нейроалгоритмы для построения и конкуренты svp

Никакого русскоязычного форума по дайну не нашел, поэтому еще один вопрос: дайн поддерживает multi-gpu ?

Re: Нейроалгоритмы для построения и конкуренты svp

Полгода назад поддержки нескольких видеокарт не было. Умельцы запускали несколько копий DAINAPP для каждой видеокарты.
https://itch.io/t/687346/question-abou-multiple-gpus

Как сейчас - надо качать, смотреть, что изменилось

Re: Нейроалгоритмы для построения и конкуренты svp

а учить ваши рейросетки кто будет?

Re: Нейроалгоритмы для построения и конкуренты svp

Вчера вышла версия 2.3 Topaz Video Enhance AI и там добавился алгоритм изменения кадровой частоты с использованием нейросети Chronos. На выходе практически нет атрефактов даже на очень сложных сценах. У Topaz есть пробная версия на 30 дней. Пока результат - лучший из того, что я видел.

Re: Нейроалгоритмы для построения и конкуренты svp

запустил Topaz Video Enhance AI 2.6 на 3080ti для fhd он выдаёт 3 кадра в секунду. Учитывая что триал с ватермарками и интерфейс жутко лагает(хз почему) плюнул я на него.

15

Re: Нейроалгоритмы для построения и конкуренты svp

Возможно, теперь в SVP можно использовать больше алгоритмов, а не только RIFE: https://www.svp-team.com/forum/viewtopi … 553#p79553