526

Re: Идеи/предложения для SVP

В любом случае хотелось бы услышать мнение профессионалов, когда представят.)

Есть ещё такой вопрос, насколько я знаю, чтоб получить 16 пикселей на Optical Flow (по умолчанию 4), СВП даунскейлит картинку.
А в документации также написано, что с 3ххх Optical Flow также умеет в поиск по 2х2 и 1х1 пикселям.
В СВП это реализовано? (у меня просто на постоянке 2060, мог не заметить на новой серии)

Re: Идеи/предложения для SVP

да даже 4*4 иногда странно выглядит, еще мельче кмк особого смысла нет
плюс дальше обработка идет через CPU (пусть потом и заворачивается обратно на GPU), т.ч. в текущей архитектуре SVP вектора 1*1 просто положат проц, а на 4к так и 2*2

да и еще хз откуда они там берутся эти 2*2 и 1*1
в SDK для 2ххх они тоже были, но тупо считались интерполяцией из 4*4 в самом SDK
может в 3ххх это такая же интерполяция, но "спрятанная" в драйвер, мы ж не знаем big_smile
а если так, то смысла в этом никакого нет, SVP и так делает интерполяцию векторов до 1*1, но на самом последнем этапе

528 (edited by 4uma 27-09-2022 13:39:35)

Re: Идеи/предложения для SVP

Я согласен, в общем, со всей позицией. Это выглядит совершенно здраво для общего функционала приложения.

Однако, в OpticalFlow и без того параметров маловато, было бы замечательно разделить даунскейл и размер области для векторов. Ведь пусть 4х4 даёт странные артефакты, он также местами выглядит лучше. Поле для экспериментов - то ради чего мы покупаем ПРО версию. (кроме благодарности за шикарный продукт, конечно)
Хотя-бы в виде примера/скрипта для SVPFlow, если его функционала достаточно.
2х2 с даунскейлом (8х8) может оказаться золотой серединой для каких-то случаев.
Ну и в конце-концов, зачем-то АМД и Интел выпускают новые поколения. smile

А ещё в документации упоминалось про какой-то легаси режим 8х8 для старых карточек. Его потом выпилили? Или он тоже работает скверно?

P.S.: если не на 3ххх, то на новом поколении есть весомый шанс что 2х2 и 1х1 станут обрабатываться аппаратно.  Этот чёрный ящик можно вскрыть разве что практическими тестами.)

Re: Идеи/предложения для SVP

SDK NVOF 4.0 выпустили: https://developer.nvidia.com/opticalflow/download

Re: Идеи/предложения для SVP

чо-то пока не очень выпустили... sdk не качается, доки на сайте старые...
--
о, заработало
--

нет, наружу там ничего не торчит, черный ящик, без исходников
так что какие там особо хитрые пост-обработки векторов, или там маски на артефакты - мы не узнаем

суй в него два кадра, получай один наружу, конец big_smile

параметров вообще никаких, даже параметрами самого по себе NVOF, т.е. поиска векторов, рулить не дают
теоретически можно считать кадр в любой точке времени, но практически сделано всё так что, по крайней мере, в real time можно сделать только удвоение

Re: Идеи/предложения для SVP

>Performance: Up to 150 fps at 4K resolution*

А разве старый похожую скорость не давал ? Никто не мерял задержку на предыдущих сериях видеокарт ?

Re: Идеи/предложения для SVP

не давал, поэтому dlss3 на старых картах и не дают (одна из причин)
для видео-то пофигу...

533 (edited by 4uma 11-11-2022 19:36:44)

Re: Идеи/предложения для SVP

Лучше б они качество подтянули вместо своих "150 fps at 4K", там радиус поиска наверняка с дульку.
Радует только что АМД решились на ответ, может FluidMotion в этот раз будет посимпатичнее и по опенсорснее.

"Ada - 15% quality improvement" ага, спасибо Нвидия

534

Re: Идеи/предложения для SVP

Кстати, пишут что можно получить "Request Access to Optical Flow SDK Source Code".
И с gitlab-а смотреть прям исходники, а не просто готовый СДК, если я правильно понял.
https://forums.developer.nvidia.com/t/v … sed/233408

Может, стоит попробовать?

Re: Идеи/предложения для SVP

там точно то же самое лежит

536 (edited by Yaroslav308 Yesterday 01:03:51)

Re: Идеи/предложения для SVP

Предлагаю добавить возможность управлять ресайзом изображения не только устанавливая максимальные линейные размеры, а и площадь кадра.
Уменьшать нагрузку на видеокарту ресайзом не очень удобно, а с релизом RIFE это должно быть актуально. Если соотношение сторон в видео и параметре frc.frame.resize не совпадает, то площадь результирующего кадра будет меньше чем задано. Следовательно у нас появляется запас в производительности который хочется использовать вместо зашакаливания картинки, а менять значение параметра вручную для каждого(я немного преувеличиваю) фильма не совсем удобно.
Фича не очень востребованная, но и в реализации не сложная, я себе в генераторе скриптов её уже накостылял.