You are not logged in. Please login or register.
SmoothVideo Project → Posts by Nurk
запускаю RIFE TensorRT через mpv на ноутбучной 3060, выскакивает командная строка, чего то там делается и все, видео не идет, при этом видеокарта работает на полную. Пробовал разные видео вплоть до 360р, но видео так и не запускается, хотя видеокарта что-то обрабатывает
Try the following. You should be satisfied.
levels.pel = 2;
levels.scale.up = 2;
levels.scale.down = 4;
levels.full = true;
analyse.block.w = 32;
analyse.block.h = 32;
analyse.block.overlap = 2;
analyse.main.levels = 4;
analyse.main.search.type = 4;
analyse.main.search.distance = -24;
analyse.main.search.coarse.type = 4;
analyse.main.search.coarse.distance = -5;
analyse.main.search.coarse.bad.range = 0;
analyse.main.penalty.lambda = 1.0;
analyse.main.penalty.plevel = 4.0;
analyse.main.penalty.lsad = 800;
analyse.main.penalty.pnew = 5;
analyse.main.penalty.pglobal = 5;
analyse.main.penalty.pzero = 10;
analyse.main.penalty.pnbour = 5;
analyse.main.penalty.prev = 0;
analyse.refine[0] = {thsad:2000, search:{distance:2, type:4}};
smooth.rate.num = 5;
smooth.rate.den = 2;
smooth.algo = 21;
smooth.scene.mode = 0;
smooth.mask.cover = 10;
smooth.scene.limits.m1 = 3600;
smooth.scene.limits.m2 = 7200;
smooth.scene.limits.scene = 10400;
smooth.scene.limits.zero = 10;
smooth.scene.limits.blocks = 90;
aah my eyes, these settings give a lot of artifacts, especially scene-changing artifacts.
Try this profile. It is important to enable "Decrease grid step"
ясно вижу - что-то не работает
может не докачалось чего - место на диске кончилось?
попробую перекачать, места на диске предостаточно
upd: на всё пишет Requirement already satisfied, не знаю, проверяется ли кеш, но на вид всё нормально скачалось
ну, значит не работает что-то... изучать лог, что ещё посоветовать.
как то так
18:07:41.765 [i]: Playback [6464d471]: switching to profile 'Алгоритм RIFE'
18:07:41.766 [i]: Playback [6464d471]: playing at 50 [25 *2/1]
18:07:55.359 [E]: Playback [6464d471]: VS - Script evaluation failed:
18:07:55.359 [E]: Playback [6464d471]: VS - Python exception: Ran out of input
18:07:55.359 [E]: Playback [6464d471]: VS - Traceback (most recent call last):
18:07:55.359 [E]: Playback [6464d471]: VS - File 'src\cython\vapoursynth.pyx', line 2244, in vapoursynth.vpy_evaluateScript
18:07:55.359 [E]: Playback [6464d471]: VS - File 'src\cython\vapoursynth.pyx', line 2245, in vapoursynth.vpy_evaluateScript
18:07:55.359 [E]: Playback [6464d471]: VS - File 'C:\Users\Metal\AppData\Roaming\SVP4\scripts\6464d471.py', line 70, in <module>
18:07:55.359 [E]: Playback [6464d471]: VS - smooth = interpolate(clip)
18:07:55.359 [E]: Playback [6464d471]: VS - File 'C:\Users\Metal\AppData\Roaming\SVP4\scripts\6464d471.py', line 51, in interpolate
18:07:55.359 [E]: Playback [6464d471]: VS - smooth = RIFE(input_m,model_ver=3.8,fp16=not rife_precision,scale=1.0 if rife_threads<=2 else 0.5,device_index=rife_gpu)
18:07:55.359 [E]: Playback [6464d471]: VS - File 'C:\Program Files (x86)\SVP 4\mpv64\lib\site-packages\vsrife\__init__.py', line 77, in RIFE
18:07:55.360 [E]: Playback [6464d471]: VS - model.load_model(os.path.join(os.path.dirname(__file__), model_dir), -1)
18:07:55.360 [E]: Playback [6464d471]: VS - File 'C:\Program Files (x86)\SVP 4\mpv64\lib\site-packages\vsrife\model38\RIFE_HDv3.py', line 40, in load_model
18:07:55.360 [E]: Playback [6464d471]: VS - self.flownet.load_state_dict(convert(torch.load('{}/flownet.pkl'.format(path))), False)
18:07:55.360 [E]: Playback [6464d471]: VS - File 'C:\Program Files (x86)\SVP 4\mpv64\lib\site-packages\torch\serialization.py', line 608, in load
18:07:55.360 [E]: Playback [6464d471]: VS - return _legacy_load(opened_file, map_location, pickle_module, **pickle_load_args)
18:07:55.360 [E]: Playback [6464d471]: VS - File 'C:\Program Files (x86)\SVP 4\mpv64\lib\site-packages\torch\serialization.py', line 777, in _legacy_load
18:07:55.360 [E]: Playback [6464d471]: VS - magic_number = pickle_module.load(f, **pickle_load_args)
18:07:55.360 [E]: Playback [6464d471]: VS - EOFError: Ran out of input
18:07:55.360 [E]: Playback [6464d471]: VS - could not init VSв профиле TTA надо переключить
если переключаю на "Да", то кадры вообще перестают дорисовываться, но лаг, при старте rife присутствует
Теперь в SVP есть еще более быстрая версия RIFE. Даже в 3 раза быстрее. Не стесняйтесь протестировать ее и поделиться своими результатами:
https://www.svp-team.com/forum/viewtopic.php?id=6281
попробовал обновить по инструкции отсюда, так же выставил в base.py значение model_ver=3.8, но разницы я не заметил, все работает ровно так же, как и прежде
> python get-pip.py
edit python38._pth, add 3 lines:
.
lib
lib\site-packages
run
> python -m pip install torch==1.9.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
> python -m pip install vsrifeдолго не обновлял, а тут на днях обновил и обнаружил этот rife, попробовал поглядеть 1080р, это было ошибкой. В результате опытным путем определил, что 1280х544 - потолок для реалтайма, что конечно печально. Пробовал крутить настройки, но производительность падает еще ниже. Есть еще какие настройки покрутить, где-нибудь в текстовом файле?
а смешивание кадров добавить вручную в скрипт
https://www.svp-team.com/wiki/Manual:SVPflow#Samples
хотелось бы поглядеть на примере
Можно как то провернуть следующий финт ушами: повышать кадры до 120, а потом через смешивание опускать до 60?
что имеется в виду? отключить поиск на верхнем уровне (двух верхних), просто делить блоки?
что-то я такое когда-то зачем-то делал...
чисто провести эксперимент, чтоб из сетки в 8 пикс, получить сетку в 32 пикс, может что интересное из этого выйдет. Ведь по логике, поиск в 32 пикс для 1080р равен поиску в 8 пикс для 270р.
вон тут наоборот поступило мнение что самая лучшая в мире уплавнялка - в ffmpeg-е
а там, внезапно, просто поиск по самому кадру радиусом пикселей 15-20, без всех этих танцев с бубном и уровнями
хм, надо попрбовать.
Ну а все же, можно ли эмулировать сетку 32 пикс с помощью сетки 8 пикс и уровней? Пробовал, ничего похожего на сетку в 32 пикс, да даже на 16 пикс не похоже. Что я делаю не так?
let's take a 1920*1080 video as example
top (higher) level (#1) for the "hierarchical search" is the frame itself - 1920*1080
next one #2 - the frame reduced by 2 in each dimension - 960*540
#3 - 480*270
#4 - 240*135
bottom (lower) level #5 - 120*67top level = "finest" level
all other bottom levels are "coarse" levelsthe search parameters are _different_ for coarse and top levels
levels from #5 to #2 - more exhaustive search, level #1 - simplified searchwith this "width of coarse level" option we can move this "line" down: levels 5 to 3 - exhaustive, levels 2 to 1 - simplified
and this is more important for 4K video
нашел тут в английской ветке, назрел вопрос, можно ли эмулировать сетку 32 пикс с помощью сетки 8 пикс и отключением финального и пары грубых уровней?
А где можно почитать про каждую там настройку, что она делает и т.д.? А то я как бы довольно давно пользуюсь SVP, года 2 точно если не больше, и только сейчас узнаю, что можно изменить то, что мне надо
ну, ладно, выше ответили. Только снимай комментарий со строки
//smooth.scene.limits.scene = 1600;
вот так:
smooth.scene.limits.scene = 1600;
ибо плавность будет всегда, в любой сцене, даже самой динамической, без каких либо торможений\уменьшений fps с не такими заметными артефактами
меняешь в файле override.js
smooth.scene.limits.scene = 1600;
smooth.scene.limits.zero = 150;
smooth.scene.limits.blocks = 50;
вуаля, плавность не теряется в динамических сценах
и для сравнения Optical Flow с картой GTX 980 (не SVP)
а через что делалось?
какая настройка?
кодер можно nvenc/amf
Nurk
Alt+C при воспроизведении, в mp4 контейнер, кодер можно nvenc/amf если ресурсов впритык...
а где эта настройка?
Nurk
не интересовался даже )
пс
pot умеет сохранять то что показывает, если прям нужны 60 и качество не сильно интересно...
хм, и каким образом?
А при чем тут
колхозя свои avc скрипты
не подскажешь программку для конвертации видео, куда можно подкинуть эти скрипты?
lardred6100126 wrote:SVP не сможет сделать подобную плавность с минимальными артефактами, здесь помимо SVP использовались другие программы
DAIN - 720p - 10 gb VRAM
1 минута - 6 часов кодирования
да ну нафиг, это какое-то баловство: 2080 super жарит под 300Вт, 1080р, 1 кадр рендерится около 15-20 секунд. Пока неоправданно тяжело.
www.lr.kr
ответил в лс
> почему 72Гц должны уменьшать ореолы?
Потому что это ровно в 3 раза больше, чем 24 к/сек.
Представим машину, которая проезжает 72 метра/сек.
При 24 к/сек ее положение в метрах от старта будут 0, 3, 6, 9 и т.д.
При 72 к/сек ее положения в метрах будут 0* 1 2 3* 4 5 6* 7 8 9* и т.д., где * - исходный кадр.
Теперь рассчитаем максимальную вероятность ореолов. Они появляются на рассчитанных кадрах всегда, но зависят линейно от расстояния до ближайшего исходного кадра. Максимальное искажение будет на расстоянии 1,5 метра. Примем его за 100%. Тогда кадры 1 и 2 дадут равные расстояния до ближайших исходных кадров, а видимость ореолов составит 66%. Теперь почитаем среднюю видимость ореолов для видео. Оно будет меняться периодически для последовательности кадров: 0 66 66 0 66 66 0 66 66 0 и т.д. Это в среднем даст (0+66+66)/3 = 133/3 = 44%
означает ли это, что и точность векторов будет выше, и артефактов меньше?
ну так в nvof только один параметр "качество" и есть
ещё можно размером блоков играть (хотя это не честный "размер блоков", сам nvof работает только с 4*4, т.е. тут увеличение блока делается за счёт уменьшения кадра по которому nvof ищет вектора)
мне казалось, что такой инструмент, как nvof имеет более гибкие настройки
в override файле вроде было
Нашел всего одну строчку, которая имеет всего 3 значения. Печально это все. Optical Flow дает очень сильные артефакты, и поправить это никак нельзя
Так можно или нет покрутить настройки nvidia optical flow?
SmoothVideo Project → Posts by Nurk
Powered by PunBB, supported by Informer Technologies, Inc.
