Риалтайм vs перекодирование

Давно настроил себе конвеер для риалтайма, привык к производительности, смотрю сейчас на упрощенном 4.26 в 3 потока интерполяцию в 120 кадров.
Но в какой-то момент решил перекодировать и поставил 4.26_heavy (тяжелый как 4.18) но в один поток.

К чему было моё удивление когда вместо 85 кадров в 3 потока я получил 130 в одном. То-есть видеокарта справляется на ура.
Включил в риалтайме - страшные фризы 20 кадров.
И в принципе один поток подфризивает, даже на простом 4.26 или любой другой версии.

Думаю что загвоздка в каком-то нюансе в плеере, мб где-то в апи, потплеер или mpv фризы примерно одинаковые.

Сразу подумал на размер буфера (при перекодировании то пофигу), но подняв с 7 до 20 кадров - вообще ничего не изменилось.
В чем может быть причина?