Так раз ускорялка уже есть и алгоритмы достаточно эффективные (SVP), то нейросеть нужно прикручивать на улучшение детализации видео (повышение разрешения или битрейта, если ещё позволяет).
Тем более, что обе задачи можно эффективно распределить между свободными ресурсами ЦП и ГП.
Я бы нейросетку посоветовал ещё и на разделение ракурсов видео применять (2д в 3д видео, т.е. в стереопару), только вот кому это сегодня всё ещё интересно, кроме меня?... /плак-плак/