1 (edited by sergjjj 03-06-2013 07:34:09)

Topic: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Очень интересна новая "уплавнялка" в процессорах Haswell (вернее в их GPU)

Медиа подсистема:

Все фиолетовые блоки на схеме относятся к подсистеме обработки видео.
Есть среди них есть и новый, специфический для Haswell — Video Quality Engine (Блок Качества Видео). То есть, различные улучшения качества видеокартинки существуют в Intel HD Graphics — шумоподавление, деинтерлейсинг, коррекция тона кожи, адаптивное изменение контраста и тому подобные фичи (которые, кстати, при желании\необходимости легко отключаются в настройках Intel HD Graphics).Но только в Haswell Graphics их выделили в отдельный блок, а главное, добавили к ним еще две особенности, отключать которые едва ли захочется. Это — Стабилизация изображения и Преобразование частоты кадров (Frame rate conversion).
Стабилизация изображения — реализованное в железе улучшение видео, снятого с трясущихся рук незакрепленной на неподвижном штативе камеры. Появление этой особенности можно было легко предвидеть, если знать, что для сжатия видео в MPEG и подобные форматы используется оценка движения -motion estimation, также выполняемая в железе Intel HD Graphics. А зная, как происходит движение между отдельными кадрами, нетрудно понять, что это «движение» — просто дрожание картинки, и соответственно его скомпенсировать.

Преобразование частоты кадров — реализованный в железе переход от видео 24 или 30 кадров в секунду к 60. Причем, основанный не на размножении существующих кадров и даже не на их простом интерполировании, а на тех же принципах, что и стабилизация изображения. То есть, вычисляется межкадровая оценка движения, после чего на ее основе с помощью компенсации движения (motion compensation) делается «умная» интерполяция, дающая более гладкую картинку.
http://habrastorage.org/storage2/a0f/146/a80/a0f146a806ce8473df7a0ef5f8dbcc91.png


Остальные блоки медиа подсистемы — такие же, как и в Ivy Bridge, только лучше.
А именно, Haswell Graphics поддерживает в железе:
декодированиеSVC (Scalable Video Coding) в AVC, VC1 и MPEG2
декодирование Motion JPEG (видео в этом формате часто выдают мобильники и «мыльницы»)
кодирование MPEG2 (создание DVD, передача по DLNA)
декодирование видео высокого разрешения — до 4096х2304 включительно
улучшение качества кодирования видео, возможность выбора между производительностью и качеством — режимы кодирования Fast, Normal и Quality

Обратите внимание, что блоки Media Sampler, активно участвующие в кодировании видео — на них происходит вышеупомянутый motion estimation, кумулятивно добавляются в конфигурациях GT2 и GT3, так что от этих модификаций следует ожидать повышения производительности не только графики, но и работы с видео.

хочется посмотреть на работу.
может и i3 вместо i5 можно будет использовать под "уплавнялку"

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

sergjjj
Да, штука интересная, но пока я не нашел ни одного приложения, демонстрирующего работу уплавнялки Haswell FRC.

renethx с форума avsforum тоже интересуется:

Smooth Video through Frame Rate Conversion: I am not sure which this is equivalent to, madVR's Smooth Motion FRC or SVP (Smooth Video Project). If it works, it will be nice anyway. (But I would like to see improved 23.976Hz first.)

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Идет интерактив с разрабами Интела.
http://habrahabr.ru/company/intel/blog/181902/
Если будут вопросы задавайте там, а если нет аккаунта пишите тут я передам.

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin

К сожалению, нет аккаунта на хабре.
sad
Надо поинтересоваться:
1. Где можно почитать о подробностях Haswell FRC, кроме как упоминания на двух слайдах с IDF2012?
2. Когда появятся демонстрации работы Haswell FRC в виде роликов, а лучше даже программы "в живую"?

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin

а) уплавнять можно любое видео или только то которое декодировали на QS?
б) Где можно глянуть образцы уплавненного видео

в) то что хасвелл горячее иви как-то связано с экономией и зажлобством мирокапель припоя?  wink

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Детали насчет аппаратного повышения плавности на процессорах 4-го поколения Intel Core.

Существует набор для разработчиков Intel Media SDK. Там имеется функция MFX_FRCALGM_FRAME_INTERPOLATION, описана в документации mediasdk-man.pdf, page 121. Это как раз оно, специалист Intel Tony Pabon комментировал в апреле (до выхода Haswell):

none of the currently available products (including the Intel 3rd Generation Intel Core(TM) Processor you are using) currently support the feature

В описании Intel Media SDK сообщается, что аппаратное ускорение доступно для таких функций как деинтерлейс/обратное телекино-преобразование, ресайз, конвертация цветовых пространств, удаление шума, смена частоты кадров (Frame Rate Conversion), управление яркостью, контрастом, оттенком и насыщенностью, повышение резкости, стабилизация изображения (Intel Media SDK, Q10).

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin
а если нет аккаунта пишите тут я передам

- какие модели хасвелла/видеоядра поддерживают эту фичу?
- будет ли оно доступно при выводе через дискретку?

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Итак.
Отправил ваши вопросы представителю Интел в россии, посмотрим что ответит.

Rimsky
в) то что хасвелл горячее иви как-то связано с экономией и зажлобством мирокапель припоя? 
С такой формулировкой не решился отправлять. Надо было поаккуратнее как то  big_smile

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

А пока ждем ответа можно почитать
http://www.anandtech.com/show/7007/inte … erspective

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin
можно почитать

а там вообще ни слова, даже в комментах...
и в скринах настроек драйверов я тоже ничего похожего не углядел

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

big_smile  Но я же не сказал что там все ответы?

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Еще подробности. Похоже, можно использовать аппаратное "уплавнение" Haswell отдельно от QS-декодера.

http://www.svp-team.com/forum/misc.php?item=2572 http://www.svp-team.com/forum/misc.php?item=2573

The VPP frame processor takes raw video frames from the decoder as input. The output of the VPP frame processor is used for composition. The different pixel processing operations supported include:
•  Deinterlacing
•  Inverse telecine
•  De-noising
•  Resizing
•  Scene detection
•  Color conversion
•  Frame rate conversion
•  Crop and resize
•  Detail filter
•  ProcAm

источник

Post's attachments

Intel_VPP.png, 6.63 kb, 374 x 290
Intel_VPP.png 6.63 kb, 721 downloads since 2013-06-10 

Intel_VPP2.png, 5.38 kb, 398 x 85
Intel_VPP2.png 5.38 kb, 672 downloads since 2013-06-10 

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Хм...на ум приходит только изврат....если для планшетов и телефонов пережимать, можно ли сделать так: Декод квик синком - уплавлялка - кодирование квик синком.  big_smile

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Итак. Чувак из Интела ответил на наши вопросы, ну....как всегда офф преды отвечают, обовсем и ниочем:

Последний релиз Intel Media SDK поддерживает FRC, но он полностью происходит на процессоре (софтовая имлементация) путем простейшего пропуска или дублицирования кадров. Из акселлированных на железе доступен алгоритм деинтерлейсинга с удвоением фреймрейта 60i->60p. Вы можете найти эту информацию скачав Intel Media SDK и изучив мануал и сэмплы.

Вы можете использовать примитив процессинга независимо от примитивов энкодера и декодера. То есть можно предоставить чистое видео из любого декодера (источника). Доступ к примитивам происходит через Intel Media SDK.

Все модели HSW будут поддерживать вышеобозначенные алгоритмы. О других возможностях лучше обратиться на официальный форме Intel Media SDK.

Вывод через дискретную карты представляется возможным, если организовать обмен ресурсами между адаптерами (копирование из поверхностей интегрированного адаптара в дискретный).

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Короче, аппаратная уплавнялка отменяется, а Intel'овским маркетологам "зачёт" за подогретый интерес к Haswell...

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin
Последний релиз Intel Media SDK поддерживает FRC, но он полностью происходит на процессоре (софтовая имлементация) путем простейшего пропуска или дублицирования кадров
Noweol
аппаратная уплавнялка отменяется

Да. Это печалит sad
Haswell вышел, а ПОСЛЕДНИЙ релиз инструментария работы с ним не поддерживает заявленные (еще в сентябре 2012) функции аппаратного повышения плавности 24>60 и 30>60 к/сек. Значит, либо ждать следующий релиз инструментария, либо нас обманули и там нет никакого аппаратного повышения плавности.

Доступная сейчас "(софтовая имлементация) путем простейшего пропуска или дублицирования кадров" не считается. hmm

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Спасибо, поржал.

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Отож, вот теперь сиди и думай, или с СДК пока кидалово, или с Хасвелом УЖЕ кидалово.

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin
А есть разница в видах кидка hmm

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

А если прямым текстом у интеловцев спросить - есть аппаратные блоки или нет?

Или ответом будет, что x86 процессоры способны на такую обработку видео.  lol

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Rimsky
А есть разница в видах кидка

конечно
если это грабля дров/сдк, то к следующему "току" будет работать  big_smile

LordMerlin
Итак. Чувак из Интела ответил на наши вопросы

а линку-то на первоисточник где взять?  hmm
ну, что бы народу шаблон рвать, если что

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Rimsky
Как уже сказал Чайник, конечно есть. В одном случае ПОКА нет, в другом НИКОГДА не будет.

Chainik
Простите, не понял, какой именно первоисточник надо?

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

LordMerlin
Простите, не понял, какой именно первоисточник надо?

где ты эти ответы прочитал? ссылку

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

big_smile  Ааа, вот в чем дело....
Боюсь со ссылкой не получится, я задавал вопрос на Хабре чуваку в личку, и ответ так же в личку пришел, максимум могу дать скрин для пруфа.
http://habrastorage.org/storage2/0e9/97a/2a9/0e997a2a9b4306dd6a7b9de927e85862.png

Re: Frame Rate Conversion - аппаратная "уплавнялка" в Haswell

Интересно, что по запросу "haswell frc" первая ссылка приводит сюда  big_smile
Что на google, что на bing.