Цифровое видео Мультимедиа технологии

Основные понятия Видеопоток характеризуется : Разрешением частотой кадров системой представления цветов. Из телевизионных стандартов пришли разрешения в 720 х 576 и 640 х 480, и частоты в 25 ( стандарты PAL или SECAM ) и 30 ( стандарт NTSC ) кадров в секунду. Другими словами : pixels per frame = 640 * 480 = 307,200 bits per frame = 307,200 * 24 = 7,372,800 = 7.37Mbits bit rate (BR) = 7.37 * 25 = Mbits/sec video size (VS) = 184Mbits/sec * 3600sec = 662,400Mbits = 82,800Mbytes = 82.8Gbytes

Необходимость сжатия Основная сложность – требуются большие объемы памяти Сжатия фреймов недостаточно Видео « телевизионного » формата 720 х кадров в секунду в системе RGB требует потока данных примерно в 240 Мбит / сек ( т. е. 1.8 Гб в минуту ) Большинство сегодняшних алгоритмов сжатия видео являются алгоритмами с потерей данных. При сжатии используется несколько типов избыточности : Когерентность областей изображения - малое изменение цвета изображения в соседних пикселах ( свойство, которое эксплуатируют все алгоритмы сжатия изображений с потерями ). Избыточность в цветовых плоскостях - используется большая важность яркости изображения для восприятия. Подобие между кадрами - использование того факта, что на скорости 25 кадров в секунду, как правило, соседние кадры изменяются незначительно.

Необходимость сжатия Первые два пункта знакомы вам по алгоритмам сжатия графики. Использование подобия между кадрами в самом простом и наиболее часто используемом случае означает кодирование не самого нового кадра, а его разности с предыдущим кадром. Для видео типа " говорящая голова " ( передача новостей, видеотелефоны ), большая часть кадра остается неизменной, и даже такой простой метод позволяет значительно уменьшить поток данных. Более сложный метод заключается в нахождении для каждого блока в сжимаемом кадре наименее отличающегося от него блока в кадре, используемом в качестве базового. Далее кодируется разница между этими блоками. Этот метод существенно более ресурсоемкий.

Требования к алгоритмам кодирования Произвольный доступ Быстрый поиск вперед / назад Показ кадров фильма в обратном направлении Аудио - визуальная синхронизация Устойчивость к ошибкам Время кодирования / декодирования Редактируемость Масштабируемость Небольшая стоимость аппаратной реализации

Обзор стандартов В 1988 году в рамках Международной Организации по Стандартизации ( ISO ) начала работу группа MPEG (Moving Pictures Experts Group) - группа экспертов в области цифрового видео. MPEG-Audio / MPEG- Video / MPEG-System. В сентябре 1990 был представлен предварительный стандарт кодирования MPEG-1. В январе 1992 работа над MPEG-1 была завершена, и начата работа над MPEG-2, в задачу которого входило описание потока данных со скоростью от 3 до 10 Мбит / сек. Практически в то же время была начата работа над MPEG-3, который был предназначен для описания потоков Мбит / сек. Однако вскоре выяснилось, что алгоритмические решения для MPEG- 2 и MPEG-3 принципиально близки и можно безболезненно расширить рамки MPEG-2 до потоков в 40 Мбит / сек. В результате работа над MPEG-3 была прекращена. MPEG-2 был окончательно доработан к 1995 году.

Обзор стандартов В группе при CMTT ( совместный комитет при CCITT и CCIR - International Consultative Committee on bRoadcasting ) работы были направлены на передачу оцифрованного видео по выделенным каналам с высокой пропускной способностью и радиолиниям. Соответствующие стандарты Н 21 и Н 22 ориентированы на 34 и 45 Мбит / сек, и сигнал передается с очень высоким качеством. MPEG-4 изначально был задуман как стандарт для работы со сверхнизкими потоками. Однако в процессе довольно долгой подготовки стандарт претерпел совершенно революционные изменения и сейчас собственно сжатие с низким потоком входит в него как одна составная часть, причем достаточно небольшая по размеру. Например, сам формат сегодня включает в себя такие вещи, как синтез речи, рендеринг изображений и описания параметров визуализации лица на стороне программы просмотра.

Обзор стандартов Разработка MPEG-7 была начата в Собственно к алгоритмам сжатия видео этот стандарт имеет еще меньшее отношение, чем MPEG-4, поскольку его основная задача заключается в описании контента и управлении им. Параллельно все это время существовали форматы Motion-JPEG и недавно появившийся Motion- JPEG2000, предназначенные в основном для удобства обработки сжатого видео.

Описание алгоритма компрессии Технология сжатия видео в MPEG распадается на две части : уменьшение избыточности видеоинформации во временном измерении, основанное на том, что соседние кадры, как правило, отличаются не сильно, и сжатие отдельных изображений. Рассматривается четыре типа кадров : I- кадры - кадры сжатые независимо от других кадров ( I-Intra pictures ), P- кадры - сжатые с использованием ссылки на одно изображение ( P-Predicted ), B- кадры - сжатые с использованием ссылки на два изображения ( B- Bidirection ), DC- кадры - независимо сжатые с большой потерей качества ( используются только при быстром поиске ).

Описание алгоритма компрессии Макроблок При сжатии кадр из цветового пространства RGB переводится в цветовое пространство YUV. Цвет представляется как 3 компоненты яркость (Y) и две цветоразностных (U и V). R = Y * V; G = Y * U * V; B = Y * U; Y = * R * G * B; U = * R * G * B; V = * R * G * B;

Описание алгоритма компрессии Каждая из плоскостей сжимаемого изображения ( Y, U, V ) разделяется на блоки 8x8, с которыми работает ДКП. Причем плоскости U и V, соответствующие компоненте цветности берутся с разрешением в два раза меньшим ( по вертикали и горизонтали ), чем исходное изображение. Таким образом, мы сразу получаем сжатие в два раза, пользуясь тем, что глаз человека хуже различает цвет отдельной точки изображения, чем ее яркость. Блоки 8x8 группируются в макроблоки. Макроблок - это группа из четырех соседних блоков в плоскости яркостной компоненты Y ( матрица пикселов 16x16 элементов ) и два соответствующих им по расположению блока из плоскостей цветности U и V. Таким образом, кадр разбивается на независимые единицы, несущие полную информацию о части изображения.

Описание алгоритма компрессии Отдельные макроблоки сжимаются независимо, т. е. в B- кадрах мы можем сжать макроблок конкретный как I- блок, P- блок со ссылкой на предыдущий кадр, P- блок со ссылкой на последующий кадр и, наконец, как В - блок. Алгоритм сжатия отдельных кадров в MPEG похож на соответствующий алгоритм для статических изображений - JPEG. Если говорить коротко, то сам алгоритм сжатия представляет собой конвейер преобразований. Это дискретное косинусное преобразование исходной матрицы 8x8, квантование матрицы и вытягивание ее в вектор v11,v12,v21,v31,v22,...,v88 ( зигзаг - сканирование ), сжатие вектора групповым кодированием и, наконец, сжатие по алгоритму Хаффмана.

Общая схема алгоритма 1. Подготовка макроблоков. 1. Для каждого макроблока определяется, каким образом он будет сжат. В I- кадрах все макроблоки сжимаются независимо. В P- кадрах блок либо сжимается независимо, либо представляет собой разность с одном из макроблоков в предыдущем опорном кадре, на который ссылается P- кадр. 2. Перевод макроблока в цветовое пространство YUV. Получение нужного количества матриц 8 х Для P- блоков и B- блоков производится вычисление разности с соответствующим макроблоком в опорном кадре. 4. ДКП 5. Квантование. 6. Зигзаг - сканирование. 7. Групповое кодирование. 8. Кодирование Хаффмана. При декодировании весь конвейер повторяется для обратных преобразований, начиная с конца.

Использование векторов смещений блоков Простейший способ учитывать подобие соседних кадров - это вычитать каждый блок сжимаемого кадра из соответствующего блока предыдущего. Однако более гибким является алгоритм поиска векторов, на которые сдвинулись блоки текущего кадра по отношению к предыдущему. Для каждого блока в изображении мы находим блок близкий по некоторой метрике ( например, по сумме квадратов разности пикселей ) в предыдущем кадре в некоторой окрестности текущего положения блока. Если минимальное расстояние по выбранной метрике с блоками в предыдущем кадре больше выбранного порога - блок сжимается независимо.

Использование векторов смещений блоков

Вместе с каждым блоком в поток теперь сохраняются координаты смещения максимально похожего блока в предыдущем I- или P- кадре, либо признак того, что данные сжаты независимо. Эти координаты задают вектор смещения блока (motion vector). Апоиска оптимальных векторов смещения заключается в переборе. Существуют различные методы уменьшения этого перебора, и настройки видео - кодеков, регулирующие скорость сжатия нередко варьируют именно параметры метода перебора.

Motion-JPEG Motion-JPEG ( или M-JPEG ) является наиболее простым алгоритмом сжатия видео. В нем каждый кадр сжимается независимо алгоритмом JPEG. Этот прием дает высокую скорость доступа к произвольным кадрам, как в прямом, так и в обратном порядке следования. Соответственно легко реализуются плавные " перемотки " в обоих направлениях, аудио - визуальная синхронизация и, что самое главное - редактирование. Типичные операции JPEG сейчас поддерживаются на аппаратном уровне большинством видеокарт и данный формат позволяет легко оперировать большими объемами данных при монтаже фильмов. Независимое сжатие отдельных кадров позволяет накладывать различные эффекты, не опасаясь, что взаимное влияние соседних кадров внесет дополнительные искажения в фильм. Характеристики Motion-JPEG Поток, разрешение ( сжатие ): Поток и разрешение произвольные, сжатие в 5-10 раз Плюсы : Обеспечивает быстрый произвольный доступ. Легко редактировать поток. Низкая стоимость аппаратной реализации. Минусы : Сравнительно низкая степень сжатия.

MPEG-1 Характеристики MPEG-1 Поток, разрешение : 1.5 Мбит / с, 352 х 240 х 30, 352 х 288 х 25 Плюсы : Сравнительно прост в аппаратной реализации, содержит преобразования, поддерживаемые на аппаратном уровне большим количеством видеокарт. Минусы : Невысокая степень сжатия. Малая гибкость формата.

H.261 Стандарт H.261 специфицирует кодирование и декодирование видеопотока для передачи по каналу p*64 Кбит, где p= В качестве канала может выступать, например, несколько телефонных линий. Степень сжатия зависит в основном от метода нахождения " похожих " макроблоков в предыдущем кадре, алгоритма решения передавать ли конкретный макроблок, выбора способа кодирования каждого макроблока ( INTER/INTRA ) и выбора коэффициентов квантования результатов ДКП. Ни один из перечисленных вопросы стандартом не регламентируются, оставляя свободу для построения собственных оптимальных алгоритмов. Поток, разрешение : p*64 Кбит, p=1..30, CIF или QCIF Плюсы : Прост в аппаратной реализации. Минусы : Невысокая степень сжатия. Ограничения на формат.

H.263 Данный стандарт является расширением, дополнением и значительным усложнением H.261. Он содержит " базовый " стандарт кодирования, практически не отличающийся по алгоритмам сжатия от H.261, плюс множество опциональных его расширений. Поток, разрешение : Мбит /c, sub-QCIF, QCIF, CIF, 4CIF, 16CIF и отдельно настраиваемые разрешения. Плюсы : Алгоритм H.263 также как H.261 допускает быструю аппаратную реализацию, однако при этом позволяет добиться большей степени сжатия при том же качестве. Поддерживает сжатие звука. Минусы : По количеству заложенных идей находится между MPEG-2 и MPEG-4.

MPEG-2 Как уже говорилось, MPEG-2 занимается сжатием оцифрованного видео при потоке данных от 3 до 10 Мбит / сек. Многое в нем заимствовано из формата CCIR-601. CCIR- 601 представляет собой стандарт цифрового видео с размером передаваемого изображения 720 х 486 при 60 полукадрах в секунду. Строки изображения передаются с чередованием, и два полукадра составляют кадр. Этот прием нередко применяют для уменьшения мерцания. Хроматические каналы ( U и V в YUV ) передаются размером 360 х раз в секунду и также чередуются уже между собой. Подобное деление называется 4:2:2. Перевод из CCIR-601 в MPEG-I прост : надо поделить в 2 раза яркостную компоненту по горизонтали, поделить поток в 2 раза во временном измерении ( убрав чередование ), добавить вторую хроматическую компоненту и выкинуть " лишние " строки, чтобы размер по вертикали делился на 16. Мы получим поток YUV кадров размером 352 х 240 с частотой 30 кадров в секунду.

MPEG-2 Характеристики MPEG-2 Поток, разрешение : 3-15 Мбит /c, универсальный Плюсы : Поддержка достаточно серьезных звуковых стандартов Dolby Digital 5.1, DTS, высокая универсальность, сравнительная простота аппаратной реализации. Минусы : Недостаточная на сегодня степень сжатия, недостаточная гибкость.

MPEG-4 Расчет трехмерных сцен и работа с синтетическими объектами. Объектно - ориентированная работа с потоком данных. Помещение в поток двоичного кода " С ++ подобного " языка BIFS. Активная зрительская позиция. Синтезатор лиц и фигур. Синтезатор звуков и речи. Улучшенные алгоритмы сжатия видео. Поддержка профилей на уровне стандарта. Поток, разрешение : 0, Мбит /c, поддерживаются все основные стандарты видеопотоков. Плюсы : Поддержка достаточно прогрессивных звуковых стандартов, высокая степень универсальности, поддержка новых технологий ( различные виды синтеза звука и изображения ). Минусы : Высокая сложность реализации.