Технологии мультимедиа Москин Николай Дмитриевич доцент, к.т.н. математический факультет Петрозаводский государственный университет

§5 Растровые изображения. Алгоритм JPEG Размер в пикселях (например, 1024×768px); Глубина цвета (количество используемых цветов); Цветовая модель (например, RGB, CMYK, HSV и др.); Разрешение изображения. В отличие от векторных изображений здесь не требуется математическое моделирование форм; достаточно просто записать значение каждого пикселя. Характеристиками изображения являются:

Разрешение устройств Разрешение устройств (принтеров, сканеров и т.п.) задается как количество точек на единицу длины: dpi (dots per inch) – количество точек на дюйм. Например, 5760x1440 dpi для принтера означает, что его разрешающая способность 5760 точек по горизонтали и 1440 точек по вертикали на квадрате размером 1 х 1 дюйм. ppi (pixels per inch) – количество пикселей на дюйм. lpi (lines per inch) – количество линий на дюйм. Это характеристика разрешения печати полутоновых изображений, используется в полиграфии.

Разрешение изображений Физический размер изображения, отправленного на устройство вывода = размер в пикселях / разрешение устройства Например, квадрат с шириной 128 пикселей при отображении с разрешением 72 dpi имеет физическую ширину 45 мм (1 дюйм = 2,54 см). Если разрешение изображения разрешения устройства вывода, то изображение нужно масштабировать с уменьшением размера. Данный процесс называется дискретизацией с понижением частоты.

Выбор Простейшими инструментами выбора являются прямоугольная и эллиптическая бегущие рамки. Выбор с помощью волшебной палочки осуществляется на основе их цвета. При выборе можно указать допуск, т.е. насколько цвет может отличаться от указанного. Магнитное лассо не просто придерживается контура, обрисованного пользователем, а подстраивается так, что контур привязывается к краям, находящимся на заданном расстоянии от курсора. Краем считаются любые достаточно крупные изменения контраста.

Выбор с помощью «волшебной палочки»

Выбор с помощью «магнитного лассо»

Маска Если нужно одно и то же выделение использовать на разных этапах редактирования, то выбор представляется в виде однобитовой маски, которую можно хранить вместе с изображением. Используя несколько битов, можно задавать различные степени прозрачности. Такая полутоновая маска называется альфа-каналом.

Альфа-канал При наложении двух пикселей друг на друга расчет яркости результирующего пикселя выполняется по формуле: Result = Background * (1 Alpha) + Foreground * Alpha, где Background яркость фонового пикселя, Foreground яркость накладываемого пикселя, Alpha (от 0 до 1) прозрачность накладываемого пикселя.

Смешивание с маской альфа-канала

Точечная обработка пикселей Если обработка изображений выполняется путем расчета нового значения каждого пикселя на основе только его старого значения: p=f(p) – отображающая функция, то подобная функция выполняет точечную обработку пикселей. Пример: построение негатива, изменение яркости и контраста.

Гистограмма изображения На гистограмме горизонтальная ось представляет возможные значения (от 0 до 255 на 8-битовом полутоновом изображении), а прямоугольники – количество пикселей, имеющих указанное значение. Верхний набор ползунков контролирует диапазон входных значений. Левый ползунок задает значение, которому будет поставлен в соответствие черный цвет, правый – значение для белого цвета. Аналоги-чно нижние ползунки отвечают за выходные значения пикселей.

Гистограмма изображения

Диалоговое окно «Кривые» в Adobe Photoshop В диалоговом окне «Кривые» можно изменить форму функции f, перетаскивая контрольные точки, или вообще перерисовать полностью, используя инструмент «карандаш». До коррекции кривая представляет собой тождественную функцию, где вход и выход одинаковы.

Диалоговое окно «Кривые» в Adobe Photoshop

S-образная кривая S-образная кривая используется для улучшения контраста.

Пакетная (групповая) обработка пикселей При групповой обработке новое значение пикселя рассчитывается как функция не только прежнего значения, но и значений соседних пикселей. В общем случае, если пиксель имеет координаты (x, y), ближайшие к нему пиксели располагаются в точках (x-1, y+1), (x, y+1), …, (x, y-1), (x+1, y-1). Обозначим p xy – значение пикселя в точке (x, y).

Маска и ядро свертки Новое значение p пикселя вычисляется следующим образом: p = ap x-1,y+1 +bp x,y+1 +cp x+1,y+1 +dp x-1,y + +ep x,y +fp x+1,y +gp x-1,y-1 +hp x,y-1 +ip x+1,y-1 Массив весовых коэффициентов называется маской свертки, а набор пикселей, задействованных в вычислениях, - ядром свертки.

Размывание (blurring) Простое размывание (коэффициенты одинаковы, например, равны 1/9) Гауссово размывание (коэффициенты постепенно уменьшаются от центра маски согласно кривой гауссова распределения). Это преобразование более естественно.

Резкость (sharpening) Это преобразование отфильтровывает низкочастотные компоненты, оставляя более высокие частоты, соответствующие резким переходам. Для этого используется следующая маска свертки:

Нерезкая маскировка Нерезкая маскировка выполняется путем построения копии исходного изображения, применения к нему гауссова размывания и последующего вычитания значений пикселей этой размытой маски из соответствующих значений оригинала, умноженных на подходящий масштабный коэффициент.

Виды интерполяции При применении к растровым изображениям геометрических преобразований (например, масштабирование, поворот) требуется интерполяция. Пусть после преобразования пиксель в точке (x,y) должен иметь то же значение, что и точка (x,y) оригинала, но x и y не являются целыми числами. Пусть также в точке (x,y) центрирован некий целевой пиксель.

Интерполяция по ближайшему соседнему пикселю Здесь учитывается значение пикселя, центр которого ближе всего расположен к (x,y). В результате преобразования изображение будет демонстрировать все признаки недостаточной дискретизации: заметные блоки пикселей и зубчатые границы.

Билинейная интерполяция Применяются значения четырех соседних пикселей с весовыми коэффициентами, пропорциональными площади их пересечения с целевым пикселем. Пусть a и b – доли сторон целевого пикселя, которые отсекаются вертикальной и горизонтальной линиями соответственно. Тогда значение пикселя, которому соответствует целевой пиксель с центром в точке (x, y) равно (1-a)(1-b)p 1 +a(1-b)p 2 +(1-a)bp 3 +abp 4

Бикубическая интерполяция В этом случае интерполяция основана на кубических сплайнах, т.е. предполагается, что промежуточные значения лежат не на прямой линии, а на кривой Безье, соединяющей записанные пиксели. Кривые Безье используются по той же причине, что и при рисовании кривых: они гладко соединяются. В результате изображение с пересчитанным разрешением также является гладким.

Билинейная и бикубическая интерполяции

Сжатие без потерь В ходе цикла сжатие/восстановление не происходит потери информации. Общим свойством всех схем сжатия является наличие данных, для которых «сжатая» версия будет больше несжатой.

Групповое кодирование RLE Простая техника замены серии последовательных пикселей одного цвета кодом цвета и количеством пикселей в серии называется групповым кодированием (Run-Length Encoding - RLE). Его эффективность зависит от сжимаемого изображения.

Кодирование Хаффмана Данный подход называется кодированием переменной длины (variable-length coding), первые работы появились в конце 1940-х годов. Самым известным алгоритмом этого класса является кодирование Хаффмана. Данные кодируются так, чтобы для хранения наиболее часто встречающихся значений требовалось меньше битов. Например: код наиболее распространенного цвета кодируется одним битом, следующая группа часто встречающихся цветов - двумя битами и т.д.

Схемы сжатия со словарем С конца 1970-х годов схемы кодирования переменной длины в значительной мере уступили место схемам сжатия со словарем (dictionary-based schemes). В этих алгоритмах строится таблица, или словарь, в которую вводятся строки байтов встречающиеся во входных данных; затем все вхождения этих строк заменяются указателем, обращающимся к словарю. Здесь используются коды фиксированной длины, которые, однако, указывают на строки переменной длины в словаре.

Технологии LZ77, LZ78 и LZW LZ77 и LZ78 (авторы Abraham Lempel и Jacob Ziv, опубликованы в 1977 и 1978 г.). На свободно распространяемой версии LZ77 основан метод сжатия в PNG, как и несколько известных универсальных программ сжатия, подобных PKZIP. LZW - разновидность алгоритма LZ78, разработанная Терри Уелшем (Terry Welsh), используется в GIF.

Сжатие с потерями При сжатии с потерями отбрасывается часть информации, которую по сжатому файлу восстановить невозможно. Сжатие с потерями хорошо подходит для изображений и звука, изначально имеющих аналоговую форму.

Сжатие JPEG JPEG – это аббревиатура от названия организации Joint Photographic Experts Group (Объединенная группа экспертов в области фотографии). Исходное изображение представляется двумерной матрицей размера N×N, элементами которой являются цвет или яркость пикселя. Упаковка значений матрицы выполняется за три этапа. Дискретное косинус-преобразование Квантование Вторичное сжатие

Сочетание сигналов различной частоты Любую периодическую волну можно разложить на набор правильных синусоид с разными частотами. Частота – это количество повторений сигнала в единицу времени. На рисунке показано, как сочетание синусоидальных волн с частотами f, 3f, 5f, 7f и т.д. образует сигнал похожий на меандр (прямоугольное колебание).

Преобразование Фурье Набор частот и амплитуд является представлением сигнала в частотной области (строго говоря, нужно еще знать и фазу каждого компонента, но здесь мы это усложнение опустим). Любой сигнал можно перевести в частотную область с помощью математической операции, известной под названием преобразование Фурье.

Представление меандра в частотной области

Представление сигнала в частотной области Результат применения преобразования Фурье к сигналу можно изобразить в виде графика, где по горизонтальной оси откладывается частота, а по вертикальной – амплитуда. Обратное преобразование Фурье представляет собой операцию, которая переводит сигнал из частотной области во временную.

Представление изображения Яркость изображения можно рассматривать как сигнал, который можно разложить на составляющие его частоты. Каждый пиксель для своих координат x и y дает значение z, поэтому изображение можно рассматривать как сложный трехмерный сигнал.

Трехмерное изображение ириса

Дискретное косинус-преобразование Дискретное косинус-преобразование (Discrete Cosine Transform - DCT) подобно преобразованию Фурье, раскладывает сигнал на составляющие его частоты. На вход ДКП подается массив пикселей, по которому вычисляется набор коэффи- циентов, представляющих амплитуду частотных компонентов изображения (по двум направлениям x и y).

Квантование JPEG Из-за большой вычислительной сложности алгоритма, отдельно преобразовываются только квадратные блоки пикселей 8×8. При переводе изображения в частотную область данные переходят в форму, поддающуюся сжатию с минимальным влиянием отброшенной информации (здесь отбрасывается информация о высоких частотах, которая не сильно влияет на качество изображения).

Квантование JPEG Различные частоты квантуются в разное число уровней, причем для более высоких частот используется меньше уровней. Для последовательности нулевых коэффициентов применяется групповое кодирование; для остальных значений применяется кодирование Хаффмана.

Обработка коэффициентов Чтобы максимизировать длину серий нулей, коэффициенты обрабатываются в зигзагообразной последовательности. Это эффективно, поскольку частоты увеличиваются при удалении от левого верхнего угла массива в обоих направлениях.

JPEG - восстановление Для восстановления данных серии раскрываются, коэффициенты, сжатые с помощью кодирования Хаффмана, восстанавливаются, после чего применяется обратное дискретное косинус- преобразование. Одной из важных особенностей сжатия JPEG является возможность контроля над степенью сжатия с помощью изменения значений в матрице квантования.

Артефакты сжатия При низком качестве сжатия на изображении становятся видимыми квадраты размером 8×8, к которым применяется ДКП, и появляются границы. Подобные нежелательные элементы на сжатом изображении (звуке, видео) называются артефактами сжатия.

Артефакты сжатия