Технологии мультимедиа Москин Николай Дмитриевич старший преподаватель, к.т.н. математический факультет Петрозаводский государственный университет

§4 Растровые изображения В отличие от векторных изображений здесь не требуется математическое моделирование форм; достаточно просто записать значение каждого пикселя изображения. Многие изображения поставляются внешними источниками, например сканерами или цифровыми камерами, уже работающими в растровом режиме.

Разрешение устройств Для принтеров и сканеров задается как количество точек на единицу длины, часто количество точек на дюйм – dots per inch. Настольные принтеры 600 dpi, системы фотовывода (используемые в производстве книг) dpi, планшетные сканеры dpi. Для видео, мониторов задается как размер кадра в пикселях: кадр PAL равен 768×576 пикселей. монитор 1024×768 пикселей.

Разрешение изображений При отсутствии любой дополнительной информации физический размер изображения, отправленного на устройство вывода, будет зависеть от разрешения этого устройства: Физический размер = размер в пикселях / разрешение устройства Например, квадрат с шириной 128 пикселей при отображении с разрешением 72 dpi имеет физическую ширину 45 мм (1 дюйм = 2,54 см).

Изменение разрешения Если разрешение изображения < разрешения устройства, картинку придется масштабировать, а при этом потребуется интерполяция пикселей, что приведет к ухудшению качества. Если разрешение изображения > разрешения устройства вывода, то изображение нужно масштабировать с уменьшением размера. Данный процесс называется дискретизацией с понижением частоты.

Преобразование изображений Существует две категории причин, для чего нужны эти преобразования: Коррекция дефектов изображения Эффект «красных глаз» Создание изображений, которые сложно или невозможно получить в естественном виде. Специальные эффекты (фильтры)

Выбор Простейшими инструментами для выбора являются прямоугольная и эллиптическая бегущие рамки. Выбор областей с помощью волшебной палочки осуществляется на основе их цвета. При выборе можно указать допуск, т.е. насколько цвет может отличаться от указанного, при этом удовлетворяя критерию отбора.

Выбор с помощью «волшебной палочки»

Магнитное лассо Подобно другим инструментам «лассо», магнитное лассо растягивается вокруг выбираемой области, но не просто придерживается контура, обрисованного пользователем, а подстраивается так, что контур привязывается к краям, находящимся на заданном расстоянии от курсора. Краем считаются любые достаточно крупные изменения контраста.

Выбор с помощью «магнитного лассо»

Маска Иногда встречаются ситуации, когда одно и то же выделение необходимо использовать на разных этапах редактирования. Тогда операция выбора может быть представлена в виде однобитовой маски, которую можно хранить вместе с изображением.

Альфа-каналы Используя несколько битов (при этом маска становится полутоновым изображением), можно задавать различные степени прозрачности. Полутоновая маска подобного типа называется альфа-каналом. Как правило, каждому пикселю ставится в соответствие 8 бит на маске, т.е. всего существует 256 значений прозрачности.

Смешивание с маской альфа-канала

Точечная обработка пикселей Если обработка изображений выполняется путем расчета нового значения каждого пикселя на основе только его старого значения: p=f(p) – отображающая функция, то подобная функция выполняет точечную обработку пикселей. Пример: построение негатива, изменение яркости и контраста.

Гистограмма изображения На гистограмме горизонтальная ось представляет возможные значения (от 0 до 255 на 8-битовом полутоновом изображении), а прямоугольники – количество пикселей, имеющих указанное значение.

Гистограмма изображения

Верхний набор ползунков контролирует диапазон входных значений. Левый ползунок задает значение, которому будет поставлен в соответствие черный цвет, правый – значение для белого цвета. Аналогично нижние ползунки отвечают за выходные значения пикселей.

Диалоговое окно «Кривые» в Adobe Photoshop В диалоговом окне «Кривые» можно изменить форму функции f, перетаскивая контрольные точки, или вообще перерисовать полностью, используя инструмент «карандаш». До коррекции кривая представляет собой тождественную функцию, где вход и выход одинаковы.

Диалоговое окно «Кривые» в Adobe Photoshop

S-образная кривая S-образная кривая используется для улучшения контраста.

Пакетная (групповая) обработка пикселей При групповой обработке новое значение пикселя рассчитывается как функция не только прежнего значения, но и значений соседних пикселей. В общем случае, если пиксель имеет координаты (x, y), ближайшие к нему пиксели располагаются в точках (x-1, y+1), (x, y+1), …, (x, y-1), (x+1, y-1). Обозначим p xy – значение пикселя в точке (x, y).

Маска и ядро свертки Новое значение p пикселя вычисляется следующим образом: p = ap x-1,y+1 +bp x,y+1 +cp x+1,y+1 +dp x-1,y + +ep x,y +fp x+1,y +gp x-1,y-1 +hp x,y-1 +ip x+1,y-1 Массив весовых коэффициентов называется маской свертки, а набор пикселей, задействованных в вычислениях, - ядром свертки. Свертка является достаточно трудоемким вычислительным процессом.

Размывание (blurring) Простое размывание (коэффициенты одинаковы, например, равны 1/9) Гауссово размывание (коэффициенты постепенно уменьшаются от центра маски согласно кривой гауссова распределения). Это преобразование более естественно.

Резкость (sharpening) Это преобразование отфильтровывает низкочастотные компоненты, оставляя более высокие частоты, соответствующие резким переходам. Для этого используется следующая маска свертки:

Нерезкая маскировка Нерезкая маскировка выполняется путем построения копии исходного изображения, применения к нему гауссова размывания и последующего вычитания значений пикселей этой размытой маски из соответствующих значений оригинала, умноженных на подходящий масштабный коэффициент.

Геометрические преобразования В отличие от векторных изображений применение геометрических преобразований (масштабирование, отражение, поворот и т.д.) к растровым изображениям не так прямолинейно, здесь требуется интерполяция. Пусть после преобразования пиксель в точке (x,y) должен иметь то же значение, что и точка (x,y) оригинала, но x и y не являются целыми числами. Пусть также в точке (x,y) центрирован некий целевой пиксель.

Виды интерполяции Интерполяция по ближайшему соседнему пикселю (учитывается значение пикселя, центр которого ближе всего расположен к (x,y)); Билинейная интерполяция (применяются значения всех четырех соседних пикселей с весовыми коэффициентами, пропорционально площади области их пересечения с целевым пикселем); Бикубическая интерполяция (применяются значения всех четырех соседних пикселей с весовыми коэффициентами, полученными на основе кубических сплайнов).

Сжатие без потерь В ходе цикла сжатие/восстановление не происходит потери информации. Общим свойством всех схем сжатия является наличие данных, для которых «сжатая» версия будет больше несжатой.

Групповое кодирование RLE Простая техника замены серии последовательных пикселей одного цвета кодом цвета и количеством пикселей в серии называется групповым кодированием (Run-Length Encoding - RLE). Его эффективность зависит от сжимаемого изображения.

Кодирование Хаффмана Данный подход называется кодированием переменной длины (variable-length coding), первые работы появились в конце 1940-х годов. Самым известным алгоритмом этого класса является кодирование Хаффмана. Данные кодируются так, чтобы для хранения наиболее часто встречающихся значений требовалось меньше битов. Например: код наиболее распространенного цвета кодируется одним битом, следующая группа часто встречающихся цветов - двумя битами и т.д.

Схемы сжатия со словарем С конца 1970-х годов схемы кодирования переменной длины в значительной мере уступили место схемам сжатия со словарем (dictionary-based schemes). В этих алгоритмах строится таблица, или словарь, в которую вводятся строки байтов встречающиеся во входных данных; затем все вхождения этих строк заменяются указателем, обращающимся к словарю. Здесь используются коды фиксированной длины, которые, однако, указывают на строки переменной длины в словаре.

Технологии LZ77, LZ78 и LZW LZ77 и LZ78 (авторы Abraham Lempel и Jacob Ziv, опубликованы в 1977 и 1978 г.). На свободно распространяемой версии LZ77 основан метод сжатия в PNG, как и несколько известных универсальных программ сжатия, подобных PKZIP. LZW - разновидность алгоритма LZ78, разработанная Терри Уелшем (Terry Welsh), используется в GIF.

Сжатие с потерями При сжатии с потерями отбрасывается часть информации, которую по сжатому файлу восстановить невозможно. Сжатие с потерями хорошо подходит изображений и звука, изначально имеющих аналоговую форму.

Сжатие JPEG JPEG – это аббревиатура от названия организации Joint Photographic Experts Group (Объединенная группа экспертов в области фотографии). Исходное изображение представляется двумерной матрицей размера N×N, элементами которой являются цвет или яркость пикселя. Упаковка значений матрицы выполняется за три этапа. Дискретное косинус-преобразование Квантование Вторичное сжатие

Сочетание сигналов различной частоты Любую периодическую волну можно разложить на набор правильных синусоид с разными частотами. Частота – это количество повторений сигнала в единицу времени. На рисунке показано, как сочетание синусоидальных волн с частотами f, 3f, 5f, 7f и т.д. образует сигнал похожий на меандр (прямоугольное колебание).

Преобразование Фурье Набор частот и амплитуд является представлением сигнала в частотной области (строго говоря, нужно еще знать и фазу каждого компонента, но здесь мы это усложнение опустим). Любой сигнал можно перевести в частотную область с помощью математической операции, известной под названием преобразование Фурье.

Представление сигнала в частотной области Результат применения преобразования Фурье к сигналу можно изобразить в виде графика, на котором по горизонтальной оси откладывается частота, а по вертикальной – амплитуда. Представление меандра в частотной области

Представление сигнала в частотной области Отметим, что высокочастотные компоненты связаны с резкими изменениями сигнала. Обратное преобразование Фурье представляет собой операцию, которая переводит сигнал из частотной области во временную.

Представление изображения Яркость изображения можно рассматривать как сигнал, который можно разложить на составляющие его частоты. Каждый пиксель для своих координат x и y дает значение z, поэтому изображение можно рассматривать как сложный трехмерный сигнал.

Трехмерное изображение ириса

Дискретное косинус-преобразование Дискретное косинус-преобразование (Discrete Cosine Transform - DCT) подобно преобразованию Фурье, раскладывает сигнал на составляющие его частоты. На вход ДКП подается массив пикселей, по которому вычисляется набор коэффи- циентов, представляющих амплитуду частотных компонентов изображения (по двум направлениям x и y).

Квантование JPEG Из-за большой вычислительной сложности алгоритма, отдельно преобразовываются только квадратные блоки пикселей 8×8. При переводе изображения в частотную область данные переходят в форму, поддающуюся сжатию с минимальным влиянием отброшенной информации (здесь отбрасывается информация о высоких частотах, которая не сильно влияет на качество изображения).

Квантование JPEG Различные частоты квантуются в разное число уровней, причем для более высоких частот используется меньше уровней. Для последовательности нулевых коэффициентов применяется групповое кодирование; для остальных значений применяется кодирование Хаффмана.

Обработка коэффициентов Чтобы максимизировать длину серий нулей, коэффициенты обрабатываются в зигзагообразной последовательности. Это эффективно, поскольку частоты увеличиваются при удалении от левого верхнего угла массива в обоих направлениях.

JPEG - восстановление Для восстановления данных серии раскрываются, коэффициенты, сжатые с помощью кодирования Хаффмана, восстанавливаются, после чего применяется обратное дискретное косинус- преобразование. Одной из важных особенностей сжатия JPEG является возможность контроля над степенью сжатия с помощью изменения значений в матрице квантования.

Артефакты сжатия При низком качестве сжатия на изображении становятся видимыми квадраты размером 8×8, к которым применяется ДКП, и появляются границы. Подобные нежелательные элементы на сжатом изображении называются артефактами сжатия.

§5 Цвет Цвет – это субъективное ощущение, формируемое мозгом. Для электронного воспроизведения цвета или цифровой работы с ним нужна модель цвета, связывающая субъективные ощущения с измеряемыми и воспроизво- димыми физическими явлениями.

Cпектральное распределение энергии Поскольку свет – это разновидность электромагнитного излучения, можно измерить его длину волны и интенсивность. Данные измерения можно объединить в спектральное распределение энергии (Spectral Power Distribution – SPD) – описание зависимости интенсивности света, исходящего от отдельных источников, от длины волны.

Спектральное распределение энергии дневного света Длина волны видимого света приблизительно равна нм.

Трехцветная теория цвета Считается, что цветовые рецепторы (колбочки) подразделяются на три группы, каждая из которых воспринимает только единственный цвет – красный, зеленый или синий (три различные группы длин волн). Эти цвета называются аддитивными основными цветами.

Аддитивное и субтрактивное цветовоспроизведение Для излучающих объектов характерно аддитивное цветовоспроизведение (световые излучения суммируются), для отражающих объектов – субтрактивное цветовоспроизведение (световые излучения вычитаются). Примером объекта первого типа является электронно-лучевая трубка, второго типа – полиграфический отпечаток.

Модель цвета RGB В модели RGB цвет можно представить тремя значениями (r, g, b), где r, g и b – величины красного (red), зеленого (green) и синего (blue) света, составляющие искомый цвет. (100%, 0%, 0%) – чистый красный цвет, (50%, 0%, 0%) – более темный красный, (100%, 50%, 100%) – яркий оттенок розовато- лилового цвета, (0%, 0%, 0%) – черный цвет.

Модель цвета RGB

Цветовая гамма RGB Все видимые цвета невозможно представить комбинацией красного, зеленого и синего компонентов. Данная диаграмма была представлена в 1931 году Международной комиссией по освещению (CIE – Commission International d`Eclairage).

Насыщенность цвета Числа r, g и b – не являются абсолютными значениями, а являются относительными пропорциями. Например, при использовании 256 значений для каждого компонента можно получить 16,8 млн комбинаций (24-битовый цвет). Количество битов, используемых для записи кода цвета, часто называется насыщенностью цвета.

Насыщенность цвета Альтернативой является однобитовый (двухуровневый) цвет: черный и белый, оранжевый и черный и т.д. Если r=g=b, цвет определяется как оттенок серого, поэтому для его задания достаточ- но одного числа.

Фотографии с цветом: 24 бит, 8 бит, 4 бит, 1 бит

Индексирование цвета Вместо хранения компонентов (r, g, b) для каждого пикселя, в памяти может храниться индекс в таблице видеосоответствий (Color Lookup Table – СLUP) или просто палитре. Индекс может занимать небольшое место в памяти, например, 1 байт, тогда палитра хранит битовых значений.

Индексирование цвета На рисунке показаны два изображения с различными цветовыми характеристиками, а также палитры, использованные при записи изображений с применением схемы индексированного цвета.

Палитра цветов Из файловых форматов палитру цветов позволяют включать в изображение PNG, BMP, TGA и TIFF, а, например, JPEG не позволяет. Так как изображения, подготавливаемые для публикации в Web, должны иметь минимальный размер, необходимо было отказаться от включения в их состав цветовой палитры. В этом случае обычно используется стандартная инвариантная «безопасная» палитра для Web (Web-safe palette) с 216 цветами.

Модель цвета CMYK В 1801 году Томас Янг про- вел следующий эксперимент: при перекрытии трех основ- ных цветов образуются новые цвета: Белый цвет (white); Оттенок синего – голубой (cyan); Синевато-красный – пурпурный (magenta); Оттенок желтого (yellow).

Модель цвета CMYK Обозначим «+» аддитивное смешивание света, «-» вычитание света. голубой (C) = зеленый (G) + синий (B) = белый (W) – красный (R) пурпурный (M) = красный (R) + синий (B) = белый (W) – зеленый (G) желтый (Y) = красный (R) + зеленый (G) = белый (W) – синий (B) Цвет, расположенный слева, называется дополнительным цветом цвета, стоящего в строке последним (например, пурпурный (M) является дополнительным цветом зеленого (G)).

Принцип действия цветных чернил Пример 1: голубые чернила, нанесенные на белую бумагу, поглощают красный компонент цвета, позволяя отражаться зеленому и синему, которые в сумме дают голубой цвет. Пример 2: если добавить слой пурпурных чернил, они поглотят зеленый цвет, так что эта комбинация даст синий цвет.

Субтрактивные основные цвета Поэтому голубой, пурпурный и желтый цвета называются субтрактивными основными цветами, а цветовую модель CMYK используют при подготовке публикаций к печати. Главная проблема модели CMYK – наложение друг на друга дополнительных цветов на практике не дает чистого черного цвета. Поэтому в модель был включен компонент чистого черного цвета (blacK).

Диапазон цветов, полученный смешиванием основных цветов

Модель цвета HSV (HSB) Она построена на основе цветового круга Манселла. Значение цвета выбирается как вектор, исходящий из центра окружности. Точка в центре соответствует белому цвету, а точки по периметру – чистым спектральным цветам.

Модель цвета HSV (HSB) Цвет описывается тремя компонентами: Направление вектора в градусах - оттенок (Hue – H); Длина вектора - насыщенность (Saturation – S); На отдельной оси - значение яркости (Brightness Value - V).

YUV Иногда информацию о яркости изображения полезно отделить от цвета. Исторически это связано с передачей телевизионных сигналов, совместимых со старыми черно-белыми телевизорами. Величина Y – светимость определяется по следующей формуле: Y = 0,2125R + 0,7154G + 0,0721B По техническим причинам помимо Y часто используют разности B-Y и R-Y.

LAB Lab (CIELAB) – модель цвета, при разработке которой преследовалась цель создания цветового пространства, изменения цвета в котором было бы более линейным с точки зрения человеческого восприятия (по сравнению с XYZ). При этом особые свойства Lab сделали редактирование в этом пространстве мощным инструментом цветокоррекции.

Установка цвета в Adobe Photoshop

Каналы Иногда вместо хранения 24-битовых значений пикселей можно записать 3 отдельных массива 8-битовых значений, характеризующих красную, зеленую и синюю составляющие изображения. Полученные таким образом три полутоно- вые изображения называются каналами.

Цветное изображение и три канала

Коррекция оттенка

Системы управления цветом Система управления цветом (CMS – Color Management System)– это программное обеспечение, которое компенсирует изменения, возникающие при аппаратно-независимой обработке цвета, позволяя точно и непротиворечиво воспроизводить цвета. Такие системы содержат набор объективных параметров, обязательных для всех устройств при обмене цветовыми данными.

Профиль Для согласования отображения цветов на различных устройствах они должны иметь собственный профиль, описывающий различия в представлении цвета между устройствами и определенной цветовой моделью. Международным консорциумом по цвету (International Color Consortium - ICC) установлен промышленный стандарт на параметры описания характеристик воспроизведения цвета.

sRGB Очевидно, что было бы желательно использовать аппаратно-независимое пространство цветов для хранения кодов цвета. В качестве такого пространства пытались предложить sRGB (стандартное пространство RGB). Оно основано на модели RGB и задает стандартные значения цветностей R, G и B, белую точку и гамму (они выбраны типичными для большинства мониторов).

Файловые форматы Для растровых изображений одним из основных отличий между файловыми форматами является способ сжатия информации. Алгоритмы сжатия без потерь позволяют точно восстановить исходные данные по сжатой версии файла. При выполнении алгоритмов сжатия с потерями часть информации теряется для достижения большей степени сжатия.

Формат GIF Изначально разработан компанией CompuServe как общий формат для обмена растровыми изображениями между различными платформами (Graphics Interchange Format). В файлах GIF используется технология сжатия без потерь, а цветовая палитра ограничивается 256 цветами. При этом один цвет можно обозначить как прозрачный, что позволяет создавать изображения, которые не будут прямоугольными.

Формат JPEG JPEG – это Объединенная группа экспертов в области фотографии (Joint Photographic Experts Group), разработавшая эту технологию сжатия. Этим термином обычно называют файлы растровой графики со сжатием JPEG с потерями, особенно подходящие для фотографий. JPEG широко используется на Web-страницах. Данный формат правильнее было бы назвать файлом JFIF – форматом для обмена файлами стандарта JPEG (JPEG File Interchange Format).

Формат PNG Portable Network Graphics – переносимая сетевая графика. Относительно новый файловый растровой графики, в котором используется сжатие без потерь. Этот формат был создан на смену GIF, он не ограничен 256 цветами и в нем предлагается более сложная форма прозрачности, чем в формате GIF.

Формат TIFF Tag Image File Format – файловый формат теговых изображений. Это межплатфор- менный открытый файловый формат растровой графики, где данные обычно хранятся в несжатом виде. При этом используются несколько схем сжатия, в том числе и JPEG.

Форматы BMP и TGA BMP – растровый формат Microsoft Windows Bitmap. Поддерживает простую форму сжатия без потерь. TGA (Targa) – это один из первых форматов, поддерживающих более 256 цветов на ПК. Однако уровень его популярности снижается.

Средства создания и обработки изображения Adobe Photoshop Профессиональный пакет обработки фотографий. Обладает полным набором инструментов для коррекции цвета, ретуширования, регулировки контрастности и насыщенности цветов, создания различных эффектов. Corel PhotoPaint Этот редактор имеет все необходимое для создания и редактирования изображений, но уступает Adobe Photoshop в быстродействии при работе с файлами. Содержит инструменты для работы с анимированными изображениями и слайд-шоу в формате QuickTime. PhotoDraw PhotoDraw объединяет возможности пакетов векторной и растровой графики. Он включает много различных эффектов.

Средства создания и обработки изображения Painter Программа редактирования растровой живописи. Модели- рует различные инструменты (кисти, карандаш, уголь), позволяет имитировать рисунки акварелью и маслом. PhotoImpact Графический пакет от фирмы Ulead Systems. Предлагает средства для создания и управления базами данных фотографий, мультимедийных слайд-шоу. Paint Shop Pro В пакете Paint Shop Pro, работающем как с векторной, так и с растровой графикой, представлены практически все те же возможности, что и в PhotoShop. При этом он отличается гораздо более скромными требованиями к системе и удобнее в работе.

Программа Ulead PhotoImpact 12