Применение MPEG-7 для классификации и поиска визуальных данных Вихровский Кирилл Graphics & Media Lab

Проблемы поиска мультимедиа данных Более 90% информации создается и хранится в цифровом виде Более 90% информации создается и хранится в цифровом виде цифровых архивов цифровых архивов широковещательных потоков широковещательных потоков в форме частных или профессиональных баз данных в форме частных или профессиональных баз данных Большинство систем хранения и поиска информации не предоставляют возможности поиска мультимедиа данных Большинство систем хранения и поиска информации не предоставляют возможности поиска мультимедиа данных либо имеют собственный формат описания свойств объектов либо имеют собственный формат описания свойств объектов

Стандарт MPEG-7 MPEG-7 является стандартом ISO/IEC MPEG-7 является стандартом ISO/IEC Интерфейс для описания мультимедийного содержимого - Multimedia Content Description Interface Интерфейс для описания мультимедийного содержимого - Multimedia Content Description Interface Цель: стандартизовать описание семантики мультимедийного материала, которое может быть передано для обработки ЭВМ Цель: стандартизовать описание семантики мультимедийного материала, которое может быть передано для обработки ЭВМ MPEG-7 использует схему XML в качестве языка выбора текстуального представления описания материала MPEG-7 использует схему XML в качестве языка выбора текстуального представления описания материала

Средства стандарта Главными элементы стандарта MPEG-7: Дескрипторы (Descriptors) Дескрипторы (Descriptors) определяют синтаксис и семантику представления каждой из характеристик элемента данных определяют синтаксис и семантику представления каждой из характеристик элемента данных Схемы описания (Description Scheme) Схемы описания (Description Scheme) специфицируют структуру и семантику взаимодействия между компонентами (дескрипторами и схемами описания) специфицируют структуру и семантику взаимодействия между компонентами (дескрипторами и схемами описания) Язык описания определений (Description Definition Language) Язык описания определений (Description Definition Language) позволяет создавать новые DS и, возможно, D и обеспечивает расширение и модификацию существующих DS позволяет создавать новые DS и, возможно, D и обеспечивает расширение и модификацию существующих DS Системные средства Системные средства служат для поддержки двоичного представления, механизмов передачи, синхронизации описаний с материалами, контроля интеллектуальной собственности в описаниях MPEG-7, и т.д. служат для поддержки двоичного представления, механизмов передачи, синхронизации описаний с материалами, контроля интеллектуальной собственности в описаниях MPEG-7, и т.д.

Поиск и классификация Контентно-зависимый поиск (CBR). Контентно-зависимый поиск (CBR). основываются на сравнении таких характеристик как цвет, текстура или форма основываются на сравнении таких характеристик как цвет, текстура или форма Поиск на основе метаданных (MBR). Поиск на основе метаданных (MBR). использует более высокоуровневую информацию, опираясь на ключевые слова или свободную текстовую аннотацию использует более высокоуровневую информацию, опираясь на ключевые слова или свободную текстовую аннотацию

Поиск на основе метаданных: Пример описания MPEG-7 Dodge Viper Dodge Viper mountain on the background image.jpg image.jpg

Дескрипторы цвета MPEG-7 Дескрипторы цвета MPEG-7 Устойчивы к изменению цветов фона и независимы от размера изображения и ориентации объекта в сцене Цветовое пространство(CS) Цветовое пространство(CS) пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff), матрица линейного преобразования с учетом RGB, монохромное пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff), матрица линейного преобразования с учетом RGB, монохромное Масштабируемый цвет(SCD) Масштабируемый цвет(SCD) описывающий распределение цвета в изображении описывающий распределение цвета в изображении может быть использован для эффективного поиска в базе однородных данных может быть использован для эффективного поиска в базе однородных данных Доминантный цвет(DCD) Доминантный цвет(DCD) наиболее удобный для представления локальных характеристик наиболее удобный для представления локальных характеристик высокоскоростной поиск, где для предоставления цветовой информации достаточно малого числа цветов высокоскоростной поиск, где для предоставления цветовой информации достаточно малого числа цветов

Цветовое распределение(CLD) Цветовое распределение(CLD) описывает пространственное распределение цветов в областях произвольной формы описывает пространственное распределение цветов в областях произвольной формы Структура цвета(CSD) Структура цвета(CSD) локальные цветовые характеристики в изображениях локальные цветовые характеристики в изображениях поиск, базирующийся на подобии естественных изображений поиск, базирующийся на подобии естественных изображений Дескрипторы цвета MPEG-7 Дескрипторы цвета MPEG-7

Дескрипторы текстуры Могут быть использованы как независимо, так и в комбинации с другими MPEG-7 дескрипторами Однородная текстура(HTD) Однородная текстура(HTD) поиск и просмотр в большой поиск и просмотр в большой коллекции сходно выглядящих образов образов Краевая гистограмма(EHD) Краевая гистограмма(EHD) поиск изображений по образцам или наброскам, в особенности для изображений с нерегулярными краями поиск изображений по образцам или наброскам, в особенности для изображений с нерегулярными краями

Дескрипторы формы Предоставляет мощное средство для поиска и сравнения в базе изображений Форма, базирующаяся на Форма, базирующаяся на областях (Region Shape) Форма, базирующаяся на Форма, базирующаяся на контуре (Contour Shape) контуре (Contour Shape)

Дескрипторы формы 3D-форма (Shape 3D) 3D-форма (Shape 3D) Дескриптор 2D/3D формы Дескриптор 2D/3D формы 3D объект может быть описан конечным числом 2D форм 3D объект может быть описан конечным числом 2D форм известен как дескриптор световых полей известен как дескриптор световых полей устойчивый поиск в базе объектов с различными разрешениями устойчивый поиск в базе объектов с различными разрешениями

Экспериментальная модель Модули программного обеспечения XM используют специфицированные интерфейсы Модули программного обеспечения XM используют специфицированные интерфейсы Это позволяет облегчить навигацию среди множества различных модулей для разных D и DS. Это позволяет облегчить навигацию среди множества различных модулей для разных D и DS. С другой стороны, использование фиксированного интерфейса позволяет повторно использовать и объединять отдельные модули в большие приложения. С другой стороны, использование фиксированного интерфейса позволяет повторно использовать и объединять отдельные модули в большие приложения.

Особенности поиска создаваемой системы Гистограмма цветов Гистограмма цветов поиск в базе однородных данных поиск в базе однородных данных Краевая гистограмма Краевая гистограмма поиск по образцу или наброску поиск по образцу или наброску Форма, базирующаяся на контуре Форма, базирующаяся на контуре поиск, основанный на сходстве поиск, основанный на сходстве устойчиво при частичном перекрытии формы устойчиво при частичном перекрытии формы

Область применения Мультимедийные библиотеки Мультимедийные библиотеки Фотоальбомы Фотоальбомы Базы 3D-моделей для разработчиков компьютерных игр и дизайнеров Базы 3D-моделей для разработчиков компьютерных игр и дизайнеров