Морфологическое описание формы классов изображений, заданных конечными выборками Ю. В. Визильтер, В. С. Горбацевич, viz @ gosniias. ru Москва, ФГУП «Государственный. - презентация

1 Морфологическое описание формы классов изображений, заданных конечными выборками Ю. В. Визильтер, В. С. Горбацевич, gosniias. ru Москва, ФГУП «Государственный научно-исследовательский институт авиационных систем»

2 Задачи морфологического анализа : описание формы и сравнение изображений по форме f g Насколько похожи эти изображения? Чем они отличаются? Как описать общую составляющую их формы? Как отделить устойчивые элементы формы, свойственные всем изображениям данной сцены, от случайных искажений или индивидуальных особенностей отдельных изображений?

3 Описание формы : Формы как разбиения В морфологии Пытьева [1] предложена схема описания формы изображений на основе базисных функций, связанных с разбиением кадра на непересекающиеся области. Такие модели формы можно назвать T- моделями ( Tessellation based shape models ). [1] Пытьев Ю. П., Чуличков А. И. Методы морфологического анализа изображений // М.: ФИЗМАТЛИТ, с. F1F1 F2F2 F3F3 Image f ( x,y ) Tessellation F F4F4

4 Сравнение изображений с формой Морфологические квази - расстояния Морфологические коэффициенты корреляции Пытьева: В общем случае K M (g,F) K M (f,G). Изображение = вектор, Форма = гиперплоскость (подпространство), Характеристические функции областей = ортогональный базис формы (подпространства), Морфологический фильтр = проекция на форму, Морфологическая корреляция = сравнение изображения с формой

5 Описание формы : Формы с другими базисами БПФ, ДКП, фильтры НЧ, ВЧ Вейвлет-преобразование и фильтры

6 Описание формы : Формы как отношения В работах [2], [3] был предложен способ описания формы, основанный на яркостных отношениях между пикселами, упорядоченными по яркости. Данная техника была развита в [3] как более общий класс реляционных моделей формы изображений или T R - моделей ( Tessellation based Relational shape models ). [2] Каркищенко А. Н., Гончаров А. В. Исследование устойчивости знакового представления изображений // Автоматика и телемеханика. 9. С [3] Броневич А. Г., Гончаров А. В. Аксиоматический подход к измерению информативности знаковых представлений изображений // Известия РАН. Теория и системы управления. 6. C [4] Визильтер Ю. В., Рубис А. Ю., Горбацевич В. С. Реляционные модели формы изображений и метрики их сравнения // 9- я международная конференция. « Интеллектуализация обработки информации », Черногория, г. Будва, 2012 г.: Сборник докладов. - М.: Торус Пресс, с

7 Пример : разбиения по яркости как отношения пикселов Введем предикат бинарного отношения пикселов « равно / неравно по яркости »: Пусть изображения из F и G имеют вид тогда то есть TR - формы будут кусочно - постоянными 4D функциями.

8 Матрицы отношений " равно / неравно " для 1D- функций f F = SF1SF1 SF2SF2 SF3SF g G = SG1SG1 SG2SG

9 Выделение устойчивых особенностей формы : сегментация как объединение базовых элементов описания формы Минимальное число областей Полное писксельное разбиение Ф(A,L)=J(A,L)+ Q(L) min(L F) Получение форм в результате агрегирования элементов пиксельного разбиения, управляемого критерием «точность/сложность описания»: [5] Визильтер Ю.В. Конструирование операторов сегментации и сжатия данных на основе проективных морфологических разложений // Теория и системы управления, 2009, 3, с

10 Выделение устойчивых особенностей формы : сегментация как объединение базовых элементов описания формы Сегментация 1D-функций методом динамического программирования: [6] Визильтер Ю.В., Желтов С.Ю. Проективные морфологии изображений на базе моделей, описываемых структурирующими функционалами // Вестник компьютерных и информационных технологий С Ф(A,L)=J(A,L)+ Q(L) min(L F)

11 Выделение устойчивых особенностей формы : сегментация как объединение базовых элементов описания формы Сегментация 2D-функций методом динамического программирования: [7] Визильтер Ю.В., Горбацевич В.С. Морфологический анализ изображений с использованием динамического программирования и стековых представлений // Вестник компьютерных и информационных технологий, N3, 2011, с Ф(A,L)=J(A,L)+ Q(L) min(L F)

12 В данной работе предложено : 1) Расширить задачу оптимальной сегментации с кусочно- постоянных на произвольные мозаичные формы. Под произвольными мозаичными формами понимаются такие формы, в которых каждый фрагмент разбиения описывается не кусочно- постоянными, а некоторыми произвольными функциями. 2) Методы сегментации и сравнения мозаичных форм применять одинаково к Пытьевским формам-разбиениям и любым другим формам на основе ортогональных разложений (Фурье, Вейвлет и т.п.) 3) Формировать такие обобщенные мозаичные формы на основе совместного анализа ансамблей (наборов) изображений одного класса (например, изображений одной сцены, снятых в различных условиях, или изображений лиц, приведенных к некоторому единому масштабу).

13 В данной работе предложено : 4) Использовать аппарат корреляционного анализа для оценки статистических связей между элементами разложений, формировать матрицы форм-отношений как матрицы парной ковариации элементов базовых разложений. Исследовать возможность геометрического сравнения форм классов изображений, описываемых ковариационными матрицами. 5) Осуществлять сегментацию матриц парной ковариации с целью оценки бинарных матриц мозаичных форм-отношений (точки с высокой взаимной корреляцией объединяются в единые области, с низкой – попадают в разные области). Порог сегментации корреляционных связей подбирать на основе критериальной оптимизации – минимизировать число областей, длину границ, суммарную ошибку проецирования ансамбля на форму. Форму образующих функций (коэффициенты линейной комбинации базовых элементов разложения в базовые супер-элементы) в пределах областей мозаики определять как среднюю по ансамблю.

14 От кусочно - постоянных мозаичных форм … (1D- иллюстрация ) Оценить параметры формы можно по единственному экземпляру Эталон f класса F Другие изображения класса F

15 … к произвольным мозаичным формам (1D- иллюстрация ) Оценить параметры формы можно лишь по набору экземпляров Эталон f класса F Другие изображения класса F

16 … к формам из ортогональных суперэлементов Разложение на текстурированные области («суперпикселы») Базвое писксельное разложение Разложение на «супервейвлеты» Базвое вейвлет-разложение Суперэлементы формы образуются как линейные комбинации базовых элементов. Если базовые элементы ортогональны, то и суперэлементы также ортогональны.

17 … с оценкой форм - отношений по ансамблю мозаичных изображений Для оценки формы класса изображений модели (2) по выборке из k изображений достаточно вычислить 2 статистических матрицы : 1) Матрицу эмпирических модулей коэффициентов корреляции K k ( x, y, u, v ); 2) Матрицу эмпирических коэффициентов линейной регрессии A k ( x, y, u, v ) = [ a * x, y, u, v ]. Чтобы вычислить эти матрицы, нужно вычислить матрицу cov k ( f x, y, f u, v ), а также выборочные дисперсии t = 1,.., k f x, y, t 2 для всех ( x, y ) X.

18 Результаты экспериментов

19 Тестовая выборка изображений лиц

20 Приближение лица (64 х 64) n суперпикселами Изменение морфологического коэффициента корреляции с ростом n/nmax. Последовательность морфологических проекций на n суперпикселов, n=1,42,197,499,722,4096.

21 Приближение лица 128 х 128 n супервейвлетами CDF Последовательность морфологических проекций на n супервейвлетов, n=1,726,985,1222,1662,1884. Изменение морфологического коэффициента корреляции с ростом n/nmax.

22 Приближение лица 128 х 128n супервейвлетами Haar Последовательность морфологических проекций на n супервейвлетов, n=1,726,985,1222,1662,1884. Изменение морфологического коэффициента корреляции с ростом n/nmax.

23 Тестовая выборка изображений сцены

24 Приближение изображения n супервейвлетами CDF Последовательность морфологических проекций на n супервейвлетов, n=1,90,125,793,1530,2699. Изменение морфологического коэффициента корреляции с ростом n/nmax.

25 Литература [1] Пытьев Ю. П., Чуличков А. И. Методы морфологического анализа изображений // М.: ФИЗМАТЛИТ, с. [2] Каркищенко А. Н., Гончаров А. В. Исследование устойчивости знакового представления изображений // Автоматика и телемеханика. 9. С [3] Броневич А. Г., Гончаров А. В. Аксиоматический подход к измерению информативности знаковых представлений изображений // Известия РАН. Теория и системы управления. 6. C [4] Визильтер Ю. В., Рубис А. Ю., Горбацевич В. С. Реляционные модели формы изображений и метрики их сравнения // 9- я международная конференция. « Интеллектуализация обработки информации », Черногория, г. Будва, 2012 г.: Сборник докладов. - М.: Торус Пресс, с [5] Визильтер Ю. В. Конструирование операторов сегментации и сжатия данных на основе проективных морфологических разложений // Теория и системы управления, 2009, 3, с [6] Визильтер Ю. В., Желтов С. Ю. Проективные морфологии изображений на базе моделей, описываемых структурирующими функционалами // Вестник компьютерных и информационных технологий С [ 7 ] Визильтер Ю. В., Горбацевич В. С. Морфологический анализ изображений с использованием динамического программирования и стековых представлений // Вестник компьютерных и информационных технологий, N3, 2011, с.7-15.

26 Спасибо за внимание !