Структурный граф цветовых сгустков: структуры контрастов и их применение Кий К.И. Институт Прикладной Математики им. Келдыша РАН, IKI 15-17 марта 2011. - презентация

1 Структурный граф цветовых сгустков: структуры контрастов и их применение Кий К.И. Институт Прикладной Математики им. Келдыша РАН, IKI марта 2011

2 Постановка задачи и связь с предыдущими исследованиями Решаются задача определения новых типов характерных точек и мест изображений и задача разработки алгоритмов их нахождения. Определяются возможные применения разработанных методов. Кратко обсуждаются знакомые автору другие работы в данной области.

3 Mishra A. K., Aloimonos Y. Active segmentation // International Journal of Humanoid Robotics 6 (3), 361–386 (2009). Kadir T., Brady M. Saliency, scale and image description // International Journal of Computer Vision, 45 (2), , K. Mikolajczyk, T. Tuytelaars, C. Schmid et al. (2005) A Comparison of Affine Region Detectors // International Journal of Computer Vision, Vol. 65, No. 1, P Hongwen Kang, Alexei A. Efros, Martial Hebert, Takeo Kanade. "Image Composition for Object Pop-out", IEEE Workshop on 3D Representation for Recognition (3dRR- 09), in association with IEEE International Conference on Computer Vision (ICCV) dRR- 09ICCV J. Correa and A. Soto, "Active visual perception for mobile robot localization". Journal of Intelligent and Robotic Systems, vol. 58, No. 3-4, 2010, pp P. Espinace, T. Kollar, A. Soto, and N. Roy, "Indoor Scene Recognition through Object Detection". Proc. of IEEE International Conference on Robotics and Automation (ICRA), Forsyth D. A., Ponce J. Computer Vision: a Modern Approach //NY.: Prentice Hall, Yu. B. Blokhinov, Automation of Mutual Orientation of Digital Images Based on Computer Vision Algorithms, Journal of Computer and Systems Sciences International, 49 (6), (2010).

4 Задача cегментации на структурном графе цветовых сгустков В предыдущих работах автора каждому цветному изображению поставлен в соответствие структурный граф цветовых сгустков. Изображение разбито на полосы равной ширины, параллельные вертикальной или горизонтальной оси системы координат, связанной с изображением. Каждой полосе соответствует своя часть графа цветовых сгустков. Пусть полосы параллельны горизонтальной оси. Вершины структурного графа, соответствующие полосе, есть интервалы горизонтальной оси [c n,d n ]. Каждому интервалу поставлены в соответствие числа Card n, и тройки (H min, H mean, H max ), (S min, S mean, S max ) и (I min, I mean, I max ).

5 Пример множества вершин графа цветовых сгустков

6 Вершины графа цветовых сгустков уличной сцены

7 Построение структуры цветовых контрастов на графе цветовых сгустков Решаются следующие задачи: 1. Нахождение контрастных соседних цветовых сгустков. 2. Объединение похожих соседних цветовых сгустков в один. При решении делается попытка разработать формальный аппарат для учета свойств человеческого зрения.

8 Основные конструкции Каждый цветовой сгусток задается набором чисел - интервал на оси, который параллелен стороне полос разбиения изображения - интервалы значений - средние значения, соответствующие сгустку Интервалы симметризованы относительно средних значений: Пусть - два числовых интервала, - длина интервала. Интервалы очень значительно пересекаются: ; Интервалы значительно пересекаются:.

9 Пусть - два числовых интервала, - длина интервала Интервалы очень значительно пересекаются: Интервалы значительно пересекаются:

10 Пусть, Значения S квантованы от 0 до 15; значения I разделены на 8 зон от 0 до 7; значения H разделены на 6 зон от 0 до 5. Для каждого квантового значения и каждой зоны установлены пороги:.

11 Вводятся переменные hue_close, saturation_close, intensity_close. Строится система продукций, которая на основе введенных переменных присваивает hue_close, saturation_close, intensity_close значения из множества (3, 2, 1, 0, -1, -2, -3) для сгустков с близкими или пересекающимися интервалами и.

12 Далее строится различающая функция Discr(hue_close, saturation_close,identity_close), принимающая значения (4, 3,2, 1, 0, -1, -2, -3, -4). Положительные значения означают, что интервалы с некоторой степенью уверенности можно объединить, отрицательные значения определяют некоторую степень контраста. Нулевое значение означает, что вывод не сделан. Далее приводятся примеры работы алгоритмов построения виртуальных граничных точек.

13 Снимок с конференции

14 Примеры структур контрастов

15

16

17 Структура с найденным ориентиром

18 Более детальное изучение ориентира

19 Пара изображений, снятая из близких точек

20 Выводы Разработан новый метод выделения характерных мест на изображении, основанный на методе геометризованных гистограмм, удобный для решения задач понимания изображений в реальном времени. Основу представления данных составляет структура контрастов, поставленная в соответствие любому цветному изображению. Предложенная техника может быть полезной при решении навигационных задач при движении робота и анализе движения объектов на изображении. Разрабатывается система поиска ориентиров на изображениях, основанная на развитой технике и поиска объектов на изображении по содержательному вербальному описанию.

21 Программная реализация Система реализована в С++ (Visual Studio 2008) вместе со средствами сопряжения с вводом изображений из телекамер с использованием DirectX SDK. Скорость обработки для цветных изображений 640х fps, для изображений 320х240, в четыре раза быстрее. Система имеет средства для работы через сеть, включая работу через Internet.

22 Спасибо за внимание!