Ким Н.В., Коссов П.В., Михеев С.М. Московский Авиационный Институт Увеличение информативности телевизионных и тепловизионных изображений. - презентация

1 Ким Н.В., Коссов П.В., Михеев С.М. Московский Авиационный Институт Увеличение информативности телевизионных и тепловизионных изображений

2 Тепловизионные системы наблюдения (ТПВ СН): Многоканальный переносной оптико- электронный комплекс наблюдения ЗАО «ТПК «Линкос» (Россия) Многоканальная оптико-электронная станция дальнего наблюдения и разведки ЗАО «ТПК «Линкос» (Россия)

3 Полезная информацияI = H(X)-H(X Y) = H b – H f, ЭнтропияH = - Σ P(x m ) log 2 P(x m ), [бит] H b – начальная энтропия, H f – конечная энтропия, P(x m ) - вероятность m-го исхода из M возможных Оценка информативности наблюдения Увеличение информативности Повышение качества ТПВ изображений Увеличение разрешения Компенсация краевых эффектов Совмещение ТВ и ТПВ изображений Пространственное совмещение Информационное слияние

4 Увеличение разрешения ТПВ Дальность распознавания и обнаружения оператором – важнейшие характеристики системы наблюдения (СН) Дальность распознавания и обнаружения – напрямую зависит от качества изображений ТПВ СН Наиболее эффективными методами увеличения разрешения являются методы суперразрешения Суперразрешение – метод получение кадра(кадров) высокого разрешения по серии кадров низкого разрешения Повышение качества тепловизионных изображений

5 Повышение качества тепловизионных изображений на основе анализа сцен Метод быстрого суперразрешения Для определения межкадровго движения используется комбинированный метод: -Грубая оценка производится блочным методом - Уточнение и субпиксельная оценка методом Лукаса- Канаде Повышение качества тепловизионных изображений

6 Повышение качества тепловизионных изображений на основе анализа сцен Результаты увеличения разрешения Степень увеличения Метод ближайшего соседа Билинейная интерполяция Бикубическая интерполяция Метод Ланшоза Метод быстрого суперразрешения 2х40,125,719,819,216,64 3х47,928,323,022,718,56 4х54,935,128,227,620,8 Повышение качества тепловизионных изображений

7 Результаты увеличения разрешения Исходное 80х60 Бикубическая интерполяция 4х Суперразрешение 4х 320х240 Метод ближайшего соседа 4х 320х240

8 Повышение качества тепловизионных изображений на основе анализа сцен Краевые эффекты на ТПВ изображений высокого разрешения Предлагается искать границы, принадлежащие искусственным сооружениям, и применять для них фильтр следующего вида: Возникновение краевых эффектов на ТПВ изображениях высокого разрешения Повышение качества тепловизионных изображений

9 Повышение качества тепловизионных изображений на основе анализа сцен Обнаружение краев искусственных сооружений Перевод координат сооружений в СК камеры Выделение областей интереса, содержащих искусственные сооружения Поиск контурных линий -выделение краев -выделение вертикальных прямых -выделение параллельных Принятие решения о контурной линии на основе критерия идеального наблюдателя Зиггерта-Котелникова Анализ сцен Поиск контурных линий -выделение краев -выделение вертикальных прямых -выделение параллельных Принятие решения о контурной линии на основе критерия Фишера Принятие решения о наличии искусственного объекта (без цифровых карт местности) Повышение качества тепловизионных изображений

10 Повышение качества тепловизионных изображений на основе анализа сцен Критерий оценки качества Критерием оценки качества предлагается использовать среднеквадратическое отклонение координаты максимума производной яркости вдоль границы Повышение качества тепловизионных изображений

11 Повышение качества тепловизионных изображений на основе анализа сцен Результаты метода компенсации краевых эффектов Исходное ТПВ изображение низкого разрешения Обработанное ТПВ изображение высокого разрешения Исходное ТПВ изображение низкого разрешения Обработанное ТПВ изображение высокого разрешения

12 Комплексный алгоритм повышения качества ТПВ

13 Актуальность совмещения ТПВ и ТВ каналов Преимущества ТПВ: - контрастность теплого объекта интереса (живая сила, техника) Недостаток ТПВ: - отсутствие деталей сцены при равномерном тепловом уровне Преимущество ТВ: - деталировка сцены, цветовое различие Недостаток ТВ: - малая информативность при маскировке объекта в видимом спектре

14 Пространственное совмещение Геометрия смещения и модель трансформации Параметры трансформации - сдвиг (несовпадение визирных осей) - коэффициент масштаба (ошибка фокусировки) Оценка ошибки пространственного совмещения - радиус корреляции ТВ изображения Максимальный сдвиг

15 Критерий сравнения изображений Максимум Корреляции Пространственное совмещение Максимум Взаимной Информации Собственная энтропия Совместная энтропия

16 Точность и производительность пространственного совмещения Пространственное совмещение Оценка ошибки метода (математическое ожидание и дисперсия) Влияние размера блока на время алгоритма МетодОшибка dx (%) Ошибка dy (%) Ошибка S (%) КорреляцияMO=3 D=0,05 МО=2 D=0,02 МО=30 D=0,9 Взаимная информаци я МО=0,1 D=0,001 МО=0,2 D=0,001 МО=3 D=0,01 Распределение времени в алгоритме, сек Влияние размера блока на точность

17 Сегментация ТПВ канала. Срез яркости: Информационное слияние

18 Совмещение изображений Пирамида Лапласианов Сегментация ТПВ Пирамида Лапласианов Сегментация ТПВ Результат совмещения

19 Алгоритм совмещения изображений Схема алгоритма

20 Повышение качества тепловизионных изображений на основе анализа сцен Выводы 1.На основе анализа существующих методов увеличения разрешения показано, что наибольшей эффективностью обладают методы суперразрешения; 2.Разработан метод компенсации краевых эффектов на тепловизионном изображении высокого разрешения, основанный на анализе сцен; 3.Для пространственного совмещения ТВ и ТПВ изображений рекомендуется использовать критерий максимума взаимной информации 4.Сегментация ТПВ изображения позволяет повысить информативность визуализированного для оператора изображения