1 Интеллектуальные алгоритмы обработки изображений для решения задачи распознавания в реальном времени бортовыми системами С.М. Соколов 1, А.А. Богуславский 1 1 ИПМ им. М.В. Келдыша РАН НТК "Техническое зрение в системах управления " Москва марта 201 1

2 Интеллектуальные алгоритмы обработки изображений для решения задачи распознавания в реальном времени бортовыми системами Введение Примеры изображений Общая схема алгоритмов Преодоление проблемных моментов Примеры реализации Заключение НТК "Техническое зрение в системах управления " Москва марта 2011

3 Введение Одним из эффективных средств информационного обеспечения при решении навигационных задач в процессах сближения и стыковки, посадки космических аппаратов (КА) является визуальный канал. До последнего времени этот канал использовался в «ручном» режиме, в виде визуальной обратной связи посредством зрительной системы человека в контуре управления КА (например, комплекс ТОРУ на транспортных кораблях и космических станциях). Человеческий фактор привносит в контур управления ряд особенностей, сдерживающих эффективность самого зрительного канала и всей системы управления (СУ) КА в целом. Мы называем наш подход «интеллектуальным», имея в виду, что в нём внимание сосредоточено на методах распознавания образов объектов на основе тех или иных представлениях/моделях о воспринимаемой сцене. В зрительной системе человека, во многих случаях успешно решающего задачи распознавания, подобного рода деятельность принято называть интеллектуальной. НТК "Техническое зрение в системах управления" Москва марта 2011

4 Примеры изображений НТК "Техническое зрение в системах управления" Москва марта 2011 а б вг жз ик л де а) - в) – различный масштаб; д), е) – «похожие» образы; ж) – л) – различный фон и конфигурации

НТК "Техническое зрение в системах управления" Москва марта Алгоритмическое обеспечение Всё алгоритмическое обеспечение СТЗ можно разделить на три уровня: Алгоритмы сбора зрительных данных – управление аппаратурой формирования цифрового изображения интересующего поля зрения; Выделение первичных признаков объектов на изображении (края, области, углы) Формирование описания объекта на изображении на основе выделенных первичных признаков – распознавание объекта Алгоритмы первых двух уровней иногда называют алгоритмами «нижнего уровня». Эти алгоритмы достаточно детально изучены. Они хорошо поддаются автоматизации и даже аппаратной реализации.

6 Алгоритмическое обеспечение Основные составляющие нашего подхода: классификация и упорядочивание образов объектов интереса на основе наиболее общих и быстро вычисляемых характеристик (гистограмма, моменты); контроль вычислительных затрат на всех этапах работы со зрительными данными и использование в расчётах приоритетов признаков и представления/моделей; объединение алгоритмов нижнего и верхнего уровней обработки (программирование «снизу вверх» и «сверху вниз») на основе представления/модели анализируемой сцены; проверка гипотез (распознавание объектов) в порядке приоритетов признаков; одновременное использование в алгоритмах нижнего уровня контурных признаков и сегментации изображений маневрирование разрешением обрабатываемых изображений и их частей Наиболее общие характеристики изображения определяются по виду гистограммы изображения, строящейся в процессе ввода изображения. Первичные признаки ранжируются по скорости вычисления на процессорах традиционной архитектуры. Совокупность возможных образов разбивается на классы однотипно описываемых моделей. НТК "Техническое зрение в системах управления" Москва марта 2011

7 Алгоритмическое обеспечение Сравнительные характеристики вычислительных затрат алгоритмов Результаты получены на универсальном процессоре при обработке изображения 720х576х256 НТК "Техническое зрение в системах управления" Москва марта 2011

8 Алгоритмическое обеспечение Последовательность действий: Анализ гистограмм (включая геометрические); Бинаризация (грубая)всего изображения; Маркировка связных компонент, их фильтрация и упорядочивание по значимости; Вычисление главных моментов инерции маркированных компонент и проверка их паритета Выделение областей интереса для дальнейших шагов распознавания. В случае прослеживания (а не первоначального обнаружения) некоторые шаги могут быть опущены. НТК "Техническое зрение в системах управления" Москва марта 2011

9 Алгоритмическое обеспечение Модели областей интереса (т.н. «маски») НТК "Техническое зрение в системах управления" Москва марта 2011

10 Алгоритмическое обеспечение Примеры применения различных алгоритмов нижнего уровня

11 Компонентный каркас для разработки ПрО СТЗ реального времени Координация взаимодействия подсистем – объекты-режимы Режимы функционирования Автоматический режим: Обработка в реальном времени Отключение буфера кадра НТК "Техническое зрение в системах управления" Москва марта 2011

Преодоление проблемных моментов Масштаб Зоны видимости объектов интереса: Общий вид станции со стыковочным узлом (150 – 50 m); Стыковочный узел и прилегающие элементы станции (60-15 m); Мишень и прилегающие детали станции (25-10 m); Мишень (15-0 m). Примеры на рис.1 Условия освещения Для преодоления затенения или неудовлетворительного освещения на основе априорной информации всё поле зрения разбивается на области интереса, в которых можно выделить те или иные признаки объектов - ориентиров Разрывы видео последовательностей Прогноз, первоначальный поиск, оператор НТК "Техническое зрение в системах управления" Москва марта

НТК "Техническое зрение в системах управления" Москва марта Примеры реализации Примеры результатов распознавания в сложных условиях наблюдения.

НТК "Техническое зрение в системах управления" Москва марта Заключение В настоящий момент описанные алгоритмы анализа изображений в особо сложных условиях наблюдения предполагают активное участие человека-оператора. В ближайшей перспективе предполагается уменьшение таких обращений, как на основе дальнейшего совершенствования самих алгоритмов, так и их комплексирования с другими источниками информации (лазерными дальномерами, радиолокаторами). Одно из усовершенствований алгоритмов распознавания будет посвящено оперативному определению ракурса рассмотрения.