СИСТЕМА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ЗАДАЧ СБЛИЖЕНИЯ И СТЫКОВКИ, ПОСАДКИ КА НА ОСНОВЕ КОМПЬЮТЕРНОГО ВИДЕНИЯ Соколов С.М.., Богуславский А.А. Москва, УРАН ИПМ им. М.В. Келдыша РАН НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

СИСТЕМА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ЗАДАЧ СБЛИЖЕНИЯ И СТЫКОВКИ, ПОСАДКИ КА НА ОСНОВЕ КОМПЬЮТЕРНОГО ВИДЕНИЯ Введение Алгоритмическое обеспечение Программные технологии Примеры реализации Заключение НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Введение Одним из эффективных средств информационного обеспечения при решении навигационных задач в процессах сближения и стыковки, посадки космических аппаратов (КА) является визуальный канал. До последнего времени этот канал использовался в «ручном» режиме, в виде визуальной обратной связи посредством зрительной системы человека в контуре управления КА (например, комплекс ТОРУ на транспортных кораблях и космических станциях). Человеческий фактор привносит в контур управления ряд особенностей, сдерживающих эффективность самого зрительного канала и всей системы управления (СУ) КА в целом. Цель автоматизированного мониторинга Конечная цель программного комплекса для автоматизации визуального мониторинга процессов сближения и стыковки КК и МКС - полная автоматизация визуального контроля стыковки КК и МКС с момента видимости МКС в поле зрения ТВ-камеры КК (приблизительно 150 м) и до полной стыковки КК и МКС На основных этапах сбора и обработки зрительных данных комплекс работает подобно человеку-оператору В дополнение к действиям оператора, комплекс вычисляет и отображает в виде принятом для анализа, количественные параметры, характеризующие относительное движение КК и МКС Возможности многофункциональных расширений. НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Алгоритмическое обеспечение На кадре видеоизображения выбираются несколько характерных точек станции, координаты которых в ее строительной системе координат известны. Координаты этих точек в кадре измерялись – алгоритмами выделения интересующих объектов и формировании их математического описания (геометрических мест точек). Затем методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции. В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение. НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Алгоритмическое обеспечение Основные составные подсистемы автоматизированного мониторинга НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010 Измерительная подсистема Вычислительная подсистема

Измерительная подсистема Выделение положения областей интереса (ROI) на текущем изображении Предобработка зрительных данных в области интереса Выделение ( распознавание ) образов объектов интереса в ROI Определение размеров и координат распознанных образов НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Выделение положения областей интереса (ROI) на текущем изображении Пример выделения области интереса в поле зрения ТВ- камеры на борту КК a) полное изображение поля зрения камеры на борту КК b) изображение области интереса (ROI) a) b) НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Предобработка зрительных данных в области интереса Выделение креста мишени среди кандидатов на основе априорной информации (размеры и относительное расположение перекладин креста).

Выделение ( распознавание ) образов объектов интереса в ROI Пример выделения меток мишени на основании априорной информации об их расположении (a) оценка расположения области интереса для выделения меток (b) грубая оценка радиуса мишени по результатам обработки диаметрально расположенных фрагментов/кандидатов меток (c) кольцеобразная область интереса с метками мишени (d) результаты распознавания меток мишени и уточнённой оценки радиуса мишени a) b) c)d)

Измерительная подсистема выходные данные Измерительная информация, полученная в результате обработки одного телевизионного полукадра кадра, имеет вид: – время привязки полукадра (в секундах от начала видеоклипа); – время привязки полукадра (в секундах от начала видеоклипа); – координаты центра креста (действительные числа); – координаты центра креста (действительные числа); – количество точек на верхней/нижней горизонтальной стороне креста (целое число); – количество точек на верхней/нижней горизонтальной стороне креста (целое число); – координаты точек на верхней горизонтальной стороне креста (целые числа – координаты точек на нижней горизонтальной стороне креста (целые числа); – координаты точек на верхней горизонтальной стороне креста (целые числа – координаты точек на нижней горизонтальной стороне креста (целые числа); – координаты точек на левой вертикальной стороне креста и их координаты (целые числа); – координаты точек на левой вертикальной стороне креста и их координаты (целые числа); – координаты точек на правой вертикальной стороне креста (целые числа); – координаты точек на правой вертикальной стороне креста (целые числа); – координаты центра окружности мишени и ее радиус (действительные числа); – координаты центра окружности мишени и ее радиус (действительные числа); – количество точек на окружности мишени и их координаты (целые числа); – количество точек на окружности мишени и их координаты (целые числа); – координаты центра внешнего обода станции (окружности) и ее радиус (действительные числа). – координаты центра внешнего обода станции (окружности) и ее радиус (действительные числа).

Вычислительная подсистема Методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции. В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение.

ВЫЧИСЛИТЕЛЬНАЯ ПОДСИСТЕМА Определение координат центра перекрестия мишени The cross is supposed to be formed by the orthogonal straight lines,, where the coefficients, and are unknown. They are determined as follows. Processing the digital image results in two sequences of points: the points, …, lie on the first line, the points, …, lie on the second line. Solving the linear problem of least squares on gives the values of the coefficients. Then the cross coordinates are calculated:,.

Вычислительная подсистема определение движения КК The mathematical model of the spacecraft motion is described by formulas,,,,,. Here is time counted from the beginning of the clip, and are constant coefficients. The measurement data, Where, etc., are processed by portions. Each portion contains about 10 frames (instants ). Its processing is carried out in two stages. At first, the coefficients are determined as the solution of the regression problem,,. Then, the coefficients are determined as the solution of the problem,,. At the processing of the second and subsequent portions of data, the previous estimations of and are taken into account as a priori information about these coefficients.

Компонентный каркас для разработки ПрО СТЗ реального времени Структура предлагаемого каркаса Каркас – заготовка приложения СТЗ для доработки применительно к конкретной задаче. Архитектура каркаса основана на применении трех параллельных подсистем: Наращиваемая среда разработки ПрО СТЗ на языке программирования Си++ Компоненты: классы и подсистемы подсистема ввода зрительных данных подсистема интерфейса пользователя подсистема обработки зрительных данных НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010 Программные технологии

НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010 Компонентный каркас для разработки ПрО СТЗ реального времени Координация взаимодействия подсистем – объекты-режимы Режимы функционирования Режим настройки: проверка аппаратной части проверка обработки изображений просмотр результатов

Компонентный каркас для разработки ПрО СТЗ реального времени Координация взаимодействия подсистем – объекты-режимы Режимы функционирования Автоматический режим: Обработка в реальном времени Отключение буфера кадра НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Примеры реализации Сближение и стыковка КК «Прогресс» и МКС Сближение и стыковка КК «ATV» и МКС Работа с оптическим потоком в Земных условиях НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Пример работы комплекса автоматизированного мониторинга НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Сравнение результатов определения параметров относительного движения КК и МКС по зрительным данным и традиционно (радиолокация). На верхнем рисунке темным – традиционными методами, розовым - СТЗ; на нижнем: красным – традиционными, черным - СТЗ НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Сближение и стыковка КК «ATV» и МКС НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Стыковочный узел СО1 НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

Стыковочный узел ФГБ НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010

модуль ЛНС на основе бесконтактного одометра Система сама подстраивается под изменяющуюся текстуру подстилающей поверхности для сохранения надёжности результата 23 Домбай 6 НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010 тая Всероссийская научно-практическая конференция ПЕРСПЕКТИВНЫЕ СИСТЕМЫ И ЗАДАЧИ УПРАВЛЕНИЯ

модуль ЛНС на основе бесконтактного одометра Пример определения траектории движения ТС Домбай 610 апреля 2009 Четвертая Всероссийская научно-практическая конференция ПЕРСПЕКТ НТК "Техническое зрение в СУ мобильными объектами" Таруса марта

Заключение Описанные системы используются в настоящее время наземными службами в режиме опытной эксплуатации. Получают необходимую информацию в режиме реального времени. Все элементы описанной системы и её функциональные возможности продолжают совершенствоваться Открытая архитектура и компонентные технологии позволяют говорить о возможности формирования многофункционального информационного комплекса на основе системы компьютерного видения НТК "Техническое зрение в СУ мобильными объектами" Таруса марта 2010