СИСТЕМЫ УПРАВЛЕНИЯ ПОДВИЖНЫМИ ОБЪЕКТАМИ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ МАШИННОГО ЗРЕНИЯ: ТРЕБОВАНИЯ, ПРОБЛЕМЫ, РЕШЕНИЯ В.В. Инсаров ФГУП Гос. НИИ авиационных. - презентация

1 СИСТЕМЫ УПРАВЛЕНИЯ ПОДВИЖНЫМИ ОБЪЕКТАМИ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ МАШИННОГО ЗРЕНИЯ: ТРЕБОВАНИЯ, ПРОБЛЕМЫ, РЕШЕНИЯ В.В. Инсаров ФГУП Гос. НИИ авиационных систем, Москва 2011

2 Требования к системам необходимость функционирования системы в условиях широкой номенклатуры объектов и сцен, круглосуточности и всепогодности; необходимость функционирования системы в условиях широкой номенклатуры объектов и сцен, круглосуточности и всепогодности; обеспечение высокой помехозащищенности бортовых информационных каналов от естественных и искусственных помех; обеспечение высокой помехозащищенности бортовых информационных каналов от естественных и искусственных помех;

3 Требования к системам реализаци я в бортовой системе управления режимов автоматического обнаружения, локализации объектов сцены и определения координат точки приведения летательного аппарата, заданной на поверхности выбранного объекта, в процессе полета с ошибками менее 1-3 м; реализаци я в бортовой системе управления режимов автоматического обнаружения, локализации объектов сцены и определения координат точки приведения летательного аппарата, заданной на поверхности выбранного объекта, в процессе полета с ошибками менее 1-3 м; обеспечение возможности получения информации о нанесенном ущербе и изменения траектории в процессе полета. обеспечение возможности получения информации о нанесенном ущербе и изменения траектории в процессе полета.

4 Проблемы построения систем информационное обеспечение (разнообразие источников получения исходной информации – изображений наземных сцен, их обработка и комплексирование, технологии построения 3D и 2D моделей наземных объектов и сцен, их эталонных описаний и т.д.); информационное обеспечение (разнообразие источников получения исходной информации – изображений наземных сцен, их обработка и комплексирование, технологии построения 3D и 2D моделей наземных объектов и сцен, их эталонных описаний и т.д.); анализ характерных признаков изображений неподвижных наземных объектов в различных диапазонах электромагнитного спектра, формирование их совокупности, робастной в различных условиях применения; анализ характерных признаков изображений неподвижных наземных объектов в различных диапазонах электромагнитного спектра, формирование их совокупности, робастной в различных условиях применения; анализ возможностей бортовых датчиков информации, получаемых на их основе текущих изображений реальных сцен, выделения характерных признаков этих изображений; анализ возможностей бортовых датчиков информации, получаемых на их основе текущих изображений реальных сцен, выделения характерных признаков этих изображений; разработк а алгоритмов автоматического обнаружения, локализации объектов наблюдаемой сцены и определения в процессе полета с высокой точностью координат точки приведения, заданной на поверхности выбранного объекта, оценку вычислительной реализуемости алгоритмов в реальном масштабе времени; разработк а алгоритмов автоматического обнаружения, локализации объектов наблюдаемой сцены и определения в процессе полета с высокой точностью координат точки приведения, заданной на поверхности выбранного объекта, оценку вычислительной реализуемости алгоритмов в реальном масштабе времени; выбор архитектуры и разработку структуры бортового сигнального процессора сверхвысокой производительности, реализующего разработанные алгоритмы в реальном масштабе времени. выбор архитектуры и разработку структуры бортового сигнального процессора сверхвысокой производительности, реализующего разработанные алгоритмы в реальном масштабе времени.

5 Спутниковые снимкиАвиационные снимкиНаземные снимки Снимки БЛА Источники получения исходной информации: спутниковые снимки высокого разрешения спутниковые снимки высокого разрешения авиационные снимки крупного масштаба авиационные снимки крупного масштаба снимки, получаемые с помощью БПЛА снимки, получаемые с помощью БПЛА наземные снимки наземные снимки облака лазерных точек облака лазерных точек Информационное обеспечение Технологии построения 3D моделей Источники получения исходной информации: спутниковые снимки высокого разрешения спутниковые снимки высокого разрешения авиационные снимки крупного масштаба авиационные снимки крупного масштаба снимки, получаемые с помощью БПЛА снимки, получаемые с помощью БПЛА наземные снимки наземные снимки облака лазерных точек облака лазерных точек ракурсные 2D изображения (получение 3D информации методами фотограмметрии) ракурсные 2D изображения (получение 3D информации методами фотограмметрии) облака лазерных точек (получение 3D информации напрямую) облака лазерных точек (получение 3D информации напрямую)

6 База данных

7 Выделение характерных признаков ИК 3-5 мкмТВ Характерные геометрические признаки (контурный эталон)

8 отфильтрованное изображение Анализ сцены Принятие решения Характерное описание Эталонное описание исходной сцены Структурно-статистические методы непроизводные элементы логические отношения поиск локальных max Признаки топологические яркостные текстурные геометрические Методы пространственное дифференцирование операторы Марра, Кани и т.д. высокочастотная фильтрация сенсорные пары Алгоритмы линейные временная нелинейные частотная морфологические области Условия наблюдения Параметры сенсоров Искусственные естественные помехи Локализация i-го объекта; Сборка сцены Исходная сцена Реальная сцена Наблюдаемая сцена Фильтрация F q*(F) s*[q*(F)] r*{s*[q*(F)]} = () p*() k*[p*()]

9 Примеры контурных эталонов (КЭ) Текущее изображение (фрагмент) Алгоритм обнаружения и распознавания объектов сцены

10 Алгоритм обнаружения и распознавания (селекции) объектов сцены Вариант 1. Использование информации о контурах Поиск максимума логарифма отношения правдоподобия Вариант 3. Использование информации: о контурах; об угловой ориентации ребер ЭИ и об углах перепадов интенсивности ТИ – весовой коэффициент «контурной» и «угловой» компонент Максимизация суммы«контурной» составляющей логарифма функции правдоподобия и «угловой» компоненты Вариант 2. Использование информации: об угловой ориентации ребер ЭИ и об углах перепадов интенсивности ТИ сводится к минимизации

11 Пути построения БЦВС и сигнальных процессоров высокой производительности 1. Семейство сигнальных процессоров TMS320 На стадии ОКР находится две микросхемы сигнальных процессоров: ВЦ3Ф (функционально совместимый TMS320C40) ОКР ВЦ4Т (функционально совместимый TMS320C542) ОКР. 2. Платформа "МУЛЬТИКОР" (ГУП НПЦ "ЭЛВИС") Микросхемы серии "Мультикор" объединяют в одном кристалле RISC-ядро и цифровой процессор обработки сигналов (DSP-ядро). 3. Векторный процессор НТЦ «Модуль» серия модулей векторного процессора с применением NM6403 (Л1879ВМ1): МЦ 4.01, МЦ 4.02, МЦ 4.04, МВ 4.04 и МЦ 4.07 (различаются числом процессоров, емкостью памяти и внешним интерфейсом ) 4. Модули сигнальных процессоров ЗАО «Инструментальные системы» - на микросхеме Мультикор-24 (600 MFLOPS), - с использованием процессора ADSP-TS101S фирмы ADI (1,8 GFLOPS), - с использованием семи процессоров TigerSHARC ADSP-TS101S фирмы ADI (12,6 GFLOPS), - на базе десяти процессоров TigerSHARC ADSP-TS101S фирмы ADI (до 18 GFLOPS), - на базе TMS320C64115 илиTMS320C6416 фирмы TI (5760 MIPS) 5. Перспективные вычислительные средства обработки сигналов Ближайшая перспектива - работы по совершенствованию микросхем серии «Мультикор»; - анализ платформ С5000 и С6000 (фирма TI); выбор модели, архитектуру и характеристик для воспроизводства в РФ; Дальнейшая перспектива - процессоры с реконфигурируемой сетевой микроархитектурой типа процессора MONARCH фирмы Raytheon