ОБРАБОТКА ВИДЕОИНФОРМАЦИИ В СИСТЕМАХ УПРАВЛЕНИЯ Визильтер Юрий Валентинович, д.ф.-м.н., нач. отделения Системы интеллектуального анализа данных, технического. - презентация

1 ОБРАБОТКА ВИДЕОИНФОРМАЦИИ В СИСТЕМАХ УПРАВЛЕНИЯ Визильтер Юрий Валентинович, д.ф.-м.н., нач. отделения Системы интеллектуального анализа данных, технического зрения, улучшенного и синтезированного видения ГосНИИАС, Моржин Александр Викторович

2 Искусственный интеллект?

3 БУДУЩЕЕ

4 МАСШТАБ ВРЕМЕНИ

5 МАСШТАБ ВРЕМЕНИ

6 МАСШТАБ ВРЕМЕНИ Рост раковой опухоли Рост популяции Рост организма Рост численности населения Рост потребления энергии

7 ГЛАВНЫЙ ФАКТОР

8 Рост вычислительной мощности компьютеров в соответствии с законом Мура

9 Очень близкое будущее (до 2040) такое

10 Очень близкое будущее (до 2040) или такое

11 14-16 марта 2012 Техническое зрение в системах управления Unmanned Aircraft Systems (UAS) Roadmap,

12 Richard Rumpf Rumpf Associates International, Inc марта 2012 Техническое зрение в системах управления

13 Системы улучшенного и синтезированного видения

14 Цифровые изображения Изображение как двумерный массив данных Видимое поле представляет собой лишь некоторую функцию распределения яркости или цвета на двумерной плоскости: f(x,y), где x и y – декартовы координаты, описывающие плоскость изображения. Цифровое изображение представляет собой двумерную матрицу Im[x,y] размера (DimX DimY), где x – целое число от 0 до DimX – 1, описывающее номер элемента в строке матрицы, y – целое число от 0 до DimY – 1, описывающее номер строки матрицы, в которой расположен данный элемент. Пиксель (pixel, picture element) – элемент цифрового изображения (ячейка прямоугольной матрицы). В простейшем случае каждый пиксель Im[x,y] имеет скалярное целочисленное значение, пропорциональное значению функции распределения яркости f(x,y) в данной точке плоскости. Цифровое изображение как двумерная матрица интенсивностей Цифровое изображение как псевдо-трехмерный рельеф

15 Цифровое изображение Лабораторная система обработки и анализа изображений Pisoft Image Framework

16 Зрение человека Зрение – активный процесс сбора информации

17 Восприятие. Зрительные иллюзии

18 Познание. Тест Роршаха Мы стремимся найти образ, систему даже там, где ее нет.

19 Познание. Модель Платона Идеальный образ – Искажение – - Воспринимаемый образ – Реконструкция – Восстановленный идеальный образ Познание. "Структура магии" (психоанализ, НЛП) Модель: «Они все меня преследуют» Восприятие - Исключение – Искажение – Обобщение - Модель

20 Нет обобщения без исключения и искажения

21 Компьютерное зрение как область компьютерной обработки информации Компьютерное и машинное зрение Требования к системам и алгоритмам технического зрения: надежность, точность, быстродействие. Компьютерное зрение = "геометрия сегодня". Приложения компьютерного зрения.

22 Компьютерное зрение Проблемы, связанные с анализом изображений Разнообразие яркостно-геометрических свойств изображения (яркости, цвета, текстуры, формы, размеры…). Изменчивость изображений (яркостная, ракурсная, загораживания…) Необходимость базы знаний о мире для понимания сцен. Основные целевые задачи 1. калибровка сенсоров, самоориентация и самопозиционирование; 2. обнаружение объектов и изменений в сцене наблюдения; 3. слежение за объектами; 4. реконструкция поверхностей и обнаружение трехмерных структур; 5. высокоточные измерения элементов сцены; 6. описание сцены и идентификация объектов; 7. организация зрительной обратной связи при работе управляемых устройств, манипуляторов или мобильных роботов в изменчивой среде.

23 Уровни и методы компьютерного зрения Модульная парадигма (Д. Марр. «Зрение») Этапы обработки данных: предобработка изображений; сегментация; выделение геометрической структуры; определение относительной структуры и семантики. Уровни обработки данных: Низкий уровень – на входе изображение на выходе изображение (фильтрация простых шумов, гистограммная обработка); Средний уровень – на входе изображение на выходе векторная информация, описание в виде элементов и связей между ними (сегментация); Высокий уровень – на входе описание в терминах элементов изображения на выходе семантическая интерпретация в терминах видимой сцены объектного мира.

24 Термины и сопряженные технические дисциплины Компьютерное зрение (computer vision) изучает теорию и базовые алгоритмы анализа изображений и сцен. Машинное зрение (machine vision) включает компьютерное зрение и охватывает все проблемы разработки практических систем: выбор схем освещения исследуемой сцены, выбор характеристик датчиков, их количества и геометрии расположения, вопросы калибровки и ориентирования, выбор или разработку оборудования для оцифровки и процессорной обработки, разработку собственно алгоритмов и их компьютерную реализацию.

25 Термины и сопряженные технические дисциплины Зрение роботов (robot vision) включает задачи машинного зрения, решаемые в условиях жестких временных ограничений. Это разработка основанных на изображениях информационных систем, входящих в состав систем управления сложными динамическими объектами (самолет, автомобиль, системы контроля технических и технологических процессов на производстве), а также формирование обратных связей по результатам обработки входных изображений в системах управления, что и требует их быстрого анализа в реальном масштабе времени.

26 Термины и сопряженные технические дисциплины Обработка изображений (image processing) в узком смысле – обработка нижнего уровня, когда результатом обработки изображения снова является изображение. Понимание изображений (image understanding) - обработка верхнего уровня, часто связанная с применения методов искусственного интеллекта и распознавания образов (pattern recognition).

27 Термины и сопряженные технические дисциплины Цифровая фотограмметрия (digital photogrammetry) в узком смысле – изучает метрические соотношения между точками снимков и реальной сцены; в широком смысле – почти синоним машинного зрения: рассматривает сложные задачи анализа и 3D описания сцены по видеоданным оптических и других сенсоров. Короткобазисная фотограмметрия (close-range photogrammetry) в узком смысле – решает задачи высокоточного измерения различных элементов видимой сцены и реконструкции форм трехмерных поверхностей с использованием стерео и многокамерной съемки, а также специального структурированного подсвета.

28 Требования к алгоритмам машинного зрения робастность; точность; вычислительная реализуемость. Факторы, осложняющие решение задач: 1.помехи и «шум» – имеют десятки видов источников возникновения, к числу которых можно отнести несовершенство сенсоров приемо- передающей аппаратуры и аппаратуры оцифровки изображений, трудные условия съемки, недостаток освещения и ряд других; 2.сложный текстурированный фон, на котором должно происходить обнаружение объектов, например, обнаружение штриховой наклейки на схожей с ней по структуре газетной странице и т.п.; 3.эффекты загораживания (заслонения) одних объектов другими объектами, как правило, не определенной заранее формы, например – облако на космофотоснимке и т.п., загораживающие помехи; 4.искажающие оптические эффекты в виде различных расфокусировок, дисторсий объективов, ракурсных искажений и др.;

29 Требования к алгоритмам машинного зрения Факторы, осложняющие решение задач: 5.эффекты резкой смены освещения, блики, тени, особенно в динамически меняющихся сценах; 6.разнообразие и изменчивость самих объектов – переменная структура (как у текстовых строк, автомобильных номеров или штриховых кодов), возможные дефекты, временные изменения формы (сгибание-разгибание конечностей, движение механических частей машин), вегетационные циклы для растительности и т.п.; 7.эффекты изменения среды между сенсорами и объектами наблюдения – задымление, атмосферные осадки, пыль, искусственные помехи и многое другое; 8.несинхронность регистрации и обработки данных в динамических задачах, связанная с ограничениями быстродействия компьютерных средств хранения и анализа изображений – особенно критична для промышленных приложений с заданным временем реакции на событие. Сюда же можно отнести также сбои в компьютерных программах обработки.

30 Компьютерное зрение как обобщение школьной геометрии Геометрия ЕвклидаКомпьютерное зрение 1. Задачи на построение. Обнаружение объектов. Извлечение новых пространственных данных из исходных. 2. Задачи на доказательство. Распознавание и идентификация объектов по их изображениям. 3. Циркуль и линейка Компьютерная архитектура и язык программирования. 4. Построение за конечное число шагов Ограничения по памяти и быстродействию.

31 Как найти окружность?

32 Проблема: Помимо полезных точек есть ложные

33 Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам.

34 Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам. гмт1

35 Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам. гмт1 гмт2

36 Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам. гмт1 гмт2 гмт1 гмт2

37 Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам.

38 Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт1

39 Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт1 гмт2

40 Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт1 гмт2 гмт1 гмт2 O

41 Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт1 гмт2 гмт1 гмт2 R O

42 Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт1 гмт2 гмт1 гмт2 R O

43 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам

44 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам

45 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт12 R

46 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт12 гмт23 гмт R гмт ij

47 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт12 гмт23 гмт lk

48 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт12 гмт23 гмт ij гмт lk Больше голосов

49 Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт12 гмт23 MAX гмт R O гмт ij гмт lk

50 Компьютерное зрение как школьная геометрия++ Отличия КЗ от классической геометрии: 1. Увеличение числа точек на порядки. 2. Появление у точек атрибутов интенсивности, цвета и других характеристик. 3. Рассмотрение не только правильных фигур, но и фигур любых других форм. 4. Учет всякого рода неидеальностей, погрешностей, шумов, искажений, дискретностей, неполной наблюдаемости и т.п. реальных факторов, которые, впрочем, также имеют математическое выражение.

51 Области применения и типовые примеры практических систем компьютерного и машинного зрения. Примеры приложений

52 ГосНИИ Авиационных Систем Подразделение Системы интеллектуального анализа данных, технического зрения, улучшенного и синтезированного видения

53 ГосНИИ Авиационных Систем Leading Russian organization in the field of avionics for flight vehicles of civil and military aviation founded in Doctors of Sciences, 232 Candidates of Sciences Educational faculties of MFTI, MAI, MIREA Technical Vision laboratories: Computer and Machine Vision Laboratory Computer and Machine Vision Laboratory Laboratory for Close-range Digital Photogrammetry Laboratory for Close-range Digital Photogrammetry Laboratory for Long-range Digital Photogrammetry Laboratory for Long-range Digital Photogrammetry Laboratory for Optic and Electronic Systems Laboratory for Optic and Electronic Systems About 80 developers (engineers and software engineers) About 80 developers (engineers and software engineers) 4 Doctors of Science, 8 Candidates of Sciences 4 Doctors of Science, 8 Candidates of Sciences More than 300 scientific publications in related area More than 300 scientific publications in related area More information about commercial products and projects: More information about commercial products and projects: JSC Institute of Information Technologies: