Кафедра Информатики и Компьютерного дизайна Доцент, к.т.н. Мусаева Татьяна Вагифовна Технологии искусственного интеллекта в дизайне
Лекция 11. Машинное зрение 1. Машинное зрение. Предметная область применения. 2. Проблемы идентификации Литература. Электрон.версия материалов Инжекон лекции Проектирование СИИ 1. Машинное зрение. Предметная область применения. 2. Проблемы идентификации Литература. Электрон.версия материалов Инжекон лекции Проектирование СИИ ВОПРОСЫ:
Повтор материала. Нечеткая логика используется: при создании систем, понимающих тексты на естественном языке, при создании планирующих систем, опирающихся на неполную информацию, при обработке зрительных сигналов, при управлении техническими, социальными и экономическими системами, в системах искусственного интеллекта и робототехнических системах: автоматическое управление воротами плотины на гидроэлектростанциях; упрощенное управление роботами; наведение телекамер при трансляции спортивных событий; замена экспертов при анализе работы биржи; эффективное и стабильное управление автомобильными двигателями; управление экономичной скоростью автомобилей; улучшение эффективности и оптимизация промышленных систем управления; оптимизированное планирование автобусных расписаний; системы архивации документов; системы прогнозирования землетрясений; медицина: диагностика рака; сочетание методов нечеткой логики и нейронных сетей;
распознавание рукописных символов в карманных компьютерах (записных книжках); распознавание движения изображения в видеокамерах; автоматическое управление двигателем пылесосов с автоматическим определением типа поверхности и степени засоренности; управление освещенностью в камкодерах; компенсация вибраций в камкодерах; однокнопочное управление стиральными машинами; распознавание рукописных текстов, объектов, голоса; вспомогательные средства полета вертолетов; моделирование судебных процессов; САПР производственных процессов; управление скоростью линий и температурой при производстве стали; управление метрополитенами для повышения удобства вождения, точности остановки и экономии энергии; оптимизация потребления бензина в автомобилях; повышение чувствительности и эффективности управления лифтами; повышение безопасности ядерных реакторов.
1. Машинное зрение Машинное зрение (Мachine vision) область научно-инженерных знаний, охватывающую все проблемы разработки практических систем, н-р: решение промышленных, производственных задач, выбор характеристик датчиков, их кол-ва и геометрии расположения, вопросы ориентирования, выбор или разработка оборудования для оцифровки и процессорной обработки, разработка алгоритма и их компьютерная реализация и т.д
Компьютерное зрение (Сomputer vision) – теория и базовые алгоритмы анализа изображения сцен, восстановление 3D структуры по 2D изображениям. Зрение роботов- узкая область технологий машинного зрения, обеспечивающих функционирование систем машинного зрения в условиях жестких временных ограничений. Пример. Системы управления сложными динамическими объектами: самолет, автомобиль, системы контроля технических и технологических процессов на производстве, медицинские устройства проведения операций и т.д)
цифровая фотограмметрия (Photogrammetry) - измерение расстояний между объектами по 2D изображениям обработка изображений (Image processing) на входе и выходе изображение анализ изображений (Image analysis) –основано на работе с 2D изображениями распознавание образов (Pattern recognition) - распознавание, обучение на абстрактных числовых величинах, полученных в том числе и из изображений бесконтактные измерения –дистанционное измерение параметров объектов
Примеры задач распознавания образов Символы, штрих-коды, номера автомобилей, Лицо, Речь, Отпечатки, Изображения, локальные участки земной коры, классификация документов, перспективными задачами обработки изображений является обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, обработка изображений), поиск, выделение и распознавание на изображении подвижных объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах. Идентификация когнитивно-эмоциональный процесс частично неосознаваемого отождествления субъекта, объекта с другими субъектом, объектом, группой, образцом.
зрение роботов, средства автоматизации обработки визуальных данных и информации, биометрия и безопасность, распознавание буквенно-символьной информации, распознавание жестов, детектирование наличия движущихся объектов в поле зрения камеры, распознавание зрительных образов, задачи медицинской диагностики, системы мониторинга, пакеты программ по обработке изображений общего назначения и т.д. направления в области компьютерного зрения
Задачи распознавания имеют характерные черты. приведение исходных данных к виду, удобному для распознавания ; распознавание (указание принадлежности объекта определенному классу). можно вводить понятие аналогии или подобия объектов и формулировать понятие близости объектов в качестве основания для зачисления объектов в один и тот же класс или разные классы. трудно строить формальные теории и применять классические математические методы (часто недоступна информация для точной математической модели или эффективность от использования модели и математических методов не соизмерима с затратами). возможна "плохая" информация (информация с пропусками, разнородная, косвенная, нечеткая, неоднозначная, вероятностная).
Целесообразно выделить следующие типы задач распознавания. 1. Задача распознавания - отнесение предъявленного объекта по его описанию к одному из заданных классов (обучение с учителем). 2. Задача автоматической классификации - разбиение множества объектов (ситуаций) по их описаниям на систему непересекающихся классов. 3. Задача выбора информативного набора признаков при распознавании. 4. Задача приведения исходных данных к виду, удобному для распознавания. 5. Динамическое распознавание и динамическая классификация - задачи 1 и 2 для динамических объектов. 6. Задача прогнозирования - это задачи 5, в которых решение должно относиться к некоторому моменту в будущем. Файл.интеллектуальные робототехнические системы стр.26
Проблема обучения распознаванию образов (ОРО) Понятие образа Образ, класс классификационная группировка в системе классификации, объединяющая (выделяющая) определенную группу объектов по некоторому признаку.
Биометрия, машинное зрение, видеонаблюдение; Обработка документов, распознавание теста и штриховых кодов, Медицинские приложения, Автоматизация измерений и технический контроль. Примеры практических задач машинного зрения
Биометрия Система для биомеханических исследований на основе высокоскоростной стереосъемки движений человека Система распознавания жестов руки человека Система автоматического выделения человеческого лица и слежения за его чертами Системы обнаружения и распознавания лиц Системы трехмерной реконструкции и формирования строго фронтального изображения лица человек Система слежения за положением головы и направлением взгляда
Статические методы биометрической аутентификации Отпечатки пальцев Форма ладони Расположение вен на лицевой стороне ладони Сетчатка глаз Радужная оболочка сетчатки глаз Изображение или форма лица Термограмма лица ДНК Подногтевой слой кожи Форма уха Объем пальцев Запах тела Большинство биометрических технологий связано с анализом изображений и реализуется разными методами компьютерного зрения
Динамические методы биометрической аутентификации – основаны на поведенческой характеристике человека, воспроизведения действия Рукописный почерк Голос Клавиатурный почерк Движение губ при воспроизведении кодового слова Динамика поворота ключа в замке Движение рук, тела
Характеристики биометрических систем 1. Показатели надежности биометрических систем- вероятности ошибок 1 рода- определяют вероятность ложного отказа 2 рода- вероятность ложного допуска Отказ в доступе легальному пользователю Предоставление доступа постороннему 1 рода- определяют вероятность ложного отказа 2 рода- вероятность ложного допуска Равная вероятность ошибок 1 и 2 рода- точка равенства EER-Equal Error.
2. Пропускная способность – время, требуемое человеку для взаимодействия с данными биометрическим устройством. Классификация методов по показателям ошибок 1 рода Классификация методов по показателям ошибок 2 Сложно, т.к. методы сильно зависят от оборудования ДНК, Радужная оболочка и сетчатка глаз, Отпечаток пальца, термография лица, форма ладони, Форма лица, расположение вен на кисти рук и ладони, Подпись, Клавиатурный почерк, Голос
Системы распознавания жестов - биомеханические исследования на основе высокоскоростной стереосъемки любых движений человека. Построение человеко-машинных интерфейсов, Управление различными техническими средствами, Управление системами виртуальной реальности. предназначены для регистрации и анализа характеристик движений человека, измеряется траектория движения различных частей тела.
чтобы найти два одинаковых отпечатка, потребовалось бы число столетий, состоящее из 49 цифр. Если рассмотреть четыре особенности узора, какова вероятность их совпадения? Ученый подсчитал, что она будет равна вероятность обнаружения двух совпадающих признаков появляется при рассмотрении 16 отпечатков пальцев. Однако для получения трех совпадений нужны уже 64 отпечатка, для четырех совпадений 266 отпечатков и т. п. верификация личности
Верификация же подразумевает сравнение отсканированного отпечатка пальца только с одним или с несколькими шаблонными отпечатками пальцев с целью установить, является ли данный человек именно тем, за кого он себя выдает. Принцип работы сканера отпечатков пальцев: запись (сканирование) биометрических характеристик (в данном случае пальцев); выделение деталей папиллярного узора по нескольким точкам; преобразование записанных характеристик в соответствующую форму; сравнение записанных биометрических характеристик с шаблоном; принятие решения о совпадении или несовпадении записанного биометрического образца с шаблоном.
Емкостный сенсор Оптический сенсор термический сенсор сенсор электромагнитного поля Компьютер Пресс 4'2004
Модуль голосового управления Очередной шаг вперед совершили Identix, создав софтвер для еще более точного анализа: биометрии кожи - которая позволяет использовать уникальность кожной поверхности для получения еще более точных результатов.
Распознавание жестов Отслеживания позиций пальцев на руке (7 точек): Кончики пальцев; Центр ладони; Максимально видимая точка, которая находится у локтя. Ссылка на презентацию Распознавание стандартных жестов: Большой палец вверх; Большой палец вниз; Символ V (победа). Раскрытая ладонь. Распознавание динамических жестов: Взмахи руки влево, вправо, вверх, вниз, круговое движение, помахивание.
Основные распознаваемые позы Открытость ладони «Большой палец вверх» или «Большой палец вниз» Знак победы Большая пятерка
Основные распознаваемые жесты «Захват» и «Сброс» - Перед началом выполнения этого жеста пользователь должен принять позу, в которой его большой палец и другие пальцы разъединены, следующим жестом все пальцы соединяются вместе в позу захвата. Обратные действия - разъединение пальцев отпускают объект.
Основные распознаваемые жесты «Движение» - После захвата объекта пользователь передвигает руку для перемещения объекта.
Основные распознаваемые жесты «Панорамирование» выполняется только полностью прямой ладонью. Движение прямой ладонью панорамирует объект, но как только ладонь принимает расслабленную, слегка скрученную позу панорамирование останавливается.
Основные распознаваемые жесты «Масштабирование» выполняется за счет изменения расстояния между двумя ладонями. Масштабирование требует действия, которое завершит масштабирование, в противном случае пользователь не сможет его завершить без изменения масштаба.
Основные распознаваемые жесты «Помахивание» - При этом жесте, пользователь быстро машет рукой. Жест применяется для сброса, выхода из режима, либо для передвижения вверх по иерархии меню.
Основные распознаваемые жесты «Круг» - Жест круг выполняется, когда пользователь соединяет все пальцы и двигает рукой по кругу
Основные распознаваемые жесты Все жесты могут быть выполнены как правой, так или левой рукой, в жестах, выполняемых двумя руками (например, захват объекта двумя руками для изменения размера), не имеет значения, какая рука будет захватывать объект первой.
Основные распознаваемые жесты Для многих жестов, число пальцев участвующих в жесте не имеет значения.
Области применения и примеры приложений Использование функций естественно-интуитивного взаимодействия в видео играх: взаимодействие игрока с трехмерным миром и другими игроками; использование голоса или жестов для манипуляций в игре.
Области применения и примеры приложений - Распознавание пальцев на руках; - Моделирование системы захвата какого-либо трехмерного виртуального объекта; - Перемещение объекта; - Указывание на данный объект. «Железный человек» режиссёр Джон Фавро
Области применения и примеры приложений Распознавание движения рук или жестов может быть интерпретировано компьютером и использовано для взаимодействия. Могут быть реализованы такие жесты как перелистывание в разных направлениях (к примеру, переключать треки в плейлисте или перелистывать страницы книги.
Категории объектов, вызывающие зрительные образы: объекты, которыми можно манипулировать (чашка, ключи, часы и т.д.); объекты, которыми можно частично манипулировать (автомобили, материалы и т.д.); объекты не манипулируемые (деревья, здания и т.д.); лица; выражения лиц; живые существа (животные, фигура человека); печатные знаки (буквы, символы, знаки); рукописные изображения; характеристики и расположение источников света (луна, солнце). Идентификации и распознавания объектов
Ссылка на статью В настоящее время существует четыре основных метода распознавания лица, различающихся сложностью реализации и целью применения: - «eigenfaces»; - анализ «отличительных черт»; - анализ на основе «нейронных сетей»; - метод «автоматической обработки изображения лица». Человеческое лицо
«Eigenface»- сравнение оригинала с шаблоном с определением коэффициента различия. Метод анализа «отличительных черт»- используются десятки характерных особенностей различных областей лица, с учетом их относительного местоположения. В методе, основанном на нейронной сети, характерные особенности обоих лиц - зарегистрированного и проверяемого сравниваются на совпадение и несоответствие, с применением максимально возможное число параметров, затем с помощью соответствующих весовых коэффициентов определяется степень соответствия проверяемого лица шаблону из базы данных. Метод автоматической обработки изображения лица - используется расстояние и отношение расстояний между легко определяемыми точками лица, такими, как глаза, конец носа, уголки рта.
Рис. Архитектура многослойной нейронной сети и её применение для распознавания изображений. Нейрон с максимальной активностью (здесь первый) указывает принадлежность к распознанному классу Метод, основанном на нейронной сети
Модуль распознавания лиц (3) Система распознавания производит процесс идентификации путем осуществления ряда действий: 1. Выявление Изображение может быть получено путем цифрового сканирования существующей 2D картинки или путем использования видеоизображения для получения живого образа объекта. 2. Выравнивание Когда выявлено лицо, система определяет положение головы, размер и позу. Как упоминалось ранее, лицо может быть распознано при повороте до 90 градусов, тогда как при использовании 2D голова может быть повернута не более чем на 35 градусов. 3. Измерение Система измеряет кривые линии лица менее чем в миллиметровом масштабе и создает шаблон. 4. Изображение Программа переводит шаблон в числовой код. Таким образом, каждое лицо в итоге представлено в цифровом виде. 5.Сопоставление
Системы обнаружения и распознавания лиц Ссылка на статью Уголки глаз; Уголки рта; Кончик носа.
Факторы, влияющие на сложность получения эффектных результатов в вопросе качественной идентификации изображений человеческого лица: разрешение аппаратуры, фиксирующей объект; масштаб изображения; погодные блики; интенсивность освещения; блики, отражения окружающих предметов; отражения аксессуарных предметов (очки, линзы); макияж; ракурс лица; мимика; угол зрения; возрастные изменения; волосы; положение головы; расстояние до объекта 4 цвет кожи (черты лиц темнокожих людей могут не различаться объективами, оптимизированных для съемки людей со светлой кожей).
Стабилизированные образы обычно угасают. Остающиеся видимые части профиля – это всегда осмысленные элементы или группы элементов (лицо, верхняя половина лица и т. д.) Ссылка на статью Модель деформируемого эталона. Деформируемые эталоны определяются параметрами, задаваемыми априорными знаниями об ожидаемой форме ЭЛ и которые определяются численно в процессе обучения при контурном дешифрировании.
Области применения и примеры приложений Простая идентификация личности (фейс-логин). Комбинация параметров лица, голоса и жестов для более точной идентификации.
Области применения и примеры приложений Распознавание трехмерных объектов реального мира Трехмерная камера способна: распознать модель реального объекта добавить виртуальные графические и звуковые спецэффекты к объекту. Таким образом, распознав группу объектов, положение отдельных объектов относительно других и их поведение, создается новая модель взаимодействия объектов.
Системы слежения за положением головы и направлением взгляда Практическое применение: бесконтактное управления компьютером, бесконтактное управление человеко-машинными системами, виртуальная реальность, система контроля направления взгляда водителя транспортного средства и т.д. Оценивается: Положение головы, Положение глаз, Угол наклона головы, Состояние глаз(открыт/закрыт), Оценка направления взгляда(только для открытых глаз)
Обработка документов Система автоматического поиска и считывания штриховых кодов Система автоматического распознавания машиночитаемых документов Система оценки подлинности денежных банкнот Система для оценки ветхости денежных банкнот Система считывания номеров денежных банкнот
Выводы (1) Считывание символьной информации Человек -4% ошибок при распознавании. Требования -высокая надежность распознавания 98-99%: -разрешение, -быстродействие, -надежность распознавания, -объем памяти. Типовые проблемы распознавания рукописных и текстовых символов: Разнообразие форм начертания символов, Искажение изображений символов, Вариации размеров и масштаба символов, Стиль шрифта, Похожесть символов
Причины искажений Шумы печати (непропечатка, разрывы, слипание, пятна, ложные точки и т.д. Смещение символов или частей символов, относительно требуемого положения в строке, Изменение наклона символов, Искажение формы символов за счет оцифровки изображения, Эффекты освещения( тени, блики и т.д) при съемки видеокамерой.
Этапы распознавания: выделение текстовой области, строки; разбиение связных текстовых строк на отдельные знакоместа, каждое из которых соответствует одному текстовому символу, символы, представленные в виде двумерных матриц пикселей, сглаживаются, фильтруются для удаления шумов, нормализуются размеры, сравниваются с эталонными наборами и структурными признаками, формируемыми в процессе обучения, смысловая или контекстная информация м.быть проверена для разрешения неопределенности на предмет корректировки ошибок слов и предложений.
Машинное зрение Зрение роботов Автомобильные системы Система обнаружения препятствий на дороге перед движущимся транспортным средством Видеонаблюдение Система стереообнаружения движения в зоне видеонаблюдения Мобильные роботы Система обнаружения и сопровождения движущихся объектов по признаку их движения Система автоматической привязки телефрагментов к ортофотоизображению Система считывания регистрационных номеров автомобилей Система считывания номеров ж.д вагонов и цистерн
Системы анализа и обработки медицинских изображений Системы компьютерного анализа томографических изображений для диагностики воспалительных заболеваний пазух и полости носа Системы радиологических обследований Системы компьютерного анализа томографических изображений АРМ врача-рентгенолога Система компьютерного анализа медицинской рентгенографической информации для ранней диагностики остеопороза Системы компьютерного анализа томографических изображений для оценки степени ожирения у мужчин Медицинские приложения
Автоматизация измерений и технические контроль Система автоматического выделения и фильтрация следа частиц Система автоматизированного бесконтактного измерения объема круглых лесоматериалов Система компенсации геометрических искажений и бесшовной сшивки изображений, получаемых от многокамерных систем видеоввода
Процесс самообучения системы – приобретение способности к выработке одинаковых реакций на изображения объектов одного и того же образа и различных реакций на изображения различных образов, без подсказки учителя. Роль учителя при этом состоит лишь в подсказке системе некоторого объективного свойства, одинакового для всех образов и определяющего способность к разделению множества объектов на образы. НЕЙРОННЫЕ СЕТИ Нейронные вычисления – это теория разработки и исследования систем обработки информации, использующих механизмы восприятия и переработки информации естественных информационных систем – мозга человека и животных.
Адаптация процесс изменения параметров и структуры системы, а возможно, и управляющих воздействий, на основе текущей информации с целью достижения определенного состояния системы при начальной неопределенности и изменяющихся условиях работы. Обучение- процесс выработки в некоторой системе той или иной реакции на группы внешних идентичных сигналов путем многократного воздействия на систему внешней корректировки. Такую внешнюю корректировку в обучении принято называть "поощрениями" и "наказаниями". Механизм генерации этой корректировки практически полностью определяет алгоритм обучения. Самообучение отличается от обучения тем, что здесь дополнительная информация о верности реакции системе не сообщается.
Нейросетевые методы распознавания человека по изображению лица Нейросетевые методы, основанные на применении различных типов искусственных нейронных сетей (ИНС, в дальнейшем просто нейронные сети, НС), в последнее время получили широкое распространение. Основные задачи, решаемые при помощи нейронных сетей [3,6,9,10,21]: - разбиение пространства признаков на области, соответствующие классам (классификация, распознавание, кластеризация); - извлечение ключевых характеристик, сжатие и реконструкция об- разов; - аппроксимация функции многих переменных с любой заданной точностью; - прогнозирование временных рядов; - ассоциативная память; - решение оптимизационно- комбинаторных задач; - топологически упорядоченное преобразование пространства; - распознавание с учётом топологии пространства.
Архитектура нейронных сетей Большинство нейронных сетей состоят из формальных нейронов Формальный нейрон
По характеру формирования связей нейронные сети могут быть следующих видов Обучение с учителем. Связи настраиваются в процессе обучения, причём эталонные значения результатов работы известны. Самообучение (обучение без учителя). Эталонные результаты неизвестны (не нужны), сеть в процессе обучения должна организовать входные образы на основе их подобия. Фиксированные связи. Определяются характером решаемой за- дачи (например, в оптимизационных задачах). Нейронные сети могут также отличаться типом входной информа- ции (двоичная, аналоговая и т.п.) и методом обучения. Файл. Учебник распознавания лиц.Белоруссия
Основы теории анализа и распознавания изображений. объекты x j, j= {1,N}. признаки объектов Описание объекта еслипринимает значение из множества допустимых значений. называют стандартным,
Персептроны
ВОПРОСЫ: