СОЗДАНИЕ И ИСПЫТАНИЕ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦА ДЛЯ ИНТЕГРИРОВАННЫХ АВТОМАТИЗИРОВАННЫХ СИСТЕМ БЕЗОПАСНОСТИ Научно-исследовательский и испытательный. - презентация

1 СОЗДАНИЕ И ИСПЫТАНИЕ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦА ДЛЯ ИНТЕГРИРОВАННЫХ АВТОМАТИЗИРОВАННЫХ СИСТЕМ БЕЗОПАСНОСТИ Научно-исследовательский и испытательный центр биометрической техники МГТУ им. Н.Э. Баумана А.В. Самородов, И.Н. Спиридонов ИНФОФОРУМ – ЕВРАЗИЯ Секция «Безопасный город»9 июня 2011 г.

2 ПРЕДПОСЫЛКИ К СОЗДАНИЮ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦА: ДАННЫЕ НЕЙРОФИЗИОЛОГИИ Kanwisher N. et al. The fusiform face area: a module in human extrastriate cortex specialized for face perception //J. Neurosci., June 1, 1997, 17(11): У человека существует особый механизм распознавания лиц, отличный от механизма распознавания других объектов. Grill-Spector K. et al. The fusiform face area subserves face perception, not generic within-category identification //Nat. Neurosci., 2004, 7: Веретенообразная область лица (FFA ) Область в латеральной затылочной коре (LO-faces) Задняя верхняя височная борозда (posterior STS)

3 -Сбор данных -Интенсивности элементов нормализованного изображения лица -Результат свертки с фильтрами Габора -Выделение признаков -Холические алгоритмы, основанные на преобразованиях снижения размерности -Локальные алгоритмы, основанные на локализации контрольных точек ФОРМИРОВАНИЕ БИОМЕТРИЧЕСКОГО ШАБЛОНА

4 Стратегии применения преобразования Габора: -масштабирования, -локализации, -независимых каналов, -независимых областей, -иерархии. ПРИМЕНЕНИЕ ПРЕОБРАЗОВАНИЯ ГАБОРА ДЛЯ СБОРА ДАННЫХ,, (Granlund, 1978): Обобщение функций Габора для двухмерного случая. (Daugman, 1980): Двумерные функции Габора описывают рецептивные поля простых нейронов стриальной коры (Okajima, 1998): Двумерные функции Габора обеспечивают извлечение максимума информации из локальных областей изображения (Mutelo, 2008): двумерный габоровский дискриминант Фишера (2DGFD)

5 ХОЛИЧЕСКИЕ АЛГОРИТМЫ ФОРМИРОВАНИЯ БИОМЕТРИЧЕСКОГО ШАБЛОНА Энергия разности двух изображений лиц: -Межиндивидуальные отличия, I -Внутрииндивидуальные отличия (освещение, ракурс, выражение лица и пр.), T -Шум, N Главное подпространство Комплементарное подпространство Собственные вектора Энергия Главное подпространство Комплементарное подпространство Собственные вектора Энергия Главное подпространство Комплементарное подпространство Собственные вектора Энергия Межклассовые подпространства (МГК ) Внутриклассовые подпространства Подпространства ЛДА

6 Формирование пространства признаков: -локализация контрольных точек на изображении лица, -формирование вектора признаков на основе их взаимного расположения или локальных свойств изображения лица в окрестностях контрольных точек. ЛОКАЛЬНЫЕ АЛГОРИТМЫ ФОРМИРОВАНИЯ БИОМЕТИЧЕСКОГО ШАБЛОНА Алгоритмы, основанные на локальных признаках (контрольных точках): - алгоритмы на основе метода деформируемых шаблонов; - алгоритмы на основе метода сопоставления эластичных графов (EGBM) и его модификаций; - алгоритмы на основе методов активного представления, к которым относятся методы, использующие модель активной формы (ASM), модель активного представления (AAM) и их модификации. Погрешность локализации контрольных точек лица

7 ИСПЫТАНИЕ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦА: МЕТААНАЛИЗ -базовый алгоритм выделения признаков: на основе МГК; -базы данных с «простыми» примерами (ORL и т.п.) не представляют интереса; -основные направления совершенствования алгоритмов: устойчивость к параметрам освещения, ракурсу, временным интервалам; -несмотря на огромное число различных алгоритмов, представленных в научно-технической литературе, они реализуют довольно ограниченное число всех возможных видов алгоритмов Алгоритм распознавания = нормализация + сбор данных + выделение признаков + степень схожести Характеристики качества алгоритмов распознавания: -вероятности ошибок первого и второго рода (верификация), -вероятность правильной идентификации в зависимости от ранга (идентификация на замкнутом множестве), -вероятности ошибок первого и второго рода (идентификация на открытом множестве).

8 Данные - интенсивностиДанные – результаты преобразования Габора Векторные линейные Векторные нелинейные Матричные линейные Матричные нелинейные Векторные линейные Векторные нелинейные Матричные линейные Матричные нелинейные PCAKPCA2DPCA2DKPCAGabor PCAGabor KPCA (KGPCA) Gabor 2DPCA- LDA, FLDGDA, KFLD2DFLD-GLDA, IGLDA Gabor GDA-- PCA+LDA D-LDA-D-2DFLD---2DGFD- F-LDA DF-LDA R-LDAKDDA, R-KDA SRSRKDA EFM---GFC, AGFC, EGFC, HEGFC --- NLDA---MGNLDAGabor NLDA-- ICA (InfoMax, Fast, I, II) KICA--IGF--- FICA LFA D-LFA ХОЛИЧЕСКИЕ АЛГОРИТМЫ ФОРМИРОВАНИЯ БИОМЕТИЧЕСКОГО ШАБЛОНА

9 ИСПЫТАНИЕ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦА Проведено испытание более 350 алгоритмов распознавания лица: -На «стандартных» базах данных -На собственных базах данных Формирование тестов и проведение испытаний: -Определение варьируемых в ходе регистрации тестовых изображений лица факторов -Светоэнергетические параметры сцены (цветовая температура источника, освещенность и неравномерность освещенности в области лица, диапазон яркостей сцены, асимметрия освещения) -Пространственные параметры сцены (ракурс по трем координатам) -Индивидуальные особенности (раса, борода, усы, очки, косметика, парик и пр.) -Параметры цифрового изображения (разрешение) -Определение методики регистрации изображений (технологическое, сценарное, оперативное испытание) -Задание определяемых характеристик и определение методики их вычисления (методики NIST, стандартные процедуры, такие как k-блочная кросс-валидация и пр.)

10 ПРИМЕР ПРИМЕНЕНИЯ РЕЗУЛЬТАТОВ СОЗДАНИЯ И ИСПЫТАНИЯ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦА: ПРОВЕРКА ПВД НП

11 Электронный чипСтраница ПВД НП Фотография, полученная при проверке ПВД НП БД Паспортно-визовый документ нового поколения

12 РЕЗУЛЬТАТЫ СОЗДАНИЯ И ИСПЫТАНИЯ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ ЛИЦА 1)Разработка алгоритмов распознавания лица «без ограничений» является актуальной задачей. Ее целесообразно вести в контексте современных представлений о механизмах зрительного восприятия. 2)Выявлены «белые пятна» среди реализованных алгоритмов распознавания лиц, представленных в научно-технической литературе. 3)В НИИЦ БТ МГТУ им. Н.Э. Баумана реализованы более 350 холических и локальных алгоритмов распознавания изображений лица 4)В НИИЦ БТ МГТУ им. Н.Э. Баумана созданы тесты, обеспечивающие возможность испытания алгоритмов распознавания, возможность достоверной оценки вероятностных характеристик (в том числе в режиме идентификации на открытом множестве). 5)Результаты создания и испытания алгоритмов позволили создать программно-алгоритмические средства проверки ПВД НП, идентификации личности в условиях видеонаблюдения, трекинга элементов лица.

13 Спасибо за внимание! ИНФОФОРУМ - ЕВРАЗИЯ 9 июня 2011 г.