Синтез адаптивного помехоустойчивого фильтра границ на основе нейронной сети Синтез адаптивного помехоустойчивого фильтра границ на основе нейронной сети к.т.н. А.М. Астапкович Ведущий инженер Ланит-Терком, СПбГУ Ведущий инженер Ланит-Терком, СПбГУ Начальник Студенческого Конструкторского Бюро Начальник Студенческого Конструкторского Бюро Университета Аэрокосмического Приборостроения Университета Аэрокосмического Приборостроения Cанкт-Петербург, Россия

СОДЕРЖАНИЕ ДОКЛАДА (всего 27 слайдов) Краткий обзор работ по исследованию нейроконтроллеров в системах управления в ГУАП Постановка задачи и алгоритм одношагового обучения нейронной сети Обучение через показ, как копирование эвристик Постановка задачи синтеза помехоустойчивого детектора краев Результаты численных экспериментов Эффект асимметрии обучения Детектор краев на основе двухслойной нейросети с предварительной фильтрацией шума Заключение Публикации по теме

НЕЙРОКОНТРОЛЛЕР СИСТЕМЫ УПРАВЛЕНИЯ Hub Пульт управления СТРУКТУРА ИУС ВЕРТОЛЕТНОГО СТЕНДА IP-контроллеры сбора и управления IP-видеокамеры -ДЛЯ НЕЙРОКОНТРОЛЛЕРА ОДНОКАНАЛЬНОЙ СИСТЕМЫ УПРАВЛЕНИЯ ПО КУРСУ ДЛЯ ВЕРТОЛЕТА ПОПЕРЕЧНОЙ СХЕМЫ ИССЛЕДОВАЛАСЬ МЕТОДИКАОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ ; -БЫЛ СДЕЛАН ВЫВОД О ЦЕЛЕСООБРАЗНОСТИ ИСПОЛЬЗОВАНИЯ МЕТОДИКИОБУЧЕНИЕ С УЧИТЕЛЕМ;

СТУДЕНЧЕСКИЕ ИССЛЕДОВАТЕЛЬСКИЕ ПРОЕКТЫ Студенческое Конструкторское Бюро ГУАП Роботы: PHOENIX-X Виртуальныероботы SOFA-2009 Мат.модель 2колесного робота Нейронный Детектор Границ - Дистантный иммобилизатор; - Видеосистема; Главная цель проектов Phoenix-X изучение и развитие методологии использования нейронных сетей, обучаемых по методике Обучение через показ; -Детали на сайте guap.ru/english version/student design center или в GOOGLE набрать Астапкович А.М. и далее страница СКБ

СИНТЕЗ НЕЙРОКОНТРОЛЛЕРА ДЛЯ РОБОТА ФЕНИКС-1 D Центр экрана номер пиксела N 0 Измери- тельная полоса Детектор положения полосы Контраст- ная полоса -В одной из серий проведенных экспериментов робот управлялся ПИД регулятором по параметру D, рассчитанному для полосы D1. При этом записывались данные по всем измерительным полосам D1-D5, которые в дальнейшем использовались для расчета весов нейронной сети. - Использовалась методика Обучение через показ, реализованная на MathCad; - ИССЛЕДОВАЛАСЬ ВОЗМОЖНОСТЬ ИСПОЛЬЗОВАНИЯ В КАЧЕСТВЕ УЧИТЕЛЯ ЭВРЕСТИЧЕКОГО АЛГОРИТМА;

PHOENIX-3 Система технического зрения необходимая составляющая системы управления современных роботов ; Детектор краев – это важнейшая составляющая системы технического зрения, используемая в различных приложениях; Легенда проекта PHOENIX-3 Автономный робот Phoenix-3 должен патрулировать по заданному маршруту с целью обнаружения очагов возгорания. Для ориентации на маршруте должна использоваться бортовая камера с поворотным механизмом и трансфлокатором. В случае обнаружения очагов возгорания робот должен погасить огонь с помощью бортового огнетушителя.

ДЕТЕКТОР ГРАНИЦ НА ОСНОВЕ ФИЛЬТРА ЛАПЛАСА ИСХОДНОЕ DOG AND BALL - ИСПОЛЬЗОВАЛОСЬ ИССКУСТВЕННО СГЕНЕРИРОВАННОЕ ИЗОБРАЖЕНИЕ И МОДЕЛЬ ОДНОРОДНОГО ШУМА ; ОТФИЛЬТРОВАННОЕ Фильтр Лапласа очень эффективен с точки реализации, но неустойчив к шумам;

КОНЦЕПЦИЯ ФИЛЬТРА ГРАНИЦ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ КОНЦЕПЦИЯ ФИЛЬТРА ГРАНИЦ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ ТЕРМИНОЛОГИЯ - ОБУЧЕНИЕ процедура определения вектора W и порогов активационной функции ; ОБУЧЕНИЕ ЧЕРЕЗ ПОКАЗ - ОБУЧЕНИЕ c помощью набораПРИМЕРОВ ;ОБУЧЕНИЕ ЧЕРЕЗ ПОКАЗ - ОБУЧЕНИЕ c помощью набораПРИМЕРОВ ; - ПРИМЕР – пара изображений ИСХОДНОЕ ИЗОБРАЖЕНИЕ иРЕЗУЛЬТИРУЮЩЕЕ ИЗОБРАЖЕНИЕ; S1S1 S2S2 S NSEN 1 (S,W) RESi,j S 1 S 2 S 3 S 4 S 5 S 6 S 7 S 8 S 9 Изображение Фильтр 3*3 Кусочно- линейная активационная функция F(x) TH min TH max

ОДНОШАГОВАЯ ПРОЦЕДУРА ОБУЧЕНИЯ S 1 (0,0) S 2 (0,0) S 1 (0,1) S 2 (0,1) ……………………………….. S 1 ( i,j ) S 2 (i,j ) S nsen ( i,j ) 1 ………………………………… w 1 w 2 w nsen+1 F(0,0) F(0,1) ….. ……… F( i,j) ……… * = min F(w) = (SW - F, SW – F) + (W,W) w Регуляризация по Тихонову обеспечивает устойчивое решение W = (S T S + E) –1 S T F Процедура обучения без учета порогов S * W = F - некорректная по Адамару задача для определения W S - прямоугольная матрица, сформированная из исходного изображения; F - вектор, сформированный из результирующего изображения;

ОБУЧЕНИЕ ПО НАБОРУ ПРИМЕРОВ ПРОЦЕДУРА ОДНОШАГОВОГО ОБУЧЕНИЯ W = (S T S + E) –1 S T F Пример_1 : S 1 F 1 Пример_2 : S 2 F 2 S = S1S1 S2S2 F = F1F1 F2F2 ПРОЦЕДУРА ДООБУЧЕНИЯ Введем : Se k = S k T S k - матрица предыдущего опыта с k примерами Fek = Sk T F k – вектор опыта с k примерами W k+1 = (Se k + S k+1 T S k+1 + E) –1 * (Fe k +S k+1 T F k+1 ) W 1 = (S 1 T S 1 + E) –1 * S 1 T F 1 W 2 = (S 1 T S 1 + S 2 T S 2 + E) –1 * (S 1 T F 1 +S 2 T F 2 ) Обучение по одному примеру Обучение по двум примерам СЛУЧАЙ ДВУХ ПРИМЕРОВ

КОПИРОВАНИЕ ЭВРИСТИК РЕЗУЛЬТИРУЮЩЕЕ ИЗОБРАЖЕНИЕ: ОТФИЛЬТРОВАНОЕ ПО ЛАПЛАСУ Исходное Изобр. ПРИМЕР_1: ИСХОДНОЕ ИЗОБРАЖЕНИЕ ТЕСТ ПРОЦЕДУРЫ (КРАЖА ЭВРИСТИКИ) ИСХОДНОЕ ИЗОБРАЖЕНИЕ : NOISY_REC1 РЕЗУЛЬТИРУЮЩЕЕ ИЗОБРАЖЕНИЕ : ОТФИЛЬТРОВАННАЯ ПО ЛАПЛАСУ ЗАШУМЛЕННОЕ ИСХОДНОЕ ИЗОБРАЖЕНИЕ Использовалось сгенерированное 100*100 bmp изображение =10 4 примеров; - Добавлен 10-й коэффициент (сенсор) для учета постоянной составляющей;

НЕЙРОНОПОДОБНАЯ ЛАПЛАС ФИЛЬТРАЦИЯ ЧИСТОЕ И ЗАШУМЛЕННОЕ BMP ИЗОБРАЖЕНИЕ СОБАКА И МЯЧ - НЕЙРОНОПОДОБНАЯ ЛАПЛАС-ФИЛЬТРАЦИЯ – НЕЙРОННЫЙ ФИЛЬТР ГРАНИЦ С КОЭФФИЦИЕНТАМИ КЛАССИЧЕСКОГО ФИЛЬТРА ЛАПЛАСА, НО С УЧЕТОМ ПОРОГОВ; THmin =60 - МОДЕЛЬ ОДНОРОДНОГО ШУМА С АМПЛИТУДОЙ 60 (+/- 30) ; - ТУЛОВИЩЕ СОБАКИ ИМЕЕТ ИНТЕНСИВНОСТЬ 150 ; THmin =-20

КЛЮЧЕВЫЕ ВОПРОСЫ ПРИ СИНТЕЗЕ ФИЛЬТРА КЛЮЧЕВЫЕ ВОПРОСЫ ПРИ СИНТЕЗЕ ФИЛЬТРА КАКАЯ ДЛИНА ФИЛЬТРА ДОЛЖНА БЫТЬ ИСПОЛЬЗОВАНА ? Условие симметрии ограничивает к-во коэффициентов (весов): - 3*3 = > 3 - 5*5 3+3 => 6 - 7*7 6+4 => 10 КАКОГО ТИПА ПРИМЕРЫ ДОЛЖНЫ БЫТЬ ИСПОЛЬЗОВАНЫ ? КАК МНОГО ПРИМЕРОВ НАДО ? - ГРАНИЦЫ ЗАДАВАЕМЫЕ ВРУЧНУЮ С РЕГУЛИРУЕМОЙ ТОЛЩИНОЙ (на изображении толщина 2) ? - ЛАПЛАС, SOBEL, CANNY ? - ПРЯМОУГОЛЬНИКИ, КРУГИ, ТИП ШУМА….? ; - СМЕШАНЫЙ НАБОР …..?

ЧИСЛЕННЫЕ ЭКСПЕРИМЕНТЫ НАБОР ПРИМЕРОВ ЛАПЛСАС ГРАНИЦЫ РИСОВАННЫЕ ГРАНИЦЫ ЗАШУМЛЕННЫЕ ИЗОБРАЖЕНИЯ -5*5 НЕЙРОФИЛЬТР СИНТЕЗИРОВАЛСЯ (ОБУЧАЛСЯ) С ПОМОЩЬЮ РАЗНЫХ ПРИМЕРОВ REC и BALL; ЧИСЛО ПРИМЕРОВ СОСТАВЛЯЛО (1-2)*10 4 ; - НЕЙРОФИЛЬТР ТЕСТИРОВАЛСЯ НА ЗАШУМЛЕННОМ ИЗОБРАЖЕНИИ СОБАКА И МЯЧ ; - НИЖНИЙ ПОРОГ ПОДБИРАЛСЯВРУЧНУЮ НА ЗАШУМЛЕННОМ ИЗОБРАЖЕНИИ СОБАКА И МЯЧ

ЧИСЛЕННЫЕ ЭКСПЕРИМЕНТЫ - I - ИСПОЛЬЗОВАЛИСЬ РИСОВАННЫЕ ГРАНИЦЫ С ТОЛЩИНОЙ 2 ; - ИСПОЛЬЗОВАЛИСЬ ПРИМЕРЫ REC и REC+BALL ; - ВЕКТОР ВЕСОВ ПРЕОБРАЗОВАН ДЛЯ УДОБСТВА В МАТРИЦУ ФИЛЬТРА : ФИЛЬТРАЦИЯ ЧИСТОГО И ЗАШУМЛЕННОГО ТЕСТОВОГО ИЗОБРАЖЕНИЯ (TR min = 50) CLEAN : H51 H52NOISY: H51 H52 ВЫВОД: ФИЛЬТР ОБУЧЕННЫЙ ПО ДВУМ ИЗОБРАЖЕНИЯМ ЛУЧШЕ ;

ЧИСЛЕННЫЕ ЭКСПЕРИМЕНТЫ- II - ИСПОЛЬЗОВАЛИСЬ ПРИМЕРЫ С ФИЛЬТРОМ ЛАПЛАСА; - ИСПОЛЬЗОВАЛСЯ НАБОР ПРИМЕРОВ REC and REC+BALL; - ВЕСА ТРАНСФОРМИРОВАНЫ В МАТРИЦУ ФИЛЬТРА; CLEAN : L51 L52NOISY: L51 L52 ВЫВОД : ДЛЯ ОБУЧЕНИЯ (СИНТЕЗА) ВОЗМОЖНО ИСПОЛЬЗОВАНИЕ АЛГОРИТМОВ ДАЖЕ БЕЗ ИХ ОПИСАНИЯ (КОПИРОВАНИЕ ЭВРИСТИК; ФИЛЬТРАЦИЯ ЧИСТОГО И ЗАШУМЛЕННОГО ТЕСТОВОГО ИЗОБРАЖЕНИЯ (TR min = 65)

ЧИСЛЕННЫЕ ЭКСПЕРИМЕНТЫ - III - ИСПОЛЬЗОВАЛИСЬ РИСОВАННЫЕ ГРАНИЦЫ С ТОЛЩИНОЙ 1 ; TRmin=40 TRmin=30 CLEAN : H51NOISY: H51 H52 ВЫВОД : ДЛЯ ВЫБОРА ПОРОГОВ СЛЕДУЕТ ВВЕСТИ НОРМУ КАЧЕСТВА ФИЛЬТРАЦИИ ФИЛЬТРАЦИЯ ЧИСТОГО И ЗАШУМЛЕННОГО ТЕСТОВОГО ИЗОБРАЖЕНИЯ С ПОРОГАМИ :

ПРОВЕРКА КАЧЕСТВ ФИЛЬТРА - ИСПОЛЬЗОВАЛСЯ СИНТЕЗИРОВАННЫЙ 5*5 ФИЛЬТР С ИСПОЛЬЗОВАНИЕМ: - ДВУХ ИЗОБРАЖЕНИЙ REC и BALL ОТФИЛЬТРОВАННЫХ ЛАПЛАС ФИЛЬТРОМ; - ЭТИХ ЖЕ ИЗОБРАЖЕНИЙ С ГРАНИЦАМИ,ЗАДАВАЕМЫМИ ВРУЧНУЮ С ТОЛЩИНОЙ 2; - НИЖНИХ ПОРОГОВ 30 И 60 ; ЗАКЛЮЧЕНИЕ: ПРЕДЛАГАЕМАЯ МЕТОДИК СИНТЕЗА ФИЛЬТРА (ДЕТЕКТОРА) ГРАНИЦ ПРЕКРАСНО РАБОТАЕТ ; ГРАНИЦЫ (2) ЗАДАНЫ ВРУЧНУЮ ЛАПЛАС ГРАНИЦЫ

Эффект асимметрии обучения - Эффект асимметрии обучения был обнаружен с помощью модели SOFA-2009 при исследовании свойств нейроконтроллера управления движением для задачи парковки; - Применительно к детектору границ этот эффект подразумевает равенство симметричных коэффициентов фильтра, записанного в матричной форме; - На основе использования разности симметрично расположенных коэффициентов может быть введена метрика для оценки качества обучения; ONE SAMPLE LEARNING TWO SAMPLE LEARNING

МОДИФИЦИРОВАННАЯ ОДНОШАГОВАЯ ПРОЦЕДУРА ОБУЧЕНИЯ - I Симметрия весов может быть обеспечена с использованием явного описания свойств симметрии в виде линейных соотношений для симметрично расположенных весов фильтра; Метод множителей Лагранжа идеально подходит для этих целей; Этот подход и алгоритм был проверен при численных экспериментах с нейроконтроллером виртуального робота SOFA-2009 для задачи обучения нейроконтроллера парковке робота в заданной точке ;

СИМЕТРИЗАЦИЯ КОЭФФИЦИЕНТОВ ФИЛЬТРА Соотношения симметрии для двух весов записываются в виде набора равенств W(k,i) = W(m,n) В общем случае эти соотношения выражаются в матричном виде L W = b вектор b для симметризации нейрофильтра (b,b)=0; Метод множителей Лагранжа для одношаговой процедуры обучения формулируется как задача линейного программирования для квадратичного функционала F(W) min F(W) = (SW - F, SW – F) + (W,W) + Dμ (LW-b) W,Dμ

СИММЕТРИЗОВАННОЕ РЕШЕНИЕ Пусть μ вектор множителей Лагранжа μ = [μ 1, μ 2, ……. μ Nsym ] T Для модифицированного вектора весов, правых частей и матриц Wμ = [ W μ] T Fμ = [ F b] T Решение выражается в виде Wμ= (Sμ T Sμ+ Eμ) -1 Sμ T Fμ E Eμ = SL LTLT 0 Sμ = Вывод : учет симметрии не требует изменения, как таковой, процедуры обучения, изменяется ее формулировка

ДВУХСЛОЙНАЯ НЕЙРОСЕТЬ НЕЙРОФИЛЬТР ШУМА СИНТЕЗИРУЕТСЯ ПО ПРИМЕРУ : ЗАШУМЛЕННОЕ ИЗОБРАЖЕНИЕ ЧИСТОЕ ИЗОБРАЖЕНИЕ ; НАБОР ПРИМЕРОВ : RECT И RECT + BALL; ИСПОЛЬЗОВАЛАСЬ ТА ЖЕ ПРОЦЕДУРА СИНТЕЗА (ОБУЧЕНИЯ); Зашумленное изображение НЕЙРО ДЕТЕКТОР КРАЕВ КОНТУРЫ изображения НЕЙРО- ФИЛЬТР ШУМА

ЭКСПЕРИМЕНТЫ С ДВУХСЛОЙНОЙ НЕЙРОСЕТЬЮ ЗАШУМЛЕННАЯ ЧИСТАЯ ФИЛЬТР ШУМА (REC) ФИЛЬТР ШУМА (REC+BALL) НЕЙРО- ДЕТЕКТОР ГРАНИЦ ОБУЧЕНЫЙ ПО ЛАПЛАСУ

ЗАКЛЮЧЕНИЕ (МЯГКОЕ) ПРЕДЛАГАЕМЫЙ ПОДХОД КОПИРОВАНИЯ ЭВРИСТИК ПРЕДСТАВЛЯЕТСЯ ОЧЕНЬ ПЕРСПЕКТИВНЫМ ИЗ-ЗА ПОТЕНЦИАЛЬНЫХ ВОЗМОЖНОСТЕЙ СУЩЕСТВЕННОГО СОКРАЩЕНИЯ ВРЕМЕНИ НА РАЗРАБОТКУ СИСТЕМ УПРАВЛЕНИЯ ВСТРАИВАЕМОГО КЛАССА ; ДАЛЬНЕЙШИЕ ШАГИ ПО ТЕОРЕТИЧЕСКОМУ ИССЛЕДОВАНИЮ ПРЕДЛАГАЕМОЙ МЕТОДОЛОГИИ СИНТЕЗА ; - АВТОМАТИЧЕСКИЙ ВЫБОР НИЖНЕГО ПОРОГА НА ОСНОВЕ НОРМЫ: СУММА КОЛИЧЕСТВА ТОЧЕК С ЛОЖНЫМИ ГРАНИЦАМИ И КОЛИЧЕСТВА ТОЧЕК С ПРОПУЩЕННЫМИ ИСТИННЫМИ ГРАНИЦАМИ; - ИССЛЕДОВАНИЕ ВОЗМОЖНОСТИ КОПИРОВАНИЯ ЭВРИСТИК НА ПРИМЕРЕ ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ФИЛЬТРА CANNY, СЧИТАЮЩИМСЯ ЛУЧШИМ;

ЗАКЛЮЧЕНИЕ (ТВЕРДОЕ) В ОБЩЕМ СЛУЧАЕ МНОГОКАНАЛЬНЫХ СИСТЕМ УПРАВЛЕНИЯ РЕАЛЬНОГО ВРЕМЕНИ С ИСПОЛЬЗОВАНИЕМ ВИДЕО ЗАДАЧА РЕАЛИЗАЦИИ МНОГОПИКСЕЛЬНОГО ФИЛЬТРА ДОСТАТОЧНО РЕСУРСОЕМКА ; ПРИМЕНИТЕЛЬНО К ВЫСОКОИНТЕСИВНЫМ ВИДЕОПОТОКАМ ДЛЯ РЕАЛИЗАЦИИ ТАКОГО РОДА СИСТЕМ ПОТРЕБУЕТСЯ ИСПОЛЬЗОВАНИЕ СОВРЕМЕННЫХ FPGA (Xilinx, Altera); КОЛИЧЕСТВО БЛОКОВ DSP НА ОДНОМ ЧИПЕ СОСТАВЛЯЕТ ВЕЛИЧИНУ МАСШТАБА 1000; В НАСТОЯЩЕЕ ВРЕМЯ ЭТА РАБОТА НАЧАТА В РАМКАХ СТУДЕНЧЕCКОГО ПРОЕКТА РЕАЛИЗУЕМОГО В ЛАБОРАТОРИИ MG ДЕПАРТАМЕНТА РЭА;

ПУБЛИКАЦИИ ПО ТЕМЕ 1.Astapkovitch A.M. Learning Asymmetry Effect for the Neuron Net Control Systems. Proc. International forum Modern information society formation – problems, perspectives, innovation approaches, p.7-13,SUAI Saint-Petersburg,June 6-11, Astapkovitch A.M. Virtual mobile robot SOFA-2009 Proc. International forum Information and communication technologies and higher education - priorities of modern society development, p.7-15,SUAI Saint-Petersburg, Astapkovitch A.M. Оne step learning procedure for neural net control system. Proc. International forum Information systems. Problems, perspectives, innovation approaches, p.3-9,SUAI Saint-Petersburg, > english version > student design center > student projects > SOFA-2009 and publications