Синтез нейроподобных помехоустойчивых детекторов границ магистрант Чернышев С. А. Группа 4646 М Санкт-Петербургский государственный университет аэрокосмического приборостроения 2012 Научный руководитель : Востриков А. А. 1

Рис. 1 – Чистое (а) и зашумленное (б) изображение Рис. 2 – Пример обработки чистого и зашумленного изображения детектором краев CANNY Рис. 3 – Пример обработки чистого и зашумленного изображения log-фильтром Пример обработки зашумленного изображения стандартными детекторами границ 2

Цели магистерской диссертации Основная цель - Исследование методологии, возможностей и параметров реализации нейронных сетей для задач обработки видеоизображений в реальном масштабе времени для встраиваемых систем управления, реализуемых средствами программируемых логических интегральных схем (ПЛИС). Основные решаемые задачи: 1) Исследование методологии синтеза нейроподобных помехоустойчивых детекторов границ; 2) Разработка архитектуры нейроконтроллера, использующего видеоинформацию для принятия решений, разработка способов обмена информацией для управления параметрами функционирования и получения результирующей информации; 3) Исследование аспектов аппаратной реализации с помощью ПЛИС; 4)Создание макета, реализующего функции нейроподобного помехоустойчивого детектора границ в реальном масштабе времени. 3

Нейроноподобный детектор границ L =(W,S)A Вектор Пороги весов W Tmin,Tmax МАТРИЦА ИЗОБРАЖЕНИЯ Ny*Nx j i S 1 S 2 ……… S N S N+1 S 2N ……… S N*N Маска фильтра границ МАТРИЦА КРАЕВ Ny*Nx j i Обработка изображения однослойным нейроноподобным детектором границ Вектор показаний сенсоров S подается на вход нейрона. Нейрон состоит из двух компонент: линейной L и нелинейной A. Линейная часть нейрона L выполняет скалярное умножение вектора S на вектор весов W. Подматрицы изображения поступающие на вход нейросети 4

Методика «Обучения с учителем» Обработка обучающего примера МАТРИЦА КРАЕВ Ny*Nx j i Вектор значений граничных точек F 1 F 2 F k …… F= МАТРИЦА ИЗОБРАЖЕНИЯ Ny*Nx j i Обучающий пример S = S 11 S 12 ……… S 1 Nsen 1 S 21 S 22 ……… S 2 Nsen 1 S k1 S k2 ……… S kNsen 1 …… Матрица значений сенсоров Рисунок иллюстрирует процесс формирования исходной системы линейных уравнений, используемой для определения вектора весов W. С помощью матрицы изображений формируется матрица показаний сенсоров S. У этой матрицы количество строк равно количеству элементов матрицы описания исходного изображения или его фрагмента Ny*Nx. (Информация на входе нейросети) (Что хотим получить на выходе) 5

Обобщение методики на набор примеров ПРОЦЕДУРА ОБУЧЕНИЯ W = (S T S + E) –1 S T F Пример_1 : S 1 F 1 Пример_2 : S 2 F 2 S = S1S1 S2S2 F = F1F1 F2F2 ПРОЦЕДУРА ДООБУЧЕНИЯ( - позволяет существенно улучшить качество функционирования детектора) Введем : Se k = S k T S k - матрица предыдущего опыта с k примерами Fek = Sk T F k – вектор опыта с k примерами W k+1 = (Se k + S k+1 T S k+1 + E) –1 * (Fe k +S k+1 T F k+1 ) W 1 = (S 1 T S 1 + E) –1 * S 1 T F 1 W 2 = (S 1 T S 1 + S 2 T S 2 + E) –1 * (S 1 T F 1 +S 2 T F 2 ) Обучение по одному примеру Обучение по двум примерам СЛУЧАЙ ДВУХ ПРИМЕРОВ 6

Оценка качества фильтрации с помощью нормы L1PP Норма представляет собой средний уровень разницы, приведенный к количеству пиксель в изображении, что представляется естественным отобразить в обозначении этой нормы, являющейся сокращением L1 per pixel. Норма L1 для выбора пороговых значений Норма L1 для выбора пороговых значений 7

H51 – помехоустойчивый нейрофильтр краев (маска 5*5 / обучение по образцу S1/ширина края 1) Вес для 26 элемента H52 – помехоустойчивый нейродетектор краев (маска 5*5 / обучение по образцам S1и S2/ширина края 1) Вес для 26 элемента H52 – помехоустойчивый нейродетектор краев (маска 5*5 / обучение по образцам S1и S2/ширина края 1) Вес для 26 элемента Полученные весовые коэффициенты после обучения Полученные весовые коэффициенты после обучения Результаты тестирования однослойного нейрофильтра краев c использованием нейродетекторов H51 и H52 представлены на следующем слайде. H51 – обучение на прямоугольниках, H52 – дообучение H51 на кругах. Нижний детектор H52 – симметризован. При этом использовалась активационная функция для которой были назначены пороги Tmax=255 и Tmin= 30. 8

Детектирование краев чистого a) и зашумленного b) изображения однослойным нейродетектором H51 (инвертированное изображение) а) H51 + A (255/30)б) H51 + A (255/30) а) H52 + A (255/30)б) H52 + A (255/30) Детектирование краев чистого a) и зашумленного b) изображения однослойным нейродетектором H52 (инвертированное изображение) Пример работы синтезированных детекторов Детектирование краев чистого a) и зашумленного b) изображения однослойным нейродетектором H51 (инвертированное изображение) а) H51 + A (255/50)б) H51 + A (255/50) Рис. 1 – Чистое (а) и зашумленное (б) изображение 9

Разработка архитектуры нейроконтроллера. Обобщенная структурная схема Разработка архитектуры нейроконтроллера. Обобщенная структурная схема На рисунка буквами обозначены следующие компоненты: А – видеокамеры; Б – плата с ПЛИС; В – аналитическая часть на ПЛИС; Г – решающая часть на ПЛИС; Д – JTAG UART; Е – сеть Ethernet; Ж – персональный компьютер ( в качестве вычислительного ресурса и «учителя» нейроконтроллера). Сжатие кадра видеопотока для передачи по Ethernet на «вычислительный ресурс» 10

Форматы передачи информации Протокол ASKBus Формат кадра 1.Frametype (FT) – 1 байт ( данное поле определяет назначение кадра; 2.Serial number (SN) – 4 байтов (данное поле содержит серийный номер узла на стадии инициализации сети и соответственно серийный номер узла с которым идет обмен); 3.Status (S) – 1 байт (содержит статус выполнения команды); 4.Neuron Type (NT) – 1байт (данное поле определяет размерность нейроподобного помехоустойчивого детектора границ, которая может быть 3х3+1 или 5х5+1); 5.NumberNeuron (NN) – 1 байт (данное поле определяет количество нейроподобных помехоустойчивых детекторов границ, которые будут обрабатывать входной видеопоток); 6.NumberLayers (NL) – 2 байта (данное поле определяет количество слоев в нейроподобном помехоустойчивом детекторе границ); 7.Data (данное поле содержит весовые коэффициенты нейроподобного помехоустойчивого детектора границ и пороговые значения. Длина поля вычисляется по предварительно полученным полям NN и NT, их перемножением); 8.CheckSum (CS) – 4 байта (контрольная сумма кадра. Используется для проверки правильности принятого кадра и содержит сумму предыдущих байтов). 11

На параллельный сумматор ADD подаются значения с умножителей, а так же свободный весовой коэффициент Wсв. Поскольку в умножителях фирмы ALTERA предел перемножения – 4 пары значений, а необходимо выполнить 25 перемножений весовых коэффициентов со значениями пикселей входного видеопотока, организуется один дополнительный умножитель для перемножения одной пары значений. Структурная схема реализации аппаратной реализации нейрона 5х5+1 12

Преобразование весов для представления на аппаратном уровне Ниже приведем пример преобразования вещественных значений весовых коэффициентов в удобный вид для их использования в аппаратной реализации. Как видно результаты вполне идентичные. Для сокращения времени расчетов был написан скрипт в MATLAB, который производит необходимые вычисления и выводит результат в шестнадцатеричном виде. 13

Структура IP-Core (модуля) нейроподобного помехоустойчивого детектора границ Top-level Neuron-level Сдвиговые регистры Умножитель- сумматор Параллельный сумматор Входной видеопоток Выходной видеопоток IP-Core описывался на Verilog, умножитель, сдвиговый регистр, сумматор - сгенерировали при помощи MegaWizard и подключили в описываемое ядро. Интеграция на шину Avalon Управление пороговым значением и способом отображения (обычный или инверсный) 14

Демонстрация рабочего стенда 15 Оценка задействованных ресурсов интегральной схемы программируемой логики и быстродействия реализованного детектора границ Оценка задействованных ресурсов

Заключение Наиболее существенные результаты работы (научные, проектные): 1)Подтверждены эффективность применения нейронных сетей для задач обработки зашумленных изображений; 2)Проведена экспериментальная проверка методики синтеза помехоустойчивых детекторов границ; 3)Разработан арифметический блок для ПЛИС фирмы Altera Corp., осуществляющий детектирование границ в видеоизображении в реальном масштабе времени; 4)Создан научно-практический задел по направлению разработок систем управления реального времени встраиваемого класса, использующих видеоинформацию; Основные практические результаты работы: 1) В работе был выполнен полный цикл создания нейроподобного помехоустойчивого детектора границ от синтеза до создания действующего макета, способного обрабатывать 25 кадров в реальном масштабе времени; 2) Предложена и реализована архитектура нейроконтроллера, использующего видеоинформацию для принятия решений, частью которого является синтезированный помехоустойчивый детектор границ; 3) Выбран и апробирован протокол обмена информацией между «вычислительным ресурсом» («учителем») и собственно нейроконтроллером. 16