10.2 Основные парадигмы нейронных сетей обучения без учителя 10.2.1 Самоорганизующиеся карты признаков Кохонена (Self-organized map) Кохонена... Выходные. - презентация

1 10.2 Основные парадигмы нейронных сетей обучения без учителя Самоорганизующиеся карты признаков Кохонена (Self-organized map) Кохонена... Выходные нейроны карты признаков Входной шар X n X 2 X 1 Функция активации – гиперболический тангенс

2 Зоны топологического соседства нейронов j NE j (0) NE j (t 1 ) NE j (t 2 ) NE j (t) множество нейронов, которые являются соседями нейрона j в момент времени t. Окрестность - это несколько нейронов, окружающих выигравший нейрон.

3 Алгоритм Кохонена формирования карт признаков:, Шаг 1. Инициализация сети: Весовым коэффициентам сети присваиваются малые случайные значения. Общее число синаптических весов - M*N Начальная зона соседства показана на рис. Шаг 2. Предъявление сети нового входного сигнала. Шаг 3. Вычисление расстояния до всех нейронов сети: Расстояния d j от входного сигнала до каждого нейрона j определяется по формуле: Где x i - i-ый элемент входного сигнала в момент времени t, w ij (t) - вес связи от i-го элемента входного сигнала к нейрону j в момент времени t. Шаг 4. Выбор нейрона с наименьшим расстоянием: Выбирается нейрон j*, для которого расстояние d j наименьшее. Шаг 5. Настройка весов нейрона j* и его соседей:

4 Производится подстройка весов для нейрона j* и всех нейронов из его зоны соседства NE. Новые значения весов: w ij (t+1) = w ij (t) + r (t) (x i (t) - w ij (t)), где r(t) - шаг обучения, уменьшающийся с течением времени (положительное число, меньше единицы). Шаг 6. Возвращение к шагу 2. Предварительная обработка входных векторов Нормализация

5 Инициализация НС - метод выпуклой комбинации ( convex combination method ) Веса сети принимают равными где п – число входов, число компонент каждого весового вектора. Каждая компонента входа Х принимает значение

6 Сеть встречного распостранения (Counterpropogation ) Входной слой Слой Кохонена Слой Гроссберга

7 При обучении слоя Кохонена изменяем вес W только у нейрона с максимальным значением сигнала внутреннего возбуждения. Преобразование веса для канала с переданным сигналом X : W(n+1) = W (n) + [ X – W (n) ]. Обучение слоя Кохонена на основе – метода выпуклой комбинации При обучении слоя Гроссберга веса корректируются таким образом: V ij (n+1)=V ij (n ) + [ H j –V ij ( n ) ] Y i.

8 СЖАТИЕ ДАННЫХ S m1 S mn S 1n S 11 пиксель Метод – векторное квантование Множество векторов подизображений используется в качестве входа для обучения слоя Кохонена по методу аккредитации, когда лишь выход одного нейрона равен 1. Веса слоя Гроссберга обучаются выдавать бинарный код номера того нейрона Кохонена, выход которого равен 1. Например, если выходной сигнал нейрона 7 равен 1 (а все остальные равны 0), то слой Гроссберга будет обучаться выдавать

9 Входная звезда ( Instar ) Входная звезда фрагмент нейронной сети, которая состоит из одного нейрона, который имееет группу взвешеных входов.

10 Процесс обучения выражается: w t (t+1) = w t (t) + a [x t – w t (t) ], где w i вес входа x i ; x i i-й вход; a нормировочный коэффициент обучения. Алгоритм работы НС Выходная звезда Процесс обучения выражается : w t (t+1) = w t (t) + b [y t – w t (t) ], где b нормировочный коэффициент обучения

11