Динамические нейронные сети и их аттракторы Резник Александр Михайлович Институт проблем математических машин и систем НАН Украины отдел Нейротехнологий. - презентация

1 Динамические нейронные сети и их аттракторы Резник Александр Михайлович Институт проблем математических машин и систем НАН Украины отдел Нейротехнологий

2 Фрагмент нервной ткани коры мозга

3 Нервная клетка,

4 Перцептрон Розенблатта (1957г.) Проблема исключающее ИЛИ и ее решение 1 1 x2x2 x2x2 x1x1 x1x1 x2x2 x1x1 b y y0 y= sign (a 1 x 1 +a 2 x 2 -b)

5 Градиентный подход к обучению Обучающая выборка Средняя ошибка Градиент ошибки

6 Сеть Хопфилда b 1 ……b N y 1 …….y N Сеть Хопфилда Двустороняя ассоциативная память Коско

7 Уравнение энергии сети

8 Обратные связи и аттракторы нейронной сети Хопфилда Статический и динамический аттракторы сети из 4 нейронов Рекуррентные связи динамических нейронов

9 Рекуррентная нейронная сеть Обратные связи Слой эффекторов (выходы) Z(t) Входы (рецепторы) Слой скрытых нейронов Y(t) Y(t) : X(t) Z(t):

10 Рекурентный многослойный перцептрон (RMLP). Слой скрытых нейронов ττ τ τ τ Вход x(t) K K+1 порог b (1) порог b (2) Слой эфекторов K+L Выход y(t)

11 Нейроны рекуррентной сети -нелинейная активационная функция нейрона; -вес связи для j-входа нейрона l-го слоя -множество значений задержки свзи Условие устойчивого состояния - постсинаптический потенциал:

12 Динамический нейрон x j (t) -b f[s(t)-b] x N (t) C R настраиваемые параметры: - веса межнейронных связей - коэффициенты инерции

13 Обучение рекуррентной нейросети Обучающая после- довательность Функция ошибки Дельта- правило для прямых связей для обратных связей

14 Схема коррекции веса прямых (W ) и обратных (W ) связей W W W W W W W Вход (m) Вход(m-1) Вход (m-2) Выходы Состояние скрытых нейронов (m) Состояние скрытых нейронов (m-1) Состояние скрытых нейронов (m-2) Состояние скрытых нейронов (m-3) -

15 Принцип обратного распространения во времени

16 Слой эффекторов Слой рецепторов Скрытый слой Echo State Network H.Jaeger The echo state approach to analysing and training recurrent neural networks (2001)

17 Виртуальная нейросеть t X t Z t-1 Z t-2 …………………….. Z t-K W -1 W -2 W -K W0 W0

18 Уравнение состояния сети Нейронная сеть как динамическая система (X,Y,U) Траектория состояния Условие аттрактора Аттракторы динамической нейросети ____________________________________________________________

19 Открытая динамическая нейронная сеть Условие аттрактора: Набор динамических атракторов:

20 Псевдоинверсный алгоритм Свойства матрицы

21 Динамические аттракторы

22 Фрагмент нервной ткани коры мозга

23 Структура синаптической матрицы слоя нейронов входы ансамбля выходы ансамбля Хопфилдовский нейронный ансамбль