1 Теория и применение искусственных нейронных сетей Тема 2 Т.Б. Шатовская Факультет компьютерных наук, Кафедра ПОЭВМ, ХНУРЭ ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Основные парадигмы искусственных нейронных сетей, обучающихся с учителем"

2 ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Архитектура и алгоритмы обучения искусственных нейронных сетей Цель лекции – изучение архитектур и алгоритмов обучения вероятностной и обобщенно-регрессионной НС. Содержание: Вероятностная нейронная сеть Алгоритм обучения и работы сети РБФ Обобщенно-регрессионная нейронная сеть и ее алгоритм обучения Вероятностная нейронная сеть и сеть РБФ Лекция 2

3 ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Вероятностная нейронная сеть Вероятностная НС (Probability neural network)

4 Постановка задачи классификации в терминах ВНС Задан входной вектор x=(x 1, x 2,…, x N ) T. Имеется K классов, характеризуемых функциями распределения f 1 (x), f 2 (x),…,f k (x). Пусть p 1, p 2,…,p k – априорные вероятности принадлежности вектора х соответствующему классу. Задают некоторую функцию (критерий) классификации d(x)=c i (i=1,…,k), характеризующую правильность отнесения входного вектора x к одному из заданных классов c i. Задают функции потерь L 1,L 2,…,L k, характеризующие ошибочное отнесение предъявленного вектора к одному из классов. При правильной классификации L=0. Вероятностная нейронная сеть ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) ,

5 Для входного слоя используется аккредитация для нормализации значений по формуле где x – входное значение из выборки; x – значение, которое поступает на вход НС; x min, x max – минимальное и максимальное значения данного параметра в обучающей выборке. - функция активации радиального слоя Функция активации выходного слоя ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Функционирование сети PNN Вероятностная нейронная сеть

6 В режиме классификации на вход сети подается вектор х и производится активация нейронов радиального слоя. При этом вычисляется взвешенная сумма: S= i=1 Nk exp [( x T w ki -1) / 2 ] > i=1 Nj exp [( x T w kj -1) / 2 ]. Результат: Номер нейрона с максимальным значением S – номер класса ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Вероятностная нейронная сеть В режиме обучения устанавливаются и запоминаются элементы матрицы весов W. Так, если x 1 C i, то по окончании обучения имеем W 1 =x 1. После этого устанавливается связь между 1-м нейроном радиального слоя и j-м нейроном выходного слоя. Функционирование сети PNN

7 Сеть радиальных базисных функций ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Сеть радиальных базисных функций (Radial Basis Function Network )

8 Информация об образах передается с входного слоя на скрытый, являющийся шаблонным и содержащим р нейронов. Каждый нейрон скрытого слоя, получая полную информацию о входных сигналах Х, вычисляет функцию f i (x)=f((x-c i ) T R -1 (x-c i )), i=1,…,p, где x – вектор входных сигналов, c i – вектор центров, R – весовая матрица (обратная ковариационная). В скрытом слое анализируется расстояние (x-c i ) T R -1 (x-c i ) между входным вектором и центром, представленным в виде вектора во входном пространстве. Сеть радиальных базисных функций ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Функционирование сети РБФ

9 Сеть радиальных базисных функций ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Некоторые виды функций активации скрытого слоя РБФ Гауссова функция Мульти- квадратичная функция Функция Коши

10 Выходное значение сети y j определяется как взвешенная сумма : где y j (x) – j-й выход; Х – входной вектор; w ij – вес от i-го радиального нейрона к j-му выходному нейрону. Сеть радиальных базисных функций ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Алгоритм работы РБФ Величина сигнала j-го нейрона выходного слоя y j зависит от того, насколько близок предъявляемый входной сигнал х запомненному этим нейроном центру c j

11 Алгоритм обучения сети РБФ Сеть радиальных базисных функций ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , 1.Задаются центры и отклонения, а вычисляются только веса выходного слоя. 2.Определяются путем самообучения центры и отклонения, а для коррекции весов выходного слоя используется обучение с учителем. 3.Определяются все параметры сети с помощью обучения с учителем. Определяются центры c j Выбираются параметры i Вычисляется матрица весов W

12 Выбор параметров сети РБФ На практике параметр отклонения выбирается так: где d=max (c i - c k ) – максимальное расстояние между выбранными центрами; р – количество нейронов скрытого слоя. Выходные сигналы сети нормализуют по формуле: Сеть радиальных базисных функций ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) ,

Обобщенно-регрессионная НС (General Regression Neural Network) Обобщенно-регрессионная сеть ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) ,

14 ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Обобщенно-регрессионная сеть

15 Обобщенно-регрессионная НС ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Обобщенно-регрессионная сеть

16 ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Для НС, обучающихся с учителем, необходимо иметь: данные, имеющие известную классификацию; данные, в объеме, достаточном для представления всех аспектов решаемой проблемы; данные в объеме, достаточном для проведения тестирования. 2.Полная зависимость от функции активации в нейронах. 3.Количество выходных нейронов определяется количеством классов. 4.Необходимость нормировки входной информации. Выводы Обобщенно-регрессионная сеть

17 ХНУРЭ, факультет КН, кафедра ПОЭВМ, тел. (0572) , Архитектура и алгоритмы обучения искусственных нейронных сетей Інтелектуальний аналіз даних/ Лєсна Н.С., Рєпка В.Б., Шатовська Т.Б. Харків: ХНУРЕ, с. 2.Уоссерман Л.И. Нейронные сети, методы их обучения. СПб.: СЛП, А. Горбань, Д. Россиев Нейронные сети на персональном компьютере. – Новосибирск: Наука, 1996 – 276 c. 4.А.Н.Горбань Обучение нейронных сетей, М.: СППараГраф, А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кардин и др. Нейроинформатика, Отв. Ред. Новиков Е.А., РАН, Сиб. Отд., Институт выч. Моделирования – Новосибирск: Наука, Литература