Павлов А.В. Инт.Инф.Сист. Кафедра фотоники и оптоинформатики Санкт-Петербургский государственный университет информационных технологий, механики и оптики А.В.Павлов Интеллектуальные информационные системы Лекция 8 Теория адаптивного резонанса (Концепция ART) Санкт-Петербург, 2007

Павлов А.В. Инт.Инф.Сист. Проблематика стабильности-пластичности памяти Дилемма стабильности-пластичности памяти Общая идея адаптивного резонанса Наличие внутреннего «детектора новизны» Наличие внутреннего «детектора новизны» Введение «шаблона критических черт» Введение «шаблона критических черт» Введение «ориентирующей системы» Введение «ориентирующей системы» Правило 2/3 (два из трех) Правило 2/3 (два из трех) Встречное ожидание Встречное ожидание

Павлов А.В. Инт.Инф.Сист. Принципиальная архитектура ART1 состоит из двух нейронных слоев – сравнения С и распознавания R, соединенных матрицами памяти B и T, двух приемников G1 и G2 и блока сброса. Рис. принципиальная архитектура ART1 G1G2 R T B сброс С Х С R P

Павлов А.В. Инт.Инф.Сист. T ji Принципиальная архитектура ART1 Слой сравнения G1 сброс Х С B ij Слой распознавания + + Р Поступление входного вектора Х на слой сравнения С Управляющее воздействие блока G1 Формирование вектора С Работа слоя распознавания Модификация вектора С вектором R, поступившим из распознающего слоя G2

Павлов А.В. Инт.Инф.Сист. Принципиальная архитектура ART1 Слой распознавания G1 T ji B ij сброс С R осуществляет классификацию входных векторов. Р Поступление в слой распознавания вектора весов В j Классификация входного вектора посредством реализации идеологии WTA, латеральное торможение G1=0 Формирование вектора R, обнуление G1 Формирование вектора встреч- ного ожидания Р Сброс сигнала нейрона победителя если вектор С не похож на Х G2

Павлов А.В. Инт.Инф.Сист. Принципиальная архитектура ART1 Приемники G1 и G2 G1. Выходной сигнал G1 равен 1, если хотя бы одна компонента двоичного входного вектора X равна единице; однако если хотя бы одна компонента вектора R равна единице, G1 устанавливается в нуль. G2. Выход G2, равен единице, если входной вектор X имеет хотя бы одну единичную компоненту. Более точно, G2 является логическим ИЛИ от компонент вектора X. Модуль сброса Вычисляет сходство между векторами C и X как отношение количества единиц в C к их количеству в X. Если это отношение ниже установленного порога, то вырабатывается сигнал сброса возбужденного нейрона в слое распознавания и сеть продолжает поиск среди ранее запомненных образов.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети 1. Инициализация сети 2. Распознавание 3. Сравнение 4. Поиск 5. Обучение

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Инициализация сети Установление весов матриц В и Т для корректного функциони- рования АРТ: для всех i, j, где m – размерность входного вектора, L – константа, обычно L=2. Веса T ji все инициализируются в единичные значения для всех i,j. ρ - уровень сходства, устанавливается в диапазоне от 0 до 1 ( выбирается на основе требований решаемой задачи). Большие величины ρ ведут к высокой «разборчивости» сети, низкие – в слабой. В процессе функционирования величина ρ должна адаптивно изменяться.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Распознавание G1G2 T B сброс С Х С R G1=1G2=1 + +

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Распознавание где B j - весовой вектор, соответствующий нейрону j в слое распознавания, С – выходной вектор нейронов слоя сравнения (в этот момент С=Х), NET j – возбуждение нейрона j в слое распознавания. Нейрон с максимальным NET становится единственным победителем. Как обсуждалось ранее, распознавание реализуется вычислением свертки для каждого нейрона слоя распознавания, определяемой следующим выражением: G1 T ji B ij сброс С R + - G2

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Сравнение G1 T ji B ij сброс С R G1=0 P - Х классифицирован Нейрон-победитель формирует вектор R Поскольку вектор R теперь не нулевой, то G1 устанавливается в 0 Формирование вектора P Сравнение P и X - в соответствии с правилом «два из трёх» и Заключение о классификации или… Выработка сигнала сброса где D – количество единиц в векторе X, N – количество единиц в векторе С Торможение возбужденного нейрона-победителя G2

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Сравнение Блок сброса сравнивает вектор С и входной вектор Х, вырабатывая сигнал сброса, когда их сходство S ниже порога сходства. Вычисление этого сходства упрощается тем, что оба вектора являются двоичными. Следующая процедура проводит требуемое вычисление сходства: 1.Вычислить D – количество единиц в векторе Х; 2.Вычислить N – количество единиц в векторе С. 3.Вычислить сходство: S=N/D Например, примем, что: X = , D = 5, C = , N = 4, S= N/D = 4/8 = 0.8 S может меняться от 0 (наихудшее соответствие) до 1 (наилучшее). Заметим, что правило двух третей делает C логическим произведением входного вектора X и вектора P. Однако P равен T j - весовому вектору выигравшего соревнование нейрона. Таким образом, D может быть определено как количество единиц в логическом произведении векторов T j и X.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Поиск Торможение возбужденного на предыдущем этапе нейрона-победителя в слое распознавания ведет к: обнулению всех компонент вектора R, G1 устанавливается в «1» входной вектор X еще раз предъявляется в качестве C. Теперь только другой нейрон может стать победителем в слое распознавания, соответственно, и другое встречное ожидание P будет предъявлено слою сравнения. Если и на этот раз P не соответствует X, то и этот нейрон в слое распознавания будет заторможен.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Поиск Процесс поиска среди ранее запомненных образов будет продолжен до тех пор, пока не наступит один из двух исходов: Будет найден ранее запомненный образ, сходство которого с входным вектором X превышает порог, т. е. S>ρ. В этом случае процесс классификации остановится и сеть перейдет в режим дообучения для модификации матриц весов T j и B j, связанных с нейроном-победителем в слое распознавания. Среди запомненных образов не будет найдено ни одного, соответствующего входному. В этом случае свободный нейрон в слое распознавания, веса которого равны единице, будет назначен этому образу. В соответствии с правилом «2/3» вектор С будет идентичен входному вектору X, S=1 и условие S>ρ будет выполнено. Матрицы весов B j и T j будут настроены для соответствия новому входному образу.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение Обучение представляет собой процесс, в котором набор входных векторов подается последовательно на вход сети, а веса сети изменяются при этом таким образом, чтобы сходные векторы активизировали соответствующие им нейроны. Заметим, что это - неуправляемое обучение, здесь нет учителя и нет целевого вектора, определяющего требуемый ответ. Рассмотренный далее обучающий алгоритм используется как в случае успешного, так и в случае неуспешного поиска.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение В такой интерпретации «большие» вектора С производят меньшие величины весов b ij, чем «маленькие» вектора С. Это свойство самомасштабирования делает возможным разделение двух векторов в случае, когда один вектор является поднабором другого; т. е. когда набор единичных компонент одного вектора составляет подмножество единичных компонент другого. Пусть вектор весов B j (связанный с возбужденным нейроном j распозна- ющего слоя) равен нормализованной величине вектора C. Эти веса вычис- ляются следующим образом: с i – i-я компонента выходного вектора слоя сравнения; j – номер выигравшего нейрона в слое распознавания; b ij – вес связи, соединяющей нейрон i в слое сравнения с нейроном j в слое распознавания; L – константа > 1 (обычно 2). Сумма в знаменателе представляет собой количество единиц на выходе слоя сравнения, т.е.«размер» этого вектора.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение Если масштабирования нет, то предъявляя X2 увидим, что оба нейрона в слое распознавания будут иметь одинаковый уровень активации равный «1». Для понимания важности свойства самомасштабирования рассмотрим пример классификации ранее известных сети векторов Х1=10000 и Х2=11100.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение Х1=10000, Х2= А если L=3, то:

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение тогда, подавая на вход сети вектор Х1, получим возбуждение в слое распознавания «1» – для нейрона 1 и «3/5» - для нейрона 2 таким образом, нейрон 1 (правильный) станет победителем. Аналогично, предъявление вектора Х2 возбудит нейрон 1 до уровня «1», и нейрон 2 до уровня «9/5», тем самым снова правильно выбрав победителя.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Распознавание теперь п усть на вход поступает вектор X3 = Нейрон 2 побеждает, С примет значение , следовательно, S примет значение «1», и в силу выполнения критерия сходства поиск будет остановлен.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение Х1=10000, Х2= А если L=1.5, то:

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Распознавание теперь п усть снова на вход поступает вектор X3 = Нейрон 1 побеждает, С примет значение , следовательно, S примет значение «1», и в силу выполнения критерия сходства поиск будет остановлен. Т.е. варьируя параметр L мы можем изменять предпочтения сети.

Павлов А.В. Инт.Инф.Сист. Этапы работы сети Обучение Отметим, что для правильного функционирования сети необходима инициализация весов матрицы B малыми значениями, так как в случае инициализации большими значениями возможен вариант, когда ранее запомненный входной вектор будет активировать не «свой» нейрон, а новый – сеть будет лишена способности «вспоминать», бесконечно обучаясь и ничего не вспоминая из прошлого. Веса матрицы Т j, связанной с новым запомненным вектором, изменяются так, чтобы они стали равны соответствующим двоичным величинам вектора С: t ij = с i для всех i, где t ij - вес связи между нейроном-побудителем j в слое распознавания и нейроном i в слое сравнения.

Павлов А.В. Инт.Инф.Сист. Заключение Теоремы ART 1. По достижении стабильного состояния обучения предъявление одного из обучающих векторов будет сразу приводить к правильной классификации без фазы поиска, на основе прямого доступа. 2. Процесс поиска устойчив. 3. Процесс обучения устойчив. Обучение весов нейрона- победителя не приведет в дальнейшем к переключению на другой нейрон. 4. Процесс обучения конечен. Обученное состояние для заданного набора образов будет достигнуто за конечное число итерации, при этом дальнейшее предъявление этих образов не вызовет циклических изменений значений весов.