Лекция 9 по дисциплине «Искусственный интеллект и нейросетевое управление» тема: «Нейросетевое управление» Мамонова Татьяна Егоровна гр. 8201

Термин «нейроуправление», впервые был использован одним из авторов метода обратного распространения ошибки Полом Дж. Вербосом в 1976 году. Нейроуправление (англ. Neurocontrol) – частный случай интеллектуального управления, использующий искусственные нейронные сети для решения задач управления динамическими объектами. 1

Нейроуправление находится на стыке дисциплин: искусственный интеллект, нейрофизиология, теория автоматического управления, робототехника. 2

Применение нейроуправления Известны многочисленные примеры практического применения нейронных сетей для решения задач управление. самолетом, вертолетом, автомобилем-роботом, скоростью вращения вала двигателя, гибридным двигателем автомобиля, электропечью, турбогенератором, сварочным аппаратом, пневмоцилиндром, системы управления вооружением легкобронированных машин, моделью перевернутого маятника. 3

Методы нейроуправления По способу использования нейронных сетей методы нейроуправления делятся на: прямые методы, непрямые методы. В прямых методах нейронная сеть обучается непосредственно генерировать управляющие воздействия на объект. В непрямых методах нейронная сеть обучается выполнять вспомогательные функции: идентификация объект управления, подавление шума, оперативная настройка коэффициентов ПИД-контроллера. 4

На такте k нейроконтроллер получает на вход устав очное значение r(k+1) и оценку текущего состояния объекта S(k) и генерирует управляющее воздействие u(k), переводя объект управления в новое положение y(k+1). Рис. 1. Схема прямого нейроуправления с обратной связью 5

В зависимости от числа нейросетей, составляющих нейроконтроллер, системы нейроуправления делятся на: одномодульные, многомодульные. Системы нейроуправления, которые применяются совместно с традиционными регуляторами, называются гибридными. 6

В задачах нейроуправления для представления объекта управления используют модель черного ящика, в котором наблюдаемыми являются текущие значения входа и выхода. Состояние объекта считается недоступным для внешнего наблюдения, хотя размерность вектора состояний обычно считается фиксированной. Динамику поведения объекта управления можно представить в дискретном виде: где – состояние объекта управления порядка N на такте k ; – значение P -мерного вектора управления на такте k, – значение V -мерного выхода объекта управления на такте (k+1). 7

Подражающее нейроуправление а) б) Рис 2. Схема подражающего нейроуправления: a)режим обучения нейронной сети; б) режим управления объектом 8

Подражающее нейроуправление (Neurocontrol learning based on mimic, Controller Modeling, Supervised Learning Using an Existing Controller) охватывает системы нейроуправления, в которых нейроконтроллер обучается на примерах динамики обычного контроллера по обратной связи, построенного, например, на основе обычной ПИД-схемы управления. После обучения нейронная сеть в точности воспроизводит функции исходного контроллера. 9

В качестве примеров динамики контроллера может быть использована запись поведения человека-оператора. Обычный контроллер по обратной связи (или человек-оператор) управляет объектом управления в штатном режиме. Значения величин на входе и выходе контролера протоколируются, и на основе протокола формируется обучающая выборка для нейронной сети, содержащая М пар значений входа P i и ожидаемых реакций N i нейросети: 10

После обучения с помощью, например, метода обратного распространения ошибки, нейронная сеть подключается вместо исходного контроллера. Полученный нейроконтроллер может заменить человека в управлении устройством, а также быть более выгодным экономически, чем исходный контроллер. 11

Обобщенное инверсное нейроуправление Рис. 3. Схема обобщенного инверсного нейроуправления: a)режим обучения инверсного нейроэмулятора; б) режим управления объектом а) б) 1212

В схеме обобщенного инверсного нейроуправления (Generalized Inverse Neurocontrol, Direct Inverse Neurocontrol, Adaptive Inverse Control) в качестве контроллера используется нейронная модель инверсной динамики объекта управления, называемая инверсный нейроэмулятор. Инверсный нейроэмулятор представляет собой нейронную сеть, обученную в режиме офф-лайн (англ. offline, от off line – не на линии) параллельное измерение, находящееся вне интернетов) имитировать обратную динамику объекта управления на основе записанных траекторий поведения динамического объекта. Для получения таких траекторий, на объект управления в качестве управляющего сигнала подают некоторый случайный процесс. 13

Значения управляющих сигналов и ответных реакций объекта протоколируют и на этой основе формируют обучающую выборку В ходе обучения, нейронная сеть должна уловить и запомнить зависимость значений управляющего сигнала u(k-1) от последующего значения реакции объекта управления y(k), находящегося перед этим в состоянии S(k-1). 14

При управлении объектом, инверсный нейроэмулятор подключается как контроллер, получая при этом на вход x(k) значения уставки r(k+1) и состояния объекта управления S(k), поступающего по каналу обратной связи: Предполагается, что сформированная при обучении инверсная модель объекта управления является адекватной, следовательно сигнал управления, выдаваемый нейронной сетью, обеспечит переход объекта в положение, заданное уставкой. 15

Специализированное инверсное нейроуправление Специализированное инверсное нейроуправление (Specialised Inverse Neurocontrol) использует методику обучения нейроконтроллера в режиме он-лайн, используя текущую ошибку отклонения положения объекта от уставки e(k)=r(k)-y(k). Схема подключения нейроконтроллера такая же, как в методе обобщенного инверсного нейроуправления. На вход сети подается вектор: 16

Нейронная сеть генерирует управляющий вектор u(k), который переводит объект управления в положение y(k+1). Далее вычисляется текущая ошибка работы нейроконтроллера: Вычисляется градиент изменения весов: Затем производится коррекция весов нейроконтроллера по методу наискорейшего спуска или каким-либо другим градиентным методом. 17

Метод обратного пропуска ошибки через прямой нейроэмулятор Рис 4. Схема метода обратного пропуска ошибки через прямой нейроэмулятор : a)схема обучения прямого нейроэмулятора ; б) схема обучения нейроконтроллера а) б) 18

Метод обратного пропуска ошибки через прямой нейроэмулятор (Backpropagation Through Time, Model Reference Adaptive Control, Internal Model Control) основан на идее применения тандема из двух нейронных сетей, одна из которых выполняет функцию контроллера, а вторая – модели объекта управления, которая носит название прямой нейроэмулятор. Прямой нейроэмулятор служит для вычисления градиента ошибки нейроконтроллера в процессе его обучения и далее не используется. Можно сказать, что нейроконтроллер и нейроэмулятор представляют собой единую нейросеть, при этом, при обучении нейроконтроллера веса прямого нейроэмулятора «замораживаются». 19

Прямой нейроэмулятор обучается первым. Для этого, на вход объекта управления подается случайный управляющий сигнал u, изменяющий положение объекта управления y, и формируется обучающая выборка, где Обучение прямого нейроэмулятора выполняется в режиме офф-лайн. Прямой нейроэмулятор считается обученным, если при одинаковых значениях на входах нейроэмулятора и реального объекта, отличие между значениями их выходов становится незначительным. После завершения обучения прямого нейроэмулятора, проводится обучение нейроконтроллера. 20

Обучение нейроконтроллера выполняется в режиме он-лайн по такой же схеме, как и в случае специализированного инверсного нейроуправления. Сначала (на такте k ) на вход нейроконтроллера поступает желаемое положение объекта управления для следующего такта r(k+1). Нейроконтроллер генерирует сигнал управления u(k), который поступает на входы объекта управления и нейроэмулятора. В результате, управляемый объект переходит в положение y(k+1), а нейроэмулятор генерирует реакцию 2121

Далее вычисляется ошибка управления: и пропускается в обратном направлении по правилу обратного распространения. Весовые коэффициенты связей нейроэмулятора при этом не корректируются. Механизм обратного прохождения ошибки через прямой нейроэмулятор реализует локальную инверсную модель в текущей точке пространства состояний объекта управления. 2

Пройдя через нейроэмулятор, ошибка далее распространяется через нейроконтроллер, но теперь ее прохождение сопровождается коррекцией весовых коэффициентов нейроконтроллера. Прямой нейроэмулятор при этом выполняет функции дополнительных слоев нейронной сети нейроконтроллера, в которых веса связей не корректируются. 2323

Спасибо за внимание