1 Построение автономных адаптивных управляющих систем на основе нечеткой логики Караваев М.В., Институт системного программирования РАН

2/38 Основные задачи Самообучение, используя только собственный опыт взаимодействия с внешней средой Адаптация к изменяющимся свойствам внешней среды Управление объектом с целью нахождения максимума априорно заложенной целевой функции (аппарат эмоций)

3/38 Методы и проблемы построения адаптивных систем управления

4/38 Технологии построения систем управления ТАР (позднее ТАУ) Автоматы (конечные, вероятностные) Нечеткие контроллеры Нейро-контроллеры Подходы, основанные на концептуальных моделях нервных систем (П.К. Анохин, J.A.Meyer, А.А.Жданов)

5/38 Технологии построения систем управления +–––+ Нечеткие контроллеры ?+++– Концептуальные модели нервных систем +–––+ Нейро- контроллеры –++++Автоматы +–––+ТАУ Простота взаимодей- ствия с реальным миром Простота организации переобучения Возможность работы без априорного задания модели ОУ Активное поведени е Проработан - ность теории Подход

6/38 Пример работы традиционного нечеткого контроллера 1. Если вода горячая и давление слабое, то повернуть синий вентиль вправо; 2. Если вода горячая и давление сильное, то повернуть красный вентиль влево; 3. Если вода теплая, то не вращать вентили; 4. Если вода холодная и давление слабое, то повернуть красный вентиль вправо; 5. Если вода холодная и давление сильное, то повернуть синий вентиль влево; 1. Повернуть синий вентиль вправо: min(0,00; 0,35) = 0,00; 2. Повернуть красный вентиль влево: min(0,00; 0,78) = 0,00; 3. Не вращать вентили: 0,65 = 0,65; 4. Повернуть красный вентиль вправо: min(0,10; 0,35) = 0,10; 5. Повернуть синий вентиль влево: min(0,10; 0,00) = 0,00. Центр масс фаззификация композиция и дефаззификация набор правил управления вычисление посылок правил

7/38 Метод Автономного Адаптивного Управления Разбивает задачу управления на подзадачи: ФРО, БЗ, ПР и др. Две целевые функции: выживание и накопление знаний Активное поведение, источником которого является аппарат эмоций Адаптивность и автономность Имеет ограничения вследствие дискретности представления информации в системе

8/38 Модификация схемы системы ААУ Базовая схема Модифицированная схема

9/38 Основные задачи, решаемые разработанной системой ААУ на основе НЛ Генерация нечетких функций принадлежности и правил управления (идентификация нечеткой модели) Адаптация БЗ к изменяющимся свойствам среды и ОУ Распознавание образов (фаззификация) и принятие решений на основании правил в БЗ (включая дефаззификацию)

10/38 Существующие методы идентификации нечеткой модели Нечеткие нейронные сети Генетические алгоритмы Методы, основанные на кластерном и статистическом анализе. Методы кластеризации: C-means; Fuzzy C-means; mountain method; subtractive method (метод вычетов)

11/38 Кодирование информации в нечетких системах ААУ 1. Входные и выходные функции принадлежности (ФРО и подсистема принятия решений). Трапецеидального вида, задаются x- координатами вершин трапеции

12/38 Представление знаний в нечетких системах ААУ 2. Правила вида R h : O i & A j O k / E h в БЗ, где – задает входной образ (набор входных множеств) правила; – набор управляющих воздействий; – образ результата (набор входных множеств), который должен распознаваться при выполнении данного правила; E h – оценка результирующего образа.

13/38 Алгоритм генерации нечетких правил 1. Накопление статистики в виде набора векторов, координаты которых соответствуют значениям входных и выходных переменных системы 2. Выполнение процедуры кластеризации 3. Генерация входных и выходных функций принадлежности 4. Объединение близких функций принадлежности и удаление повторяющихся правил 5. Склеивание правил по ИЛИ (при отсутствии адаптации)

14/38 Генерация функций принадлежности где c i – координата i-ой точки кластера, а N – количество точек в кластере.

15/38 Вычисление степеней адекватности правил Q – степень адекватности [0,1] – результирующая принадлежность входных, выходных образов и действия множествам, описываемым правилом [0,1] q – скорость переобучения [0,1]

16/38 Алгоритм принятия управляющих решений 1. Вычисление посылок всех нечетких правил 2. Корректировка посылок по значениям степеней адекватности нечетких правил 3. Корректировка посылок по оценкам результирующих образов 4. Вычисление суммы посылок и сравнение ее с порогом 5. Вычисление результирующего воздействия (дефаззификация): центр масс или средневзвешенное, или принятие случайного решения

17/38 Корректировка посылок правил по оценкам результирующих образов E min [0,1] – константа, задающая нижний порог, отсекающий правила с низкими оценками.

18/38 Эксперименты с прикладной системой ААУ на основе нечеткой логики при управлении различными объектами

19/38 Общая схема инструментальной программной системы 4GN

20/38 Прикладная система управления перевернутым маятником Система 4GN в процессе обучения системы управления маятником

21/38 Результаты экспериментов с перевернутым маятником (фиксированное начальное положение) 8º12º Допустимое отклонение маятника Количество опытов Среднее количество тактов работы УС Стандартное отклонение (SD) Минимальное количество попыток Максимальное количество попыток Среднее количество попыток ААУ IgelSANEGENITORСистема управления

22/38 Результаты экспериментов с перевернутым маятником (произвольное начальное положение) 12º Допустимое отклонение маятника 2050 Количество опытов Среднее количество тактов работы УС Стандартное отклонение (SD) Минимальное количество попыток Максимальное количество попыток Среднее количество попыток ААУIgelSANEGENITORСистема управления

23/38 Прикладная система стабилизации углового движения АКА Система 4GN в процессе отладки системы стабилизации углового движения автоматического космического аппарата

24/38 Результаты экспериментов с системой стабилизации углового движения космического аппарата 5,9 5,6Качество управления +–– – Случайные возмущения 0,580,550,060,17Средняя степень наполнения БЗ Стандартное отклонение (SD) Минимальное количество тактов Максимальное количество тактов Среднее количество тактов до выхода на заданное качество управления Fuzzy Pilot 2 Fuzzy Pilot 1 Pilot 2Pilot 1Система управления

25/38 Переобучение (адаптация) нечеткой системы стабилизации углового движения космического аппарата

26/38 Прикладная система управления мобильным роботом Pioneer P3-DX Модель робота Pioneer P3-DX в среде моделирования Player/Stage

27/38 Результаты экспериментов с мобильным роботом (рост оценки качества управления)

28/38 Результаты экспериментов Нечеткая система ААУ показала скорость обучения при балансировке перевернутым маятником на 9%- 115% более высокую по сравнению с системами, построенными на основе обучения с подкреплением, при равных критериях качества. Нечеткая система ААУ продемонстрировала существенное сокращение (примерно в 8 раз) времени обучения при стабилизации углового движения космического аппарата, по сравнению с существующими системами ААУ. Продемонстрирована возможность применения разработанной системы для эффективного управления мобильным роботом Pioneer P3-DX.

29/38 Основные результаты работы 1. Разработано обобщенное описание системы ААУ на основе теории нечетких множеств. 2. Разработаны методы синтеза управляющих систем ААУ на основе теории нечетких множеств, в том числе алгоритмы автоматической генерации входных и выходных функций принадлежности, нечетких правил управления, вычисления оценок, принятия решений и адаптации БЗ. 3. На основе разработанных методов создана модель прикладной системы управления в виде модуля для системы Designer4GN на языке C#, которая была испытана на задачах балансирования перевернутым маятником, стабилизации углового движения космического аппарата и управления мобильным роботом. 4. Проведены несколько серий компьютерных экспериментов с разработанной системой управления и моделями объектов управления, в ходе которых было показано преимущество нечеткой системы ААУ над аналогичными системами управления в скорости обучения.

30/38 Список публикаций по теме диссертации 1. Жданов А. А., Караваев М. В. Применение нечеткой логики в имитационной системе автономного адаптивного управления. Труды Института Системного Программирования Российской Академии Наук: Том 3. – М.: ИСП РАН, 2002, с Караваев М.В., Жданов А.А. Применение нечеткой логики в системах автономного адаптивного управления. Сборник материалов всероссийской научно-технической конференции "Наука – производство – технологии – экология": Том 1. Киров: Изд-во ВятГУ, 2002, с Alexander Zhdanov, Maxim Karavaev and Helen Maklakova, Claire Medigue, Michel Sorine. Simulation of control mechanisms in the cardio-vascular system. French-Russian A.M. Liapunov Institute for Applied Mathematics and Computer Science. Transactions. Vol. 4. Pp Moscow Караваев М.В. Правила формирования связей между нейроноподобными элементами в системах автономного адаптивного управления. С Сборник научных трудов Всероссийской научно-технической конференции Нейроинформатика-2004: Часть 2. М.: МИФИ. С Жданов А.А., Устюжанин А.Е., Караваев М.В. Нейросетевой самообучаемый метод адаптивного управления динамическими объектами. Материалы XXIX Академических чтений по космонавтике, 2005 год. М.: с А.А. Жданов, А.Е. Устюжанин, М.В. Караваев, Д.Б. Липкевич. 4GN – инструмент для разработки нейроноподобных адаптивных систем управления на основе метода автономного адаптивного управления. Сборник научных трудов Всероссийской научно-технической конференции Нейроинформатика-2005: Часть 1. М.: МИФИ. С Жданов А.А., Караваев М.В. Разработка адаптивной системы управления мобильным роботом с применением. Всероссийская научно-техническая конференция "Наука – производство – технологии – экология". Сборник материалов: Том 1. Киров: Изд-во ВятГУ, 2005, с Караваев М. В. Применение нечеткой логики в имитационной системе автономного адаптивного управления. Труды Института Системного Программирования Российской Академии Наук: Том 7 (под ред. А.А.Жданова). – М.: ИСП РАН, 2004, с М.В. Караваев. Применение нечеткой логики в системах автономного адаптивного управления. Труды Международных научно-технических конференций «Интеллектуальные системы» (AIS'05) и «Интеллектуальные САПР» (CAD-2005). Научное издание в 4-х томах. - М.: ФИЗМАТЛИТ, М.В. Караваев, А.Е. Устюжанин, А.А. Жданов. 4GN – программный инструмент для проектирования интеллектуальных систем управления. Труды Международных научно-технических конференций «Интеллектуальные системы» (AIS'05) и «Интеллектуальные САПР» (CAD-2005). Научное издание в 4-х томах. - М.: ФИЗМАТЛИТ, 2005.

31 Спасибо за внимание!

32/38 Список источников 1. Заде Л. Понятие лингвистической переменной и его применение к принятию приближённых решений. – М.: Мир, Жданов А.А. Метод автономного адаптивного управления // Известия Академии Наук. Теория и системы управления, 1999, 5, с Moriarty, D. E. and R. Miikulainen. Efficient reinforcement learning through symbiotic evolution. Machine Learning 22, 11–32, Christian Igel. Neuroevolution for Reinforcement Learning Using Evolution Strategies. In R. Sarker, R. Reynolds, H. Abbass, K. C. Tan, B. McKay, D. Essam, and T. Gedeon, editors, Congress on Evolutionary Computation 2003 (CEC 2003), Volume 4, pp , IEEE Press, 2003.