Человек и робот – диалог и кооперативное управление Ющенко Аркадий Семенович, д.т.н., проф. МГТУ им. Н.Э.Баумана, Научно-учебный Центр «Робототехника» Заведующий кафедрой «Робототехнические системы» 1

«Интелектуальный» автономный робот – это мобильное устройство для самостоятельного выполнения сложных операций в недетерминированных условиях под контролем человека-оператора 2 «Интеллектуальный» робот обладает собственной информационно-сенсорной системой, позволяющей анализировать ситуацию. Система знаний робота позволяет планировать действия и принимать решения в рамках задач, поставленных человеком и формировать запросы со стороны робота. Функуционирование робота происходит во взаимодействии с человеком. Форма взаимодействия определяет тип эргатической робототехнической системы (ЭРТС) «человек-робот»

ЭВОЛЮЦИЯ ВЗАИМООТНОШЕНИЙ ЧЕЛОВЕКА И РОБОТА Копирующее управление (master – slave) Полуавтоматическое управление Интерактивное управление е г.г е г.г. 3

Возможные области применения : Спасательные операции в экстремальных ситуациях (пожар, техногенные аварии и т.п.) Борьба с проявлениями терроризма, гражданское разминирование Мониторинг окружающей среды и объектов технической инфраструктуры Охрана помещений и территорий Медицина – диагностика, хирургия и реабилитация Работы в быту, сфера обслуживания 4

Автономный робот для выполнения манипуляционных операций на местности под контролем человека («Богомол» ГосНИИФТП) сенсоры манипулятор движитель Оператор управляет движением шести гусениц робота, имеющих автономные приводы, с помощью двух 3-компонентных джойстиков Пост оператора 5

Внутрицеховой мобильный робот для безлюдного производства Система отображения информации Пульт управления Оператор- диспетчер 6

Медицинский робот для проведения хирургических операций Манипуляторы Рабочий инструмент Сенсоры Пост управления Человек-оператор 7

Эволюция ЭРТС приводит к созданию диалоговой системы управления с использованием речи для постановки задач и формирования запросов от робота к оператору 8

Диалоговое управление «интеллектуальным» роботом Человек- оператор Речевая команда Интерпретатор Робот Планировщик диалога Сенсоры робота Речевая обратная связь Сенсорная обратная связь 9 По существу, это система кооперативного управления с двумя взаимодействующими исполнителями

Кооперативное управление - термин из теории многоагентных систем: - Это организация взаимодействия между агентами, необходимого для достижения общей цели при разделении между ними функций и обязанностей. В данном случае агент – человек является ведущим, а агент (агенты) – роботы – ведомыми. Робот – ассистент оператора. Характер кооперации – директивный. Цель ставится оператором, робот ставит подцели, приводящие к достижению главной цели. Оператор подтверждает, или корректирует решения робота. Робот обращается к оператору при наличии альтернативных решений, или при невозможности выполнить задачу Робот сообщает оператору о возможных ошибках в предлагаемых задачах и решениях и выполняет их только после подтверждения оператором. В современной теории многоагентных систем в качестве агентов рассматриваются роботы (артефакты). Дальнейшее развитие теории многоагентных систем предполагает совместное решение задач роботами и людьми. 10

Примером многоагентной системы, включающей людей и роботов может быть система противопожарного назначения 11

Двухуровневая архитектура пожарной робототехнической системы управления Оператор- координатор Стратегический уровень управления Тактический уровень управления 12

Интерпретаци я цели, организация диалога Обобщенная оценка ситуации База знаний: -внешний мир -возможности системы -элементарные операции - типовые алгоритмы управления - продукционные правила Планирование операций Интерпретация показаний датчиков; формирование образа ситуации по вычисляемым признакам Формирование команд управления Система управления исполнительными устройствами Исполнительные устройства Внешний мир Датчики внутренней информации Датчики внешней информации Человек-оператор Функциональная схема эргатической интеллектуальной робототехнической системы (ЭРИС) Уровень целеуказания Уровень планирования Исполнтельный уровень Master-operator Assistant- operator 13

Особенности организации диалогового управления ЭРИС Информация об окружающем мире заранее неизвестна и в процессе работы может быть получена с помощью бортовой информационно- сенсорной системы только приблизительно Восприятие внешнего мира роботом должно быть согласовано с естественным восприятием мира оператором Взаимодействие с оператором осуществляется на языке целеуказаний, близком к естественному Система знаний робота и способы принятия решений должны быть согласована с системой знаний и способами мышления человека Робот должен самостоятельно ориентироваться на местности и планировать свои действия в соответствии с задачей, поставленной оператором Система управления должна обладать адаптивными свойствами по отношению к изменениям характеристик окружающей среды 14

Задачи, рассматриваемые в теории эргатических робототехнических интеллектуальных систем (ЭРИС) Построение модели внешнего мира с использованием естественных отношений в пространстве и во времени Организация базы знаний об элементарных (рефлекторных) и когнитивных операциях с использованием системы продукционных правил, задаваемых человеком на основе собственного опыта Описание сложного целенаправленного поведения робота, включающего планирование поведения самим роботом (деятельность ЭРИС) в диалоге с оператором Формирование проблемно-ориентированного языка диалога человека и робота, близкого к естественному Обучение робота «с учителем» в тех случаях, когда человек не может сформулировать правила поведения робота. «Самообучение» ЭРИС в условиях неопределенности Организация системы распознавания речи и планирования диалога. Создание системы диалогового управления роботом Диалог с роботом на естественном языке и включение роботов в гуманитарный социум 15

Такая модель является интерпретацией внутренней модели внешнего мира человека-оператора, т.е. «отображением составляющих внешнего мира на совокупность нечетких психолингвистических шкал» (Аверкин А.Н., Тарасов В.Б., 1986) Модель внешнего мира ЭРИС является открытой и развивается в процессе когнитивной деятельности робота, включающей: Определение и уточнение целей операции в процессе диалога с оператором Обработку сенсорной информации и создание образа ситуации Формирование проблемно-ориентированной модели внешнего мира Планирование поведения робота в диалоге с оператором Обучение робота путем накопления и обработки знаний. Модель внешнего мира робота целесообразно строить с использованием естественных отношений пространства и времени (Поспелов Д.А.,1989) 16 Построение модели внешнего мира

Естественные пространственные отношения определяются путем экспериментального анализа восприятия этих отношений человеком Заметим, что эксперименты подтверждают правило Миллера 7±2, устанавливающие информационные ограничения восприятия человека Шкала расстояний, оцениваемая экспертами (Поспелов Д.А.,Литвинцева Л.В.,Кандрашина Е.Ю., 1989) Экспериментальные функции принадлежности ЛП «расстояние» 17

Лингвистическая переменная dj, j = 1,2,…,M - «дистанция между объектами а и б» j = 6- «очень очень далеко», j = 5- «очень далеко», j = 4- «далеко», j= 3- «недалеко- неблизко», j = 2 «близко», j = 1«очень близко», j = 0- «вплотную» (а1 dj а2) & (а1 di а3) & (j=i+1) - а2 дальше от а1, чем а3 от а1, (а1 dj а2) & (а1 di а3) & (j=i-1) - а2 ближе к а1, чем а3 (а1 dj а2) & (а1 di а3) & (j > i+1) - а2 значительно дальше от а1, чем а3 Лингвистическая переменная fi, i=1,2,…N – «направление от объекта а к объекту б»: f1 - впереди, f2- впереди слева, f3 - слева, f4 - сзади слева, f5 - сзади, f6- сзади справа, f7 - справа, f8 - впереди справа; Отношения, описывающие нечеткое взаимное положение объекта а2 относительно объекта а1 на плоскости (a1 f2a 2) – «а2 впереди слева», (a1 f8 a2) –«а2 – впереди и справа». (a1 d4 a2)&(a1 f7 a2) = (a1 d4 f7 a2) - «а2 далеко, и справа от а1» Аналогично могут быть описаны пространственные отношения и в трехмерном пространстве Нечеткие экстенсиальные пространственные отношения между объектами внешнего мира выражаются с помощью лингвистических переменных: 18

Базовые отношения: Унарные: R1- Иметь горизонтальное положение R2- Иметь вертикальное положение Бинарные: R3- соприкасаться, R6-быть на одной прямой, R9- иметь точку опоры, R4- быть внутри, R5- быть вне, R7-быть на одной плоскости, R8- быть в центре,,,… Производные отношения: R3- не соприкасаться, R10 – стоять на а2: (а1 R2) &(а1 R9 а2)=(а1 R10 а2) Составные отношения, описывающие нечеткое взаимное положение объекта а1 относительно объекта а3: (a1 R10 а2) &(a1 d4 f7 a3) – «а1 стоит на а2 далеко справа от а3» Временные отношения: быть одновременно, быть раньше, следовать за Каузальные отношения Псевдофизические логики Нечеткие интенсиальные пространственные отношения между объектами внешнего мира 19

(а1,а2 и а2,а3 – равноудалены) ( а1 dj а2) & (а1 di а3) & (j=i+1) -, (а1 dj а2) & (а1 di а3) & (j=i-1) (а1 dj а2) & (а1 di а3) & (j > i+1) Аналогично для случаев: Пример результата логического вывода: 20

Семиотическая форма описания: Ao – наблюдатель,R8 – быть на поверхности, d5 – быть далеко, f7 - быть справа Нечеткие пространственные отношения используются для формирования языка описания ситуаций Лингвистическая форма описания А1 стоит на поверхности S Далеко справа Контролируемый Интенсиальное Экстенсиальное объект отношение отношение 21 Ситуация эргатически наблюдаема, если оператор может по лингвистической информации, дополненной показаниями информационно-сенсорной системы составить адекватное представление о текущей ситуации.

Описание ситуации оператором с помощью нечетких пространственных отношений, «нечеткая карта местности» а6 а2 а5 а3 а4 а1 а7а7 1 1 Кирпичное здание Заводская труба Одинокая сосна Мобильный робот 2 «прямо, недалеко» «слева, вдали» «далеко слева» Задание «нечеткого» описания местности позволяет прокладывать маршрут робота по наблюдаемым реперам 22

Ситуационное управление мобильным роботом осуществляется по продукционным правилам в зависимости от текущей ситуации в рабочей зоне Если (а2 f1 a1)\/ (а2 f2 a1) \/ (а2 f3 a1) то «вперед» Если (а2 f1 a1) \/ (а2 f4 a1) то «вперед направо» Если (а3 f1 a1) \/ (а3 f2 a1) \/ (а3 f3 a1) то «вперед» Если (а3 f4 a1) \/ (а2 f5 a1) то «назад» Управление на ситуационном уровне может приводить к колебательным процессам и неустойчивости системы ввиду дискретности процесса. Необходимо дополнить управление на ситуационном уровне управлением на исполнительном уровне. 23

Управление мобильным роботом на исполнительном уровне Сигналы измерений и сигналы управления непрерывны, что позволяет обеспечить устойчивый процесс управления, приводящий к достижению цели 24

Если дистанция малая и цель впереди, то двигаться медленно, прямо Если дистанция малая и цель впереди справа,то двигаться медленно и немного поворачивать направо …………. Если дистанция большая и цель впереди, справа, то двигаться быстро и немного поворачивать направо Если дистанция большая и цель справа, то двигаться медленно и быстро поворачивать направо ……………………… Примеры нечетких правил движения робота, задаваемых на исполнительном уровне (вход – дистанция и ориентация, выход – линейная и угловая скорость). Дефаззификация проводится, например, методом Мамдани. Правила поведения робота формируются человеком исходя из собственного опыта 25

К вопросу устойчивости на исполнительном уровне Система теряет устойчивость за счет неудачного выбора функций принадлежности лингвистической переменной «ориентация» робот «ворота» Разработаны способы автоматической настройки функций принадлежности по заданным требованиям к процессу (А.Пегат. Нечеткое моделирование и управление) 26

Типовые (рефлекторные) движения мобильного робота на исполнительном уровне могут быть легко заданы системой правил-продукций с использованием лингвистических переменных дистанции и ориентации, например: Подойти к объекту (и остановиться) Двигаться параллельно (к стене, кромке тротуара,…) Проехать «в ворота» Объехать препятствие Преследовать движущийся объект и т.д.……………………………………….. Команда на выполнение движений задается оператором с использованием проблемно-ориентированного языка 27

В случае манипуляционных операций диапазон выполняемых типовых операций существенно расширяется, что позволяет ввести термин: «деятельность» манипуляционных роботов Под деятельностью роботов понимаются целенаправленные предметные действия робота во внешнем мире, выполняемые автономно с использованием текущей и априорной информации о внешнем мире Цель деятельности устанавливается человеком, однако цели отдельных действий могут планироваться роботом автономно исходя из поставленной задачи Деятельность – это активное взаимодействие агента с внешним миром, включая человека-оператора. Она включает когнитивную составляющую, т.е. когнитивные операции, направленные на получение информации. В том числе: А) действия, направленные на получение информации, необходимой для решения поставленных задач. Модель мира при этом доопределяется в процессе работы с помощью сенсорных устройств робота. Б) действия, направленную на интерпретацию сообщений оператора и получение необходимой информации путем диалога с оператором 28

или < предусловия Ситуационные: на объекте А не находится любой другой объект & требуемые для захвата объекта положение и ориентация схвата манипулятора являются допустимыми Технические: робот имеет захват, соответствующий типу объекта и его размерам & вес объекта не превышает грузоподъемности робота Объектные: объект является твердым телом и может выдержать без разрушения усилие развиваемое при захвате> Фрейм элементарной манипуляционной операции задается на построенной выше модели внешнего мира и определяет синтаксис команд целеуказания 29

Элементарные операции непосредственно выполняются роботом если выполнены предусловия. В противном случае формируется запрос оператору. Примеры элементарных операций: «вставить А в В», «установить А на С», «захватить А», «переместить А в положение В», … Сложная операция представляет собой цепь согласованных между собой элементарных операций: постусловия n-й операции являются предусловиями n+1-й операции Планирование операций – это создание цепи согласованных элементарных операций, приводящих к достижению цели S1 S2 Sn Планирование основано на методе разрешения противоречий (Магазов С.С.,2007). O1O2On-1 30

Механизм разрешения противоречий основан на сравнении наблюдаемой роботом ситуации и заданной оператором (или полученной в процессе логического вывода) Разрешение противоречий генерирует элементарные операции путем выполнения правил разрешения противоречий, содержащихся в базе знаний. Такой механизм аналогичен процессу принятия решения человеком Примеры: (1) Цель: объект a1 на поверхности S: (a1 R8 S). В действительности (по наблюдениям видео-системы)) объект a1 не находится на поверхности S : (a1 R8 S). Разрешение противоречия - Операция: Переместить a1 на S.. (2) Цель: Вал a1 внутри втулки C: (a1 R2 C). По факту: (a1 R2 C) Операция: Вставить a1 в C (3) Целевое положение мобильного робота R по отношению к наблюдателю O есть (R d1 f1 O). Фактическое положение: (R d2 f2 O). Операция: Переместить R в положение (R d1 f1 O). Такой способ задания операций может использоваться и для управления манипуляционным роботом, например: 31

32 Последовательность элементарных операций, приводящих к достижению цели образует граф, позволяющий определить наиболее короткую последовательность действий

Граф-план сложной операции 33

Проблемно-ориентированный язык управления ЕЯ - высказывания построены на части естественного языка, ограниченного предметной областью ЕЯ – высказывания используют нечеткую модель внешнего мира и имена операций Структура ЕЯ - высказывания Имя операцииИмя объекта Обстоятельства Описание внешнего мира, выполняемых в нем операций, правил согласования и правил разрешения противоречий образуют словарь и синтаксис проблемно-ориентированного языка взаимодействия человека с роботом 34

Структура команды оператора и её анализ в базе знаний ЭРИС 35 «Переместить объект А» Модель внешнего мира Запрос оператора Когнитивные действия оператор

Синтаксический разбор команды 36

Взаимодействие оператора с роботом на уровне планирования операций Человек- оператор Интерпретатор команд Робот База рабочих операций Проверка предусловий База когнитивных операций Текущие измерения Запросы робота Команды (постановка целей) 37 ЭРИС эргатически управляема, если для всех возможных команд оператора может быть найдено решение на уровне планирования и это решение может быть реализовано на исполнительном уровне

Оператор не всегда может формализовать свои знания об управлении роботом в виде продукционных правил. В том числе: Если навыки движений выработаны на сенсомоторном уровне Если ситуация является новой и не встречалась ранее Если управление роботом является слишком сложной операцией, требующей управления сразу несколькими параметрами системы В этом случае необходимо «обучать» робот «навыкам движений», например, с помощью нейро-нечетких сетей. Используется принцип «обучения с учителем». Оператор управляет роботом, используя выработанные навыки, данные о ситуации и соответствующих действиях записываются и используются в качестве обучающей выборки 38

Задача обучения робота решается по принципу «обучение с учителем» с помощью гибридной нечеткой нейросети АСНВ (адаптивная система нечеткого вывода) типа ANFIS (adaptive neuro-fuzzy intelligent system) 39

Робот «Богомол» (Институт физико- технических проблем, Москва) Оператор управляет движением шести гусениц робота, имеющих автономные приводы, с помощью двух 3-компонентных джойстиков 40

Адаптивная система нечеткого вывода позволяет автоматически формализовать правила выполнения операции человеком в типовых ситуациях Learning – by the Error Back Propagation Method 41

42

43

Распознавание ситуации с помощью кластеризации входных данных 44

45

Метод автономного адаптивного управления применяется в тех случаях, когда вообще отсутствует априорная информация об условиях работы ЭРИС («Обучение робота без учителя» -А.А.Жданов, М.В.Караваев ИСП – ИТМ и ВТ РАН) Среда Сенсоры Исполнительные устройства Аппарат эмоций Блок распознавания ситуаций База знаний Блок принятия решений Метод позволяет обучать робот в полностью автономном режиме, используя принцип «подкрепления» правильных решений 46

Управляющая система Подсистема ФРО Память эмоциональных оценок образов Память эмоциональных оценок состояния Память распознанных образов Память выбранных действий Память оценок действий Подсистема эмоций Подсистема определения времени принятия решений Подсистема принятия решений Память образов Подсистема формирования базы знаний База знаний 47

Компьютерная модель самообучающегося робота «визуальный» датчик 1 «визуальный» датчик 2 «визуальный» датчик 3 Тактильный датчик 1 Тактильный датчик 2 Тактильный датчик 3 Тактильный датчик 4 Цель: при отсутствии препятствий двигаться вперед Эмоции: прикосновение к препятствию неприятно Задача – обучение движению в пространстве с препятствиями без столкновений; научиться проезжать в ворота; научиться двигаться вдоль стены и т.п. 48

Речевое управление роботом 49

Функциональная схема речевого диалога человека и робота Перечень функциональных модулей: -распознавание речи (получение символьного представления акустического сигнала) -понимание речи (распознавание запроса, планирование, ведение диалога) -синтез речи (речевой ответ) Распознавание речи Речь Распознавание запроса Планирование и диалог Запрос на ЕЯ Запрос в формальном виде Реплика на ЕЯ оператору Синтез речи Речевой ответ 50

Методы распознавания речи Варианты постановки задач: - настройка на диктора; -количество слов; -изолированность произнесения; -шумовые условия. Методы распознавания: -динамическое искажение времени (ДП, АЛП); -скрытые марковские модели (гибридизируется: VQ, гауссовские смеси, NN) Методы моделирования языка: -энграммы; -СММ, полученные из грамматик; -FST; -стохастические грамматики. Векторы признаков и шумоподавление: -банки фильтров (адаптивная компенсация 2 мик., вычитание стац. спектра) -MFCC, гомоморфная фильтрация сигнала 51

Осциллограмма речевого сигнала Слово: восемнадцать Осциллограмма Предварительная фильтрация 52

53

Динамическое искажение времени и АЛП 54

Формирование вектора признаков звуков /а//а/ /c/ /ц//ц/ 55

Кодирование Код символа S[i] есть в двоичной системе или 160 в десятичной 56

Функциональная схема системы речевого диалогового управления Оператор Робот Распознавание речи Понимание речи Управление диалогом Управление роботом Генерация ответа Внешняя среда 57

Использование априорной информации о синтаксисе и структуре диалога Причины ошибок распознавания речи: - шум; - речь других людей; - внесловарные слова; - повторы и пропуски слов в фразе; - ошибки сегментации. Качество распознавания речи: - вероятность правильного распознавания - вероятность правильного предсказания контекста - функция полезности априорной информации А где ? 58

Анализ требований к распознаванию речи. СММ (Скрытые Марковские модели) Динамическое искажение времени Шумоустойчивостьнет Легкость настройки на диктора нетесть Качество распознаванияWER

Разработка речевого диалога. Модуль понимания речи Оператор Распознавание речи Понимание речи Выход: Акустический сигнал Гипотезы о словах Запрос Запрос – семантически законченное сообщение роботу (информация, команда, вопрос). Единица диалога между оператором и РТС. Задачи модуля понимания речи: - определение типа запроса; - выбор гипотез распознавания; - заполнение фрейма запроса. Примеры запросов : 1) вперед 2) вперед до 3) вперед до появления 4) вперед до поворота 5) поверни 6) 60

Сценарий диалога – совокупность состояний диалога (от начального до конечного) и переходов между ними. Примеры сценариев: 1.Уточнение состава команды (задачи) 2.Уточнение описания состояния внешнего мира (ситуации) 3.Уточнение описания операции, или плана ее выполнения 4.Уточнение намерений оператора, или его психофизиологического состояния

Задачи модуля управления диалогом: - реакция на события диалога; - интеграция событий от модуля управления роботом ; - отправка управляющих сигналов модулю управления роботом. Разработка модуля управления диалогом с использованием сетей Петри Применение модифицированных сетей Петри: - вершина (процесс или состояние) - вершина с фишкой - переход по событию (запросу) - переход без жесткого условия - ингибиторная дуга по наличию фишки - ингибиторная дуга по отсутствию фишки - ждущий переход вперед, назад стоп Процесс: движение Fun - Функциональная подсеть 61

Пример применения управляющей сети Петри для организации речевого диалога между оператором и роботом. RecEr r ACT OUT RST Функциональная подсеть обработки ошибок распознавания речи ACT +~ есть гипотеза данет RST OUT Гипотеза надежна Гипотеза сомнительн а Поддерживаемые сетью сценарии: - команды движения; - остановка; - начало сеанса; - запоминание оператора; - конец сеанса; - переспрос и подтверждение; - просьбы о помощи; - объяснение состояния. Начало сеанса RecEr r Запрос запоминания оператора Состояние: сеанс управления Запрос: завершить сеанс Запрос: объяснить состояние Запрос: движение Запрос : стоп Событие: беспомощно е положение Процесс: запоминани е оператора Процесс: объяснение состояния Процесс: движение Состояние: беспомощно е положение Событие: разрешение ситуации Событие: конец запоминания 62

«Понимание» роботом команд человека Восприятие и правильная интерпретация речевого сигнала, составляющего команду (заполнение фрейма).Проверка корректности команды Успешная формализация целевого состояния мира, определяемая командой и проверка корректности такого состояния Представление целевого состояния в альтернативной форме, напр., в графической с тем,чтобы проверить адекватность представления робота и оператора (Павловский В.Е., Инст. Механики МГУ им. М.В.Ломоносова) Проверка достижимости цели в рамках внутренней модели мира, существующей в системе знаний робота путем построения корректного плана достижения цели 63

ЗАДАЧИ НА БЛИЖАЙШУЮ ПЕРСПЕКТИВУ От управления роботами к диалогу. Диалоговое управление «интеллектуальными» роботами. Проблема взаимопонимания. Обучение путем диалога и демонстрации. Разработка профессиональных и «естественных» языков диалога робота и человека Управление коллективами роботов (многоагентное управление).Создание теории многоагентных систем, включающих роботов и людей Автономное поведение и самообучение роботов в непредвиденных ситуациях. Комбинация предварительного обучения и самообучения Мультимодальные информационно-сенсорные системы и комплексирование информации. «Образное мышление» роботов. Когнитивное поведение роботов. Проблема понимания и взаимопонимания человека и робота – антропоцентрический подход к созданию интеллектуального уровня робота «Эмоции» роботов и их использование при организации управления. Психология человека и «психология» робота. Проблемы согласования. Включение роботов в гуманитарный социум с общением на естественном языке. Персональные роботы. 64

Благодарю за внимание! Наш адрес: Научно-учебный Центр «Робототехника» МГТУ им. Н.Э.Баумана, В работе принимали участие аспиранты и студенты кафедры «Робототехнические системы» Тел. 8 (499)165 –