Человек и робот – совместимость и взаимодействие (элементы теории кооперативного управления роботами) Ющенко Аркадий Семенович, д.т.н., профессор, Научно-учебный Центр «Робототехника» МГТУ им. Н.Э.Баумана

Prof. Yuschenko A.S. HUMAN-ROBOT: COMPATIBILITY AND COOPERATION Bauman Moscow State Теchnical University (BMSTU),

Проблема взаимодействия человека и «интеллектуального»робота возникает при выполнении сложных действий и операций

Экстремальная робототехника: Спасательные операции, Борьба с проявлениями терроризма Дистанционное управление роботами в космосе и под водой Мониторинг окружающей среды и объектов технической инфраструктуры Охрана помещений и территорий Сервисная робототехника. Помощь инвалидам и реабилитация. Медицинская диагностика, хирургия и реабилитация Области применения Эргатических (человеко- машинных) Робототехнических Интеллектуальных Систем (ЭРИС)

Интерпретаци я цели, организация диалога Обобщенная оценка ситуации База знаний: -внешний мир -возможности системы -элементарные операции - типовые алгоритмы управления - продукционные правила Планирование операций Интерпретация показаний датчиков; формирование образа ситуации по вычисляемым признакам Формирование команд управления Система управления исполнительными устройствами Исполнительные устройства Внешний мир Датчики внутренней информации Датчики внешней информации Человек-оператор Функциональная схема эргатической интеллектуальной робототехнической системы (ЭРИС) Уровень целеуказания Уровень планирования Исполнтельный уровень Master-operator Assistant- operator Это система кооперативного управления с двумя взаимодействующими исполнителями

Пример телеуправления Justin Teleoperation DLR Telepresence & VR Group Это система «очувcтвленного» копирующего управления (Master- slave)

Application Areas of Haptic Interface Применение систем с очувствленным интерфейсом

Экзоскелет НAL-5 с управлением от биотоков мышц

Особенности организации ЭРИС в экстремальной робототехнике Работа происходит в условиях неопределенности, требующих участия оператора. Поэтому система знаний ЭРИС о внешнем мире должна быть согласована с системой знаний человека Для облегчения работы человека и придания ей «естественности» взаимодействие с оператором должно иметь форму диалога осуществляться с использованием речи и на языке, близком к естественному Для обеспечения «взаимопонимания» механизм принятия решений и планирования операций робота должен быть организован по аналогии с мышлением человека (т.е.по антропоморфному принципу) Основная задача оператора – постановка задач роботу, который должен самостоятельно ориентироваться на местности и планировать свои действия в соответствии с задачей, поставленной оператором, адаптируясь к изменениям характеристик окружающей среды, и контроль действий робота

Такая модель является интерпретацией внутренней модели внешнего мира человека-оператора, т.е. «отображением составляющих внешнего мира на совокупность нечетких психолингвистических шкал» (Аверкин А.Н., Тарасов В.Б., 1986) Модель внешнего мира ЭРИС является открытой и развивается в процессе когнитивной деятельности ЭРИС, включающей: Определение и уточнение целей операции в процессе диалога с оператором Обработку сенсорной информации и создание образа ситуации Формирование проблемно-ориентированной модели внешнего мира Планирование поведения робота в диалоге с оператором Обучение робота путем накопления и обработки знаний. Модель внешнего мира робота целесообразно строить с использованием естественных отношений пространства и времени (Кандрашина Е.Ю., Литвинцева Л.В.,Поспелов Д.А.,1989)

Естественные пространственные отношения определяются путем экспериментального анализа восприятия этих отношений человеком (Количество значений функций принадлежности определяется психофизиологическим правилом Миллера 7±2 ) Шкала расстояний, оцениваемая экспертами (Поспелов Д.А.,Литвинцева Л.В., Кандрашина Е.Ю., 1989) Функции принадлежности лингвистической переменной «расстояние»

Для того, чтобы обеспечить автономную работу когнитивного робота в неопределенных заранее условиях, требуется решить следующие задачи: Описание внешнего мира и текущей ситуации с помощью нечетких отношений и с использованием лингвистических переменных. Задачи ориентации и распознавания. Описание выполняемых роботом операций, как допустимых преобразований на построенной нечеткой модели внешнего мира. Формирование правил поведения робота как правил-продукций. Обучение робота к работе в заранее не полностью определенных ситуациях («с учителем» и «без учителя»), в том числе, с применением прямого диалога между роботом и оператором Организация речевого диалога с оператором с использованием проблемно-ориентированного языка. Сценарий и менеджер диалога

Лингвистическая переменная dj, j = 1,2,…,M - «дистанция между объектами а и б» j = 6- «очень очень далеко», j = 5- «очень далеко», j = 4- «далеко», j= 3- «недалеко- не близко», j = 2 «близко», j = 1«очень близко», j = 0- «вплотную» (а 1 dj а 2) & (а 1 di а 3) & (j=i+1) - а 2 дальше от а 1, чем а 3 от а 1, (а 1 dj а 2) & (а 1 di а 3) & (j=i-1) - а 2 ближе к а 1, чем а 3 (а 1 dj а 2) & (а 1 di а 3) & (j > i+1) - а 2 значительно дальше от а 1, чем а 3 Лингвистическая переменная fi, i=1,2,…N – «направление от объекта а к объекту б»: f1 - впереди, f2- впереди слева, f3 - слева, f4 - сзади слева, f5 - сзади, f6- сзади справа, f7 - справа, f8 - впереди справа; Отношения, описывающие нечеткое взаимное положение объекта а 2 относительно объекта а 1 (a1 f2a 2) – «а 2 впереди слева», (a1 f8 a2) –«а 2 – впереди и справа». (a1 d4 a2)&(a1 f7 a2) = (a1 d4 f7 a2) - «а 2 далеко, и справа от а 1» Нечеткие экзистенциальные пространственные отношения между объектами внешнего мира

Базовые отношения: Унарные: R1- Иметь горизонтальное положение R2- Иметь вертикальное положение Бинарные: R3- соприкасаться, R6-быть на одной R9- иметь точку прямой, опоры R4- быть внутри, R7-быть на одной плоскости R5- быть вне R8- быть в центре,,,… Производные отношения: R3- не соприкасаться, R10 – стоять на а 2: (а 1 R2) &(а 1 R9 а 2)=(а 1 R10 а 2) Составные отношения, описывающие нечеткое взаимное положение объекта а 1 относительно объекта а 2 (a1 R10 а 2) &(a1 d4 f7 a3) – «а 1 стоит на а 2 далеко справа от а 3» Нечеткие интенциальные пространственные отношения между объектами внешнего мира

Семиотическая форма описания: Ao – наблюдатель,R8 – быть на поверхности, d5 – быть далеко, f7 - быть справа Нечеткие пространственные отношения используются для формирования языка описания ситуаций Лингвистическая форма описания А1 стоит на поверхности S Далеко справа Контролируемый Интенсиальное Экстенсиальное объект отношение отношение Ситуация эргатические наблюдаема, если оператор может по лингвистической информации, дополненной показаниями информационно-сенсорной системы составить адекватное представление о текущей ситуации.

Экспериментальный образец телевизионной системы объемного технического зрения (МГТУ им. Н.Э,Баумана, Михайлов Б.Б.) Параметр Значение Размеры рабочей зоны по дальности, мм Угловые размеры поля зрения, град - по горизонтали 40 - по вертикали 30.7 Угловое разрешение, рад Относительная погрешность измерения дальности в пределах сцены (не более), мм 5 Допустимый диапазон внешней освещенности, люкс Время сбора визуальной информации (одного кадра), мсек < 1 Частота кадров, Гц 7.7

Структура опорной подсветки

Сегментация трехмерной сцены Алгоритм сегментации Сегментация рабочей сцены робота

Использование пространственной модели сцены позволяет провести нечеткую классификацию типовых объектов по определенным параметрам:

Продукционные правила для определения типа объекта по измерениям «Блок – невысокий, компактный объект», «Порог – протяженный низкий объект», «Левый угол – высокий, либо средней высоты объект слева от робота», «Правый угол – высокий, либо средней высоты объект справа от робота», «Стена – протяженный высокий объект в центре поля зрения» Володин Ю.С., Михайлов Б.Б., Ющенко А.С., 2011

Рефлексивные движения мобильного робота на исполнительном уровне могут быть заданы системой правил-продукций с использованием лингвистических переменных дистанции и ориентации, в том числе: Подойти к стене (и остановиться) Двигаться параллельно кромке тротуара,… Проехать «в ворота» Объехать препятствие Преследовать движущийся объект ……………………………………….. Каждое рефлексивное движение задается системой правил-продукций, содержащихся в базе знаний робота Команда на выполнение движений задается оператором, или верхним уровнем системы управления

Экспериментальное исследование Телевизионная система пространственного зрения Мобильный робот Препятствия

Функции принадлежности нечетких множеств по высоте для мобильного робота зависят от дистанции

Функции принадлежности по курсу также зависят от дистанции

Таким образом, функции принадлежности нечетких множеств с учетом перспективы являются трехмерными

Мобильный робот для работы в зоне пожара (МЧС) с установленной на нем системой объемного зрения

Ситуационное управление мобильным роботом Сценарий движения Если (а 2 f1 a1)\/ (а 2 f2 a1) \/ (а 2 f3 a1) то «вперед» Если (а 2 f1 a1) \/ (а 2 f4 a1) то «вперед направо» Если (а 3 f1 a1) \/ (а 3 f2 a1) \/ (а 3 f3 a1) то «вперед» Если (а 3 f4 a1) \/ (а 2 f5 a1) то «назад» Управление только на логическом (ситуационном)уровне приводит к колебательным процессам и неустойчивости системы. Необходимо дополнить ситуационное управление исполнительным уровнем.

Нечеткое ситуационное управление (Мелихов А.Н., Берштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечеткой логикой. – М.: Наука, Гл. ред. физ.-мат. лит., 1990) Нечеткая ситуация –совокупность нечетких значений признаков, характеризующих состояния объекта управления

Микроробототехнические системы для диагностики и лечения трубчатых органов M.C. Carroza, Италия D. Reynaerts и др., Бельгия MA Jianxu и др., Китай Paolo Dario и др., Италия A. Brett Slatkin и др., США M. Touaibia и др., Франция Г.В. Саврасов, О.С. Нарайкин, А.С. Ющенко, С.С. Гаврюшин, В.И. Поспелов, В.В. Войнов Россия

Распознавание ситуации Эталонные ситуации: Нечеткое включение ситуаций: Иерархия ситуаций Входная (текущая) ситуация:

Выбор решения и формирование управления Управляющие решения: Матрицы отношений, описывающие воздействие управляющих решений на признак: Результат: Войнов В.В.,Ющенко А.С.,2011

Управление мобильным роботом на исполнительном уровне Нечеткие правила принятия решения задаются оператором, исходя из опыта. Настройка параметров обычно проводится экспериментально

Если дистанция малая и цель впереди, то двигаться медленно, прямо Если дистанция малая и цель впереди справа,то двигаться медленно и немного поворачивать направо …………. Если дистанция большая и цель впереди, справа, то двигаться быстро и немного поворачивать направо Если дистанция большая и цель справа, то двигаться медленно и быстро поворачивать направо ……………………… Примеры нечетких правил движения робота- преследование объекта (вход – дистанция и ориентация, выход – линейная и угловая скорость). Дефаззификация проводится методом Мамдани Правила поведения формулируются человеком, исходя из собственного опыта:

К вопросу устойчивости на исполнительном уровне Система теряет устойчивость за счет неудачного выбора функций принадлежности лингвистической переменной «ориентация» робот «ворота» Для анализа устойчивости применяются методы, не требующие точного задания нелинейной функции управления, например, метод абсолютной устойчивости

Рефлекторные движения мобильного робота на исполнительном уровне могут быть заданы системой правил-продукций с использованием лингвистических переменных дистанции и ориентации, в том числе: Подойти к объекту (и остановиться) Двигаться параллельно (к стене, кромке тротуара,…) Проехать «в ворота» Объехать препятствие Преследовать движущийся объект ……………………………………….. Каждое рефлекторное движение задается системой правил-продукций, содержащихся в базе знаний робота Команда на выполнение движений задается оператором, или верхним уровнем системы управления

Схема управления пожарным разведывательным роботом

Самонаведение робота на вычисляемую опорную точку методом пропорционального наведения: ω=θ΄=кφ΄, где ω - угловая скорость робота, θ– его курсовой угол, φ΄– скорость поворота градиента «фактора пожара»(температура, задымленность и т.п.), к – коэффициент наведения

Настройка функций принадлежности при «нечетком самонаведении» (Тачков А.А.) Тачков А.А. Применение метода пропорционального наведения для управления мобильным разведывательным роботом в условиях пожара // Мехатроника, автоматизация и управление С

В случае манипуляционных операций диапазон выполняемых типовых операций существенно расширяется, что позволяет ввести термин: «деятельность» манипуляционных роботов Под деятельностью роботов понимаются целенаправленные предметные действия робота во внешнем мире, выполняемые автономно с использованием текущей и априорной информации о внешнем мире. Цель деятельности устанавливается человеком, однако цели отдельных действий могут планироваться роботом автономно исходя из поставленной задачи Деятельность робота происходит во внешнем мире, заданном с помощью нечетких отношений. Часть этих отношений определяется заранее и содержится в базе знаний робота, часть определяется в процессе функционирования с помощью сенсорных устройств. Ввиду неопределенности ситуаций робот должен совершать не только рабочие операции, непосредственно направленные на достижение целей, но и когнитивные операции, направленные на получение информации, необходимой для планирования и выполнения операций

или < предусловия Ситуационные: на объекте А не находится любой другой объект & требуемые для захвата объекта положение и ориентация схвата манипулятора являются допустимыми Технические: робот имеет захват, соответствующий типу объекта и его размерам & вес объекта не превышает грузоподъемности робота Объектные: объект является твердым телом и может выдержать без разрушения усилие развиваемое при захвате> Фрейм элементарной манипуляционной операции задается на построенной выше модели внешнего мира и определяет синтаксис команд целеуказания. В слотах фрейма используются лингвистические переменные

Элементарные операции непосредственно выполняются роботом если выполнены предусловия. В противном случае формируется запрос оператору Сложная операция представляет собой цепь согласованных между собой элементарных операций: постусловия n-й операции являются предусловиями n+1-й операции Планирование операций – это создание цепи согласованных элементарных операций, приводящих к достижению цели S1 S2 S3 Sn Планирование основано на методе разрешения противоречий (Магазов С.С.,2007). O1O2On-1

Планирование элементарных операций путем разрешения противоречий Примеры: (1) Цель: объект a1 на поверхности S. В действительности (по наблюдениям видео-системы)): объект a1 не находится на поверхности S.Операция: Переместить a1 на S. Цель: (a1 R8 S) По факту: (a1 R8 S) Переместить a1 на S. (2) Цель: Вал a1 внутри втулки C: (a1 R2 C). По факту: (a1 R2 C) Операция: Вставить a1 в C (3) Целевое положение мобильного робота R по отношению к наблюдателю O есть (R d1 f1 O). Фактическое положение: (R d2 f2 O). Операция: Переместить R в положение (R d1 f1 O).

Рефлекторные операции на исполнительном уровне манипуляционного робота Логический уровень недостаточен для выполнения манипуляционных операций. Необходима реализация адаптивного исполнительного уровня для реализации типовых рефлекторных операций таких как Вставить вал а 1 во втулку в 2 Зачистить поверхность С Поднять крышку люка Закрутить гайки ………………………….

Механизм разрешения противоречий (Магазов С.С., 2001) основан на сравнении наблюдаемой роботом ситуации и заданной оператором (или полученной в процессе логического вывода) Разрешение противоречий генерирует элементарные операции путем выполнения правил разрешения противоречий, содержащихся в базе знаний. Такой механизм аналогичен процессу принятия решения человеком Примеры: (1) Цель: объект a1 на поверхности S: (a1 R8 S). В действительности (по наблюдениям видео-системы)) объект a1 не находится на поверхности S : (a1 R8 S). Разрешение противоречия - Операция: Переместить a1 на S.. (2) Цель: Вал a1 внутри втулки C: (a1 R2 C). По факту: (a1 R2 C) Операция: Вставить a1 в C (3) Целевое положение мобильного робота R по отношению к наблюдателю O есть (R d1 f1 O). Фактическое положение: (R d2 f2 O). Операция: Переместить R в положение (R d1 f1 O). Такой способ задания операций может использоваться и для управления манипуляционным роботом, например:

Пример, когда разрешение противоречий за одну элементарную операцию невозможно и требуется планирование операций

Граф, описывающий последовательное разрешение противоречий и позволяющий сформировать план сложной операции Ющенко А.С,, 2005

«Понимание» роботом команд человека включает в себя: Восприятие и правильная интерпретация речевого сигнала, составляющего команду Возможность формализации целевого состояния мира, определяемая командой Проверка корректности задания целевого состояния Проверка его достижимости в рамках внутренней модели мира, существующей в системе знаний робота путем построения корректного плана достижения цели (последовательности согласованных и выполнимых операций) Поскольку сообщения оператора и информация о внешнем мире могут быть неполными, возможна дополнительная гностическая активность робота

Взаимодействие оператора с роботом на уровне планирования операций Человек- оператор Интерпретатор команд Робот База рабочих операций Проверка предусловий База когнитивных операций Текущие измерения Запросы робота Команды (постановка целей) Содержанием когнитивной деятельности робота является выполнение операций, направленных на получение недостающей информации о внешнем мире и о текущей ситуации.

Обучение робота «Богомол» c использованием технологии нейро- нечетких сетей сенсоры манипулятор движитель Оператор управляет движением четырех гусениц робота, имеющих автономные приводы, с помощью двух 3-компонентных джойстиков (сигналы управления). Входными переменными являются параметры текущего положения робота

АСНВ – адаптивная система нечеткого вывода (ANFIS - Adaptive Neuro – Fuzzy Intelligent System)

Адаптивная система нечеткого вывода (АСНВ – ANFIS) позволяет настроить параметры нечеткого контроллера с учетом динамики системы по обучающей выборке или в реальном времени D φ VωVω Параметры функций принадлежности и «веса» p, q настраиваются методом обратного распространения ошибки

Ющенко А.С., Киселев Д.В.,Вечканов В.В., 2002

Обучение «без учителя». Метод автономного адаптивного управления ( Жданов А.А.,»Автономный искусственный интеллект, М.,2008) Среда Сенсоры Исполнит. устр. Аппарат эмоций Блок распознавания ситуаций База знаний Блок принятия решений Метод позволяет обучать робот в полностью автономном режиме, используя принцип «подкрепления» правильных решений

В таких случаях необходимо использовать прямой речевой диалог человек-робот. Возможны и ситуации, когда речевой диалог дополняет сенсорный контакт человека и робота. Робот и человек становятся равноправными партнерами процесса (кооперативное управление) Речевой диалог может быть дополнен жестами

Эргатическая система с сенсорной и речевой обратной связью Человек-оператор Речевая команда интерпретатор Робот- ассистент Обработка сенсорной информации Планирование диалога Речевая обратная связь Сенсорная обратная связь Сигналы управления Это система кооперативного управления Master - assistant Человек-оператор интерпретатор Человек-оператор интерпретатор Человек-оператор интерпретатор Человек-оператор интерпретатор Человек-оператор интерпретатор

Примеры речевого управления роботом при выполнении манипуляционных операций Работа посвящена мобильным роботам, а примеры- только для манипуляционных!

Функциональная схема системы речевого диалогового управления Оператор Робот Распознавание речи Понимание речи Управление диалогом Управление роботом Генерация ответа Внешняя среда

Задачи модуля управления диалогом: - реакция на события диалога; - интеграция событий от модуля управления роботом ; - отправка управляющих сигналов модулю управления роботом. Разработка модуля управления диалогом- менеджер диалога (Жонин А.А.,2011) Применение модифицированных сетей Петри: - вершина (процесс или состояние) - вершина с фишкой - переход по событию (запросу) - переход без жесткого условия - ингибиторная дуга по наличию фишки - ингибиторная дуга по отсутствию фишки - ждущий переход вперед, назад стоп Процесс: движение Fun - Функциональная подсеть

Пример применения управляющей сети Петри для организации речевого диалога. RecErr ACT OUT RST Функциональная подсеть обработки ошибок распознавания речи ACT +~ есть гипотеза данет RST OUT Гипотеза надежна Гипотеза сомнительна Поддерживаемые сетью сценарии: - команды движения; - остановка; - начало сеанса; - запоминание оператора; - конец сеанса; - переспрос и подтверждение; - просьбы о помощи; - объяснение состояния. Начало сеанса RecErr Запрос запоминания оператора Состояние: сеанс управления Запрос: завершить сеанс Запрос: объяснить состояние Запрос: движение Запрос: стоп Событие: беспомощное положение Процесс: запоминание оператора Процесс: объяснение состояния Процесс: движение Состояние: беспомощное положение Событие: разрешение ситуации Событие: конец запоминания

Последний штрих – диалог с антропоморфным роботом Если робот поддерживает диалог, то он может быть и антропоморфным Тогда речь должна иметь поддержку в форме мимики - выражения «лица» робота Правда, в этом случае нужно моделировать и «эмоции» робота Либо воспроизводить их по наблюдением за оператором

Речь робота целесообразно сопровождать выражением «лица», определяющим эмоциональное сопровождение речи Hanson Robotics Hiroshi Ishiguro Около 10 моделей 15 актуаторов в голове, ходьба и руки 2 модели 13 актуа- торов головы Тело с 37 актуато- рами

Российские антропоморфные роботы (Neurobotics, Зеленоград) 4 действующие модели, 1 в разработке 15 актуаторов головы Силиконовая кожа, полное портретное сходство В глазах HD-камеры, в ушах микрофоны Пассивная генерация артикуляции Программное обеспечение: – Распознавание голоса, контекстный поиск ответа, генератор голоса – Определение и слежение за человеком – Режим копирования эмоционального состояния

Использование антропоморфных роботов Охранник для комплекса обеспечения безопасности Оператор стола информации, лектор Копия существующего или существовавшего человека Исследование психологии общения человека и машины Телеприсутсвие человека: o На большом расстоянии o В опасных средах o Для людей с ограниченными возможностями 64

ЗАДАЧИ НА БЛИЖАЙШУЮ ПЕРСПЕКТИВУ Обучение роботов путем диалога и демонстрации. Распознавание жестов. Разработка профессиональных и «естественных» языков диалога робота и человека Управление коллективами роботов (многоагентное управление).Создание теории многоагентных систем. Описание взаимодействия коллективов людей и коллективов роботов. Включение интеллектуальных роботов в социум людей. Вопросы защиты роботов от «хакерских» атак Автономное поведение и самообучение роботов в непредвиденных ситуациях. Комбинация предварительного обучения и самообучения Мультимодальные информационно-сенсорные системы и комплексирование информации. «Образное мышление» роботов. Когнитивное поведение роботов. Проблема понимания и взаимопонимания человека и робота – антропоцентрический подход к созданию интеллектуального уровня робота, включая «эмоциональный уровень» управления Психология человека и «психология» робота. Социально-психологические проблемы согласования.

Благодарю за внимание ! Наш адрес: Научно-учебный Центр «Робототехника» МГТУ им. Н.Э.Баумана, Москва, , Измайловская пл., 7 Кафедра «Робототехнические системы» Тел –