Научно-исследовательский Ядерный Университет МИФИ Факультетская лаборатория «Робототехника» 1 Чепин Евгений Валентинович Зам. заведующего кафедрой «Компьютерные. - презентация

1 Научно-исследовательский Ядерный Университет МИФИ Факультетская лаборатория «Робототехника» 1 Чепин Евгений Валентинович Зам. заведующего кафедрой «Компьютерные системы и технологии» НИЯУ МИФИ Руководитель факультетской лаборатории «Робототехника»

2 «Перспективы человеко- компьютерного интерфейса в робототехнике». Содержание 1.О лаборатории ФНУЛ «Робототехника» НИЯУ МИФИ. 2.Состояние технологии BCI в мире. 3.Ролик про реализацию BCI в нашей лаборатории.

3 Роботы семейства Pioneer фирмы Mobil Robots Inc

4 Парк роботов лаборатории Команда роботов Робот-эколог (в разработке)

5 Робот-паук AH3-R-MEPhI (Lynxmotion Inc., )

6 Робот-паук Программная система управления мобильного робототехнического комплекса AH3-R-MEPhI, основана на разработанной в МИФИ аппаратной плате для подключения датчиков и обеспечения связи с удаленной станцией управления и удобного интерфейса оператора. Работы авторского коллектива по данному направлению не завершены, но полученные на текущий момент результаты позволяют рассчитывать на построение полнофункциональной системы в ближайшие месяцы. Состояние разработки: в 2012 году реализован прототип системы управления, реализован контроллер. Область применения: мобильная робототехническая платформа для работы в условиях пересеченной местности.

7 Робот «МИФИ-РЭ»

8 Некоторые характеристики Робот МИФИ-РЭ (робот-эколог) полностью спроектирован и изготовлен в МИФИ. В качестве бортового компьютера использован нетбук, который кроме своей вычислительной мощности, имеет USB-порты и WiFi-канал. Для управления двигателями двух ведущих колес робота используется микроконтроллер. Для обеспечения интерфейса с набором бортовых датчиков разработана интерфейсная плата-контроллер. Все датчики робота можно разделить на две группы: Датчики управления. Установлены две видеокамеры, группа датчиков расстояния (типа сонаров и точечных лазеров, акселерометры). Планируется установка датчиков спутниковой системы навигации GPS или ГЛОНАСС. Датчики целевые. К ним прежде всего относятся датчики температуры и влажности, датчик радиации ( гейгера-счетчик) и, возможно, некоторые другие.

9 9 Основные направления исследований и разработок лаборатории Разработка интерфейсных электронных плат для роботов Разработка языка действий роботов - ЯД Управляющее ПО для роботов и команд роботов и ОС РВ Разработка алгоритмов и ПО для структурного описания 3D-сцен Алгоритмы и ПО для обработки 2D и 3D изображений

10 10 Технологические направления Сети передачи данных( Wi-Fi, Ethernet, радиоканал). Оптимизация трафика в сетях, сетевая безопасность. Сети передачи данных Системы и типы датчиков Видео, дальномеры, датчики давления, датчики. скорости, сонары, радиации, влажности, давления и т.п. Обработка и хранение данных Вычислительные комплексы ( контроллеры, кластеры). Системы хранения данных, облачные вычисления.

11 Язык действий (ЯД) Существует начальный прототип системы управления коллективом роботов, которая основана на методе ручного программирования роботов, подразумевающего прямой ввод оператором поведения, желаемого от робота. Поведение - это последовательность действий, например, перемещение из точки А в точку Б, затем обзор местности, затем передача на станцию управления заданной информации, затем перемещение в точку С и т.д. Управление роботом на метауровне позволяет разгрузить оператора от "рутинной" работы по управлению и контролю. Существует начальная реализация языка ЯД.

12 "Разработка метаязыка для управления роботом на основе языка действий (ЯД)". Многошаговое задание для робота формируется и задается из примитивов поведения для данного робота. Примитивы организованы в виде библиотеки, используемой для формирования заданий. Само задание представляет собой «граф». Задача составления задания на разраба- тываемом метаязыке ЯД полностью авто- матизирована, оператор работает в удобной среде. Реализуется механизм контроля корректного выполнения роботом задания.

13 КРАТКОЕ РЕЗЮМЕ 1 В лаборатории «Робототехника» работают: студенты, аспиранты, сотрудники и молодые преподаватели. специалисты по архитектурам ВС, сетевым технологиям, обработке изображений, ОС, параллельному программированию, разработке микропроцессорных и ПЛИС- устройств, теории управления, методам искусственного интеллекта, по нейросетям, разработке мехатроники и т.п.

14 Немного истории: человеко-машинный интерфейс Естественные способы человеко-машинного взаимодействия - стремление к восприятию всё менее формализованных, всё более естественных для человека сигналов: от машинно-специфических кодов перфокарт и перфолент (средства формальных языковых систем) через клавиатуру (средства второй сигнальной системы) к мыши, чувствительным плоскостям и восприятию жестов и мимики (средства первой сигнальной системы). Следующий этап - восприятие сигналов, не выражающихся внешне – электрических импульсов в нервной системе человека. Подобные средства на данный момент существуют либо в виде лабораторных образцов, либо – в начальной стадии коммерческой эксплуатации.

15 Немного о медицине Медицина – ЭЭГ (открыт Г. Бергером в 1929 г. метод электроэнцефалографии ) + томограмы – лечение……………….. Интерес к ЭЭГ и томограмам мозга связан с ещё одной причиной – попыткой использования этой информации об активности нервных клеток мозга для управления техническими устройствами. Такого рода устройства, называемые интерфейсами "мозг-компьютер" (ИМК), или нейрокомпьютерными (мозго- машинными), интерфейсами (Brain- Computer Interface, BCI, Brain-Machine Interface, BMI), могут применяться в медицине, военной сфере, промышленности, а также являться основой коммуникационных систем нового поколения.

16 Базовое определение В системах BCI используются : либо биопотенциалы мозга, зарегистрированные с поверхности скальпа, называются инвазивными. Основой инвазивных ИМК – электрокортикограмма (ЭКоГ) либо карты электрической активности отдельных глубинных нейронов. либо биопотенциалы, зарегистрированные непосредственно с поверхности коры головного мозга или от отдельных нейронов глубинных структур мозга, называются неинвазивными. Основой неинвазивных BCI являются ЭЭГ, томограмма и пр.

17 Пример Первые попытки создания ИМК начались в 1980-х годах в Германии и США, чтобы помочь полностью парализованным людям (с так называемым locked-in синдромом) управлять инвалидным креслом и общаться. Есть описание система BCI, анализирующей сигналы ЭЭГ таких пациентов и относящая их к одному из двух классов, которые интерпретировались как ответы «да» или «нет».

18 Инвазивные BCI Наиболее известные разработки в области инвазивных ИМК принадлежат группам Николелиса и Чапина. Они сконструировали интерфейс, позволяющий одновременно регистрировать активность до 100 отдельных нейронов в лобных и теменных долях коры обезьяны и использовать эту активность для управления механической рукой.

19 Динамика роста интереса к BCI в мире Исследования в области BCI, которые ограничивались только тремя научными группами 20 лет назад и шестью-восемью группами в 1995 г., в настоящее время демонстрируют огромный рост интереса к этой проблеме. Сейчас насчитывается более 100 групп по всему миру, занимающихся широким спектром исследований и регулярно публикующих свои достижения.

20 Настоящее: человеко-компьютерный интерфейс Мозго-машинные интерфейсы в США сейчас одна из самых актуальных и продвигаемых тем. Интерфейсом мозг- компьютер занимается ряд университетов и коммерческих фирм, в частности, CSU (Colorado State University), Graz University of Technology, Cyberkinetics Neurotechnology Systems, IBM и другие. В 2009 году специалистам японской компании Honda удалось создать систему управления роботом Asimo "силой мысли". Исследования в области BCI являются междисциплинарными. Трудно найти в прикладной науке ещё такую область, которая объединяла бы специалистов из столь многих отраслей. Для построения систем BCI необходимо тесное сотрудничество специалистов различных областей: медицина, психология, нейробиология и «компьютерщики».

21 США - DARPA В августе 2008 г. начат совместный проект Ирвинского университета (Irvine University), Университета Карнеги-Меллон (CMU) и Университета Мериленда (Meryland university), финансируемый агентством DARPA (сумма $4 миллиона), направленный на разработку устройств синтетической телепатии (шлемы для передачи мысли). Шлем одевается на голову военного (128 электродов). Цель – достичь 2 результата: сделать возможным генерацию сообщения и направить его определенному реципиенту. По оценкам для реализации этого проекта потребуется 15 лет.

22 КРАТКОЕ РЕЗЮМЕ 2 Интерес в мире к тематике BCI достаточно быстро растет. Общий прогресс результатов – не очень быстрый. Проблема, по-видимому, должна решаться объединением усилий специалистов различных отраслей науки.

23 «Система дистанционного управления роботом посредством нейроманипулятора» Разработка прототипа системы. Данная система позволила использовать вместо привычного графического интер- фейса, манипулирующего кнопками мыши или клавиатуры, использовать мысленные образы оператора, который управляет роботом с помощью шлема, расположенного у него на голове, освобождая его руки для других видов работы.

24 Дистанционное управление роботом Состояние разработки: реализована и опробована идея системы управления, показана принципиальная возможность реализации с имеющимися аппаратными средствами. Существует начальный действующий прототип системы управления роботом Pioneer 2AT, которая основана на фиксации мысленных образов управления траекторией перемещения робота и их преобразование в управляющие команды для двигателей робота.

25

26 Дистанционное управление роботом Система позволяет взаимодействовать роботу с оператором в двух режимах: обучения с подкреплением воздействиями стандартных средств ввода-вывода (например, клавиатуры); непосредственно управления роботом с устройства. Набор реализованных команд управления движением: вперед, стоп, поворот направо, поворот налево.

27 Общие принципы Алгоритмически система распознавания решена с применением распознающей одномодульной нейронной сети, архитектура которой зависит от, заранее известного для данной поставленной задачи, количества выходных управляющих импульсов и количества сенсоров устройства ввода. Безопасность мобильного робота в процессе обучения обеспечивается его локальными низкоуровневыми рефлексами. Выходной контроль качества обучения производится путем выполнения оператором автоматически генерируемой последовательности управляющих команд с последующей оценкой корректности полученных результатов. Работы авторского коллектива по данному направлению не завершены, но полученные на текущий момент результаты позволяют рассчитывать на построение полнофункциональной системы в приемлемые сроки.

28 Некоторые факты Преимущества разработки: позволяет управлять роботом без стационарного рабочего места оператора, гибко настраивать систему требуемым в конкретной ситуации образом, осуществлять обучение оператора по простой для понимания методике. Работа выполняется при поддержке РФФИ (проект а).

29 Публикации 1.I.V. Bogin, E.V.Chepin, V.V. Danilov, A.V. Dronskiy, A.A. Dyumin, P.S. Sorokoumov. Hardware and Software for the Heterogeneous Mobile Robotic System. CSIT2009, Proc. of the 11th Int. Workshop on Comp. Science and Inf. Techn., Creete, Greece, Oct.5-8, 2009, vol. 1, pp A.A.Dyumin. Architecture of Reconfigurable Software for Mobile Robotic Systems. там же, pp Трофимов А.Г., Скругин В.И. СИСТЕМЫ НЕЙРОКОМПЬЮТЕРНОГО ИНТЕРФЕЙСА. ОБЗОР. ЖУРНАЛ "ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ" 2, Данилов В.В., Дюмин А.А., Сорокоумов П.С., Чепин Е.В., Шаповалов Н.К. Программная система дистанционного управления роботом PATROLBOT. Научная сессия НИЯУ МИФИ. Выставка научно-технических работ "Наука и инновации НИЯУ МИФИ". Каталог. - М., МИФИ, Данилов В.В., Дюмин А.А., Дронский А.В., Сорокоумов П.С., Чепин Е.В. Робототехнический аппаратно-программный комплекс AH3-R-MEPHI. Научная сессия НИЯУ МИФИ. Там же. 6.Дюмин А.А., Сорокоумов П.С., Чепин Е.В. Архитектура системы управления командой мобильных роботов. // Труды 54-й научной конференции МФТИ "Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе". Москва-Долгопрудный-Жуковский, МФТИ, С Калиниченко Д.М., Сорокоумов П.С., Чепин Е.В. Архитектура программной среды автоматического распараллеливания обработки сигналов и видеопотоков. // Там же. - С Зенько А.А., Сорокоумов П.С., Урванов Г.А. Архитектура системы операторского управления мобильным роботом посредством нейроманипулятора // Там же - С Дюмин А.А., Матюхин К.А., Сорокоумов П.С. Интегрированная среда разработки поведенческих моделей коллективов мобильных роботов // Там же - С

30 КРАТКОЕ РЕЗЮМЕ 3 Возможно сотрудничество: 1.В области целого ряда НИР/ОКР по робототехнике. 2.При проведении некоторых комплексных ОКР, например по тематике BCI, необходима технологическая поддержка и объединение со специалистами других областей науки.

31 ИТОГ Объект управления (датчики/сенсоры, исполнительные механизмы, модель управления) – КОНТРОЛЛЕР. Связь/интерфейс между контроллером и управляющей ВС(человеком-оператором): либо это традиционная аппаратно- программная база; либо это BCI ( шлем/инвазивные источники, нейросеть/более традиционные подходы, психология/физиология/медицина, методика обучения и использования ).

32 Спасибо за внимание! Контакты (903) Чепин Евгений Валентинович Зам. заведующего кафедрой «Компьютерные системы и технологии» НИЯУ МИФИ Руководитель факультетской лаборатории «Робототехника»