Владимир Конышев, Артур Пешеньков, Александр Зонов, Рустам Муслимов www.neurobotics.ru Использование интерфейса мозг-компьютер в системе управления роботом. - презентация

1 Владимир Конышев, Артур Пешеньков, Александр Зонов, Рустам Муслимов Использование интерфейса мозг-компьютер в системе управления роботом

2 План выступления 2 1.Постановка задачи 2.Объект управления - робот 3.Субъект управления – оператор 4.Требования к системе управления (связь субъекта с объектом) 5.Общая схема системы управления 6.Статус ИМК на основе психонетики (пИМК) 7.Развитие ИМК: 1.Улучшение скоростных характеристик пИМК 2.ИМК без ЭЭГ-усилителя

3 Постановка задачи 3 1.Оператор, неподвижно сидящий или лежащий, должен управлять перемещениями и простейшими действиями автономного антропоморфного робота. 2.Автономный колесный робот с ИИ способен сам перемещаться в 2D пространстве (а затем биподный робот в 3D), Робот идентифицирует объекты с помощью стереозрения и препятствия с помощью набора датчиков в бампере. 3.Двухсторонняя передача звука, односторонняя передача видео от глаз робота к человеку. 4.Однако основное управление - за счет ЭЭГ, ЭМГ, трекинга глаз.

4 Объект управления - робот Голова робота Алисы Ростовая колесная база Пневморука ++

5 Субъект управления - оператор 5 Ограничения на систему управления со стороны субъекта: 1.Оператор неподвижен (малоподвижен) – нельзя (или неоптимально) использовать традиционные устройства ввода-вывода. 2.Видео с глаз робота должно передаваться оператору. 3.Аудио должно передаваться в обе стороны: то, что говорит оператор транслируется роботом, а то, что слышит робот, передается оператору. 4.ИМК должен быть асинхронный. Наш выбор ИМК: 1.Оперантный с нулевым состоянием - определенные паттерны ЭЭГ-активности у оператора- психонетика 2.Формировании оператором состояний/команд в системе ИМК основано на активизации воли и управлении вниманием. 3.Процесс эффективного управления предполагает удержание состояний и переключение между состояниями/командами. 4.Программа обучения психотехникам состоит из серии психонетических упражнений и тренировки на виртуальных тест-тренажерах. Длительность программы обучения: 1 – 3 часа для освоения 2-3 состояний/команд; однако, для устойчивого формирования 4-6 состояний требуется около 3-4 недель тренировок по 1-2 часу ежедневно.

6 Требования к системе управления 6 1.Во время взаимодействия оператора и робототехнического устройства (РТУ) посредством ИМК важно, чтобы обратная связь о состоянии управляемых параметров была своевременной и понятной для оператора. 2.Т.е. на видео от глаз робота нужно накладывать информацию по идентификации объектов либо роботом, либо самим оператором (на основе технологии трекинга глаз), а также возможные способы реагирования\взаимодействия с данным объектом. 3.Оптимальное использование небольшого количества доступных команд ИМК (например, 4-х) 4.Таким образом, оператор не должен управлять роботом на нижнем уровне (т.е. он не должен заниматься контролем перестановки ног робота), а должен выбирать тип реагирования объекта управления, т.е. управляет роботом на верхнем уровне. Например: Если текущая задача робота - перемещение, то команды ИМК означают перемещение «вперед», «назад», «влево» и «вправо» Если текущая задача робота – баночка кока-колы, то команды ИМК могут означать «взять», «поднести ко рту», «опустить», «поставить на стол» 5.Итак, робот в зависимости от выбранного объекта интерпретирует команды по-разному. На основе технологии T9 и индивидуальной статистики предпочтений пользователя, собранных на основе истории предыдущих сессий управлений, он ранжирует ответы под данного оператора.

7 Общая схема системы управления 7

8 Статус ИМК на основе психонетики 8 Характеристики пИМК: 1.Асинхронный (не требуется монитор для стимуляции, оператор может параллельно говорить, ходить, выполнять другие каждодневные задачи) 2.Используются 4 биполярных отведения (F3-C3, C3-P3, F4-C4, C4-P4), земля – Fpz 3.Беспроводная передача ЭЭГ на 5-10 м 4.Частота регистрации – 125 Гц, полоса пропускания сигнала – от 0.5 до 32 Гц 5.Пропускная способность интерфейса – 8 команд в секунду.

9 Улучшение скоростных характеристик пИМК 9 Дальнейшее совершенствование пИМК возможно за счет: 1.Увеличение количества состояния (с 4 до 8 или 10) 2.Увеличение количества каналов регистрации ЭЭГ (с 4 до 19, 24, 32, 64, 128) 3.Перехода от дискретных команд (например, вперед, назад, влево, вправо) к градуальным, когда состояние имеет 2 связанные характеристики, что позволяет менять вектор перемещение и скорость перемещение 4.Улучшение классификатора состояний 5.Концентрация электродов над моторной (или иной) зоной оператора Наша ближайшая цель: 1.Удвоение пропускной способности пИМК с 8 до 16 команд в секунду 2.Создание адаптивной пИМК, собирающую статистику действий оператора для оптимизации взаимодействия по технологии Т9.

10 ИМК без ЭЭГ усилителя 10 Сегодня: 1.Неинвазивные vs инвазивные ИМК. 2.Минус неинвазивных – громоздкие, видимые, плохое пространственное разрешение, чем больше электродов, тем больше геля на голове. 3.Минус инвазивных – требуется нейрохирургическое вмешательство (ограниченное применение в основном на больных), отторжение датчиков через какое-то время (месяц-два?). Сегодня: 1.Неинвазивные vs инвазивные ИМК. 2.Минус неинвазивных – громоздкие, видимые, плохое пространственное разрешение, чем больше электродов, тем больше геля на голове. 3.Минус инвазивных – требуется нейрохирургическое вмешательство (ограниченное применение в основном на больных), отторжение датчиков через какое-то время (месяц-два?). Завтра: Синтез обоих типов в виде: 1.Распределенной системы сенсоров, вытатуированных в необходимых позициях (можно невидимых) 2.Подкожные (некорпусированные) чипы для системы регистрации ЭЭГ и её передачи. 3.Заушный компьютер для анализа ЭЭГ и реализации ИМК. Если этого компьютера нет, то ЭЭГ регистратор переходит в standby-режим. 4.Система подзарядки от биотоков (например, диполя ЭКГ) самого оператора либо индукционная от заушного ИМК-компьютера. Завтра: Синтез обоих типов в виде: 1.Распределенной системы сенсоров, вытатуированных в необходимых позициях (можно невидимых) 2.Подкожные (некорпусированные) чипы для системы регистрации ЭЭГ и её передачи. 3.Заушный компьютер для анализа ЭЭГ и реализации ИМК. Если этого компьютера нет, то ЭЭГ регистратор переходит в standby-режим. 4.Система подзарядки от биотоков (например, диполя ЭКГ) самого оператора либо индукционная от заушного ИМК-компьютера.