10.11.20121 ИСКУССТВЕННЫЕ КОГНИТИВНЫЕ СИСТЕМЫ В РОБОТОТЕХНИКЕ Станкевич Л.А. ФТК, СПбГПУ Декабрь 2011.

Презентация:



Advertisements
Похожие презентации
Урок повторения по теме: «Сила». Задание 1 Задание 2.
Advertisements

Методы оценки времени отклика задач в двухъядерных системах реального времени СоискательГуцалов Н.В. Научный руководитель д.т.н., профессор Никифоров В.В.
ЧЕЛОВЕКО-МАШИННОЕ ВЗАИМОДЕСТВИЕ. ЧЕЛОВЕК - КОМПЬЮТЕР 2 Задача Человек Компьютер Решение задачи.
Рисуем параллелепипед Известно, что параллельная проекция тетраэдра, без учета пунктирных линий, однозначно определяется заданием проекций его вершин (рис.
Школьная форма Презентация для родительского собрания.
Экспертные системы (ЭС). Характеристика и назначение. Лекция 1.
1 Основы надежности ЛА Надежность сложных систем.
Учебный курс Объектно-ориентированный анализ и программирование Лекция 4 Трансформация логической модели в программный код Лекции читает кандидат технических.
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ МОДЕЛИРОВАНИЯ Классификационные признаки моделирования Эффективность моделирования систем.
1 Использование онтологий при создании интеллектуальных систем И.Л. Артемьева Дальневосточный государственный университет.
Проектирование архитектуры ИСО 1. UML 2 Структура определения языка 4.
К построению и контролю соблюдения политик безопасности распределенных компьютерных систем на основе механизмов доверия А. А. Иткес В. Б. Савкин Институт.
Применение генетических алгоритмов для генерации числовых последовательностей, описывающих движение, на примере шага вперед человекоподобного робота Ю.К.
1 Линейные пространства Базис линейного пространства Подпространства линейного пространства Линейные операторы Собственные векторы и собственные значения.
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ МОДЕЛИРОВАНИЯ Классификационные признаки моделирования Эффективность моделирования систем.
Тема 5. Основы современной технологии программирования Программирование в средах современных информационных систем. Интегрированные системы разработки.
Лекция 2 Языки, операции над языками. Определение 2.1 Языком в алфавите называется произвольное множество цепочек в. Как следует из определения языка,
Michael Jackson
Языки и методы программирования Преподаватель – доцент каф. ИТиМПИ Кузнецова Е.М. Лекция 7.
Ребусы Свириденковой Лизы Ученицы 6 класса «А». 10.
Транксрипт:

ИСКУССТВЕННЫЕ КОГНИТИВНЫЕ СИСТЕМЫ В РОБОТОТЕХНИКЕ Станкевич Л.А. ФТК, СПбГПУ Декабрь 2011

SPPIIRAS Workshop, March 4-8 2Содержание 1. Введение 2. Искусственный интеллект и когнитивная наука 3. Когнитивистский и эмерджентный подходы 4. Когнитивные архитектуры 5. Гибридные когнитивные системы 6. Средства реализации когнитивных систем 7. Примеры применения в робототехнике 8. Заключение

SPPIIRAS Workshop, March Введение Искусственный интеллект + когнитивность + креативность. Искусственный интеллект + когнитивность + креативность. Это комплексное направление может позволить создать технические системы с уровнем разумности, близким к человеческому Это комплексное направление может позволить создать технические системы с уровнем разумности, близким к человеческому Искусственный интеллект – знания и вывод в разной форме Искусственный интеллект – знания и вывод в разной форме Поспелов Д.Г., Городецкий В.И., Гаврилова Т.А. и др. Поспелов Д.Г., Городецкий В.И., Гаврилова Т.А. и др. Когнитивность – ментальный вывод, познание, память и пр. Когнитивность – ментальный вывод, познание, память и пр. Величковский Б.М., Анохин К.В. И др. Величковский Б.М., Анохин К.В. И др. Креативность – интуитивные решения и творческие процессы Креативность – интуитивные решения и творческие процессы Юревич Е.И., Дунин-Барковский В.Л. И др. Юревич Е.И., Дунин-Барковский В.Л. И др. Цель доклада – показать происхождение и современный уровень развития искусственных когнитивных систем, а также методы их разработки и возможные применения Цель доклада – показать происхождение и современный уровень развития искусственных когнитивных систем, а также методы их разработки и возможные применения Задачи – рассмотреть пути развития искусственных когнитивных систем основные когнитивные концепции, соответствующие им архитектуры когнитивных систем, гибридные архитектуры и средства их реализации, а также показать некоторые приложения таких систем в области виртуальной и реальной робототехники. Задачи – рассмотреть пути развития искусственных когнитивных систем основные когнитивные концепции, соответствующие им архитектуры когнитивных систем, гибридные архитектуры и средства их реализации, а также показать некоторые приложения таких систем в области виртуальной и реальной робототехники.

SPPIIRAS Workshop, March Когнитивная наука и искусственный интеллект Когнитивный подход восходит к работам Гельмгольца и Вандта по научной психологии, Джеймса и Кларка по ментальному восприятию и рассуждениям, Найсера, Солто и др. по когнитивной психологии. Сейчас он тесно связывается с нейрофизиологией мозга и нервной системы (Палм, Шеперд и др.), теорией познания (Андерсон, Лайрд и др.) и теорией практического вывода (Братман, Рао и др.). Термин «когнитивный» происходит от лат. cognitio познание, а собственно когнитивный подход базируется на идеях когнитивной психологии одного из динамично развивающихся направлений. Когнитивная психология дала взгляд на процессы мозга, как процессы обработки информации. Формирование когнитивной психологии как особой дисциплины обычно связывают с именем Найссера, опубликовавшего книгу с изложением когнитивного подхода. В настоящее время термин «когнитивный» используется не только в психологии, но и в технике. Разработка ряда когнитивных моделей, т.е. формализованных моделей мыслительных процессов, отражающих современные гипотезы об их протекании в мозге человека, положило начало применению когнитивного подхода при создании технических систем. Применительно к техническим системам также стал использоваться термин «искусственные когнитивные системы», как отражение факта использования когнитивных моделей в системах искусственного интеллекта.

SPPIIRAS Workshop, March Когнитивистский и эмерджентный подходы Искусственные когнитивные системы Когнитивистский подходЭмерджентный подход Физические символьные системы Системы на базе теории познания Системы на базе теории практического вывода Коннекционистские системы Динамические системы Инактивные системы

SPPIIRAS Workshop, March Когнитивистские системы Физическая символьная система (Ньюэл и Саймон) эквивалентна автоматической формальной системе, которая производит эволюционирующий во времени набор символьных структур. Символ представляется как физический паттерн, который может рассматриваться как компонент выражения (или символьной структуры). Такие системы реализуют процессы обработки выражений, в результате чего могут производиться другие выражения Физическая символьная система (Ньюэл и Саймон) эквивалентна автоматической формальной системе, которая производит эволюционирующий во времени набор символьных структур. Символ представляется как физический паттерн, который может рассматриваться как компонент выражения (или символьной структуры). Такие системы реализуют процессы обработки выражений, в результате чего могут производиться другие выражения Системы на базе теории познания используют обучение и приобретение символьных знаний (Андерсон). Они основаны на системе продукций и обобщенной модели мышления и познания человека, включающей память, знания, принятие решений, обучение и другие аспекты. Обучение рассматривается как процесс, включающий декларативный и процедурный этапы в зависимости от состояния знаний ученика при обучении Системы на базе теории познания используют обучение и приобретение символьных знаний (Андерсон). Они основаны на системе продукций и обобщенной модели мышления и познания человека, включающей память, знания, принятие решений, обучение и другие аспекты. Обучение рассматривается как процесс, включающий декларативный и процедурный этапы в зависимости от состояния знаний ученика при обучении Системы на базе теории практического вывода основаны на высокоуровневых психологических концепциях Убеждений, Желаний, Намерений (Братман). В таких системах процесс принятия решения о том, что делать, имеет сходство с, который применим в нашей повседневной жизни Системы на базе теории практического вывода основаны на высокоуровневых психологических концепциях Убеждений, Желаний, Намерений (Братман). В таких системах процесс принятия решения о том, что делать, имеет сходство с практическим выводом, который применим в нашей повседневной жизни

SPPIIRAS Workshop, March Архитектуры АСТ Модуль намерений (целей)Декларативный модуль Буфер целейБуфер поиска Продукционная система Сопоставление Селекция Выполнение Визуальный буферМануальный буфер Визуальный модульМануальный модуль С Р Е Д А

SPPIIRAS Workshop, March Архитектура BDI интерпретатор ревизия убеждений генерация опций фильтр исполнение Убеждения (Beliefs - B) Желания (Desires - D) Намерения (Intentions - I) Библиотека планов

SPPIIRAS Workshop, March Эмерджентные системы Коннекционистские системы реализуют параллельную обработку распределенных паттернов активации, используя статистические свойства, а не логические правила. Термин «коннективизм» еще до эры компьютеров использовался психологом Торндайком в 1932 году, чтобы охарактеризовать расширенную форму ассоцианизма, основанного на принципах связности, ясно видимых в модели ассоциативной памяти. Коннекционистские системы реализуют параллельную обработку распределенных паттернов активации, используя статистические свойства, а не логические правила. Термин «коннективизм» еще до эры компьютеров использовался психологом Торндайком в 1932 году, чтобы охарактеризовать расширенную форму ассоцианизма, основанного на принципах связности, ясно видимых в модели ассоциативной памяти. Динамические системы основаны на результатах теории динамических систем, дополняющих классические подходы в искусственном интеллекте. Эта теория была успешно использована, чтобы моделировать естественные и искусственные когнитивные системы. Рассмотрение когнитивности с позиций динамических систем правомерно, поскольку моторные системы и системы восприятия человека являются динамическими, причем каждая из них самоорганизуется внутри метастабильных паттернов поведения Динамические системы основаны на результатах теории динамических систем, дополняющих классические подходы в искусственном интеллекте. Эта теория была успешно использована, чтобы моделировать естественные и искусственные когнитивные системы. Рассмотрение когнитивности с позиций динамических систем правомерно, поскольку моторные системы и системы восприятия человека являются динамическими, причем каждая из них самоорганизуется внутри метастабильных паттернов поведения Инактивные системы развивают эмерджентную парадигму еще дальше. В противовес когнитивизму, в инактивных системах когнитивность рассматривается как процесс, посредством которого определение когнитивной сущности, т.е. целенаправленного поведения системы, происходит, когда она взаимодействует со средой, в которой она воплощена Инактивные системы развивают эмерджентную парадигму еще дальше. В противовес когнитивизму, в инактивных системах когнитивность рассматривается как процесс, посредством которого определение когнитивной сущности, т.е. целенаправленного поведения системы, происходит, когда она взаимодействует со средой, в которой она воплощена

SPPIIRAS Workshop, March Структура системы (изменяемая сеть взаимодействующих элементов) Процесс самоорганиза-цииПроцесс предвидения Глобальные состояния системы (видение себя в окружающем мире) Навыки и действияВосприятие С Р Е Д А Процесс взаимодействия

SPPIIRAS Workshop, March Когнитивные архитектуры Архитектуры ACT и Soar (Андерсон и Ньюэл) – с рабочей памятью (кратковременной) и памятью продукций (долговременной), а также механизмами разрешения конфликтов и сохранения результатов в форме новых продукций, улучшающих вывод. Архитектура Subsumption (Брукс) – реактивная, многослойная с приоритетной селекцией реакций без представления знаний Архитектура Cog (Брукс и Сказелатти) - в рамках проекта Cog для проведения когнитивных исследований с использованием роботов. Она поддерживает парадигму гибридных когнитивных систем Архитектура Darwin (Кричмар и Эдельман)– нейроподобная, поддерживает эмерджентную парадигму. Это - серия платформ c общим названием «Brain- based Devices для экспериментирования в области управления роботами. Архитектуры Belief-Desire-Intention - BDI (Братман и Рао) – на основе когнитивных примитивов убеждения, желания и намерения. Эти примитивы реализуются в агентах как структуры данных, содержащих информацию об окружении, целях и планах. Для вывода решений используется специальная модальная логика Архитектуры CMattie и LIDA – на поведенческих сетях Майеса-Франклина- Доррера, в основе которых лежит когнитивная теория сознания Бара. Такие сети имеют в узлах модули компетенции (поведения), которые связаны с целями и имеют условия релевантности (инициации). Агенты сначала обучаются концепциям проблемной области, а затем - порядку действий под эти концепции и цели.

SPPIIRAS Workshop, March Гибридные когнитивные системы Работы автора и его коллег по когнитивным системам, проводимые с 1998 года, позволили выработать определенную методологию разработки гибридных когнитивных систем с сильным акцентом на эмерджентную парадигму. Работы автора и его коллег по когнитивным системам, проводимые с 1998 года, позволили выработать определенную методологию разработки гибридных когнитивных систем с сильным акцентом на эмерджентную парадигму. В рамках этой методологии были разработаны: В рамках этой методологии были разработаны: (1)- Формализованные когнитивные концепции и методы создания на их основе эффективных самообучающихся и самомодифицирующихся систем, основанные на использовании современных достижений когнитивной науки и информатики (1)- Формализованные когнитивные концепции и методы создания на их основе эффективных самообучающихся и самомодифицирующихся систем, основанные на использовании современных достижений когнитивной науки и информатики (2) – Методы синтеза оригинальных когнитивных компонентов (модулей и сетей модулей), способных к накоплению знаний путем обучения и самообучения для отображения большого диапазона когнитивных функций и отношений. Эти компоненты строятся на основе комбинации нейрологических, иммуннологических и триангуляционных адаптивных элементов, наиболее эффективных для многомерной функциональной аппроксимации, а также поведенческих сетей на их основе;. (2) – Методы синтеза оригинальных когнитивных компонентов (модулей и сетей модулей), способных к накоплению знаний путем обучения и самообучения для отображения большого диапазона когнитивных функций и отношений. Эти компоненты строятся на основе комбинации нейрологических, иммуннологических и триангуляционных адаптивных элементов, наиболее эффективных для многомерной функциональной аппроксимации, а также поведенческих сетей на их основе;. (3)- Методы реализации предлагаемых когнитивных компонент и систем на основе специально разработанных программных средств. Программная реализация когнитивных компонентов базируется на оригинальных моделях обработки информации и обучения, а когнитивных систем - на основе многоагентной технологии. (3)- Методы реализации предлагаемых когнитивных компонент и систем на основе специально разработанных программных средств. Программная реализация когнитивных компонентов базируется на оригинальных моделях обработки информации и обучения, а когнитивных систем - на основе многоагентной технологии.

SPPIIRAS Workshop, March Концепция когнитивной функциональности Три уровня – когнитивных функций, отношений и процессов Три компонента – восприятия, селекции поведения, исполнения Связность компонент – через процессы взаимодействия КП «Поведение- Исполнение» КП «Восприятие- Поведение- Исполнение» КП «Восприятие- Обработка» Координация эффекторов КП Селекции поведений КП Восприятия Эффекторы (Мышцы, сенсоры) Поведенчески е компоненты Сенсорные системы Тело и органы Окружающая среда КП взаимодействия Эффекторные процессы Когнитивные процессы (КП)

SPPIIRAS Workshop, March Концепция когнитивной конструктивности Модульность, иерархичность, вложенность, полная связность элементов уровня, пирамидальность управления Проекционная сеть Локальная сеть Ядро Клетка Локальная сеть Ядро Клетка Локальная сеть Ядро Клетка...

SPPIIRAS Workshop, March Концепция когнитивной многоагентности Когнитивная многоагентность позволяет строить распределенные когнитивные системы с высоким уровнем сложности поведения на основе технологии многоагентных систем. Эта технология позволяет организовать систему из взаимодействующих агентов, каждый из которых имеет свое индивидуальное и коллективное поведение. Технология многоагентных систем дает возможность организовать в когнитивной системе множество взаимодействующих виртуальных агентов, реализующих когнитивные процессы подобные тем, которые временно возникают в структурах мозга. Такие агенты кооперируются или конкурируют между собой с целью селекции наиболее подходящего поведения в текущей ситуации. Виртуальный агент может объединять несколько связанных когнитивных процессов. Разные агенты могут использовать одни и те же компоненты для реализации когнитивных функций и отношений, образующих процессы. Так можно моделировать мышление как процесс инициации и взаимодействия виртуальных агентов и сознание как результат процесса мышления, возникающий при кооперации и конкуренции виртуальных агентов.

SPPIIRAS Workshop, March Когнитивный агент гибридной архитектуры Слой кооперативного поведения (BDI) Слой индивидуального поведения (BDI) Исполнительный cлой (Subsumption) Окружающая среда Эффекторы Сенсоры

SPPIIRAS Workshop, March Средства реализации когнитивных систем Адаптивные функциональные аппроксиматоры - нейронные и обучаемые логические сети, нейрологические компоненты, триангуляционные компоненты, иммунные сети, поведенческие сети и пр. Нейрологические компоненты - клетки и ядра. Они могут строиться на разных базисах: интервально-логическом, нечетко-логическом и вероятностно-логическом и настраиваться обучением. Модули могут использоваться как компоненты локальных и распределенных сетей, способных преобразовывать образы и реализовать сложные процессы обработки информации и управления. Такие сети настраиваются на решение сложных поведенческих задач с использованием накопленных знаний также путем обучения. Методы обработки информации: грануляция, ассоциативное принятие решений (обработка функций), ассоциативное преобразование образов (обработка отношений), цепочечные решения и преобразования образов. Методы формирования функций, отношений и процессов: обучение и самообучение с использованием генетических алгоритмов, быстрых локальных алгоритмов, алгоритмов обучения с подкреплением типа Sarsa, Q-learning, генетические алгоритмы.

SPPIIRAS Workshop, March Нейрологические компоненты Нейрологические модули (клетки и ядра) позволяют более эффективно, чем нейронные сети, реализовать многие когнитивные функции и отношения при восприятии информации и формировании поведения в текущей ситуации. На их основе можно строить сетевые структуры, способные реализовать сложные когнитивные процессы. Нейрологические модули (клетки и ядра) позволяют более эффективно, чем нейронные сети, реализовать многие когнитивные функции и отношения при восприятии информации и формировании поведения в текущей ситуации. На их основе можно строить сетевые структуры, способные реализовать сложные когнитивные процессы. Варианты нейрологических модулей: с нечетко- логическом базисом на основе сеточной и кластерной моделей. Такие модули были использованы в агентах- игроках, обучаемых путем подкрепления. Варианты нейрологических модулей: с нечетко- логическом базисом на основе сеточной и кластерной моделей. Такие модули были использованы в агентах- игроках, обучаемых путем подкрепления. Обучение с подкреплением, основанное на взаимодействии обучаемого объекта с окружающей средой с целью достижения некоторой цели. Такой тип обучения в сочетании нейрологическими модулями оказался эффективным при управлении динамическими объектами в плохо определенных средах. Обучение с подкреплением, основанное на взаимодействии обучаемого объекта с окружающей средой с целью достижения некоторой цели. Такой тип обучения в сочетании нейрологическими модулями оказался эффективным при управлении динамическими объектами в плохо определенных средах.

SPPIIRAS Workshop, March Нейрологические клетки и ядра (когнионы) Xp*Xp* Гранулятор информации IG Активатор Базисных функций A(a 1,…,a N ;S,W) Дегранулятор информации ID Обучатель Т с X HxHx HyHy ypyp yp*yp* Y

SPPIIRAS Workshop, March Нейрологическое ядро с активатором на сеточной модели

SPPIIRAS Workshop, March Example: n=2; p=2; ki=3; m= X1 X Y W 11 W 32

SPPIIRAS Workshop, March Example: n=2; p=2; ki=3; mj= X1 X Y W 1121 W 1323 …..

SPPIIRAS Workshop, March Активатор нейрологического ядра на основе кластерной модели X1X1 XnXn V Y (X 1, l 11, c 11, h 11 ) (X n, l 1n, c 1n, h 1n ) w1w1 (X 1, l m1, c m1, h m1 ) (X n, l mn, c mn, h mn ) wmwm

SPPIIRAS Workshop, March Иммунологические сети (Watanabe, Ishiguro, Uchikawa, 1999) Динамика иммунологической сети связана с изменениями концентрации антител. Концентрация i-го антитела может быть вычислена в соответствии с уравнением В этих уравнениях – N - число антител, m ij и m i - означают сходство между антителами I и j (например, степень отклонения) и между антителом i и детектированным антигеном соответственно. Первый и второй термы правой части первого уравнения означают стимуляцию и подавление от других антител соответственно. Третий терм представляет стимуляцию от антигена, а четвертый терм является фактором диссипации (например, естественной смерти). Второе уравнение является функцией сплющивания, используемой, чтобы обеспечить стабильность концентрации

SPPIIRAS Workshop, March Пример иммунологической сети Энергия низкая Искать базу 1 Человек спереди Маневр уклонения 3 Энергия высокая Работать дальше 3 База справа Поворот направо 4 Антитело 1Антитело 2 Антитело 4 Антитело 3 База справаЧеловек спередиЭнергия высокая или низкая Антиген 1Антиген 2Антиген 3

SPPIIRAS Workshop, March Расширенные поведенческие сети Расширенные поведенческие сети (Extended Behavior Networks - EBN) были предложены для селекции достаточно хорошего поведения в сложной, непрерывно изменяемой непредсказуемой среде. Они сочетают свойства традиционных планировщиков и ассоциативных систем. С 1990 г. по 2003 г. было предложено несколько расширений поведенческой сети Майеса (PHISH- Nets, Dorer EBN, Franklin EBN и пр.). Структура сети определяется выражением: EBN =, где М – множество модулей поведения, G – множество целей, S – множество сенсоров, R – множество ресурсов, C – множество параметров управления. Любая цель Gi определяется значением силы Sti и условием релевантности Li, т.е. дизъюнкцией пропозиций, которые обеспечивают контекст для цели. Сила отражает статическую, контекстно-независимую важность цели, а условие релевантности – динамическую, контекстно-зависимую важность. Общая важность цели для определенного момента определяется как произведение динамической и статической важности. Применение EBN – хорошие результаты были получены для агентов- футболистов в соревнованиях на Кубок Роботов (RoboCup), а также для автономных агентов-бойцов в компьютерных играх типа Unreal Tournament. В данной работе эти сети используются для управления поведением агентов- баскетболистов и андроидных роботов.

SPPIIRAS Workshop, March Элемент расширенной поведенческой сети (пример броска по кольцу) SuccThrow 0.8 BlockShot Not BlockShot 0.6 {BallInHands} Throw Ring {SuccThrow 0.6, BlockShot 0.1} {Hands 2, Head 1} Hands f(s): 2 Head f(s):1 Legs f(s):2, (Inhibition influence) (Inertia) (Activation Threshold) (Decay of Activation Threshold) (Activation influence)

SPPIIRAS Workshop, March Адаптивный триангуляционный аппроксиматор Значение любой непрерывной функции f(x) в заданной точке x, лежащей внутри выбранного симплекса с вершинами аппроксимируется линейной комбинацией значений функции в этих вершинах: где - барицентрические координаты x, определяемые как положительные коэффициенты, однозначно задаваемые системой уравнений: В общем случае вычисление барицентрических координат для произвольного симплекса является достаточно трудоемкой задачей, поскольку оно требует обращения матрицы симплекса. Разработан новый метод многомерной триангуляции, основанный на комбинации триангуляции Куна и периодическом методе биссекции, заключающемся в рассечении самого длинного ребра симплекса, не содержащего вершин, созданных в течение текущего периода

SPPIIRAS Workshop, March Предложен простой алгоритм, имеющий сложность O(N), где N – средняя глубина дискретизации. Алгоритм позволяет определить симплекс, которому принадлежит произвольная точка и, осуществив преобразование координат этой точки в пространство базового симплекса, найти барицентрические координаты Модуль, построенный на основе такого барицентрического аппроксиматора, может быть настроен на отображение когнитивной функции или отношения путем супервизорного обучения или обучения с подкреплением. При супервизорном обучении для обновления значений функции в вершинах и степеней доверия этим значениям на базе примеров, задающих используется следующая итерационная схема: Алгоритм обучения с подкреплением строится на основе методов динамического программирования. Решается задача максимизации значения функционала подкрепления путем выбора оптимального управления, т.е. где – текущее подкрепление, – граничное подкрепление, – коэффициент.

SPPIIRAS Workshop, March Обучение с подкреплением Алгоритм Sarsa 1 Initialize policy Q(s,a) arbitrarily and eligibility traces e(s,a)=0 for all s, a. 2 Repeat for each episode: 3Initialize s, a. 4Repeat for each step of episode: 5 Take action a, observe r, s /. 6 Choose a / from s / using policy derived from Q ( ε -greedy). 7δ r+ γ Q(s /,a / )-Q(s,a) 8Update eligibility traces 9If a==a / 10e(s,a)1 11 else 12e(s,a)0 13For all s, a: 14Q(s,a)Q(s,a)+αδe(s,a) 15e(s,a) λ e(s,a) 16ss /, aa / 17until s / is the terminal state.

SPPIIRAS Workshop, March Примеры применения в робототехнике Когнитивное восприятие визуальной информации. 2Д и 3Д системы. Когнитивное восприятие визуальной информации. 2Д и 3Д системы. Когнитивное формирование поведения. Когнитивное формирование поведения. Системы на нейрологических компонентах: агенты-игроки в виртуальном футболе Системы на нейрологических компонентах: агенты-игроки в виртуальном футболе Системы на иммунологических сетях: управление интеллектуальными роботами Системы на иммунологических сетях: управление интеллектуальными роботами Системы на поведенческих сетях: агенты-игроки для среды баскетбола роботов Системы на поведенческих сетях: агенты-игроки для среды баскетбола роботов

SPPIIRAS Workshop, March Когнитивное восприятие визуальной информации 2Д распознавание

SPPIIRAS Workshop, March Исследования в области когнитивной робототехники Мобильная платформа с двухкоординатной стереопарой

SPPIIRAS Workshop, March

SPPIIRAS Workshop, March Когнитивное формирование поведения Системы на нейрологических компонентах: агенты-игроки в виртуальном футболе Стратегия игры (Роли, формации, сценарии) Навыки Поведение Координация в команде Модель Мира Представление игрового поля (Маркеры поля, игроки, мяч) Восприятие Модель Агента Модуль синхронизации Среда (Server)

SPPIIRAS Workshop, March Двухмерный виртуальный футбол (RoboCup)

SPPIIRAS Workshop, March

SPPIIRAS Workshop, March Коллективное поведение роботов-футболистов в симуляционной трехмерной среде SimSpark

SPPIIRAS Workshop, March Системы на иммунологических сетях: управление интеллектуальными роботами Иммунологические системы целесообразно применять, например, в системах обеспечения управления, безопасности и защиты интеллектуальных роботов, которые должны выполнять полезную работу и не наносить вред человеку и максимально сохранять свою работоспособность Иммунологические системы целесообразно применять, например, в системах обеспечения управления, безопасности и защиты интеллектуальных роботов, которые должны выполнять полезную работу и не наносить вред человеку и максимально сохранять свою работоспособность Иммунологические системы могут обеспечить адаптивность управления командной работой. Это можно показать на примере виртуальной игры агентов в футбол (2-мерный) или баскетбол (3-мерный вариант игровой среды) Иммунологические системы могут обеспечить адаптивность управления командной работой. Это можно показать на примере виртуальной игры агентов в футбол (2-мерный) или баскетбол (3-мерный вариант игровой среды) Иммунологические системы могут повысить эффективность управления поведением объектов в динамически изменяемых и плохо предсказуемых средах Иммунологические системы могут повысить эффективность управления поведением объектов в динамически изменяемых и плохо предсказуемых средах

SPPIIRAS Workshop, March Схема безопасности робота B – База с зарядкой P – Человек O – Объект Взаимодействия C – Команда от Оператора V – Программный вирус Сенсомоторная система EL – Уровень энергии CA – Способность к управлению CB – Координация частей тела DB – Дистанция и направление на базу DO – Дистанция и направление на объект DP – Дистанция и направление на человека WC – Неправильная команда PV – Программный вирус Система управления поведением SВ – Поиск базы AP – Избегание человека SA – Остановка действий AV – Антивирусная защита SW – Отключение энергии WO – Работа с объектами Гуманоидный роботДинамическая среда

SPPIIRAS Workshop, March Системы на поведенческих сетях: агенты-игроки в виртуальный баскетбол (RoboFIBA-1)

SPPIIRAS Workshop, March Виртуальный баскетбол (RoboFIBA-2)

SPPIIRAS Workshop, March База правил агента-баскетболиста База правил агента-баскетболиста

SPPIIRAS Workshop, March

Модель мира, изменяющаяся во времени Набор ассоциативных преобразований Механизм селекции поведения Получаю информацию о мире через сенсоры Реализую выбранное поведение через эффекторы Осознаю необходимость действий и выбираю наиболее подходящее поведение Воспринимаю изменения мира, формирую текущую ситуацию и включаю внимание Активизирую мышление как процесс параллельных ассоциативных преобразований, соответствующих ситуации и цели Гуманоидные роботы ЦНС робота Текущая ситуация, включающая внимание

SPPIIRAS Workshop, March ARNE-02 ( ) и AR-101 ( )

SPPIIRAS Workshop, March Гуманоидный робот Nao (Aldebaran, France) и его виртуальная модель

SPPIIRAS Workshop, March Система управления гуманоидного робота на базе Robotic Operation system (ROS)

SPPIIRAS Workshop, March Искусственная нервная система гуманоидного робота

SPPIIRAS Workshop, March Заключение В настоящее время когнитивный подход широко используется не только в психологии, но и в технике. Разрабатывается и исследуется большая гамма искусственных когнитивных систем, использующих когнитивные модели и нейроподобные средства реализации. Предполагается, что именно такие системы позволят достичь уровня поведения, соответствующего поведению человека. В настоящее время когнитивный подход широко используется не только в психологии, но и в технике. Разрабатывается и исследуется большая гамма искусственных когнитивных систем, использующих когнитивные модели и нейроподобные средства реализации. Предполагается, что именно такие системы позволят достичь уровня поведения, соответствующего поведению человека. Наиболее полезными с точки зрения практического применения можно считать искусственные когнитивные системы с гибридными архитектурами. Разработка, исследования и применение таких систем проводятся автором этой работы и его коллегами с 1998 года. Эти работы развиваются на основе предложенных когнитивных концепций, инспирированных когнитивной наукой и информатикой, таких как: когнитивная функциональность, конструктивизм и многоагентность. Предложенная комбинированная архитектура когнитивного агента, построенная на основе описанных концепций, позволяет значительно усложнить поведение когнитивных агентов. Наиболее полезными с точки зрения практического применения можно считать искусственные когнитивные системы с гибридными архитектурами. Разработка, исследования и применение таких систем проводятся автором этой работы и его коллегами с 1998 года. Эти работы развиваются на основе предложенных когнитивных концепций, инспирированных когнитивной наукой и информатикой, таких как: когнитивная функциональность, конструктивизм и многоагентность. Предложенная комбинированная архитектура когнитивного агента, построенная на основе описанных концепций, позволяет значительно усложнить поведение когнитивных агентов. Разработанные варианты когнитивных модулей сетевого типа: нейрологических, иммунологических, поведенческих, а также на основе адаптивной триангуляционной аппроксимации, дали возможность реализовать ряд когнитивных систем и агентов для роботизированных игровых сред. Агенты-игроки для участия в виртуальных командных соревнованиях в рамках RoboCup и RoboFIBA обеспечили российским командам призовые места. В новом проекте гуманоидного робота разработанные когнитивные агенты рассматриваются как основное средство реализации системы управления. Разработанные варианты когнитивных модулей сетевого типа: нейрологических, иммунологических, поведенческих, а также на основе адаптивной триангуляционной аппроксимации, дали возможность реализовать ряд когнитивных систем и агентов для роботизированных игровых сред. Агенты-игроки для участия в виртуальных командных соревнованиях в рамках RoboCup и RoboFIBA обеспечили российским командам призовые места. В новом проекте гуманоидного робота разработанные когнитивные агенты рассматриваются как основное средство реализации системы управления.