Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич Презентация книг Редько В. Г. «Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики», УРСС, 2005 «От моделей поведения к искусственному интеллекту» (под ред. Редько В.Г.), УРСС, 2006

План Проблема происхождения интеллекта Книга 1 Модели предбиологической эволюции Модели адаптивного поведения Книга 2 Впечатление о конференции Simulation of Adaptive Behavior (SAB06), Рим, 25 сент. -1 окт

Гносеологическая проблема Почему логический вывод, сделанный человеком, применим к реальному объекту в природе?

Гносеологическая проблема « … хотя в начале это звучит странно, но, тем не менее, верно, если я скажу: рассудок не черпает свои законы (a priori) из природы, а предписывает их ей». И. Кант. Пролегомены ко всякой будущей метафизике, могущей появиться как наука, 1783 г. «Наши категории и формы восприятия, данные до индивидуального опыта, адаптированы к внешнему миру точно по той же причине, по какой копыто лошади адаптировано к почве степи и плавник рыбы адаптирован к воде до того, как рыба вылупится из икринки» К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

Гносеологическая проблема «Не является ли человеческий разум чем-то таким, что органически возникло в неразрывной и постоянной причинно-следственной связи с законами окружающей природы, точно так же, как это было с человеческим мозгом? Не были бы законы разума, необходимые для априорного мышления, иными, если бы они сформировались иным историческим способом и если бы мы, следовательно, были оснащены иным типом нервной системы? И вообще, возможно ли, чтобы законы нашего когнитивного аппарата не были связаны с законами реального внешнего мира? Остается ли орган, развившийся в постоянном взаимодействии с законами природы, настолько независимым, чтобы можно было строить теорию явлений независимо от существования вещи в себе?» К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

Гносеологическая проблема Уравнения Максвелла Являются законы электродинамики законами природы?

Подход к исследованию гносеологической проблемы Исследовать происхождение интеллекта путем построения математических и компьютерных моделей когнитивной эволюции, эволюции познавательных свойств биологических организмов Проследить весь путь биологической эволюции от простейших до человека, анализируя c помощью моделей, как на этом пути возникали свойства познания закономерностей природы в результате развития систем управления адаптивным поведением организмов. Разумно использовать задел направлений исследований «Адаптивное поведение»

Проблема происхождения интеллекта

О биоинформатике (в широком смысле слова) Биология Информатика Чистое поле Какова должна быть стратегия исследований в области биоинформатики? Информатика + Биология – науки 21 века, что на стыке?

Три ключевые проблемы 1. Проблема происхождения молекулярно-генетических систем управления – информационно-кибернетические аспекты проблемы происхождения жизни 2. Проблема происхождения интеллекта человека. Гносеологический аспект – почему мышление человека применимо к познанию природы, почему в принципе возможна наука? 3. Проблема эволюции человечества в информационном сообществе (применение многоагентного моделирования). Проблема формирования ноосферы Первые две проблемы – фундаментальные, третья – прикладная

«Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики » Глава 1. Философские предпосылки эволюционной кибернетики Глава 2. Модели возникновения молекулярно-генетических кибернетических систем Глава 3. Общие модели молекулярно-генетической эволюции Глава 4. Прикладное эволюционное моделирование Глава 5. Искусственные нейронные сети Глава 6. Направление исследований "Искусственная жизнь" – эволюционные и нейросетевые методы Глава 7. Направление исследований "Адаптивное поведение"

Проблема происхождения молекулярно- генетических систем управления Схема самовоспроизводящейся мол.-генетической системы живой клетки

Проблема происхождения молекулярно- генетических систем управления Модели происхождения молекулярно-генетических систем управления Модель квазивидов – эволюция простейших РНК-цепочек (М. Эйген, 1971) Модель гиперциклов – модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979) Модель сайзеров – модель самовоспроизводящейся системы, модель простейшей протоклетки (В.А. Ратнер, В.В. Шамин, 1980) Адаптивный сайзер – модель молекулярно-генетической системы управления на предбиологическом уровне (В.Г. Редько, 1986) Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки:

Модель квазивидов – эволюция простейших модельных геномов М. Эйген, Г. Кун, Дж. Эдельман Рассматривается дарвиновская эволюция популяции модельных геномов. Длина генома равна N, учитываются точечные мутации, скрещивания нет Имеется один оптимум. Рассматривается процесс, который сходится к квазивиду – распределению особей в окрестности оптимума. Сделаны аналитические оценки, которые демонстрируют, что в эволюционном процессе «оптимальный» геном длины N можно найти при испытании порядка N 2 особей Оценки проверены путем компьютерного моделирования.

Модель квазивидов Рассматривается дарвиновская эволюция популяции последовательностей S 1, S 2,..., S n. S ki = 1, -1; k = 1,2,…, n; i = 1,2,…, N. Длина последовательностей N и численность популяции n велики: N, n >> 1. N = const, n = const. Имеется оптимальная последовательность S m, имеющая максимальную приспособленность. Приспособленность произвольной особи S определяется расстоянием по Хеммингу (S, S m ) между S и S m (числом несовпадающих символов в соответствующих позициях последовательностей): f(S) = exp[- (S, S m )], (1) – интенсивность отбора.

Схема эволюции в модели квазивидов Шаг 0. Формирование начальной популяции {S k (0)}. Для каждого k = 1,..., n, и для каждого i = 1,..., N, выбираем случайно символ S ki, полагая его равным +1 либо -1. Шаг 1. Отбор Подшаг 1.1. Расчет приспособленностей. Для каждого S k из {S k (t)} вычисляем величину f(S k ), t – номер поколения, k =1,..., n. Подшаг 1.2. Формирование новой популяции {S k (t+1)}. Отбираем n особей в новую популяцию {S k (t+1)} с вероятностями, пропорциональными f(S k ). Шаг 2. Мутации особей в новой популяции. Для каждого k = 1,..., n, для каждого i = 1,..., N, меняем знак S ki (t+1) на противоположный с вероятностью P. P - интенсивность мутаций.

Отбор пропорционально-вероятностный Доля k-го сектора рулетки q k = f k [ l f l ] -1, f k = f(S k ). Ровно n раз крутим рулетку, номер сектора определяет номер особи, выбираемой в популяцию следующего поколения. Для каждого вращения вероятность k-й особи попасть в следующее поколение пропорциональна ее приспособленности f k. Показан пример, для которого n = 4, f 1 = 1/2, f 2 = 1, f 3 = 1/4, f 4 = 1/4.

Параметры модели N - длина последовательности, длина генома n - численность популяции - интенсивность отбора P - интенсивность мутаций N, n >> 1, > PN, PN < 1

Качественная схема эволюции (Ю.Р. Цой) N = 500, n = N, =1, P = 0,002

Качественная схема эволюции Начальное распределение по в популяции близко к нормальному, = N/2, D = N/4. На первой стадии происходит отбор особей, расположенных "на левом крыле" исходного распределения, и распределение сжимается. На второй стадии появление новых особей в популяции ограничено мутациями. Окончательное распределение есть квазивид - распределение в окрестности = 0. При малых интенсивностях отбора и мутаций (1 >> > PN) распределение в квазивиде близко к распределению Пуассона, = D = PN/.

Качественная схема эволюции Для оценки скорости эволюции важна вторая, медленная стадия t 1 < t 2 < t 3

Роль нейтрального отбора Если численность популяции n мала, то эволюционный процесс существенно стохастический и особи могут фиксироваться в популяции случайно, независимо от их приспособленностей. Роль нейтрального отбора исследовалась в работах М. Кимуры [1], было показано, что характерное время T n (число поколений) нейтрального отбора составляет порядка численности популяции n 1. Кимура М. Молекулярная эволюция: теория нейтральности. М.: Мир, 1985, 400 с.

Аналитическая оценка скорости эволюции Предполагаем, что роль нейтрального отбора невелика: T n >~ T, (2) T - характерное время эволюции, T n ~ n. Характерное время t -1, за которое среднее по популяции расстояние до оптимума уменьшается на 1, составляет: t -1 ~ t м + t от, t м ~ (NP) -1, t от ~ -1 t м – характерное время мутаций, t от - характерное время отбора. Отсюда для T ~ t -1 N имеем: T ~ P -1 + N -1. (3) Считаем отбор достаточно интенсивным: T ~ P -1 и мутации «оптимальными» (одна мутация на геном) P ~ N -1. Тогда T ~ N. Пусть (2) выполняется на пределе T n ~ T, тогда n ~ T n ~ T ~ N. n T ~ N 2 Общее число особей, участвующих в эволюции, равно n T ~ N 2

Итог оценок n общ = n T ~ N 2 Для эволюционного поиска общее число особей, участвующих в процессе поиска оптимального генома, составляет n общ = n T ~ N 2 Оценки были сделаны при достаточно разумном выборе параметров: 1) >= 1 - интенсивность отбора достаточно велика 2) P ~ N -1 - мутации «оптимальны» (одна мутация на геном) 3) n ~ N - условие пренебрежения нейтральным отбором выполняется «на пределе»

Зависимость среднего расстояния до оптимума от номера поколения (n = N, P = N -1, = 1), (Ю.Р. Цой, 2005)

Зависимости времени релаксации T R и времени выхода на стационар T S от N (Ю.Р. Цой, 2005)

Зависимости времени релаксации T R и времени выхода на стационар T S от N При достаточно больших N имеем: T R (N) = k R N + T R0 T S (N) = k S N + T S0, где k R = 0,1772, k S = 0,3903 T R0 = , T S0 = Аналитическая оценка T ~ N

Сравнение с другими алгоритмами n общ = n T ~ N 2 Для эволюционного поиска общее число особей, участвующих в процессе поиска оптимального генома, составляет n общ = n T ~ N 2 (n ~ N, P ~ N -1, >= 1) Для последовательного поиска (последовательный перебор символов одной последовательности) n общ = N. Для случайного перебора n общ = 2 N.

Связь с биологической эволюцией С биологической точки зрения модель квазивидов может рассматриваться только как очень грубое приближение. Тем не менее, сопоставим цифры. Для бактерии E-coli число нуклеотидов равно 4·10 6, т.е. порядка N =10 7 бит, для человека число нуклеотидов равно 3·10 9, т.е. порядка N =10 10 бит. Жизнь бактерии ~ 1 час. «Оптимальную» бактерию в популяции 10 7 особей можно найти за 1000 лет. Жизнь млекопитающего ~ 1 год. «Оптимального» млекопитающего в популяции особей можно найти за лет. Полученные оценки дают аргументы в пользу возможности происхождения организмов путем дарвиновской эволюции.

Проблема происхождения молекулярно- генетических систем управления Модели происхождения молекулярно-генетических систем управления Модель квазивидов – эволюция простейших РНК-цепочек (М. Эйген, 1971) Модель гиперциклов – модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979) Модель сайзеров – модель самовоспроизводящейся системы, модель простейшей протоклетки (В.А. Ратнер, В.В. Шамин, 1980) Адаптивный сайзер – модель молекулярно-генетической системы управления на предбиологическом уровне (В.Г. Редько, 1986) Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки:

Модель гиперциклов – модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979) Структура гиперцикла I i – РНК матрицы, E i – ферменты репликации (i = 1,2,...,n) I2I2 I1I1 InIn I4I4 I3I3 E2E2 E1E1 E4E4 E3E3 EnEn i-я РНК кодирует i-й фермент E i ; ферменты циклически катализируют репликацию РНК РНК и ферменты кооперативно обеспечивают примитивную трансляцию

Модель сайзеров – модель самовоспроизводящейся системы (В.А. Ратнер, В.В. Шамин, 1980) I – полинуклеотидная матрица, E i – ферменты/белки. E 1 – фермент репликации, E 2 – фермент трансляции, E 3,..., E n –другие ферменты/белки

Адаптивный сайзер – модель возникновения адаптивного поведения (В.Г. Редько, 1986) Схемы мини-сайзера (слева) и адаптивного сайзера (справа) I – полинуклеотидная матрица, E 1, E 2, E 3 и E 4 – фермент репликации, фермент трансляции, фермент-регулятор и фермент-адаптер Регулирование синтеза фермента-адаптера E 4 – аналогично схеме Жакоба и Моно

Возможный сценарий возникновения самовоспроизводящейся молекулярно- генетической системы живой клетки

Адаптивное Поведение From Animal to Animat – модели адаптивного поведения животного и робота Первая конференция: Париж, 1990 г. (Ж.-А. Мейер, С. Вильсон) Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) "организмов" (аниматов, агентов), способных приспосабливаться к внешней среде. ANIMAL + ROBOT = ANIMAT Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде. Программа-максимум – попытаться проанализировать эволюцию когнитивных способностей животных и эволюционное происхождение человеческого интеллекта. Предшественники: М.Л. Цетлин, М.М. Бонгард. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, 1987.

Адаптивное Поведение International Society for Adaptive Behavior Журнал Adaptive Behavior Конференции SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy

Исследователи адаптивного поведения AnimatLab (Paris) (Париж, руководитель – один из инициаторов анимат- подхода Ж.-А. Мейер) Широкий спектр исследований адаптивных роботов и адаптивного поведения животных. Подход AnimatLab предполагает, что система управления анимата может формироваться и модифицироваться посредством 1) обучения, 2) индивидуального развития (онтогенеза) и 3) эволюции.

Исследователи адаптивного поведения Лаборатория искусственного интеллекта в университете Цюриха (руководитель Рольф Пфейфер) Основной подход – познание природы интеллекта путем его создания ("understanding by building"). Подход включает в себя 1) построение моделей биологических систем, 2) исследование общих принципов естественного интеллекта животных и человека, 3) использование этих принципов при конструировании роботов и других искусственных интеллектуальных систем. Pfeifer R., Scheier C., Understanding Intelligence. MIT Press,

Исследователи адаптивного поведения Лаборатория искусственной жизни и роботики в Институте когнитивных наук и технологий (Рим, руководитель Стефано Нолфи) Исследования в области эволюционной роботики и принципов формирования адаптивного поведения. Nolfi S., Floreano D. Evolutionary Robotics: The Biology, Intelligence, and Technology of Self-Organizing Machines. Cambridge, MA: MIT Press/Bradford Books,

Исследователи адаптивного поведения Лаборатория интеллектуальных систем (Лозанна, Швейцария, руководитель Дарио Флориано) Миссия лаборатории – исследовать и воспроизвести принципы, которые позволяют живым и искусственным организмам приспосабливаться к переменной и неизвестной внешней среде Особый акцент на исследование взаимодействий в коллективах роботов

Исследователи адаптивного поведения Институт нейронаук Дж. Эдельмана (Калифорния) Направление исследований - поколения моделей мозга: Darwin-1, Darwin-2, …, Darwin-XI NOMAD: Neurally Organized Mobile Adaptive Device: 1. The device needs to be situated in a physical environment 2. The device needs to engage in a behavioral task 3. The devices behavior must be controlled by a simulated nervous system having a design that reflects the brains architecture and dynamics 4. The behavior of the device and the activity of its simulated nervous system must allow comparisons with empirical data

NOMAD (Darwin-VII, способность к обобщению в реальной среде)

NOMAD (Darwin-X, моделирование поведения мыши в лабиринте Морриса) 50 нейронных областей, нейронов, 1.4·10 6 синапсов Neuroinformatics, 2005, Vol.3, No 3, PP

Исследователи адаптивного поведения В.А. Непомнящих. Моделирование спонтанной активности животных на основе анимат-подхода А.А. Жданов. Схемы и модели автономного адаптивного управления на базе аппарата эмоций. Накопление знаний - одна главных компонент адаптивного управления А.И. Самарин. Самообучающиеся роботы (с 1970-х годов) К.В. Анохин. Нейробиологические подходы к исследованию аниматов Л.А. Станкевич. Первые в России антропоморфные роботы. Нейрологические архитектуры систем управления гуманоидных роботов на базе когнитивных агентов В.Г. Редько, М.С. Бурцев, О.П. Мосалов. Модели адаптивного поведения на базе эволюционных и нейросетевых подходов

Проект "Мозг Анимата". Архитектура многомодульной нейросетевой системы управления анимата на базе теории ФС П.К. Анохина (Редько В.Г., Анохин К.В., Бурцев М.С., Манолов А.И., Мосалов О.П., Непомнящих В.А., Прохоров Д.В.)

Функциональная система по П.К. Анохину ПА – пусковая афферентация, ОА – обстановочная афферентация

Архитектуры Мозга анимата Версии: 2002 – Архитектура на основе метода обратного распространения ошибки. Есть предсказание будущих ситуаций, обучение – уточнение предсказаний 2004 – Архитектура на основе метода нейросетевых адаптивных критиков. Есть предсказание будущих ситуаций, есть оценка качества предсказываемых ситуаций. Обучение – на основе методов теории обучения с подкреплением 2006 – Архитектура на основе нейросетевых модулей, каждый из которых состоит из 1) Контроллера и 2) Модели. Контроллер формирует действия, Модель обеспечивает предсказание. Адаптация происходит путем 1) обучения и эволюции.

Системогенез и архитектура Мозга анимата Теория системогенеза рассматривает закономерности формирования функциональных систем (ФС) в эволюции, индивидуальном развитии и обучении В нашей модели: Эволюция – источник «первичного» репертуара адаптивного поведения Обучение – источник «вторичного» репертуара адаптивного поведения Архитектура системы управления модульная, каждый модуль – отдельная ФС, каждый такт времени t (t = 0,1,2,…) активна только одна ФС, в которой формируется текущее действие и прогноз результата действия. После выполнения действия и прогноза активная ФС передает управление другой ФС.

Схема обучения Происходит самообучение в соответствии с наградами (положительное подкрепление) и наказаниями (отрицательное подкрепление). Есть два режима обучения: грубый поиск и тонкая доводка. Грубый поиск происходит при существенном рассогласовании прогноза и результата. Тонкая доводка – в остальных случаях. При грубом поиске происходит реорганизация связей между ФС и формирование новых ФС, этот режим включает существенную случайную составляющую. В режиме тонкой доводки обучение происходит путем настройки весов синапсов нейронных сетей в ФС, активной в текущий момент времени, и в ФС, бывших активными несколько предыдущих тактов времени. При этом усиливаются/ослабляются связи между входом и выходом в нейронных сетях Контроллеров при положительном/отрицательном подкреплении. Также происходит уточнение прогнозов, формируемых в нейронных сетях Моделей.

Познание законов природы и Модели «Мозга анимата» Нейронные сети Модели в архитектуре «Мозга анимата» предназначены для познания закономерностей взаимодействия анимата с внешней средой. В науке мы строим модели Природы. Пример: уравнения Максвелла – модель электродинамический явлений. Как перейти от познания простых закономерностей к познанию законов природы? Возможно ли проследить генезис научных моделей на основе исследований архитектур, подобных «Мозгу анимата»?

Модели адаптивного поведения в междисциплинарном контексте Модели адаптивного поведения Теория познания Исследования когнитивной эволюции Природа естественного интеллекта (интеллект необходим для организации поведения) Модели социальных систем Робототехника Искусственный интеллект

ОТ МОДЕЛЕЙ ПОВЕДЕНИЯ К ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ (коллективная монография, под редакцией В.Г. Редько, УРСС, 2006) Часть I. Ретроспектива П.К. Анохин. Принципиальные вопросы общей теории функциональных систем М.М. Бонгард и сотр. Проект модели организации поведения - «Животное» М.Н. Вайцвайг, М.Н. Полякова. Об одном подходе к проблеме создания искусственного интеллекта А.И. Самарин. Мобильные роботы и самоорганизация в нейронных структурах - ретроспективный взгляд Часть II. Современные исследования В.Г. Редько. From Animal to Animat - направление исследований адаптивное поведение В.А. Непомнящих. Модели автономного поискового поведения В.Ю. Рощин, А.А. Фролов. Нейросетевая модель выработки пространственной координации на основе сенсомоторного опыта Д. В. Прохоров. Адаптивные критики и нейронные сети М.Н. Вайцвайг, М.Н. Полякова. О моделировании мышления С.В. Корниенко, О.А. Корниенко. Искусственная самоорганизация и коллективный искусственный интеллект: на пути от индивидуума к социуму А.А. Жданов. Бионический метод автономного адаптивного управления Л.А. Станкевич. Когнитивный подход к управлению гуманоидными роботами

Робот АРНЭ (Л.А.Станкевич, СПГТУ, ОАО «Новая ЭРА», С-Петербург)

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy Пленарные доклады Christian Balkenius "Building Large-Scale Models of Learning and Attention" Guy Theraulaz "Collective behaviours in animal societies: a computational approach" George Jeronimis "Biological sensors: Paradigms for Technological Innovation" Deb Roy "The Whole Linguana" J. Kevin O'Regan "Why feels feel the way they do: examples from space, color, and touch"

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy Секции: Perception and Control The Animat Approach to Adaptive Behavior + Perception and Control Collective and Social Behaviours (Neuro)Evolution Action Selection and Behavioral Sequences + Navigation and Internal World Models Learning and Adaptation Adaptive Behaviour in Language and Communication Special Session: Colette Maloney, Head of Unit E5: Cognition, European Commission, DG Information Society and Media

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy Семинары: 1. Swarm Robotics 2. Behaviour And Mind As A Complex Adaptive System (Fred Keijzer, Stefano Nolfi, Randal Beer, Frank Pasemann, Dario Floreano, Takashi Ikegami, Jun Tani, Ezequiel di Paolo, Marieke Rohde, Peter Paul Pichler) 3. Evolution And Emergence Of Linguistic Communication 5. Anticipatory Behavior In Adaptive Learning Systems (ABiALS 2006) 4. Bio-inspired Cooperative and Adaptive Behaviours in Robots 6. Adaptive Approaches For Optimizing Player Satisfaction In Computer And Physical Games 7. Multisensory Integration And Concurrent Parallel Memory Systems For Spatial Cognition (Jason G. Fleischer, NSI – Darwin XI)

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06) September 2006, Roma, Italy Workshop 2. Behaviour And Mind As A Complex Adaptive System Fred Keijzer. What are agents anyway? On life, mind and sensorimotor surfaces Stefano Nolfi. On the Multi-Level Organization of Behaviour Randal Beer. Transient dynamics and multiple timescales in brain-body-environment systems Frank Pasemann. Emergent Neurodynamics and the Accretion of Embodied Cognitive Capacity Dario Floreano. Enactive Robot Vision Takashi Ikegami. Homeochaos and Emergence of Sensory motor Couplings Jun Tani. On the interactions between top-down anticipation and bottom-up regression in cognitive behavior Ezequiel di Paolo. Sense-making and agency: Being and doing intertwined Marieke Rohde and Ezequiel Di Paolo. An Evolutionary Robotics Simulation of Human Minimal Social Interaction Peter Paul Pichler. Towards Minimising Design in a Complex Evolving Ecosystem

Контуры плана будущих исследований Исследование нейросетевых схем адаптивного поведения на базе проекта «Мозг Анимата» Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов) Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении Исследование процессов формирования логических выводов в «сознании» животных. {УС, УС --> БС} => БС – аналог modus ponens Исследование коммуникаций, процессов возникновения языка