Когнитивная наука 2007/2008. Материалы к курсу М.В. Фаликман: http: // virtualcoglab.cs.msu.su. - презентация

1 Когнитивная наука 2007/2008

2 Материалы к курсу М.В. Фаликман: http: // virtualcoglab.cs.msu.su

3 Что это такое? область междисциплинарных исследований познания, понимаемого как совокупность процессов приобретения, хранения, преобразования и использования знаний живыми и искусственными системами

4 ОСНОВНЫЕ ДИСЦИПЛИНЫ Экспериментальная психология познания Лингвистика Философия познания (Гносеология) Компьютерные науки, кибернетика, искусственный интеллект Антропология Нейробиология

5 ПРОБЛЕМЫ МЕЖДИСЦИПЛИНАРНОГО ВЗАИМОДЕЙСТВИЯ - единый («общепринятый») язык; Что мешает договориться? От «научной омонимиии» ( «Депрессия альфа-ритма, говорите? А Вы антидепрессанты вводить не пробовали? » ) до концептуальных разногласий ( Активность мозга определяет психические процессы или обеспечивает их протекание? )

6 Общие допущения: Познание = «обработка информации» = (1) представление знаний + (2) вычислительные операции по их преобразованию Мозг - вычислительное устройство («суперкомпьютер»), осуществляющее операции по преобразованию структур, посредством которых представлены знания

7 Методология и методы когнитивной науки Методология -- «обратная инженерия» (Дэниэл Деннетт). Методы: 1. Частные 2. Междисциплинарные - компьютерное моделирование - функциональное картирование мозга (?)

8 «Слабые звенья» - мотивационно-эмоциональная регуляция познания - социальная природа человеческого познания - познание и телесность - мозг как вычислительное устройство … Зоны роста когнитивной науки в XXI веке?

9 РОЖДЕНИЕ КОГНИТИВНОЙ НАУКИ «Три кита» в Европе: - Фредерик Чарлз Бартлетт ( ) - Жан Пиаже ( ) - Александр Романович Лурия ( ) «Когнитивная революция» в США контр

10 РОЖДЕНИЕ КОГНИТИВНОЙ НАУКИ MIT (Кембридж, Массачусетс), 11 сентября 1956 года - Ноэм Хомский «Три модели языка» - Джордж Миллер «Магическое число 7+2» - Аллен Ньюэлл, Герберт Саймон «Логик-теоретик»

11 РОЖДЕНИЕ КОГНИТИВНОЙ НАУКИ Джордж Миллер : …Я уходил с Симпозиума с твердой уверенностью, скорее интуитивной, чем рациональной, в том, что экспериментальная психология человека, теоретическая лингвистика и компьютерное моделирование познавательных процессов – части еще большего целого, и в будущем мы увидим последовательную разработку и координацию их общих дел… Я двигался навстречу когнитивной науке в течение двадцати лет, прежде чем узнал, как она называется… (см. Миллер Дж. «Когнитивная революция с исторической точки зрения» // Вопросы психологии, 2005, 6, с )

12 Продолжение следует… группа искусственного интеллекта в MIT (Марвин Минский, Джон Маккарти) Центр когнитивных исследований в Гарварде (Джером Брунер, Джордж Миллер) 1976/77 -- журнал «Когнитивная наука» Общество когнитивной науки (Cognitive Science Society, Inc.), Массачусетс: Д. Норман, Р. Шенк и др Первая конференция по когнитивной науке, Ла Хойя, Калифорния широкомасштабное финансирование в США (Sloan Foundation), университетские программы

13 А у нас? психология познавательных процессов нейронаука ( искусственный интеллект ( прикладная и компьютерная лингвистика … Московский семинар по когнитивной науке (очередная встреча -- 9 марта 2006 г., 18:30) Первая российская Интернет-конференция по когнитивной науке (Auditorium.ru), 10 февраля - 10 апреля

14 Продолжение следует… Борис Митрофанович Величковский (Москва-Дрезден-Москва) Валерий Дмитриевич Соловьев (Казань) Октябрь 2004, Казанский университет -- Первая российская конференция по когнитивной науке

15 Продолжение следует… Подробнее см. http: // -- сайт Российской Ассоциации Когнитивных Исследований (создана в 2004 г.) Июнь 2006, Санкт-Петербургский университет -- Вторая российская конференция по когнитивной науке

16 Компьютерная метафора познания Специалист подобен флюсу Человеческий мозг подобен компьютеру

17 ОСНОВНЫЕ ПОДХОДЫ В КОГНИТИВНОЙ НАУКЕ Часть 1. Символьный подход

18 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Машина Тьюринга: принципы обработки информации

19 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Основные принципы архитектуры компьютера: Джон/Янош фон Нейман ( )

20 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Основные принципы архитектуры компьютера: Периферические устройства ввода-вывода; центральный процессор; оперативное запоминающее устройство; постоянное запоминающее устройство.

21 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Принципиальная архитектура познания: Периферические устройства ввода-вывода; центральный процессор; оперативное запоминающее устройство; постоянное запоминающее устройство. Сенсорные и моторные системы; «центральный процессор»; кратковременная (рабочая) память; долговременная память.

22 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Теория информации и теория коммуникации: Клод Элвуд Шеннон ( )

23 Модель передачи информации: Клод Элвуд Шеннон

24 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Кибернетика, или теория управления: Норберт Винер ( )

25 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Аллен Ньюэлл, Герберт Саймон «Логик-теоретик» «Универсальный решатель задач»

26 ОБЩИЙ РЕШАТЕЛЬ ЗАДАЧ А. Ньюэлл, Дж. Шоу, Г. Саймон «Моделирование мышления человека с помощью электронно-вычислительной машины» // Хрестоматия по психологии мышления. М.: С Эвристика Алгоритм Мышление -- преобразование символов и символьных систем по определенным правилам.

27 НА ЗАРЕ КОГНИТИВНОЙ НАУКИ: СИМВОЛЬНЫЙ ПОДХОД Дональд Эрик Бродбент ( ) модель переработки информации

28 ОСНОВНЫЕ ДОПУЩЕНИЯ: Познание -- переработка информации Линейный характер переработки: последовательный ряд блоков от входа до выхода Блок/канал с ограниченной пропускной способностью вводвыводбуфер «Центр.процессор»

29 ОСНОВНЫЕ ДОПУЩЕНИЯ: В системе переработки информации должен быть защитный фильтр -- механизм ВНИМАНИЯ: Теории внимания как отбора : Э.М. Трейсман Д. и Дж.Э. Дойч Д. Норман …

30 Модели языка: Вероятностная (стохастическая) модель Дж. Миллера Теория трансформационных грамматик Н. Хомского Общее допущение: понимание и порождение речи как преобразование символов и их систем (словарных единиц и грамматических конструкций) по определенным правилам

31 Модели памяти: Кратковременная память: 7+2 ячейки Теория двойственности памяти («постоянное запоминающее устройство» и «оперативное запоминающее устройство») Трехкомпонентная теория памяти (сенсорный регистр -- «буфер» Дональда Бродбента -- и те же системы).

32 СИМВОЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ Познавательные процессы ~ переработка символьной информации компьютером Психика -- «универсальное перерабатывающее устройство»

33 СИМВОЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ Развитие вычислительной техники : от «вычислений вообще» к частным задачам Появление специализированных «микропроцессоров» в пределах одной архитектуры (видеокарта, звуковая карта, управление внешними устройствами и т.д.)

34 РОЖДЕНИЕ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Джерри Фодор, «Модульность психики» ( The Modularity of Mind )

35 МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ (с) Леда Космидес, Джон Туби

36 МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ СИСТЕМЫ БИОЛОГИЧЕСКОГО ОРГАНИЗМА

37 ОСНОВЫ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Ноэм Хомский (1988): врожденность языковой способности и ее независимость от других способностей -- язык как отдельный «умственный орган» Нейропсихология XIX века: речь может нарушаться при сохранности прочих функций (зона Брока, зона Вернике)

38 ОСНОВЫ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Идея модульности познания -- Дэвид Марр ( ): «Любой большой массив вычислений должен быть разбит и реализован как набор частей, независимых друг от друга настолько, насколько это допускает общая задача…» (1976)

39 РОЖДЕНИЕ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Джерри Фодор (1983): общая концепция «модульности»: познание как мозаика специализированных модулей Насколько этот принцип универсален?

40 МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ Когнитивная архитектура: Модульные системы ввода Центральные системы: планирование, принятие решения ?

41 КРИТЕРИИ ВЫДЕЛЕНИЯ МОДУЛЕЙ 1. Особая сфера влияния, или специализация ( domain specificity ): каждый модуль компетентен в обработке одного из видов информации или в решении одного из классов познавательных задач и не участвует в решении других классов задач

42 ЕЩЕ КРИТЕРИИ ВЫДЕЛЕНИЯ МОДУЛЕЙ 7. Закономерное разворачивание в онтогенезе: ряд последовательных ступеней (собственная «история развития») 8. Локализация в мозге: специфические нервные механизмы 9. Избирательное нарушение: выпадение модуля не сказывается на работе других модулей (пример: лицевая агнозия) Прямое следствие -- УЗКАЯ СПЕЦИАЛИЗАЦИЯ МОДУЛЯ

43 Насколько речь модульна? Недавнее появление в филогенезе Пластичность поведенческих проявлений Пластичность нервных механизмов Произвольность связей между обозначением и обозначаемым Элизабет Бейтс ( ) Синдром Уильямса, SLI, афазии у взрослых: неоднозначность проявлений!

44 ГИПОТЕЗА ВСЕОБЩЕЙ МОДУЛЬНОСТИ Дэн Спербер: познание полностью модульно -- так же, как биологический организм. Неспециализированных систем переработки информации, использующих обобщенный «умственный лексикон», НЕТ.

45 КРИТИКА МОДУЛЬНОГО ПОДХОДА 1. Теоретическая : проблема обучения и пластичности познания; влияние культуры на «модульные» процессы (иллюзия Мюллера-Лайера в «круглом» мире); проблема нисходящей регуляции решения познавательных задач. За пределами рассмотрения: взаимодействие модулей! Примеры: две системы зрительного восприятия; феномен отчуждения руки, etc.

46 КРИТИКА МОДУЛЬНОГО ПОДХОДА 2. Эмпирическая : двойные диссоциации внутри двойных диссоциаций -- Аннет Кармилофф-Смит и др. (Оксфорд); развитие речи и ранние локальные поражения головного мозга: возможности компенсации (Элизабет Бейтс и др.); «ген грамматики» FoxP2: исследования экспрессии гена у человека и животных.

47 ВЫВОД: познавательные процессы не обусловлены наследственностью настолько, как того хотелось бы представителям модульного подхода… Неспециализированная обучаемая система! Адекватная модель?

48 Представление и приобретение знаний: есть ли альтернатива компьютерной метафоре?

49 Нейронные сети: основные положения

50 Мозг человека: преимущества перед компьютером нейронов, связей между нейронами. Частота импульсации Гц (современные персональные компьютеры -- до 10 9 Гц). NB! Медлительность и ненадежность отдельных нейронов компенсируется их количеством. Параллельная переработка информации (в компьютерах -- преимущественно последовательная). «Переход количества в качество»: богатство поведения. Нельзя сказать, что мозг исходно «готов к использованию»: велика роль обучения.

51 Нейросетевой подход: основные положения Процессы познания -- результат взаимодействия большого числа простых перерабатывающих элементов, связанных друг с другом и организованных в слои («модули»). «Переработка информации» -- определенный ответ элемента на воздействия извне. Знания, управляющие процессом переработки, хранятся в форме весовых коэффициентов связей между элементами сети. Главное -- не элементы, а связи между ними ( «субсимвольный подход» ). Обучение -- процесс изменения весовых коэффициентов связей между элементами сети (приспособления их к решению определенной задачи).

52 Классы задач, решаемых современными нейросетями: Классификация : распознавание образов, распознавание голосов, верификация подписей, постановка диагноза, анализ экспериментальных данных и т.д. Моделирование : поведение системы, поставленной в определенные условия. Прогноз : погода, ситуация на рынке ценных бумаг, бега, выборы и т.д. Комплексные задачи: управление принятие решений «Центральные системы» модульного подхода

53 Нейронные сети: рождение идеи (1943) Уоррен Маккаллох ( ) Уолтер Питтс ( ) «Логическое исчисление присуще нейронной активности» (1943)

54 Нейронные сети ФОРМАЛЬНЫЙ НЕЙРОН Элемент с пороговой логикой (TLU): преодоление порога -- 1, иначе -- 0.

55 Нейронные сети РЕАЛЬНЫЙ НЕЙРОН

56 Три типа нейронов: входные (рецепторы) -- активируются извне; внутренние (центральные) -- активируются входными и прочими нейронами и активируют входные и прочие нейроны; выходные (эффекторы) -- получают импульсы от центральных и входных нейронов и отвечают за выполнение действия. Теоретическая концепция искусственной сети Маккаллоха и Питтса

57 Теоретическая концепция искусственной сети Маккаллоха и Питтса Правила функционирования сети: задержки в распространении активации одинаковы для всех нейронов сети; нейроны импульсируют не постоянно, а только в определенные моменты; каждый выходной синапс одного нейрона соответствует только одному входному синапсу следующего нейрона; на любом нейроне может сходиться несколько синапсов; входные синапсы вносят вклад в преодоление порога активации, при переходе через который (и только в этом случае) нейрон начинает передавать импульс.

58 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ Дональд Олдинг Хебб ( ) Итог -- образование «нейронного ансамбля», который все быстрее активируется при каждом очередном повторении входа. Правило Хебба (1949): между одновременно активированными нейронами сети пороги синаптической связи снижаются.

59 Развитие нейронных сетей Фрэнк Розенблатт ( ), Корнельский университет, США -- перцептрон (1958)

60 Развитие нейронных сетей Фрэнк Розенблатт ( ), Корнельский университет, США «Принципы нейродинамики: перцептроны и теория мозговых механизмов»: интеграция данных компьютерного моделирования (включая перцептрон), нейрохирургии, регистрации активности отдельных нейронов и т.д.

61 УПАДОК КОННЕКЦИОНИЗМА Критика перцептронов: математическое обоснование их неэффективности в решении задач распознавания образов (в ходе поэлементного анализа связанных и несвязанных изображений теряется информация о связанности, которую невозможно задать линейно) Марвин Минский, Сеймур Пейперт «Перцептроны»: приговор нейронным сетям?

62 УПАДОК КОННЕКЦИОНИЗМА Проблема «исключающего ИЛИ» ( XOR ): (0;0) (1;1) -> 0 (0;1) (1;0) -> 1

63 РЕНЕССАНС КОННЕКЦИОНИЗМА Дэвид Румельхарт (Стэнфорд), Джеймс Макклелланд (Карнеги-Меллон) «Параллельно-распределенная переработка» ( PDP )

64 АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ

65 Основные понятия: «Нейрон» ( unit, node ) -- элемент сети, который суммирует входные сигналы и, в случае превышения порога его активации, выдает выходной сигнал (1 или 0), выполняющий функцию активации или торможения в соответствии с весовым коэффициентом связи между ним и последующими нейронами. Функция связи между элементами сети («синапса») -- умножение сигнала на весовой коэффициент. Порог -- весовой коэффициент, связанный с постоянным входным сигналом, равным 1.

66 ВИДЫ АРХИТЕКТУР: Сеть прямого распространения Сеть обратного распространения (рекуррентная)

67 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: «Обучение с наставником»: задачи распознавания (заранее известен правильный ответ -> сеть настраивается на выдачу ответов, максимально близких к нему). Алгоритм: обратное распространение ошибки ( backpropagation ) «Психологический механизм»: «Предвосхищение» (результат работы сети) «Истинное положение дел» (эталон)

68 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: «Обучение с наставником»: задачи распознавания (заранее известен правильный ответ -> сеть настраивается на выдачу ответов, максимально близких к нему). «Обучение без наставника»: задачи классификации (правильный ответ неизвестен, но набор параметров относительно устойчив -> раскрытие внутренней структуры данных или связей между образцами). Смешанные формы обучения.

69 ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: Проблема устойчивости обучения: система обучения устойчива, если ни один из примеров обучающей выборки не изменит своей принадлежности к установленной категории после определенного числа итераций (повторных предъявлений). Феномен «переобученности» сети: хорошее функционирование на примерах обучающей выборки и плохое -- на сходных, но не идентичных тестовых примерах. СРАВНИМ : стадия дифференциации при выработке условного рефлекса (по данным лаборатории И.П. Павлова).

70 «БИБЛИЯ КОННЕКЦИОНИЗМА» Организация памяти (Макклелланд, 1981): адресация по содержанию возможность «восстановления» информации: правило «щадящего разрушения» ( graceful degradation )

71 «БИБЛИЯ КОННЕКЦИОНИЗМА» Последующие разработки: формирование у нейронной сети «социальных стереотипов»

72 «БИБЛИЯ КОННЕКЦИОНИЗМА» Дэвид Румельхарт, Джеймс Макклелланд to play -- played to help -- helped to kiss -- kissed to go -- went to jump -- jumped to shout -- shouted to go … wented! goed! Освоение языка -- ряд стадий, характерных для развития ребенка, в том числе стадия сверхобобщения (4-5 лет):

73 ПРЕИМУЩЕСТВА СЕТЕВОЙ АРХИТЕКТУРЫ Возможность обучения Распределенное хранение информации ПРОБЛЕМЫ НЕЙРОСЕТЕВОГО ПОДХОДА Механизм или практический результат? Границы пластичности субстрата и «содержательная» специализация? Ограничения по типам решаемых задач

74 Нейронные сети Символьные модели неявные правила, «интуитивные» задачи (индивидуальные знания): умозаключение по аналогии, выделение фигуры на фоне и т.п. явные правила, формализуемые задачи (культурно-обусловленные общедоступные знания): например, логические и математические задачи. СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ» Задачи, требующие обучения. Задачи, требующие конечного набора знаний.

75 Нейронные сети Символьные модели СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ» «Холистическая» стратегия правого полушария «Аналитическая» стратегия левого полушария

76 Нейронная сеть распознавание образов, быстрые ответы на запросы сложной окружающей среды ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И СИМВОЛЬНОГО ПОДХОДОВ: ЭКСПЕРТНЫЕ СИСТЕМЫ Экспертная система принятие решений, логическая проверка выводов с учетом дополнительной информации

77 ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И МОДУЛЬНОГО ПОДХОДОВ: ПРОБЛЕМА ВРОЖДЕННОГО И ПРИОБРЕТЕННОГО В ПОЗНАНИИ «Наследственность» нейронной сети: количество элементов количество слоев правила и параметры распространения активации и изменения весов в разных слоях Достаточно ли этого для развития форм познания, характерных для человека?