1 ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ В ПСИХОЛИНГВИСТИКЕ Ирина А. Секерина College of Staten Island CUNY Московский семинар по когнитивной науке 28 апреля 2005

2 ПЛАН Когнитивная наука и психолингвистика Психология и лингвистика Лингвистика и психолингвистика Понимание как ведущее направление в психолингвистике Экспериментальные методы: Опосредованные и непосредственные методы Запись движений глаз: Классический и новый методы

3 ПЛАН Новый метод записи движений глаз (бесконтактный): Visual world paradigm Аппарат для записи движений глаз (ISCAN ETL-500) Репрезентативные темы: 1. Анализ предложения в процессе понимания (английский и русский) 2. Просодия и контраст (русский)

4 Когнитивная наука и психолингвистика Когнитивная наука Психология Психолингвистика Лингвистика Вычислительная лингвистика Компьютерная наука Нейролингвистика Когнитивная нейронаука

5 Психолингвистика в широком смысле Психолингвистика это междисциплинарная наука, которая ставит своей задачей понять следующее: как дети (и взрослые) усваивают язык; как они пользуются языком – понимание и производство; каковы биологические предпосылки языка (язык и мозг).

6 Психолингвистика в широком смысле (1) Понимание и производство речи взрослыми носителями языка: Речь идет о родном языке Взрослые без отклонений в языковом развитии (2) Усвоение языка: Усвоение родного языка детьми Усвоение второго языка взрослыми (и детьми) (3): (1) и (2) с использованием методов когнитивной нейронауки (4) Расстройства речи: Афазия и синдромы с расстройством речи (Дауна, Уильямса) Возрастные расстройства речи

7 Психолингвистика в узком смысле занимается изучением того, как нормальные взрослые производят и понимают язык (и речь), используя для этого экспериментальные методы, позаимствованные из когнитивной психологии.

8 ЛИНГВИСТИКА И ПСИХОЛИНГВИСТИКА Psycholinguistics Фонетика Фонология ПониманиеПроизводство ЛингвистикаПсихолингвистика Восприятие речи Речевые ошибки Морфология Лекс. семантика Ментальный лексикон Синтаксис Анализ предложения Семантика Семантика/ прагматика

9 ПСИХОЛОГИЯ И ЛИНГВИСТИКА (1) Исследование конкретного явления: ПсихологияЛингвистика сенсорное восприятиеструктура языка памятьистория языка научениеусвоение языка языкиспользование

10 ПСИХОЛОГИЯ И ЛИНГВИСТИКА (2) Выдвижение гипотезы или разработка модели (3) Сбор данных с целью проверки гиотезы или модели (4) Интерпретация полученных результатов

11 ПОНИМАНИЕ Каким образом нам удается вообще понимать речь, которую мы слышим, или предложения, которые мы читаем? Как мы проникаем за поверхностные рамки, чтобы воссоздать скрытую структуру каждого высказывания? Проблема: изучаемые объекты нельзя наблюдать непосредственно, только опосредованно.

12 ПОНИМАНИЕ: ТЕМЫ идентификация/распознавание слов; лексический доступ к словарной статье в ментальном лексиконе; синтаксический анализ предложения в процессе понимания.

13 ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ 1. Опосредованные методы (off-line): исследуют процесс понимания после того, как он уже завершился; не связаны с записью времени реакции, которое уходит на процесс понимания (субъективная оценка информантов); нельзя измерить нагрузку на аппарат понимания.

14 2. ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ 2. Непосредственные методы, или операционные методы (on-line): Исследуют процесс понимания по мере того, как он происходит; записывается время реакции (сколько времени уходит у испытуемого на анализ); можно измерить нагрузку на аппарат понимания.

15 ОПОСРЕДОВАННЫЕ МЕТОДЫ Устная речь:Письменный язык: локализация щелчкаопросники и анкеты (click detection) метод расширенияповтор предложения (gating) заканчивание предожения

16 НЕПОСРЕДСТВЕННЫЕ МЕТОДЫ Устная речь:Письменный язык: МОНИТОРИНГ -- фонемычтение с саморегуляцией -- слогаскорости -- словалексическое решение аудиторное запись движений глаз окно(классический вариант) кросс-модальный прайминг запись движений глаз

17 КАК ВЫБРАТЬ МЕТОД? Область психолингвистики Проверочная гипотеза Существующая научная традиция Лабораторные возможности

18 ЛИНГВИСТИКА И ПСИХОЛИНГВИСТИКА Psycholinguistics Фонетика Фонология ПониманиеПроизводство ЛингвистикаПсихолингвистика Восприятие речи Речевые ошибки Морфология Лекс. семантика Ментальный лексикон Синтаксис Анализ предложения Семантика Семантика/ прагматика

19 ЗАПИСЬ ДВИЖЕНИЙ ГЛАЗ Классический метод: Используется с 1970-х гг. Используется при чтении Контактный: Требуется иммобилизация головы испытуемого Новый метод: Используется с 1995 года Используется с устной речью Бесконтактный: Движения головы не ограничены

20 ЧТО ИЗМЕРЯЕТСЯ? Характеристики движений глаз: Саккады = движения глаз (30-50 мсек) Между саккадами глаза останавливаются = фиксации ( мсек) Зависимые переменные: Длина саккад Длительность фиксаций Совокупность всех фиксаций Регрессивные саккады

21 КЛАССИЧЕСКИЙ МЕТОД Rayner, K. (1998). Eye Movements in Reading and Information Processing: 20 Years of Research. Psychological Bulletin, 124(3),

22 НОВЫЙ МЕТОД: ISCAN ETL-500 Tanenhaus, M. K., & Spivey-Knowlton, M. J. (1996). Eye-Tracking. Language and Cognitive Processes, 11(6),

23 ФИРМЫ-КОНКУРЕНТЫ Borg Technologies, Inc.

24 ISCAN ETL-500 Демонстрация чтения с помощью данного аппарата

25 ИСТОРИЯ БЕСКОНТАКТНОГО МЕТОДА Бесконтактный метод записи движений глаз стал активно использоваться в психолингвистике с 1995 г. Первые исследования опубликованы группой Майкла Таненхауса и его учениками (университет г. Рочестера, штат Нью-Йорк).

26 ЛАБОРАТОРИИ Rochester University (M. Tanenhaus) University of Pennsylvania (J. Trueswell) University of York (G. Altmann) Brown University (J. Sedivy) Cornell University (M. Spivey) Michigan State University (F. Ferreira) Harvard University (J. Snedeker)

27 РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (1) 1.Анализ предложения в процессе понимания: Присоединение предложной группы 2.Семантика и референтность: Прилагательные 3.Просодия и контраст (фокус) 4.Распознавание слова в устной речи 5.Морфология в парадигме визуального мира 6.Двуязычие и ментальный лексикон

28 1. АНАЛИЗ ПРЕДЛОЖЕНИЯ Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., & Sedivy, J. C. (1995). Integration of Visual and Linguistic Information in Spoken Language Comprehension. Science, 268(5217), Взаимодействие синтаксической структуры и визуального контекста в процессе устного понимания (временно) многозначных предложений

29 ПРОЦЕСС АНАЛИЗА ПРИ ПОНИМАНИИ В процессе слушания/чтения люди не ждут конца предложения, чтобы начать его понимать; Интерпретация предложения осуществляется поэтапно, но очень быстро; При этом мы постоянно пытаемся угадать значение фразы во время ее анализа.

30 СТРУКТУРНАЯ МНОГОЗНАЧНОСТЬ ГЛОБАЛЬНАЯ: Мать любит дочь. Чтение Маяковского продолжалось за полночь. Мужу изменять нельзя. В публикациях такого рода данные отсутствуют. Иван Николаевич был направлен на завод директором.

31 СТРУКТУРНАЯ МНОГОЗНАЧНОСТЬ ВРЕМЕННАЯ: Иван искал девушку в метро.... платье. Банки стимулируют рост производства....обещания вернуть Финляндию.

32 ПРЕДЛОЖЕНИЯ ЗАБЛУЖДЕНИЯ Garden-Path (to lead down the garden path) Иван искал девушку в метро....платье. *** (предложение заблуждения) Банки стимулируют......рост производства.....обещания вернуть Финляндию. *** (предложение заблуждения)

33 ПРИСОЕДИНЕНИЕ ПРЕДЛОЖНОЙ ГРУППЫ Положите лошадку на полотенце. Положите лошадку на полотенце в миску. Присоединение ПГ1 на полотенце временно многозначно: Как указание места для глагола положите Как модификация существительного лошадку

34 ПРИСОЕДИНЕНИЕ ПРЕДЛОЖНОЙ ГРУППЫ Положите лошадку на полотенце Предпочтение отдается указанию места. Положите лошадку на полотенце в миску. -- Временная многозначность снимается, и необходимо перейти от интерпретации места к интерпретации модификации.

35 ДИЗАЙН

36 ЭКСПЕРИМЕНТНЫЕ ФАКТОРЫ (1) ВИЗУАЛЬНЫЙ КОНТЕКСТ: 1 РЕФЕРЕНТ2 РЕФЕРЕНТА

37 РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНЫЙ ФАКТОР (2): Временно многозначная структура: Положите лошадку на полотенце в миску. Немногозначная структура: Положите лошадку,которая на полотенце, в миску. ЗАВИСИМЫЕ ПЕРЕМЕННЫЕ: Действия: Правильность выполнения (%) Движения глаз: Пробы, в которых есть движения глаз на пустое полотенце (%) Временная разверстка движений глаз, мсек

38 КОНТЕКСТ: 1-РЕФЕРЕНТ

39 КОНТЕКСТ: 2-РЕФЕРЕНТ 1 2

40 ДЕЙСТВИЯ И ПРОБЫ

41 2-РЕФЕРЕНТ, НЕМНОГОЗНАЧНОЕ

42 2-РЕФЕРЕНТ, МНОГОЗНАЧНОЕ

43 1-РЕФЕРЕНТ, НЕМНОГОЗНАЧНОЕ

44 1-РЕФЕРЕНТ, МНОГОЗНАЧНОЕ

45 РУССКИЙ ВАРИАНТ

46 3 ГРУППЫ ИСПЫУЕМЫХ Русскоговорящие: Взрослые: студенты филфака МГУ (январь 2003 г.), средний возраст 20.7 лет Дети: 4-6 лет, С.Петербург (июнь 2003 г.) Двуязычные взрослые: студенты Городского университета Нью-Йорка

47 3 ГРУППЫ ИСПЫУЕМЫХ ПАДЕЖ, НЕМНОГОЗНАЧНОЕ: Положите лошадку на полотенце и в коробку. Положите лошадку на тарелку и в коробку. ПАДЕЖ, МНОГОЗНАЧНОЕ Положите лошадку на полотенце в коробку. Положите лошадку на тарелке в коробку.

48 ВЫВОДЫ Взрослые испытуемые обращают внимание на контекст (визуальный). Имеет место взаимодействие синтаксической структуры и визуального контекста в процессе понимания (временно) многозначных предложений. Можно избежать неправильного анализа предложений заблуждения. Гибкий характер процесса анализа предложения.

49 КОНТРАСТИВНОСТЬ ПРИЛАГАТЕЛЬНЫХ НО: SEDIVY (2003) не удалось повторить результаты. Медленное время реакции: Now touch the yellow bowl. Быстрое время реакции: Now touch the yellow comb. SEDIVY ET AL. (1999): СЕМАНТИЧЕСКОЕ ОБЪЯСНЕНИЕ: выражение контраста для цветовых прилагательных не является обязательным. ПРАГМАТИЧЕСКОЕ ОБЪЯСНЕНИЕ: Можно придать функцию контраста цветовым прилагательным, если выбрать реальный предмет и изменить немаркированный цвет: желтый банан коричневый банан. Touch the pink comb…

50 КОНТРАСТИВНОСТЬ И ПРОСОДИЯ Можно ли вызвать (или усилить) функцию контраста при помощи манипуляции лингвистических средств, например, просодии? НО: SEDIVY ET AL. (1999): Манипуляция просодии не имела успеха: Now touch the YELLOW comb Now touch the yellow comb.

51 ПОРЯДОК СЛОВ В РУССКОМ ЯЗЫКЕ Можно вызвать необязательную функцию контраста для цветовых прилагательных, когда прагматика позволяет использовать синтаксическую конструкцию в сочетании с контрастивной просодией. ПРЯМОЙ ПОРЯДОК СЛОВ Положите красную звездочку… SPLIT WORD ORDER Красную положите звездочку… Прагматика визуального контекста. Обязательно наличие контрастного ударения на одном из 2ух компонентов: на ИГ или на прилагательном.

52 РУССКИЙ ЭКСПЕРИМЕНТ ИСПЫТУЕМЫЕ 24 студента филфака СПбГУ ЗАДАНИЕ Прослушать и выполнить инструкции по перемещению картинок на доске ДИЗАЙН Визуальный контекст х Просодия

53 ВИЗУАЛЬНЫЙ КОНТЕКСТ 1-КОНТРАСТ2-КОНТРАСТ Несвязанные Связанные контрастивные пары

54 ДИЗАЙН 1-КОНТРАСТ2-КОНТРАСТ ПРОСОДИЯ: КРАСную положите звёздочку в Позицию 4. Ранняя Красную положите ЗВЁЗдочку в Позицию 4. Поздняя

55 РЕФЕРЕНТНАЯ МНОГОЗНАЧНОСТЬ Существительные звёздочка и птичка создают референтную многозначность, поскольку они оба красного цвета и женского рода. красную… звёздочку птичку

56 ЧЕГО СЛЕДУЕТ ОЖИДАТЬ? Испытуемые должны БЫСТРЕЕ выбрать правильную картинку в... визуальном контексте с 1 контрастом, чем с 2 контрастами Наличие ранней просодии на прилагательном должно усилить этот эффект.

57 ПРОЦЕДУРА И АНАЛИЗ ИНСТРУКЦИИ Посмотрите на крест. Красную положите звёздочку в Позицию 4. Теперь положите зелёную лягушку в Позицию 3. 3 ЗОНЫ для анализа движений глаз: Прилагат. Глагол Существит. Красную положите звёздочку

58 ДВИЖЕНИЯ ГЛАЗ: звёзочка - птичка 2-КОНТРАСТ, ОБА ТИПА ПРОСОДИИ Нужно ждать существительного Никакого взаимодействия с просодией 1 2 Красную положите звёздочку

59 ДВИЖЕНИЯ ГЛАЗ: звёзочка - птичка 1 2 Преимущество звёздочки Взаимодействие с просодией в Прилаг. 2 1-КОНТРАСТ, ОБА ТИПА ПРОСОДИИ Красную положите звёздочку

60 1-КОНТРАСТ, РАННЯЯ ПРОСОДИЯ 1 2 Преимущество звёздочки Красную положите звёздочку

61 1-КОНТРАСТ, ПОЗДНЯЯ ПРОСОДИЯ 1 2 Преимущества звёздочки нет Красную положите звёздочку

62 Discussion How do pragmatic and prosodic constraints interact in resolving referential ambiguity during on-line processing of contrastive constituents in RUSSIAN? Both pragmatic properties of the visual context and prosodic characteristics of spoken instructions rapidly affect referential ambiguity resolution.

63 Contrastive Prosody ENGLISH vs. RUSSIAN The effect of contrastive prosody is not consistent in English: it was found in some studies but not others. Our Russian experiment demonstrated a strong effect of contrastive prosody that emerged much earlier than in those English studies that did find contrastive color effects (Sedivy, 2003). In English, identification of the target referent was shown to happen at 300 ms AFTER the onset of the NOUN. In Russian, the target could be identified 500 ms BEFORE the NOUN.

64 The Power of Russian Why did some of English experiments fail to find the effect of contrastive prosody in referential ambiguity resolution compared to the Russian experiment? The critical difference must lie in linguistic instantiation of contrastiveness between the two languages: Contrast can be marked grammatically in Russian, adding to effects of context and prosody.

65 Contrastiveness in English and Russian CONTRASTIVENESS was instantiated by the following means: ENGLISH:RUSSIAN Pragmatics: Visual context Prosody: Contrastive stress Pragmatics: Visual context Prosody: Contrastive stress Grammar: Split word order construction

66 Referential Functions of Structure IMPORTANT POINT: Our rapid effects of reference and interpretation occur in a non-canonical structure: Split Word Order A complex structure is much easier to process when the context supports its referential function. Similar conclusions were drawn regarding non-canonical structures in Finnish, where word-order conveys informational status (Kaiser & Trueswell, in press) SO… Non-canonical word orders serve specific pragmatic and referential functions that can be deployed in real-time.

67 РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (1) 1.Анализ предложения в процессе понимания: Присоединение предложной группы 2.Семантика и референтность: Прилагательные и местоимения 3.Просодия и контраст (фокус) 4.Распознавание слова в устной речи 5.Морфология в парадигме визуального мира 6.Двуязычие и ментальный лексикон

68 РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (2) СПЕЦИАЛЬНЫЕ ГРУППЫ ИСПЫТУЕМЫХ: Дети (The kindergarten-path effect: Studying on-line sentence processing in young children. Trueswell, J. C.; Sekerina, I. А.; Hill, N. M.; Cognition, 73(2), pp )The kindergarten-path effect: Studying on-line sentence processing in young children. Аутисты ( Visual fixation patterns during viewing of naturalistic social situations as predictors of social competence in individuals with autism. Klin, A., Jones, W., Schultz, R., Volkmar, F., & Cohen, D. Archives of General Psychiatry, 59, pp ) Двуязычные взрослые и взрослые, усваиваюшие второй язык.

69 СПАСИБО ЗА ВНИМАНИЕ! Контактный электронный адрес: