Жестовая кодировка протагонизма (на материале пересказов фильма о грушах) Е.К. Павлова Московский Государственный Университет О.В. Федорова Московский Государственный Университет

Междисциплинарность Исследование когнитивных процессов – обращение к смежным наукам Исследование центральности референта в дискурсе требует идей из разных областей науки

Мультимодальный подход Не один, а три канала передачи информации, [Kress 2010], [Кибрик 2010, 2013]: Сегментный Визуальный Просодический

Мультимодальный подход Не один, а три канала передачи информации, [Kress 2010], [Кибрик 2010, 2013]: Сегментный Визуальный Просодический

Мультимодальный подход Визуальный: направление взгляда мимика позы жесты

Жесты указательные (дейктические) жесты жестовые ударения изобразительные жесты иллюстративные регуляторы ритмические жесты

Жесты указательные (дейктические) жесты жестовые ударения изобразительные жесты иллюстративные регуляторы ритмические жесты

Изобразительные жесты [Николаева 2005] Преобладают Сопровождают наиболее содержательно нагруженные фрагменты речи Сопровождают переформулировки Помогают в случае сбоев Чаще относятся к рематической части высказывания

Последовательные пересказы Ф. Бартлетта «Вспоминание» (Bartlett 1932) Эксперимент с пересказом мифа индейцев Северной Америки

Последовательные пересказы Ф. Бартлетта Экологический подход Идея последовательных пересказов Процесс вспоминания как реконструкции

Экологический подход Запоминание бессмысленных слогов (Ebbinghaus 1885/1964) Запоминания из повседневной жизни

Последовательный пересказ Текст Пересказ испытуемого 1 испытуемому 2 Пересказ испытуемого 2 испытуемому 3 Пересказ испытуемого 3 испытуемому 4 … Пересказ испытуемого n испытуемому n + 1

Вспоминание - реконструкция Реконструкция, а не точное повторение: детали опускаются (названия, имена, качества предметов) персонажи и события остаются Понятие схемы (= фрейм (М. Минский), скрипт (Р. Шенк и Р. Абельсон) и сценарий (С. Гэррод) )

«Рассказы о грушах» У. Чейфа The pear stories: Cognitive, cultural, and linguistic aspects of narrative production 1980 Исследование дискурса у носителей разных культур Шестиминутный ролик

Фильм о грушах Нет звучащей речи Нет специфических для определенного народа реалий Должно быть понятно представителям разных культур

Стимулы для порождения различных текстов Пейзаж Насыщенная сюжетная линия Причинно-следственные отношения Мысли и эмоции героев Незнакомые объекты

Протагонизм Центральность референта в дискурсе, «главный герой» П. Кланси: главный герой – более редуцированное средство (выражается местоимением или нулем) Способ маркирования того, что смены главного героя не произошло.

Протагонизм Givón 1990: способы измерения фактора центральности Линник 2010: протагонизм не является бинарным признаком Kibrik 2011: протагонизм повышает коэффициент активации референта при его реактивации

Сбор корпуса вторичных пересказов

Нулевой этап Анализ «Фильма о грушах»

Первый этап Запись на видео и аудиоаппаратуру 30 записей пересказа «Фильма о грушах» 2,5 часа словоупотреблений

Анализ первого этапа: Количество вербальных упоминаний Мальчика Фермера Троих мальчиков В большинстве рассказов количество вербальных упоминаний мальчика преобладает

Второй этап Из собранного корпуса выбираем (по вербальным упоминаниям): Запись с протагонистом-фермером Запись с протагонистом-мальчиком Запись, в которой оба персонажа получают примерно одинаковое количество упоминаний

Второй этап Каждую из 3 выбранных видеозаписей показываем 8 испытуемым и получаем 24 записи вторичных пересказов. Обрабатываем записи в программе ELAN

Второй этап: особенности обработки Изобразительные vs. дейктические жесты Изобразительные жесты vs. жесты- эмблемы Изобразительные жесты vs. движения глаз и головы

Задача Проследить, как наследуется центральность референта: На вербальном уровне На жестовом уровне

Коэффициент центральности (КЦ) отношение вербальных упоминаний более центрального из двух героев к упоминаниям второго Центральность референта сохраняется, если КЦ вторичного рассказа отличается от КЦ первичного на не более чем 20%

Результаты: вербальный уровень центральность фермера сохраняется хуже всего

Результаты: жестовый уровень 1. Уменьшение количества изобразительных жестов во вторичных пересказах 2. два главных героя и/или вербальный статус главного героя во вторичном рассказе не сохраняется увеличение количества жестов 3. Меньше всего жестов используется при рассказах с протагонистом-мальчиком, больше всего – с фермером

Механизм компенсации Поддержать «слабого» героя

Иллюстративные жесты: примеры копирования показывать руками большой фартук с карманом на животе, собирать в него груши, выкладывать груши забираться по лестнице, перебирая вверх руками, слезать так же с лестницы показывать, как груши рассыпаются в разные стороны – руки в разные стороны брать в руки ручки корзины с грушами показывать раму велосипеда – водить руками параллельно земле показывать, как слетела шляпа, сделав движение рукой от головы назад показывать дерево – вертикально водить рукой

Итоги Визуальный и вербальный каналы не идут параллельно, а компенсируют друг друга Жесты играют важную роль в анализе дискурса Взятая из смежной науки идея последовательных пересказов дала возможность изучать данную лингвистическую область

Литература Bartlett F. Remembering: A Study in experimental and social psychology, Cambridge 1932 Mehrabian, A. Silent messages: Implicit communication of emotions and attitudes. Belmont, CA: Wadsworth, 1981 Chafe W. (ed.) The pear stories: Cognitive, cultural, and linguistic aspects of narrative production. Norwood. Kress G Multimodality: A social semiotic approach to communication. London: Routledge Falmer. Kibrik A.A Reference in discourse. Oxford: OUP. Кибрик А.А Мультимодальная лингвистика // Когнитивные исследования, вып. IV. М., 134–152. Линник А.С Лингвистическое обеспечение статистического анализа корпуса, размеченного по референции. Дипломная работа, ОТиПЛ филфака МГУ. Николаева Ю.В. Значение и функции жестов-иллюстраторов в устной речи // Материалы «Диалога-2005»

Спасибо за внимание!