Как ученые читают друг друга: исследование специфики академического чтения д.э.н., PhD Антон Олейник (ЦЭМИ РАН), д.с.н. Светлана Кирдина (ИЭ РАН), к.с.н. Ирина Попова (ИС РАН) и Татьяна Шаталова (ИЭ РАН) 4/29/13Совет РАН по новым явлениям1

Основные положения доклада 1.Теоретические вопросы академического чтения 2.Неизученные проблемы академического чтения 3.Пилотный проект по исследованию академического чтения на основе контент- анализа 4.Основные выводы 4/29/13Совет РАН по новым явлениям2

Формы научной коммуникации Персонифицированная Состав участников оказывает влияние на результат взаимодействия Примеры: отношения с коллегами по работе, внутри научных сетей, презентация результатов на семинаре или конференции Обезличенная Состав участников значим меньше, чем предмет коммуникации Примеры: публикация научной статьи, монографии (круг их читателей потенциально не ограничен) 4/29/13Совет РАН по новым явлениям3

Научная коммуниация посредством чтения, письма и цитирования 4/29/13Совет РАН по новым явлениям4 Цитиру- емый автор Автор Читатель j Читатель i Читатель n

Сравнительный анализ академического чтения в России и за рубежом (связь «цитируемый автор – автор») 5 В России: среднее число цитируемых источников в работах экономистов МГУ им. М.В. Ломоносова и НИУ-ВШЭ в годах: ~ 15 Для сравнения: тот же показатель для ученых- обществоведов одного из австралийских университетов 31 (Wilson and Tenopir, 2008) В России: среднее число самоцитирований (выборка - участники нашего Научного совета) – около 6%. Для сравнения: тот же показатель в Австралии на одну статью, или около 3% (Wilson and Tenopir, 2008)

Классификации академического чтения В зависимости от точки отсчета Понимание предполагает использование сообщения автора в качестве точки отсчета: читатель понимает текст правильно, если обнаруживает смысл, вложенный автором. Читатель имеет гораздо больше степеней свободы при интерпретации текста. А именно, читатель свободен находить в тексте новые смыслы. В зависимости от степени внимания Поверхностное чтение сводится к просмотру названия, оглавления или резюме. Когда читатель переходит к тексту, он взаимодействует с автором в одностороннем порядке, выбирая те мысли автора, которые кажутся для него наиболее актуальными. Глубокое чтение требует от читателя бóльших затрат когнитивных ресурсов и времени, что позволяет углубиться в текст. Также включает двусторонний формат общения между автором и читателем 4/29/13Совет РАН по новым явлениям6

Теории академического чтения Теория ограниченной рациональности: «внимание становится более дефицитным и важным ресурсом, чем информация» (Simon 1978, 13). Теория релевантности: правило оптимального баланса усилий и эффекта, одним из следствий которого является применение уже опробованных ранее вариантов интерпретации к прочтению новых текстов. 4/29/13Совет РАН по новым явлениям7

Распространение публикаций и ограниченная рациональность Задача снижения затрачиваемых на чтение усилий значительно облегчается, если автор сокращает длину предложений и слов, то есть пишет в «легком и простом» стиле. Легко читаемый текст содержит короткие фразы и слова (Sawyer, Laran, Xu 2008, 109). Также легче читается хорошо организованный текст - последовательный, с четко установленными связями между его элементами и хорошо построенными предложениями (Benjamin 2011, 72). Формула Флэша: 4/29/13Совет РАН по новым явлениям8

Основное противоречие академического чтения С одной стороны, ограниченность внимания и других когнитивных ресурсов заставляет нас экономить на усилиях, затрачиваемых на чтение. С другой стороны, «экономное» чтение может быть только поверхностным. понять интрерпретации. В итоге читатель оказывается неспособным ни адекватно понять текст (то есть уловить заложенный автором смысл), ни выявить все возможные варианты его интрерпретации. 4/29/13Совет РАН по новым явлениям9

Основные вопросы пилотного исследования-1 1.Если представленные в тексте авторские идеи хорошо известны читателю, кто различает их лучше – автор текста или читатель? 2.Кто точнее интерпретирует текст автора- он сам или читатели? 3.Кто способен увидеть больше смыслов в тексте - его автор или читатели? 4.Является ли бесконечным число интерпретаций авторского текста читателями и насколько они искажают авторский замысел? 4/29/13Совет РАН по новым явлениям10

Основные вопросы пилотного исследования -2 4.В каком случае замысел автора более понятен читателям – при написании им статьи стандартного формата или в более свободном тексте? 5.Есть ли разница результатов поверхностного и глубокого чтения и в чем она выражается? 4/29/13Совет РАН по новым явлениям11

Объект и предмет исследования Объект Объектом исследования послужило чтение научных текстов (статей, эссе, глав в коллективных монографиях и рецензий на книги), написанных тремя учеными- обществоведами Предмет Предметом исследования служат различия в восприятии текста автором и читателями-коллегами, изученные с помощью компьютерных программ для контент- анализа QDA Miner и WordStat 4/29/13Совет РАН по новым явлениям12

Я бы этот слайд убрала – вопросы конкретизированы выше. Вопрос исследования Как авторский текст читает читатель? Если посмотреть на эту проблему с точки зрения автора, то речь идет о том, насколько близко читатель воспринимает его мысль автора Если же взглянуть на проблему с точки зрения читателя, то важно понять, насколько актуальна для читателя информация, представленная ему автором Если смотреть с точки зрения беспристрастного стороннего наблюдателя, вопрос еще раз переформулируется: появляются ли новые идеи в дополнение к идеям автора и читателя? 4/29/13Совет РАН по новым явлениям13

Контент-анализ как метод исследования Cлово, текст, а не цифра является основным источником информации в социальных и гуманитарных науках (Библер 1991, 72; Lotman 1990, 2). Но, в отличие от цифры, слово труднее поддается агрегированию («сжатию») и манипулированию ввиду своей более контекстуальной и многозначной природы Контент-анализ – «исследовательская техника, позволяющая делать надежные и достоверные выводы из текстов (или других наделенных смыслов явлений) в зависимости от конкретного контекста их прочтения» (Krippendorff 2004, 18) 4/29/13Совет РАН по новым явлениям14

Разновидности контент-анализа Качественный контент-анализ (кодирование вручную) предназначен для определения фрагментов текста, которые соответствуют идеям автора и читателя и отражают ключевые понятия через качественные коды Количественный контент-анализ (совместная встречаемость слов) значительно облегчает семантический анализ предложений Словарь, основанный на замещении, - гибридная форма качественного и количественного контент-анализа. После разработки словаря (списка слов и словосочетаний, которые относятся к каждому из качественных кодов) участие человека уже не требуется 4/29/13Совет РАН по новым явлениям15

4/29/13Совет РАН по новым явлениям16

Параметры выборки h-индекс (Хирша)Среднее значение индекса Флэша А В3-63 С /29/13Совет РАН по новым явлениям17 Выборка работ А включает 20 статей, эссе, глав из книг и рецензий на книги, B - 17 статей и рецензий на книги и C - 20 статей, эссе и рецензий. Иными словами, A, B и C исполняли роли и автора, и читателя. D являлся только читателем, и потому играл роль «независимого наблюдателя» Для сравнения: индекс Флэша для сказок Толстого равен +23.5; посланий Путина: -46

Этапы контент-анализа ЭтапСодержание 1Участники прочли все тексты и разработали свои книги кодов (списки качественных кодов) независимо друг от друга. Для оценки надежности своего качественного кодирования каждый участник создал словарь, основанный на замещении, структура которого соответствовала его книге кодов. После выполнения трех видов контент-анализа, расстояния между текстами в трех случаях, измеренные косинус- коэффициентами, были кросс-коррелированы с помощью оригинального метода триангуляции – для проверки надежности качественного кодирования 2Участники после серии совместных обсуждений создали общую книгу кодов. Общая книга содержит 37 кодов (15 - для текстов А, 9 - для текстов B, 13 - для текстов С). Коды для текстов А были применены только к текстам А, и т.д. Затем участники перекодировали тексты по согласованным качественным кодам, но независимо друг от друга. Результаты трех типов контент-анализа – для каждого участника в отдельности и для всех четырех в целом – были кросс-коррелированы. Рассчитаны коэффициенты согласия между кодировщиками 337 кодов были применены ко всем текстам. Например, коды для текстов А были использованы для контент-анализа не только текстов А, но и B и C. Могут ли коды, соответствующие идеям одного автора, служить основой для интерпретации идей других авторов? Результаты трех типов контент-анализа были кросс- коррелированы и были рассчитаны коэффициенты согласия между кодировщиками 18

1-й этап: автор как невнимательный читатель Автор Читатель (кодировщик) А (N=20)B (N=17)C (N=20) A0,734**0,726**0,502* B0,778**0,559*0,911** C0,654**0,628**0,772** D0,727**0,3410,644** 4/29/13Совет РАН по новым явлениям19 Ни одному из трех авторов (A, B и C) не удалось обойти читателей в точности интерпретации своего теста. Качественное кодирование у читателей было последовательно ближе к совместной встречаемости слов, чем у автора. Коэффициенты корреляции Пирсона между качественным кодированием и совместной встречаемостью слов, 1-й этап, 12 центроидов (один центроид для каждой подвыборки текстов и для каждого кодировщика)

Квадрат расстояния между отдельными книгами кодов участника на 1-м этапе и общей книгой кодов, разработанной на 2-м этапе Автор Читатель (кодировщик) А (N=20)B (N=17)C (N=20)Итого А (N=43*)0,5370,2280,1630,93 B (N=147)0,180,250,230,659 C (N=70)0,1020,1420,60,304 D (N=44)0,070,1020,60,232 Среднее0,2220,1800,1280,531 4/29/13Совет РАН по новым явлениям20 Во всех трех случаях (тексты A, B и C) самая высокая степень структурной гомологии наблюдается между книгой кодов D («независимого наблюдателя») и общей книгой кодов. Взгляд D на текст, возможно, был расположен ближе к позиции обобщенного читателя (но не обязательно – автора, см. предыдущий слайд)

2-й этап: возвращение автора Автор Читатель (Кодировщик) 2-й этап3-й этап А (N=20)B (N=17)C (N=20)А (N=20)B (N=17)C (N=20) A 0,600**0,4450,701**0,4380,1170,811** B 0,562**0,484*0,625**0,4290,498*0,824** C 0,542*0,4580,693**0,3610,4370,865** D 0,4100,484*0,917**-0,360-0,1350,734** 4/29/13Совет РАН по новым явлениям21 Качественное кодирование автора, как правило, более тесно связано с показателями совместной встречаемости слов, чем кодирование читателей – при использовании согласованной книги кодов. Автор вполне может опустить некоторые значения, содержащиеся в его текстах. Но он лучше справляется с выявлением заданного диапазона значений

Глубина чтения на разных этапах Автор Читатель (Кодировщик) А (N=20 [8*])B (N=17 [13])C (N=20 [11]) КодыСегментыКодыСегментыКодыСегменты 1-й этапA B C D Среднее (читатели) , й этапA B C D Среднее (читатели)15574,39342,313341,7 eLibrary610 [16**]622 [29]514 [34] 22 Количество кодов автора и читателя в их отдельных книгах кодов, а также количество фрагментов, закодированных на 1-м этапе, систематически превышали соответствующие показатели на 2-м этапе. Судя по количеству содержательных ссылок на работы авторов А, B и C, цитирующие их российские читатели интерпретировали эти тексты еще более узко.

3-й этап: пределы интерпретации Показатели Кодировщики 2-й этап3-й этап α (N=37)S (N=37)r (N=57)α (N=37)S (N=37)r (N=37)r (N=57) A+C C+B C+D A+B A+D B+D Среднее C+A+B C+A+D A+D+B C+B+D Cреднее A+B+C+D

Выводы 1.Автор лучше, чем читатель, «различает» базовые идеи своего текста, даже если читатель знает авторские идеи. 2.В то же время читатель может точнее интерпретировать текст автора, то есть лучше соотносить определенные куски текста с базовыми идеями (эффект «замыленного взгляда» автора). 3.Кроме того, читатель способен находить в тексте автора больше идей, чем их различает автор. Другими словами, он смотрит на текст через свои «линзы», позволяющие ему видеть подчас неожиданные и парадоксальные для автора смыслы. 4.Хотя текст может быть интерпретирован способами, весьма отдаленными от авторского замысла, их количество все же не является безграничным. Чем дальше интерпретация от авторского замысла, тем ниже надежность интерпретации 4/29/13Совет РАН по новым явлениям24

Выводы (продолжение) 4.Замысел автора более понятен читателям и воспринимается ими с наименьшими затратами, если текст имеет удобочитаемую форму и выражен в стандартном формате научной статьи. 5.Исследование показало, что глубокое чтение не является «легким», так как требует большего включения читателя в эту работу. Однако в случае глубокого чтения рост затрат времени и внимания приводит к росту «добавленной стоимости» в толковании и понимании научных текстов. 4/29/13Совет РАН по новым явлениям25

Печатная версия доклада А.Н. Олейник, С.Г. Кирдина, И.П. Попова, Т.Ю. Шаталова. «Как ученые читают друг друга: основы теории академического чтения и ее эмпирическая проверка». // СОЦИС, 7, 2013 (принята к публикации). 4/29/13Совет РАН по новым явлениям26

Спасибо за внимание! 4/29/13Совет РАН по новым явлениям27