Смешивание методов как способ повышения качества пилотажа Круглова Ксения Факультет социальных наук, департамент социологии, 4 курс Высшая школа экономики, Москва, Доклад подготовлен в рамках семинара научно-учебной группы «Стратегии смешивания методов в социальных исследованиях»
Высшая школа экономики, Москва, 2015 Что такое пилотаж? фот о Пилотаж – это самостоятельное небольшое исследование, основной целью которого является апробация концептуальной схемы исследования, инструментария, достижимости объекта исследования и способов коммуникации с ним. Пилотироваться может любая часть исследования.
Высшая школа экономики, Москва, 2015 Для чего это нужно изучать? фот о 1. Нужно определить, что такое пилотаж, провести сравнительный анализ российской и зарубежной литературы, выделить типы пилотажа и техники его осуществления. 2. Важно понять, как смешанные методы (качественных и количественных) могут быть использованы в ходе пилотажа, как их применение может улучшить качество исследования. 3. Необходимо выяснить специфику проведения пилотажа в рамках исследования с применением смешанных методов. (Можно ли проводить пилотаж того, как методы работаю в комбинации?)
Высшая школа экономики, Москва, 2015 Возможная теоретическая рамка фот о Герменевтика, герменевтический круг (Хайдеггер) Для понимания текста, нужно предварительное понимание, набрасывание смысла. Понимание смысла происходит благодаря постоянному пересмотру смысла, осуществлению «набросков» смысла. Можно интерпретировать пилотирование как попытку достичь истинное знание, путем «набрасывание» смыслов, путем проб. Без осуществления «набросков» смысла нельзя получить качественные данные.
Высшая школа экономики, Москва, 2015 Два типа пилотажного исследования фот о Пилотаж Мини-исследование как подготовка к основному исследования Исследование внутри исследования – тестирование конкретной части исследования
Высшая школа экономики, Москва, 2015 Качественные и количественные методики пилотажа фот о Качественные методики: 1. Интервью о вопросах (понимание формулировок, сложность анкеты для заполнения, проверка правильности операционализации, отвечают на те вопросы которые спрашивались?) a) интервью с экспертом b) интервью с разного типа респондентами (образованные и необразованные, разного возраста, пола и т.д.) 2. Наблюдение за самостоятельным заполнением. (Легко ли заполнять? Выстроены ли вопросы логично? Есть ли лишние вопросы или недостающие?) + Можно попросить респондента проговаривать вслух то, что он делает-думает.
Высшая школа экономики, Москва, 2015 Качественные и количественные методики пилотажа фот о Количественные методики: 1. Анкета в анкете: a)вопросы о том, насколько понятны, сложны вопросы (можно располагать шкалы рядом с наиболее интересующими вопросами) b)Вопросы об анкете в целом: ощущения при заполнении, насколько трудно-легко (оценить по шкале).
Высшая школа экономики, Москва, 2015 В.А. Ядов фот о «Генеральный "пилотаж" продолжение пробы, но теперь уже не отдельной методики или инструмента, а всей процедуры сбора первичных данных: методик, способов протоколирования и сведения данных в кодировальные листы, инструкций по сбору данных, организации полевых работ на объектах и, наконец, качества выборки. Это "разведка боем", основная цель которой проверка на надежность всех звеньев полевой процедуры. Важная функция пилотажа установить прямой контакт с ответственными лицами на объекте исследования, обеспечить их сотрудничество в дальнейшей работе. Вместе с тем проверяется пригодность всех звеньев собственной организации, особенно уровень подготовки участников исследования, их тренированность, понимание обязанностей».
Высшая школа экономики, Москва, 2015 И.Ф. Девятко фот о «Пилотажные исследования, интервьюирование «фокусных» групп могут оказаться полезными в отборе индикаторов и исключении лишних вопросов. Они также важны для оценки надежности и валидности показателей». При использовании индикаторов использовавшихся в ранних исследованиях, проверьте, насколько хорошо они «работают».
Высшая школа экономики, Москва, 2015 Мангейм Дж. Б., Рич Р. К. фот о 1. При проведении нового исследовательского проекта социологи и политологи должны вооружиться пилотажным исследованием. 2. Пилотажное исследование – это и есть осуществление широкомасштабного проекта, только в миниатюрном виде. Оно составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования. «К проведению предварительного тестирования надо относиться как к покупке страховки, без которой вы можете в какой-то момент оказаться перед целой горой очень дорогостоящей, но негодной информации»
Высшая школа экономики, Москва, 2015 Г.Б. Виллис фот о Когнитивные интервью 1. Это метод, который позволяет оценить, как респонденты воспринимают информацию, обрабатывают ее в своей голове и реагируют на нее. Важно понять как респонденты оценивают вопросы, как они выбирают ответ. 2. КИ включает в себя техники «think-aloud» - проговаривание мыслей вслух и «verbal probing» – «проба»: дополнительные вопросы о вопросах, проверка понимания текста, терминов. Verbal probing – может подготавливаться заранее, для тестирования наиболее «опасных» моментов в анкете, либо спонтанно осуществляться в процессе интервью при обнаружении трудностей у респондента. 3. Полученные в ходе интервью материалы: записки интервьюера, диктофонные записи анализируется с помощью кодирования и интерпретации
Высшая школа экономики, Москва, 2015 С.А. Белановский фот о Глубокое интервью при разработке социологических анкет 1. Пилотаж анкет социологами часто проводится неэффективно – проводится пробный опрос, но глубокого понимания проблем опросника не достигается. 2. Хорошее тестирование опросника должно состоять из 3-5 пилотажей: пилотаж выборки (доступность респондентов, реалистичность выбранного метода поиска респондентов), пилотаж процедуры опроса (время и место опроса, длительность заполнения анкеты) и др. 3. Наиболее приемлемый метод пилотажа – заполнение опросника и «рассуждение вслух» 4. При проведении разного типа пилотажей – чем ниже формализация, тем меньше выборка. 5.«Выборки для пилотажей должны составляться по типу квотных, чтобы при опросе были учтены различия в ролевых позициях и, по возможности, в типах личности респондентов»
Высшая школа экономики, Москва, 2015 Формулировка вопросов фот о С. Садмен, Н.Брэдберн Проблема постановки правильной формулировки вопроса: wording, wording of question – незначительное изменение формулировок приводит к разным ответам. Н. Шварц, Д. Ойзерман Для того, чтобы избежать неверного понимания можно проводить пилотажные когнитивные тесты на небольших выборках. Можно проводить интервью с карточками, например спрашивать, как тот или иной изображенный человек ответил бы на вопрос – помогает понять нет ли искажений в смысле вопроса. Так сначала выбирается лучшая формулировка, а далее при следующем пилотаже тестируется не искажается ли смысл выбранного вопроса в контексте всей анкеты.
Высшая школа экономики, Москва, 2015 Л. Я. Аверьянов фот о 1. Цели пилотажного исследования: проверка основных гипотез программы, выявление отдельных характеристик объекта с целью определения наиболее устойчивых для их дальнейшей углубленной разработки, выяснение действенности методики в целом или ее отдельных частей, предварительная проверка достоверности результатов опроса и т.д. 2. Численность опрашиваемых не превышает человек. Этого количества достаточно, чтобы решить задачи, стоящие перед пилотажным исследованием 3. Пилотажный опрос проводится на другом "поле", близком по своим характеристикам к основному 4. Анкету лучше представить в виде формализованного интервью, 5. после которого интервьюеры записывают небольшие отчеты. 6. После устранения недочетов и недоработок, выявленных в результате первого пилотажного исследования, требуется повторный пилотажный опрос, чтобы выяснить как работает скорректированная методика. Если инструментарий очень сложен и требует большой точности (например, при прогнозном исследовании), надо провести и третье пилотажное исследование.
Высшая школа экономики, Москва, 2015 Дальнейшие действия фот о 1. Пока что был осуществлен подбор литературы, всю информацию нужно систематизировать 2. Выработать общую логику статьи, понять какую информацию убрать, а какую следует добавить 3. Найти примеры пилотажных исследований 4. Лучше развить теоретическую (философскую) рамку, возможно найти еще какое-нибудь обоснование
101000, Россия, Москва, Мясницкая ул., д. 9/11 Тел.: (495) , факс: (495)