CEGAA - Семинар партнеров ИОО в ВЕ март 09 г. Урбанус Киоко Центр по экономическому управлению и СПИДу в Африке Знакомство с методологией исследований

Ваше представление об исследованиях?

Систематический способ решения проблем Процесс систематического сбора наблюдаемых, доступных проверке данных с целью описания, проектирования или прогнозирования событий Систематическое, объективное и научное исследование явления с точки зрения его конкретных аспектов в целью выявления и толкования фактов, принципов и теорий Поиск знаний посредством объективных и систематических методов обобщения и формулирования теорий Получение документальных доказательств как основы для принятия решений Что такое исследования?

Концепция научно обоснованной адвокации

Определение проекта / общая цель Каково желаемое долгосрочное воздействие, результата ваших усилий, права, которые вы хотите защитить или поддержать, конституционные и законодательные нормы, международные / региональные обязательства. Чего вы хотите достичь ? Задачи адвокации Задачи SMART для содействия изменениям, необходимым для достижения вашей ЦЕЛИ. (SMART: конкретные, измеримые, достижимые, реалистичные, определенные по времени ) ( Обратите внимание, что разработка стратегии адвокации начинается сейчас, а закончена будет после получения предварительных результатов исследований ) Формулировка проблемы Четко сформулируйте, в чем состоит проблема, которую собираетесь решать. Темы или проблемы, которые помогут сформулировать вопросы исследования, можно найти во многих источниках : личный опыт, статьи в профессиональных изданиях, неопубликованные исследования других людей. Сосредоточьте исследования на чем - то реально выполнимом. Будьте разумны ! Не пытайтесь охватить слишком многое в одном исследовании. Ключевые этапы исследований: 1. Определение проблемы

Актуальность с точки зрения приоритетности проблемы Насколько велика или широко распространена проблема Кого она затрагивает Насколько серьезна проблема Избегайте дублирования усилий Целесообразность Политическая приемлемость Применимость возможных результатов и рекомендаций Неотложность получения результатов для принятия решения Этическая приемлемость Критерии приоритетности проблем для исследований с целью адвокации

Определение конкретного вопроса (- ов ) исследования На какой вопрос вы хотите ответить? Какие принципы вы хотите проверить? Какие данные потребуются заинтересованным сторонам для составления посланий адвокации? Изучайте литературу (в течение всего проекта) Масштабы исследования Финансирование/расходы - государственные, частные, донорские, домохозяйств? Источники, агентства, поставщики, услуги? Вводимые ресурсы/непосредств. результаты/ эффект/ воздействие? Федеральный/национальный или региональный/субнациональный уровень? Повторяемость и (или) развитие? Отраслевой анализ? Программный анализ? Период в годах? Целевая группа населения? Уязвимая группа/гендерный аспект? Ваша концептуальная основа анализа – права, сектор, проблема, справедливость? Цель и задачи исследования Для достижения общей цели адвокации намечайте реалистичные цели исследований, необходимых для поддержки кампании адвокации, и разрабатывайте конкретные, измеримые задачи ИССЛЕДОВАНИЙ. Этап 2: Определение целей и задач исследования

Масштабы исследования – обзор литературы Обзор профессиональной литературы, относящейся к рассматриваемому вопросу Выясните, какую работу по интересующему вас вопросу уже провели другие. Зачем обзор литературы? для предотвращения дублирования усилий для уточнения формулировки проблемы для знакомства исследователя с уже применяемой методологией для обоснования исследований Потенциальные источники данных Частные лица, группы и организации Опубликованная информация, неопубликованная информация Где можно найти информацию Местный уровень Национальный Международный, напр., интернет Этап 2: Определение целей и задач исследования

Ключевые партнеры и процесс участия. Участие / сопричастность заинтересованных сторон Источники данных? Сборщики данных? Пользователи данными! Польза/риски. Планируйте вовлечь все заинтересованные стороны, чтобы они чувствовали свою сопричастность и признавали актуальность собранных данных и процесса исследований Методология: a. План исследования Количественные, качественные, интерактивные, оценка затрат, экономические – микро/макро анализ, бюджетный анализ, методы отслеживания расходов, общественные/гражданские исследования в действии – общественный аудит, обследование удовлетворенности, оценочные карты. Опросы доноров, домохозяйств, клиник, районов. Фокус- группы. Определение оптимальных индикаторов Какие индикаторы / сведения вы будете использовать для отражения явлений, которые хотите оценить ? Этап 3: Индикаторы: методы

План исследования можно представить себе как структуру исследования - тот "клей", благодаря которому все элементы исследовательского проекта становятся единым целым. План используется для структурирования исследований, он демонстрирует, как основные составляющие исследовательского проекта – выборки или группы, измеряемые индикаторы, виды лечения или программы, методы распределения - взаимодействуют между собой в рамках ответа на центральный вопрос исследования. План исследования

Первичные и вторичные Поисковые и итоговые Количественные (BMET-анализ, анкеты с фиксированными вариантами ответов, обследования) и (или) Качественные (открытые вопросы) с помощью качественных исследований мы пытаемся охватить "общую картину" и выяснить, как многочисленные переменные взаимодействуют в реальном мире. В таких исследованиях рассматривается естественное поведение, поэтому методы исследования предполагают минимально возможное вмешательство Дискуссии в фокус-группах Непрерывные (панельные, мониторинг) и специальные / разовые (обследования) Типология исследований

Первичные и вторичные Первичные исследования Данные, собранные специально для решения вопроса / проблемы Вторичные исследования Данные, изначально собранные для другой цели

c.Методы выборки Представительная выборка ? Используйте формулу. Целевая выборка районов / домохозяйств ? Назначьте критерии включения / отбора респондентов. Как вы будете находить и отбирать респондентов из нужной вам группы ? d.Инструменты Бюджетный анализ, анализ расходов, обзор литературы, фокус - группы, семинары, интервью ( личные, по телефону ), анкеты ( самозаполняемые ?), обследования, круглые столы, встречи заинтересованных сторон, наблюдение ? b.Ключевые респонденты / популяция выборки Связать с принятым ранее решением о популяции/уязвимой группе. Указать основных "обладателей" информации (гос-во, донор, пользователи). Регионы/области? Районы? Домохозяйства? Частные лица? Ключевые фигуры из Минфина, Минздрава, парламента, агентств-доноров, менеджеры программ, группы гражданского общества НПО и т.д.

Перечень доступных популяций, из которых вы будете формировать выборку, называется основой (совокупностью) выборки Составление выборки: процесс отбора единиц (напр., людей, организаций) из интересующей вас популяции, так чтобы результаты исследования выборки с достоверностью можно было обобщить для всей популяции. Выборка – группа людей, которых вы отобрали для участия в исследовании. Методы выборки

Случайная выборка дает каждой единице из целевой популяции исчислимую и не равную нулю вероятность быть выбранной Предполагается, что у каждой единицы равные шансы быть выбранной SRS: члены интересующей нас популяции (N) пересчитываются, и из них отбирается некоторое количество (n) методом случайных чисел без их замены Каждая единица выборки может присутствовать в выборке только один раз Каждый член популяции имеет равные шансы быть выбранным Случайная выборка

Этапы формирования систематической случайной выборки: 1. сосчитать единицы в популяции от 1 до N 2. определить желаемую или необходимую n (величину выборки) k = N/n = размер интервала 3. случайным образом выберите целое число от 1 до k затем возьмите каждую k-ю единицу N = число случаев в выборочной совокупности Примечание: n = число случаев в выборке N C n = число комбинаций (подмножеств) n от N f = n/N = доля выборки Формирование систематической случайной выборки

Допустим, что у нас популяция из N=100 человек, и вам нужно сформировать выборку n=20. Для системного формирования выборки члены популяции должны быть перечислены в произвольном порядке. Доля выборки составит f = 20/100 = 20%. Размер интервала k равен N/n = 100/20 = 5. А теперь выберите случайное целое число от 1 до 5. В нашем примере, допустим, это 4. Теперь для формирования выборки начните с 4-й единицы в списке и выбирайте каждую k-ю единицу (каждую 5-ю, поскольку k=5). Вы выберете единицы 4, 9, 14, 19 и т.д. до 100, и в результате в вашей выборке будет 20 единиц. Систематическая случайная выборка

Иногда она называется случайной пропорциональной выборкой или выборкой по квотам Для этого нужно поделить популяцию на однородные подгруппы, а затем сформировать простую случайную выборку в каждой подгруппе, чтобы каждая подгруппа была пропорционально представлена в общей выборке – тогда вы сможете делать выводы об этих группах в популяции. Задача: Поделить популяцию на не пересекающиеся между собой группы (т.е. страты) N1, N2, N3,... Ni, чтобы N1 + N2 + N Ni = N. Затем сделайте простую случайную выборку f = n/N в каждой страте. Стратифицированная случайная выборка

При кластерной выборке мы поступаем так: 1. делим популяцию на кластеры (обычно по географическим границам) 2. делаем случайную выборку кластеров 3. оцениваем все единицы внутри кластеров в выборке Кластерная (гнездовая) случайная выборка

Отбор кластеров может проходить в несколько этапов Проводится отбор районов как первичных единиц выборки в регионе, внутри них проводится выборка избирательных участков, а в них - выборка домохозяйств. Многоэтапная выборка

Это заведомо неслучайный метод выборки с целью отобрать группу людей с определенными характеристиками. Критерии отбора должны быть обоснованы и связаны с вопросами, на которые вы пытаетесь найти ответы Может быть оправдано труднодоступностью некоторых популяций, напр. ВИЧ+ пациентов, посещающих клинику для получения АРВ Может быть обосновано расходами и сроками, напр. небольшое исследование конкретного случая Не подлежит обобщению!! Целевая выборка

e.Источники данных Бюджетная отчетность, бюджетные обзоры, планы MTEF, отчеты о расходах, отчеты Генерального ревизора, бюджеты министерств, годовые отчеты, отчеты о стоимости, стратегические планы, отчеты Минфина, парламентская отчетность, особенно комитета по бюджету, отчеты о государственных расходах, информационные системы здравоохранения, законодательство о государственном финансировании, отчеты агентств-исполнителей стратегического плана, центральные статистические органы, данные обследований домохозяйств, переписи населения, опросы (экономические, напр. о доходах и расходах, о здоровье), ранее проведенные исследования, оценки программ, оценки воздействия, любые проекты по оценке затрат (помогают измерить достаточность бюджетных ассигнований), агентства финансового управления, отчеты доноров и т.д. Этап 5: Выбор источников данных

h. Процесс проверки - для обеспечения правильности, точности и достоверности данных Встречи заинтересованных сторон для ознакомления с предварительными результатами, обсуждения и уточнения рекомендаций доклада. Национальные и внешние эксперты рецензируют проект доклада - эксперты по медицинской проблеме, государственному финансированию, бюджетным системам и т.д. Процесс рецензирования внутри команды - обмен опытом и рекомендациями, редактирование отчетов друг друга. Обращение за обратной связью к структурам гражданского общества. g. Процесс сбора данных и управления данными План использования инструментов сбора информации. Методы фиксирования данных – компьютерные программы, научные ассистенты, регистраторы данных. f.Инструменты сбора данных Анкеты – закрытые / открытые Анкеты ( по почте или лично ) Наблюдения Интервью - личные : интервьюер работает непосредственно с респондентом, может задавать уточняющие / дополнительные вопросы Этап 6: Сбор данных

f.Инструменты сбора данных – советы по разработке анкет Содержание вопроса 1.Нацелен ли вопрос на то содержание, которое вам нужно Является ли вопрос необходимым / полезным ? Нужны ли несколько вопросов ? двойной вопрос нужно разделить - напр., " ваш род занятий и ежемесячный доход? " 2.Содержит ли вопрос всю необходимую информацию, чтобы респондент мог на него ответить? 3.Конкретный – слишком общую информацию будет трудно интерпретировать. Например, Насколько вам понравился семинар ? 4.по шкале от " совсем не понравился " до " очень понравился ". Если семинар " очень понравился " - что это означает ? Предвзятый или наводящий вопрос : ваши собственные предрассудки или " белые пятна " могут повлиять на формулировку вопроса, допустим, если вы противник уличных проверок на наркотики : Что вы считаете недостатками случайных уличных проверок на наркотики ? 5.Не слишком ли прямо сформулирован вопрос? слишком прямой / может смутить респондента Как вы относитесь к этому семинару ? Этап 6: Сбор данных….

Общепринятые "золотые" правила проведения опросов. Начинайте с легких, безопасных вопросов, оставив более трудные вопросы на потом Никогда не начинайте анкету, направляемую по почте, с открытого вопроса Составьте схему для вопросов-фильтров и вероятностных вопросов Еще несколько советов

Подробно проинструктируйте команду – менеджеров проекта, исполнителей Основные вопросы, на которые надо ответить Задачи и методология Выборка/проведение отбора Процедуры контроля качества Сроки Стоимость каждого этапа Требуемые человеческие ресурсы Совет: Не торопитесь, ведите записи. Успешные проекты отличает хорошее информирование, планирование и четкое знание каждым участником своей роли. Планирование проекта и управление проектом

Отбор, обучение и инструктаж команды Очень тщательно отбирайте и обучайте интервьюеров - соответствие профиля интервьюеров профилю респондентов? - деликатные темы - языковые/культурные аспекты Документируйте процедуры контроля качества Обучайте этике полевых исследований и конкретным требованиям проекта Совет : Каждый день контролируйте качество всех этапов полевой работы через сеть супервизоров Проведите пилотное тестирование - проверьте последовательность вопросов, пропуски вопросов - язык вопросов, процедура отбора, - длительность интервью Проведите пилотную фокус-группу Совет: Попросите опытных интервьюеров/модераторов дать обратную связь Пилот Управление процессом сбора данных

Ввод данных, очистка и проверка Разработайте правила редактирования и проверки для всех анкет - Проверяйте частотность распределений - Сравнивайте с известной статистикой - Ищите несоответствия Совет: Не забывайте про здравый смысл. "Интересные" данные часто неверны. Анализ данных Excel, Количественные - разработайте спецификацию анализа (SPSS) - пользуйтесь вспомогательными методами - понимайте взаимосвязи между данными Качественные (NVIRO) - разработайте шаблон для дословных расшифровок - общие темы и различия Совет: При разработке инструментов думайте "Как я буду это анализировать?" Обработка и анализ данных

Интерпретация данных Вспомните задачи Триангуляция с другими источниками Предложите предварительные данные для проверки ключевым заинтересованным сторонам Сравните с прошлыми работами (обзор литературы) Увяжите с контекстом Определите сюжет Интерпретация и проверка данных

Составление и презентация отчета План и структура излагают сюжет - данные используются для подтверждения Обобщенное изложение основных результатов Краткость (подробности в приложениях) Иллюстрируйте диаграммами, таблицами, яркими цитатами Семинар по распространению результатов Аналитические записки, СМИ и т.д. Совет: Репетируйте презентации, разошлите отчет коллегам для комментариев. Политики/госструктуры будут оценивать вашу работу по качеству отчета как продукта этой работы Этап 10: Отчет и распространение результатов

Не только исследования создают информационную основу адвокации, но и адвокация предъявляет требования к исследованиям Чтобы быть полезными для целей адвокации, исследования должны давать ответы на ключевые вопросы Заключительные замечания

Контакт для получения дополнительной информации: Урбанус Киоко Центр по экономическому управлению и СПИДу в Африке Эл. почта: Телефон: