UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ: День 3 Сочетание качественных и количественных методов Профессор. - презентация

1 UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ: День 3 Сочетание качественных и количественных методов Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011

2 План на три дня IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods День 1: Какую роль играет специалист по оценке? Основные аспекты оценки ( Техзадание ) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов

3 «Меню» методов Количественные: экспериментальные, квази- экспериментальные, опросы, сравнительные исследования. Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы (Mertens, 2009, TRE, p. 165). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

4 Как сочетать методы Совместимость: Совмещайте цель, фокус, вопросы и дизайн. Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов. Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования. Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

5 Одновременное использование Качественные и количественные методы используются более- менее одновременно КачественныеКоличественные Последовательное использование : Сначала количественные, потом качественные ИЛИ Последовательное использование: Сначала качественные, потом количественные Количественные Качественные Mertens, 2009, TRE, p. 167 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

6 IPEN Almaty Kazakhstan July 2011 Mertens 6 Community Participation Трансформационная методология Участие сообществ Виды исследований Описательные – С вмешательством Модель исследования ЦикличноеКраткосрочное Дизайн и методы Комплекс методовОдин метод ОдновременноПоследовательно Сочетание качественных и количественных методов КоличественныеКачественные Участие сообществ

7 Пример : делаем явным Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД 7 IPEN Almaty Kazakhstan July 2011 Mertens

8 Дизайн трансформационной оценки с использованием качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Stage 4 Concurrent Stage 3 Sequential Stage 2 Concurrent Stage 1 Qual Assemble team; read documents; engage in dialogues Preliminary studies: youth, older men Process eval Pilot intervention: Observations, Interviews, Surveys Demographic information; Surveys; Incidence data Pretest: Knowledge, Attitude, Behavior; Post tests: Quant Qual; Behavior & Policy Change; Transfer To other contexts Этап 1 Качествен- ные методы Этап 2 Одновре- менно Этап 3 Последо- вательно Этап 4 Одновре- менно Соберите команду, изучите документы, начните диалог Предвари- тельное исследования: молодежь, пожилые Демографи- ческая информация; опросы; статистика Пилот программы: наблюдение; интервью, опросы Пре-тест: знания, отношение, поведение Оценка процесса Пост-тест: качест- венные, количест- венные, изменения в поведении и политике; перенос в другие условия

9 Компоненты трансформационного дизайна : Пост-колониальная критическая этнография Описание задачи или вопросов оценки (фокус). Описание методов сбора данных: интервью, дневниковых записей, процессов кодирования, как эти методы будут использоваться, когда специалист по оценке будет выполнять роль соисполнителя или наблюдателя. Объяснение этической стороны работы, того, как будут защищаться интересы участников и их частная жизнь, и как на ключевых этапах работы им будут предоставляться отчеты, и в том числе финальный. Описание участников: численность, место проживания, нормы и правила, исторический и культурный контекст, ожидания ключевых источников информации. График работ: выезд в поле, сбор данных, возвращение из поля, кодирование и анализ, завершение написания отчета и/или его публичное представление. Использование критической теории при планировании и проведении и распространении его результатов. Madison (2005) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

10 Исследование действием и трансформационный дизайн 1. Группа определяет цель и вопросы оценки. 2. Специалисты по оценке и участники наблюдают, участвуют в действиях, наблюдают и записывают. 3. Специалисты по оценке и участники погружаются в действие и углубляют свое понимание. 4. Члены группы снова собираются вместе и делятся знаниями, а также обновляют планы следующего цикла оценки. 5. Этот цикл повторяют 6-10 раз в зависимости от сложности ситуации. (Heron & Reason, 2006). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

11 Трансформационная оценка с использованием качественных и количественных методов и исследование методом совместных действий «Можно использовать опросы, статистический анализ, интервью, фокус- группы, этнографическое описание, жизнеописание, если участники исследования договорились об этом и используют так, что это не ущемляет права и интересы других участников» Greenwood and Levine (2007) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

12 Вопросы для размышления : Дизайн Как вы отнесетесь к тому, что одна группа станет объектом воздействия, а другая – нет? При каких условиях вы сочтете такой дизайн этически приемлемым? Каковы возможные альтернативы? (Mertens, 2009, TRE, p. 197) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

13 Гендерный анализ и сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

14 Непосредственные и опосредованные результаты и влияние Ресурсы > Действия > Непосредственные результаты > Опосредованные результаты > Влияние Непосредственные результаты – это продукты, услуги, способности и возможности, получаемые при исполнении действий. Опосредованными называются кратко- и среднесрочные результаты, являющиеся следствием непосредственных результатов; обычно получаются в результате коллективных усилий партнеров. Влияние – это долгосрочный эффект или изменения, появлению которых способствовала программа благодаря коллективным усилиям партнеров. Оценка, основанная на ценностях гендерного равенства и прав человека: каким образом программа способствовала достижению гендерного равенства и соблюдению прав человека?

15 Индикаторы С помощью индикаторов мы измеряем, достигли ли мы своих целей и насколько мы к ним приблизились. Разрабатываются для результатов ВСЕХ уровней – непосредственных, опосредованных и долгосрочных (влияния). Индикаторы (качественные или количественные) измеряют статус достижения ожидаемого результата. 15 Module 2-1 Source: UNIFEM RBM training IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

16 Индикаторы Количественные : цифровые показатели (процентные доли мужчин и женщин в парламенте, зарплата мужчин и женщин, доли девочек и мальчиков, которые посещают школу) Качественные : отражают мнения, отношения и чувства (природа неудовольствия, уровень информированности) 16Module 2-1 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

17 Примеры Количественные – Можно подсчитать и выразить в числовой форме % … число … частота … доля … количество … время … Качественные – измеряют восприятие (могут быть выражены в числовой форме или в виде текста) Уровень удовлетворенности … Знания о … Способность … Приемлемость... Важность … Польза от … 17Module 2-1 Источник : UNIFEM RBM Training. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

18 Гендерные индикаторы Измеряют гендерные изменения Включают индикаторы, дезагрегированные по полу индикаторы, измеряющие характеристик, специфичные для женщин или мужчин 18Module 2-1 Source: A. Moser Gender and Indicators IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

19 Индикаторы для прав человека Измеряют уровень соблюдения прав человека в целом, а также уровень соблюдения прав человека в рамках программы и ее вклад в их продвижение Индикаторы для прав человека должны измерять : Изменение способности правообладателей и тех, кто облечен ответственностью, обеспечить реализацию прав человека Изменение уровня пользования правами 19Module 2-1 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

20 Оценка, основанная на ценностях гендерного равенства и прав человека IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Реализация рекомендаций и использование результатов оценки : Стратегия распространения результатов оценки должна обеспечить свободный доступ к ним как правообладателей, так и тех, что облачен ответственностью Предоставьте информацию женским организациям и сетям, а также сетям специалистов Используйте понятный язык Проводите семинары для женщин и других групп, являющихся объектом дискриминации (правообладателей и тех, кто облечен ответственностью) Руководство должно выпустить документ, регламентирующий использование результатов оценки, касающихся вопросов гендера и прав человека

21 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Примеры индикаторов Индикатор для опосредованного результата : Изменения потенциала министерств ХХХ разрабатывать и реализовывать политики, учитывающие интересы женщин коренных и малочисленных народов. Индикатор для непосредственного результата : Изменения знаний, навыков и отношения сотрудников министерств ХХХ

22 Примеры генденых индикаторов и индикаторов прав человека Доля представителей целевой группы (дезагрегированная по полу), которые знают о пользе получения свидетельства о рождении, Доля занятых – с дезагрегацией по возрасту и полу, Доля мальчиков и девочек, получивших начальное образование, Доля женщин в парламенте.

23 Проверка на соответствие реальности IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Затраты и использование имеющихся данных; не слишком ли много индикаторов? Перекос в сторону количественных показателей – необходим баланс между качественной и количественной информацией. Прокси-индикаторы, когда измерение проводится косвенно. По возможности индикаторы должны дезагрегироваться по полу, расовой принадлежности, возрасту и географическому признаку. Индикаторы находятся не в вакууме, они должны быть привязаны к результату.

24 Упражнение : разработка индикаторов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods два индикатора Разработайте два индикатора ( один качественный и один количественный ) для программы, которую мы рассматриваем в качестве примера на этом семинаре.

25 Пример вопросов для оценки релевантности (соответствия) Насколько хорошо цели программы соответствуют выявленным правам и потребностям женщин и мужчин- благополучателей? Какие из прав, определенных в Конвенции о ликвидации всех форм дискриминации в отношении женщин, Целями тысячелетия и другими международными актами, продвигает программа?

26 Пример вопросов для оценки результативности Насколько были достигнуты цели программы, отвечают ли ожидаемые и побочные результаты потребностям наименее привилегированных женщин? В какой степени был укреплен потенциал правообладателей и тех, кто облечен ответственностью?

27 Примеры вопросов для оценки эффективности Можно ли было выполнить действия и получить непосредственные результаты, использовав меньший объем ресурсов на бенефициара, без ущерба для качества и количества? Программа использовала преимущества партнерских отношений максимально возможно? Можно ли быть уверенным, что организационная структура UN Woman и механизмы управления и координации эффективно поддерживали реализацию программы?

28 Примеры вопросов для оценки влияния В какой степени удалось остановить практики, дискриминирующие женщин? Какие есть свидетельства, что программа помогла правообладателям более успешно реализовывать свои права, а тем, кто облечен ответственностью, - более эффективно выполнять свои обязанности?

29 Примеры вопросов для оценки устойчивости Поддерживают ли программу национальные и локальные женские организации? Готовы ли и способны ли эти организации продолжить работу по программе или пропагандировать изменения?

30 Дополнительные вопросы, касающиеся гендерного равенства и прав человека Равенство и отсутствие дискриминации: Программа дает положительные результаты в равной мере как для женщин, так и для мужчин? Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы обеспечить включение наименее привилегированных и маргинализируемых групп? Отчетность: Проводился ли мониторинг (с дезагрегацией данных по полу, возрасту, национальной и географической принадлежности и уровню дохода) и использовались ли его данные? Социальные преобразования: Уделяет ли теория изменения программы внимание вопросам гендерного равенства и прав человека? Участие и инклюзивность: Были ли в процессе реализации программы приняты меры, чтобы включить мужчин и женщин, и в том числе представителей наименее привилегированных групп? UN Women 2011

31 Методы оценки, основанной на ценностях гендерного равенства и прав человека Предупреждение систематической ошибки: выбор методов сбора данных и методов выборки Возможные источники систематической ошибки: гендер и власть (вопросы конфиденциальности и защиты частной жизни, одним источникам проще участвовать, чем другим), класс или расстояние (более доступные источники получают преимущество) Планы по вовлечению в оценку представителей маргинализированных групп Сочетание качественных и количественных методов

32 Строгость при выборе методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

33 В позитивистской традиции используются два важных теста: 1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность) 2. Является ли данное утверждение истинным в других ситуациях? Можно ли сделать обобщение? (Внешняя валидность) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

34 Сравнительные исследования: строгость Есть ли причинно-следственная связь? Есть ли другие объяснения? Сравнительные группы при изучение причинности в рамках сравнительного исследования? Третья переменная является причиной переменной- предиктора и критериальной переменной? Анализ подгрупп? Корреляция: сортировка переменных? Прогнозные исследования: Другие фильтры для переменных? Уровень 0.8 или выше? Надежность и диапазон переменных IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

35 Критерии, которые обеспечивают научную строгость при использовании качественных методов Надежность: как и достоверность в качественном исследовании – спрашивает, есть ли соответствие между тем, как респонденты воспринимают социальную реальности, и тем, как их точки зрения описывают специалисты по оценке. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

36 (a) Постоянство наблюдений (b) Обсуждение с коллегами (c) Прогрессивная субъективность (d) Проверка членами группы (e) триангуляция (f) Возможность переноса (g) Зависимость (h) Подтверждаемость (i) Аутентичность и честность Критерии строгости при использовании качественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

37 Трансформационная оценка : строгость IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Ориентирована на права человека и социальную справедливость Анализирует асимметричность структуры власти Выступает за культурную компетентность в отношениях между специалистом по оценке и членами сообщества Использует качественные и количественные методы, соответствующие культурным условия, и увязанные с действиями, направленными на социальные изменения Применяет феминистские теории, критическую теорию расы, теории постколониализма и изучения коренного населения Mertens (2009) Transformative Research and Evaluation. The Guilford Press.

38 Аутентичность (Трансормационные критерии) Честность: Специалист по оценке представляет все разные ценности, взгляды и конфликты. Онтологическая аутентичность: Человек или группа стали лучше осознавать свои представления о мире и свой опыт, представления стали более сложными. Каталитическая аутентичность: Исследование стало стимулом для действий. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

39 Власть и привилегии 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Как мы можем понять динамику власти, когда методы с участием используют власть имущие? Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85) Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества? Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press) 39

40 Критерии строгости: использование IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Распространение Использование Принятие управленческих решений Участие заинтересованных сторон

41 Цели распространения результатов оценки Прозрачность и ответственность Повышение осознанности работы организации и ее улучшение Распространение успешного опыта работы и ноу- хау, чтобы способствовать более широкому соблюдению прав женщин Передача опыта партнерам на местах и повышение их потенциала Создание знания о том, как продвигать идеи эмпауэрмента женщин и соблюдения прав человека

42 Распространение Язык и оформление отчета : Используйте графики или рисунки. Текст должен учитывать гендерные и клуьтурные особенности. Перевод : Когда планируете оценку, оцените потребность в переводе и предусмотрите необходимые время и средства. Открытая публикация отчета : В системе ООН все отчеты должны быть в открытом доступе (Норма и стандарты Группы оценки ООН). В UN Women Отдел оценки размещает отчеты об оценке в Ресурсном центре оценки (открытом для публики). Ориентация на целевую аудиторию : Невысокий уровень грамотности? Менеджер должен проявить креативность и найти каналы коммуникации, которые подходят различным аудиториям.

43 Стратегии распространения Брошюры с основными выводами и рекомендациями Годовые отчеты Статьи в специализированных и корпоративных бюллетенях Новостные релизы Пресс-конференции Выступления в СМИ Общественные слушания и встречи Семинары и неформальные групповые обсуждения Электронные медиа (электронная почта, сайты, блоги и т.п.) Личные встречи с лидерами сообщества.

44 Возможные трудности Отсутствие консенсуса относительно рекомендаций и необходимых действий Нападки тех, кому не нравятся результаты Недостаток средств, желания или времени на распространение По результатам оценки ничего не делается

45 Управленческие решения Опишите реакцию на выводы и рекомендации оценки, определяет, какие рекомендации должны быть выполнены, а какие нет, а также механизмы контроля за исполнением принятых решений. Привлеките заинтересованные стороны к обсуждению процесса оценки, результатов, выводов и рекомендаций. Привлеките референтную группу к процессу разработки управленческого решения по результатам оценки.

46 План действий Как то, что вы узнали на семинаре, можно будет применить в вашей работе? IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

47 Литература Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3 rd ed. Thousand Oaks, CA: Sage. Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

48 Контактная информация IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Donna M. Mertens, Gallaudet University