UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ: День 3 Сочетание качественных и количественных методов Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011

План на три дня IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods День 1: Какую роль играет специалист по оценке? Основные аспекты оценки ( Техзадание ) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов

«Меню» методов Количественные: экспериментальные, квази- экспериментальные, опросы, сравнительные исследования. Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы (Mertens, 2009, TRE, p. 165). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Как сочетать методы Совместимость: Совмещайте цель, фокус, вопросы и дизайн. Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов. Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования. Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Одновременное использование Качественные и количественные методы используются более- менее одновременно КачественныеКоличественные Последовательное использование : Сначала количественные, потом качественные ИЛИ Последовательное использование: Сначала качественные, потом количественные Количественные Качественные Mertens, 2009, TRE, p. 167 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

IPEN Almaty Kazakhstan July 2011 Mertens 6 Community Participation Трансформационная методология Участие сообществ Виды исследований Описательные – С вмешательством Модель исследования ЦикличноеКраткосрочное Дизайн и методы Комплекс методовОдин метод ОдновременноПоследовательно Сочетание качественных и количественных методов КоличественныеКачественные Участие сообществ

Пример : делаем явным Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД 7 IPEN Almaty Kazakhstan July 2011 Mertens

Дизайн трансформационной оценки с использованием качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Stage 4 Concurrent Stage 3 Sequential Stage 2 Concurrent Stage 1 Qual Assemble team; read documents; engage in dialogues Preliminary studies: youth, older men Process eval Pilot intervention: Observations, Interviews, Surveys Demographic information; Surveys; Incidence data Pretest: Knowledge, Attitude, Behavior; Post tests: Quant Qual; Behavior & Policy Change; Transfer To other contexts Этап 1 Качествен- ные методы Этап 2 Одновре- менно Этап 3 Последо- вательно Этап 4 Одновре- менно Соберите команду, изучите документы, начните диалог Предвари- тельное исследования: молодежь, пожилые Демографи- ческая информация; опросы; статистика Пилот программы: наблюдение; интервью, опросы Пре-тест: знания, отношение, поведение Оценка процесса Пост-тест: качест- венные, количест- венные, изменения в поведении и политике; перенос в другие условия

Компоненты трансформационного дизайна : Пост-колониальная критическая этнография Описание задачи или вопросов оценки (фокус). Описание методов сбора данных: интервью, дневниковых записей, процессов кодирования, как эти методы будут использоваться, когда специалист по оценке будет выполнять роль соисполнителя или наблюдателя. Объяснение этической стороны работы, того, как будут защищаться интересы участников и их частная жизнь, и как на ключевых этапах работы им будут предоставляться отчеты, и в том числе финальный. Описание участников: численность, место проживания, нормы и правила, исторический и культурный контекст, ожидания ключевых источников информации. График работ: выезд в поле, сбор данных, возвращение из поля, кодирование и анализ, завершение написания отчета и/или его публичное представление. Использование критической теории при планировании и проведении и распространении его результатов. Madison (2005) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Исследование действием и трансформационный дизайн 1. Группа определяет цель и вопросы оценки. 2. Специалисты по оценке и участники наблюдают, участвуют в действиях, наблюдают и записывают. 3. Специалисты по оценке и участники погружаются в действие и углубляют свое понимание. 4. Члены группы снова собираются вместе и делятся знаниями, а также обновляют планы следующего цикла оценки. 5. Этот цикл повторяют 6-10 раз в зависимости от сложности ситуации. (Heron & Reason, 2006). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Трансформационная оценка с использованием качественных и количественных методов и исследование методом совместных действий «Можно использовать опросы, статистический анализ, интервью, фокус- группы, этнографическое описание, жизнеописание, если участники исследования договорились об этом и используют так, что это не ущемляет права и интересы других участников» Greenwood and Levine (2007) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Вопросы для размышления : Дизайн Как вы отнесетесь к тому, что одна группа станет объектом воздействия, а другая – нет? При каких условиях вы сочтете такой дизайн этически приемлемым? Каковы возможные альтернативы? (Mertens, 2009, TRE, p. 197) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Гендерный анализ и сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Непосредственные и опосредованные результаты и влияние Ресурсы > Действия > Непосредственные результаты > Опосредованные результаты > Влияние Непосредственные результаты – это продукты, услуги, способности и возможности, получаемые при исполнении действий. Опосредованными называются кратко- и среднесрочные результаты, являющиеся следствием непосредственных результатов; обычно получаются в результате коллективных усилий партнеров. Влияние – это долгосрочный эффект или изменения, появлению которых способствовала программа благодаря коллективным усилиям партнеров. Оценка, основанная на ценностях гендерного равенства и прав человека: каким образом программа способствовала достижению гендерного равенства и соблюдению прав человека?

Индикаторы С помощью индикаторов мы измеряем, достигли ли мы своих целей и насколько мы к ним приблизились. Разрабатываются для результатов ВСЕХ уровней – непосредственных, опосредованных и долгосрочных (влияния). Индикаторы (качественные или количественные) измеряют статус достижения ожидаемого результата. 15 Module 2-1 Source: UNIFEM RBM training IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Индикаторы Количественные : цифровые показатели (процентные доли мужчин и женщин в парламенте, зарплата мужчин и женщин, доли девочек и мальчиков, которые посещают школу) Качественные : отражают мнения, отношения и чувства (природа неудовольствия, уровень информированности) 16Module 2-1 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Примеры Количественные – Можно подсчитать и выразить в числовой форме % … число … частота … доля … количество … время … Качественные – измеряют восприятие (могут быть выражены в числовой форме или в виде текста) Уровень удовлетворенности … Знания о … Способность … Приемлемость... Важность … Польза от … 17Module 2-1 Источник : UNIFEM RBM Training. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Гендерные индикаторы Измеряют гендерные изменения Включают индикаторы, дезагрегированные по полу индикаторы, измеряющие характеристик, специфичные для женщин или мужчин 18Module 2-1 Source: A. Moser Gender and Indicators IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Индикаторы для прав человека Измеряют уровень соблюдения прав человека в целом, а также уровень соблюдения прав человека в рамках программы и ее вклад в их продвижение Индикаторы для прав человека должны измерять : Изменение способности правообладателей и тех, кто облечен ответственностью, обеспечить реализацию прав человека Изменение уровня пользования правами 19Module 2-1 IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Оценка, основанная на ценностях гендерного равенства и прав человека IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Реализация рекомендаций и использование результатов оценки : Стратегия распространения результатов оценки должна обеспечить свободный доступ к ним как правообладателей, так и тех, что облачен ответственностью Предоставьте информацию женским организациям и сетям, а также сетям специалистов Используйте понятный язык Проводите семинары для женщин и других групп, являющихся объектом дискриминации (правообладателей и тех, кто облечен ответственностью) Руководство должно выпустить документ, регламентирующий использование результатов оценки, касающихся вопросов гендера и прав человека

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Примеры индикаторов Индикатор для опосредованного результата : Изменения потенциала министерств ХХХ разрабатывать и реализовывать политики, учитывающие интересы женщин коренных и малочисленных народов. Индикатор для непосредственного результата : Изменения знаний, навыков и отношения сотрудников министерств ХХХ

Примеры генденых индикаторов и индикаторов прав человека Доля представителей целевой группы (дезагрегированная по полу), которые знают о пользе получения свидетельства о рождении, Доля занятых – с дезагрегацией по возрасту и полу, Доля мальчиков и девочек, получивших начальное образование, Доля женщин в парламенте.

Проверка на соответствие реальности IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Затраты и использование имеющихся данных; не слишком ли много индикаторов? Перекос в сторону количественных показателей – необходим баланс между качественной и количественной информацией. Прокси-индикаторы, когда измерение проводится косвенно. По возможности индикаторы должны дезагрегироваться по полу, расовой принадлежности, возрасту и географическому признаку. Индикаторы находятся не в вакууме, они должны быть привязаны к результату.

Упражнение : разработка индикаторов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods два индикатора Разработайте два индикатора ( один качественный и один количественный ) для программы, которую мы рассматриваем в качестве примера на этом семинаре.

Пример вопросов для оценки релевантности (соответствия) Насколько хорошо цели программы соответствуют выявленным правам и потребностям женщин и мужчин- благополучателей? Какие из прав, определенных в Конвенции о ликвидации всех форм дискриминации в отношении женщин, Целями тысячелетия и другими международными актами, продвигает программа?

Пример вопросов для оценки результативности Насколько были достигнуты цели программы, отвечают ли ожидаемые и побочные результаты потребностям наименее привилегированных женщин? В какой степени был укреплен потенциал правообладателей и тех, кто облечен ответственностью?

Примеры вопросов для оценки эффективности Можно ли было выполнить действия и получить непосредственные результаты, использовав меньший объем ресурсов на бенефициара, без ущерба для качества и количества? Программа использовала преимущества партнерских отношений максимально возможно? Можно ли быть уверенным, что организационная структура UN Woman и механизмы управления и координации эффективно поддерживали реализацию программы?

Примеры вопросов для оценки влияния В какой степени удалось остановить практики, дискриминирующие женщин? Какие есть свидетельства, что программа помогла правообладателям более успешно реализовывать свои права, а тем, кто облечен ответственностью, - более эффективно выполнять свои обязанности?

Примеры вопросов для оценки устойчивости Поддерживают ли программу национальные и локальные женские организации? Готовы ли и способны ли эти организации продолжить работу по программе или пропагандировать изменения?

Дополнительные вопросы, касающиеся гендерного равенства и прав человека Равенство и отсутствие дискриминации: Программа дает положительные результаты в равной мере как для женщин, так и для мужчин? Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы обеспечить включение наименее привилегированных и маргинализируемых групп? Отчетность: Проводился ли мониторинг (с дезагрегацией данных по полу, возрасту, национальной и географической принадлежности и уровню дохода) и использовались ли его данные? Социальные преобразования: Уделяет ли теория изменения программы внимание вопросам гендерного равенства и прав человека? Участие и инклюзивность: Были ли в процессе реализации программы приняты меры, чтобы включить мужчин и женщин, и в том числе представителей наименее привилегированных групп? UN Women 2011

Методы оценки, основанной на ценностях гендерного равенства и прав человека Предупреждение систематической ошибки: выбор методов сбора данных и методов выборки Возможные источники систематической ошибки: гендер и власть (вопросы конфиденциальности и защиты частной жизни, одним источникам проще участвовать, чем другим), класс или расстояние (более доступные источники получают преимущество) Планы по вовлечению в оценку представителей маргинализированных групп Сочетание качественных и количественных методов

Строгость при выборе методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

В позитивистской традиции используются два важных теста: 1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность) 2. Является ли данное утверждение истинным в других ситуациях? Можно ли сделать обобщение? (Внешняя валидность) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Сравнительные исследования: строгость Есть ли причинно-следственная связь? Есть ли другие объяснения? Сравнительные группы при изучение причинности в рамках сравнительного исследования? Третья переменная является причиной переменной- предиктора и критериальной переменной? Анализ подгрупп? Корреляция: сортировка переменных? Прогнозные исследования: Другие фильтры для переменных? Уровень 0.8 или выше? Надежность и диапазон переменных IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Критерии, которые обеспечивают научную строгость при использовании качественных методов Надежность: как и достоверность в качественном исследовании – спрашивает, есть ли соответствие между тем, как респонденты воспринимают социальную реальности, и тем, как их точки зрения описывают специалисты по оценке. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

(a) Постоянство наблюдений (b) Обсуждение с коллегами (c) Прогрессивная субъективность (d) Проверка членами группы (e) триангуляция (f) Возможность переноса (g) Зависимость (h) Подтверждаемость (i) Аутентичность и честность Критерии строгости при использовании качественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Трансформационная оценка : строгость IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Ориентирована на права человека и социальную справедливость Анализирует асимметричность структуры власти Выступает за культурную компетентность в отношениях между специалистом по оценке и членами сообщества Использует качественные и количественные методы, соответствующие культурным условия, и увязанные с действиями, направленными на социальные изменения Применяет феминистские теории, критическую теорию расы, теории постколониализма и изучения коренного населения Mertens (2009) Transformative Research and Evaluation. The Guilford Press.

Аутентичность (Трансормационные критерии) Честность: Специалист по оценке представляет все разные ценности, взгляды и конфликты. Онтологическая аутентичность: Человек или группа стали лучше осознавать свои представления о мире и свой опыт, представления стали более сложными. Каталитическая аутентичность: Исследование стало стимулом для действий. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Власть и привилегии 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Как мы можем понять динамику власти, когда методы с участием используют власть имущие? Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85) Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества? Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press) 39

Критерии строгости: использование IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Распространение Использование Принятие управленческих решений Участие заинтересованных сторон

Цели распространения результатов оценки Прозрачность и ответственность Повышение осознанности работы организации и ее улучшение Распространение успешного опыта работы и ноу- хау, чтобы способствовать более широкому соблюдению прав женщин Передача опыта партнерам на местах и повышение их потенциала Создание знания о том, как продвигать идеи эмпауэрмента женщин и соблюдения прав человека

Распространение Язык и оформление отчета : Используйте графики или рисунки. Текст должен учитывать гендерные и клуьтурные особенности. Перевод : Когда планируете оценку, оцените потребность в переводе и предусмотрите необходимые время и средства. Открытая публикация отчета : В системе ООН все отчеты должны быть в открытом доступе (Норма и стандарты Группы оценки ООН). В UN Women Отдел оценки размещает отчеты об оценке в Ресурсном центре оценки (открытом для публики). Ориентация на целевую аудиторию : Невысокий уровень грамотности? Менеджер должен проявить креативность и найти каналы коммуникации, которые подходят различным аудиториям.

Стратегии распространения Брошюры с основными выводами и рекомендациями Годовые отчеты Статьи в специализированных и корпоративных бюллетенях Новостные релизы Пресс-конференции Выступления в СМИ Общественные слушания и встречи Семинары и неформальные групповые обсуждения Электронные медиа (электронная почта, сайты, блоги и т.п.) Личные встречи с лидерами сообщества.

Возможные трудности Отсутствие консенсуса относительно рекомендаций и необходимых действий Нападки тех, кому не нравятся результаты Недостаток средств, желания или времени на распространение По результатам оценки ничего не делается

Управленческие решения Опишите реакцию на выводы и рекомендации оценки, определяет, какие рекомендации должны быть выполнены, а какие нет, а также механизмы контроля за исполнением принятых решений. Привлеките заинтересованные стороны к обсуждению процесса оценки, результатов, выводов и рекомендаций. Привлеките референтную группу к процессу разработки управленческого решения по результатам оценки.

План действий Как то, что вы узнали на семинаре, можно будет применить в вашей работе? IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Литература Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3 rd ed. Thousand Oaks, CA: Sage. Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Контактная информация IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Donna M. Mertens, Gallaudet University