UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ : День 2 Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011 IPEN, Алматы, Казахстан, июль 2011, Донна Мертенс 1

План на три дня 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens 2 День 1: Какую роль играет специалист по оценке? Основные аспекты оценки ( Техзадание ) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов

Сочетание качественных и количественных методов Необходимо знание как качественных, так и количественных методов Выбирай и смешивай: что-то из колонки А и что-то из колонки В Определенную сложность представляет то, как вы будете сочетать выбранные методы 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

«Меню» методов Количественные: экспериментальные, квази- экспериментальные, опросы, сравнительные исследования. Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы (Mertens, 2009, TRE, p. 165). 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Какими навыками обладают члены команды, которая проводит оценку? Какими ресурсами и данными вы обладаете? Какие методы хотят видеть заинтересованные стороны? Насколько надежен ваш метод сбора данных, и насколько он отвечает задачам оценки? Что нужно учитывать при выборе дизайна и стратегий сбора данных 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Экспериментальный дизайн Эксперимент Квази-эксперимент Неэкспериментальный дизан ( одна группа ) 6 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Экспериментальный дизайн Связи между воздействием и наблюдаемыми результатами Экспериментальная и контрольная группы Случайное распределение по группам 7 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Дискуссия о «золотом стандарте» Дизайн оценки с использованием экспериментальной и контрольной группы называют «самым чистым», обеспечивающим достоверность и надежность Ставит по сомнение ценность качественных методов Этические вопросы Практические аспекты рандомизации (особенно шкала и источники данных) Экономические и временные ограничения 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Квази-эксперимент Экспериментальная группа и группа сравнения Не случайного распределения по группам Подбор пары для сравнения, поперечные срезы, временные серии, долгосрочные исследования 9Module 2-2 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Не-экспериментальный дизайн ( одна группа ) Иногда такой подход называют изучением кейса (отдельного случая), но это вносит путаницу, так как термином «изучение кейса» также называют один из качественных методов Нет группы сравнения До и после, временные серии, однократное изучение, срезы 10Module 2-2 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Независимая переменная Характеристика, по которой различаются экспериментальная и контрольная группа (группа сравнения). Зависимая переменная Показатель, который измеряют, чтобы выявить, есть ли различия при и без воздействия. Терминология студентов, которые изучают оценку 2 часа тренинга в неделю по специальной программе Оценки за семестр 60 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Терминология Нет воздействия 2 часа тренинга в неделю по специальной программе студентов, которые изучают оценку 30 Экспериментальная группа Контрольная группа 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Терминология 2 часа тренинга в неделю по специальной программе 30 Экспериментальная группа Преподаватель не говорит по-русски Студентам в экспериментальной группе дали старый вариант теста В экспериментальную группу включили студентов с высокими оценками Внешние факторы 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Виды количественного дизайна a. экспериментальный b. квази-экспериментальный c. одна группа 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Система кодирования Дизайн исследования определяет, кто и когда подвергается воздействию, и какому воздействию R – Случайное распределение участников X – Экспериментальное воздействие (независимая переменная) 0 – Измерение зависимой переменной (например, до и после воздействия, или в процессе эксперимента) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

1. Использует контрольные группы. 2. После выбора участников их нужно случайным образом распределить между экспериментальными и контрольной группами. R 0 X 0 R 0 0 R 0 X1 0 R 0 X2 0 R 0 0 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Система кодирования Десятилетние дети улучшают свои знания грамматики на один балл, если учитель в течение двух месяцев ежедневно проверяет их дневниковые записи. R 0 X 0 R X = независимая переменная – какая? = зависимая переменная – какая? Как вы спланируете данное исследование? Как вы это закодируете? Один фактор – одно воздействие 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Один фактор – несколько воздействий Иногда в эксперименте бывает более двух разных воздействий (независимых переменных) Число сигарет, которые женщины выкуривают в день, когда носят никотиновый пластырь ИЛИ проходят поведенческую терапию. R 0 X1 0 R 0 X2 0 R 0 0 X = 1 независимая переменная с 3 уровнями – какая? 0 = зависимая переменная – какая? Пластырь = X1Терапия = X2 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Почти «чистый экспериментальный», но нет случайного распределения по группам Исследователь изучает эффект воздействия на уже существующие группы Когда участники исследования принадлежат к малочисленной группе, часто формируют квази-экспериментальные группы, потому что недостаточно людей для случайной выборки. Например, глухие. 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

0 X1 0 0 X Если к глухим студентам-афроамериканцам прикрепить 1) глухого наставника-афро-американца (X1) или 2) слышащего наставника-афро-американца (X2), то они учиться лучше, чем те, у кого нет наставника. В Университете Голоде есть несколько афро-американцев, которые могут быть наставниками, но в колледже Мак Дэниелс есть только слышащие наставники-афро-американцы, а в Калифорнии вообще нет наставников-афро-американцев. Неэквивалентный дизайн с контрольной группой 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Приходится использовать, когда несправедливо, чтобы одна из групп не подвергалась воздействию. Например, лекарство от ВИЧ. Справедливо дать многообещающее лекарство одной группе и не дать другой? Одна группа, пре- и пост-тестирование 0 X 0 В каком исследовании можно применить дизайн с одной группой? 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

В позитивистской традиции используются два важных теста: 1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность) 2. Является ли данное утверждение истинным в других ситуациях? Можно ли сделать обобщение? (Внешняя валидность) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Трудности Экспериментатор контролирует воздействие Невыявленные систематические ошибки Использование разнородных выборок Лабораторные условия отличаются от реальной жизни Отрыв от контекста Отказ в воздействии Стандартизованные процедуры 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

А как в реальности? Примеры дизайна оценки Пример курса – какой это дизайн? Как можно применить данные теоретические модели и дизайн в оценке ваших программ? 24 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Было такое у вас на семинаре? 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens Как видно на слайде 397… Отравление Powerpoint-ом

Виды опросов : Дескриптивные, кроссекционные, лонгитюдные Технология проведения опросов : 1. Бумага и ручка ( лично, по телефону, по почте) 2. Компьютерные 3. Индивидуальные и групповые Опросы 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Варианты сбора данных По почте Телефон Личное интервью Через Интернет Сочетание вышеуказанного Выбор зависит от: Стоимости Характера вопросов (насколько они «больные»?) Числа опрашиваемых Характеристик опрашиваемых 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Учет возможностей людей Адаптация методики проведения опроса (шрифт Брайля, язык знаков, уровень сложности формулировок) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Разработка анкеты 1. Определите темы, которые вы хотите затронуть. 2. Для каждого вопроса определите для себя, зачем вы его задаете. 3. Решите, насколько структурированной должна быть анкета. Я придумал такие замечательные вопросы ! 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Индивидуальные интервью Подготовка в интервью Выучите местный язык Проведите ознакомительную встречу Подготовьте график интервью Подготовьте руководство для интервью Задавайте открытые вопросы В конце спросите: «Что еще вы хотели бы мне рассказать?» 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Методы, учитывающие гендерные аспекты и вопросы прав человека IPEN Almaty Kazakhstan July 2011 Mertens 31 Какие бы методы вы ни использовали, убедитесь, что они позволят вам учесть гендерные аспекты и аспекты, относящиеся к правам человека, положения женщин в конкретном контексте Пример : Если вы используете метод интервью, проверьте : Интервью проходят в удобное время? Участникам будет комфортно общаться с интервьюерами? Интервьюеры используют понятный участникам язык? Интервью проводятся в легко доступном месте? Есть ли какие-то культурные особенности, которые мешают участникам участвовать в интервью? 7/5/2011

Во время интервью 1. Установите взаимопонимание. 3. Сосредоточьтесь на том, что человек говорит, и одновременно на оценке. 4. Резюмируйте услышанное и задайте уточняющие вопросы. 5. Задавайте критичные вопросы в позитивном ключе. 2. Объясните человеку, что представляет собой форма информированного согласия. 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Во время интервью Боже !! Не могу поверить, что он сказал это !!! Хорошо … Только спокойствие …. Maybe I shouldnt have told her that… Надеюсь, он не заметил по моему лицу. Ей это не понрави- лось. Я больше не буду отвечать на вопросы. W hy ar e all of th es e bu bb le co mi ng ou t of ou r he ad s? 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Во время интервью 6. Привязывайте вопросы к контексту. 7. Задавайте по одному вопросу. 8. Используйте ролевые игры и вымышленные ситуации 9. Не спорьте с интервьюируемым, избегайте сарказма, не исправляйте, если человек ошибается в датах или фактах. Признавайте свои ошибки. 11. По возможности, ведите записи. 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Сравнительные исследования 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Сравнительные исследования Исследование причинной связи в рамках сравнительного исследования : изучение характеристик и сравнение групп Корреляция: изучение непрерывных характеристик, корреляция определяет силу и направление Куда нас ведет трансформационная парадигма? 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Социальная справедливость и характеристики разнообразия Миф о гомогенности (Mertens, 2010) Выборка с учетом разнообразия: Кого нужно включить? Как сделать это наиболее корректно? Гертруда Штайн: Роза – это роза – это роза… Но гражданин Казахстана - это гражданин Казахстана – это гражданин Казахстана? Человек с ограниченными возможностями – это человек с ограниченными возможностями…? (Mertens & McLaughlin, 2004) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Характеристики разнообразия Для США : Расовая и этническая принадлежность американец азиатского происхождения/ выходец с тихоокеанских островов афро-американец латиноамериканцы американские индейцы Состояние здоровья Гендерная принадлежность Какие характеристики значимы в вашем регионе? 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Выборка с позиций трансформационной парадигмы Миф о гомогенности Учет важных параметров Характеристики, важные с точки зрения теории (например, доверие) Влияние ярлыков (в зоне риска или стрессоустойчивый) Барьеры? Соответствие культурным условиям? 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Разнообразие и подходы к формирования выборки Пример: Доступ глухих и слабослышащих в суды Пути коммуникации : Американский язык жестов (АЯЖ); высокий уровень образования АЯЖ; невысокий уровень образования Жесты/ пантомима/ ограниченное использование знаков/ низкий уровень образования Слепоглухие Слабослышащие, пользующиеся слуховыми аппаратами Глухие, которые владеют устной речью Мексиканский язык жестов Другие аспекты разнообразия: гендер, расовая и этническая принадлежность, статус в суде 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Критический анализ Есть ли причинно-следственная связь? Есть ли другие объяснения? Сравнительные группы при изучение причинности в рамках сравнительного исследования? Третья переменная является причиной переменной- предиктора и критериальной переменной? Анализ подгрупп? Корреляция: сортировка переменных? Прогнозные исследования: Другие фильтры для переменных? Уровень 0.8 или выше? Надежность и диапазон переменных 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Этнография, феноменология и изучение кейсов 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Качественные методы сбора данных 1. Наблюдение 2. Интервью 3. Изучение документов Триангуляция Изучение документов Наблюдение Интервью 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Этнография: определение Mertens 2010, p Исследование, которое «задает вопросы о социальных и культурных практиках групп людей» Изучает жизненный опыт, повседневные занятия и социальный контекст обычной жизни через восприятие участников Описывает и анализирует устойчивые связи между людьми (например, религиозные, родственные) Идет от общего к частному (от демографических характеристик сообщества к индивидуальному опыту) Академический/ прикладной 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Парадигмы Конструктивистская Этнографическое исследование, в котором исследователь определяет, что и как исследовать и кого включить. Феттерман : Феноменологическая парадигма – большинство авторов считают феноменологию отраслью философии, а не парадигмой Трансформационная Критическая этнография, феминистская этнография, этнография коренных народов, критическая расовая этнография, автоэтнография, художественное описание, фотоэтнография 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Характеристики этнографии Знакомство – изучение ландшафта Определение границ исследования Значительная продолжительность: от 6 месяцев до 2 лет, или насколько позволит время (2 недели) Работа в поле: наблюдение Неформальные интервью Малый масштаб Анализ: значимые темы, словесное описание, гипотезы 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Характерный пример этнографического исследования История группы, география места, модели родственных связей, символы, политика, экономические системы, системы образования и социальных связей, степень связи между целевой культурой и мейн- стримом (Fetterman, 2010, p. 12) 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Феноменология Придает особое значение индивидуальному субъективному опыту – как явление проявляется себя в повседневной жизни Как сообщество или группа интерпретирует мир и жизнь вокруг себя? Психологическая сущность феномена Анализ значений, которые могут быть не очевидны участникам исследования 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Что значит «учиться» Ретроспектива : Пожалуйста, опишете мне: Ситуацию, в которой вам не удалось приобрести знания Ситуация, в которой вам удалось приобрести знания Ограничения: если собирать только словесную информацию, теряется невербальная; нельзя полностью описать опыт Другие варианты: рассказ, просмотр видео 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Интерпретативная феноменология: методы Маленькая выборка Полу-структурированные с уточнением того, что человек имеет в виду Руководство по проведению интервью Анализ: темы, связи между темами, сравнение с записями интервью других участников Поиск общих тем 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Исследование путем совместных действий и исследование, направленное на выявление позитивного опыта 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Исследование путем совместных действий (Reason & Riley) Соисследователи Практические знания; создание изменений; динамика; реагирование на изменения Отдельный человек: как я могу улучшить свою практику? Сотрудничество: сообщества Исследование в процессе практических действий Трансформационное действие путем практических действий - освободительное 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Эпистемология исследования действием Знание, получаемое через опыт – лицом к лицу Представляемое знание – выражение того, что мы знаем Пропозициональное знание – разработка понятий и идей о том, что мы знаем Практическое знание – знание через действие 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Этапы 1. Договоритесь о фокусе, вопросах, действиях, которые нужно будет предпринять, а также процедурах фиксации опыта (пропозициональное знание) 2. Реализуйте действия, зафиксируйте опыт ( практическое знание ) 3. Рефлексия и погружение (знание через опыт) 4. Восстановите и пересмотрите (пропозициональное знание) 5. Повторите цикл Все четыре этапа включают представляемое знание 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Взаимодействие между людьми Кто я? Кого нужно включить? Как можно решить вопросы власти и влияния? Аутентичная иерархия, сотрудничество и автономия Противоречие: создание и разрушение – увеличиваем первое; справляемся с конфликтом 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Цикл созидания : Пестуйте; заряжайте энергией; достигайте результатов; расслабляйтесь Пестуйте: неформально, диалог, определите заинтересованные стороны, безопасность, приветствуйте, моя роль, цель группы, представления, видение, организация (время/деньги) Заряжайте энергией: превращайте видение в планы действия, определение задач, уйдите, соберите данные Пик: исполнение поставленной задачи Расслабьтесь, оцените, завершите работу над текстом и его распространение, остановитесь или повторите цикл еще раз 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Участие сообщества : обзор 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Меняющийся список участников/ заинтересованных сторон План использования в начале и в процессе исследования Определите заинтересованные стороны Определите цель и вопросы Варианты дизайна Сбор данных Выборка Анализ, интерпретация и использование данных Планируйте по ходу исследования несколько раз провести оценку своих подходов. 57

Определите заинтересованные стороны 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Стратегии для выделения широких категорий Учтите необходимые параметры разнообразия Участники должны быть искренне заинтересованы Качество взаимодействия внутри группы участников и между участниками и исследователями Культурные ценности Какие из ваших качеств могут помочь или помешать вам проводить исследовательскую работу с учетом культурных ценностей и особенностей? 58

Власть и привилегии 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Как мы можем понять динамику власти, когда методы с участием используют власть имущие? Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85) Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества? Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press) 59

Преодолевайте барьеры на пути к установлению партнерских отношений 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Консультативные советы из членов сообщества Активное участие в процессе планирования Представление возможных моделей партнерства Взаимность Необходимо выделить достаточно времени на развитие Развитие потенциала 60

Участие сообщества 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens В какой момент вы хотите привлечь сообщество к сотрудничеству? Как вы обратитесь к этом сообществу? Какие выгоды может дать сообществу сотрудничество с вами? Как вы будете демонстрировать свое уважение к культуре и традициям сообщества? (Mertens & Wilson, in press) 61

Сбор данных – что нужно учесть 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Грамотность Язык ( письменный, устный, жестов ) Нужно учитывать культурные особенности Нужно учитывать распределение власти Помещение (помощник, который будет вести записи, переводчик) Средства представления (текст, речь, шрифт Брайля, фото, имиджи, видео, аудио, знаки) Методы контакта/ взаимоотношения 62

Стратегии сотрудничества с сообществом 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Встречи в мэрии Фокус-группы Интерактивные методы сбора данных, например, Лестница жизни (определяет параметры бедности) Наиболее значимые изменения Фото, видео и интернет-презентации Быстрая оценка 63

7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens 64 Проблема Диарея у детей Глисты Худоба Раны и ссадины Зубная боль Куры сдохли Слишком далеко до воды Лихорадка Отцы часто пьют Пропал урожай Продукты слишком дорогие Инфаркты Женщины истощены и ослаблены Проблемы после родов Корь Простуда Как часто запишите Насколько серьезно Насколько важно Не очень часто (или серьезно) Довольно часто (или серьезно) Часто (или серьезно) Очень часто (или серьезно) Чрезвычайно часто (или серьезно)

7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens 65 серьезно Чрезвычайно серьезно Очень серьезно Серьезно Часто Чем больше рожиц, тем чаще встречается проблема Заразно Болезнь передается от одного человека к другому Хроническая проблема

7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens 66 Диарея Простуда Недоедание Глисты Кашель Кожные заболевания Проблемы с зубами Лихорадки Пьянство Роды Сердечный приступ Припадки Кормление из бутылочки Артрит Столбняк Головная боль Злоупотребление лекарствами Землевладение Аварии Вагинальные проблемы Корь, коклюш Свинка, ветрянка

Методы активного вовлечения членов сообщества в сбор данных 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Рейтингование ( карты ) Анализ тенденций ( календарь ) Картирование ( доступа к ресурсам, моделей жизнедеятельности ) Маршрутные прогулки Дневники Рисунки Фотопрезентации 67

Коммуникация 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens Групповой процесс создания текстов Новостные релизы Информационные сводки Мемо, листовки, брошюры, он-лайновая информация Обмен информацией в реальном времени Совместная отчетность о работе Визуальные материалы: таблицы и графики 68

Исследование, направленное на выявление позитивного опыта Может быть использовано в рамках трансформационной парадигмы, потому что фокусирует внимание на сильных сторонах опыта сообщества. Спрашивает, что ХОРОШО в данном контексте. Использует существующий позитивный опыт, чтобы определить, как улучшить ситуацию. 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens

Литература Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3 rd ed. Thousand Oaks, CA: Sage. Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage. 7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens70

Контактная информация Donna M. Mertens, Gallaudet University 7/5/ IPEN Almaty Kazakhstan July 2011 Mertens