1 Мониторинг и оценка проектов и программ Подготовлено по материалам книги «Оценка программ: методология и практика», М 2009г. с использованием материалов А. Кузьмина.

2 ПРОБЛЕМА РЕШЕНИЕ ПРОБЛЕМЫ ПРОЦЕСС Люди ОборудованиеСреда ТехнологииМатериалы Мониторинг Оценка МОДЕЛЬ ПРОЕКТА

3 Жизненный цикл проекта Целеполагание Планирование Реализация Контроль Инициация

4 Принципы контроля ресурсы результат деятельность КОНТРОЛЬ

5 Принципы контроля Наличие методов измерения деятельность результат расходы

6 ИНСТРУМЕНТЫ КОНТРОЛЯ Мониторинг. Оценка.

7 «Оценка программы/проекта – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 1997)

8 ОЦЕНКА ИССЛЕДОВАНИЕ МЕТОДЫ ПОСТАНОВКА ЗАДАЧИ РЕЗУЛЬТАТ Информация для принятия решений Новое знание Расширить и углубить существующее знание Получить информацию для принятия решений

9 Оценка: определение достоинства или ценности программы систематический сбор информации для заранее определенных пользователей, с заранее определенными целями по широкому кругу вопросов, связанных с программой измерение результатов программы и сопоставление их с задачами, которые эта программа должна решить средство содействия последующему принятию решений относительно программы, а также улучшению процесса разработки программ в будущем

10 Мониторинг программы – это вид оценки, который заключается в отслеживании хода программы и сравнении фактической ситуации с планом.

11 МОНИTОРИНГ: Как идут дела? Ну и что ? П очему ? ОЦЕНКА:

12 Определения Оценка Измерение результатов и сопоставление их с задачами проекта Ценность, польза идея, замысел, проекта Мониторинг Постоянное наблюдение за ходом проекта (календарный план, результаты, стоимость и т.д.) Оценивание

13 Определения Оценка ПравильНЫЙ проект? На ключевых этапах Анализ идеологии Информация (результат оценки) - для принятия стратегических решений Мониторинг ПравильНО реализуется? Непрерывно Идеология не меняется Факты сравниваются с планами Информация (результат мониторинга) - для оперативных решений по проекту

14 ВАЖНО! Мониторинг/оценка зависят от: содержания деятельности, потребностей руководства, модели управления проектом

15 Как узнать, достигнут ли запланированный результат? Для этого необходимо указать измеряемые характеристики результата. Если фактические характеристики совпадают с запланированными, то результат достигнут. 1 2

16 Нагрев Вода закипает Нагрев необходим для закипания воды Температура воды равна или выше точки кипения Объективный показатель Если То Индикатор – показатель, который служит средством измерения достижений

17 Мониторинг программы: что нужно отслеживать? Использование ресурсов (соответствие израсходованных ресурсов плану); Процесс выполнения программы (соответствие содержания и сроков мероприятий графику выполнения работ; соблюдение методов и процедур) Результаты (в какой мере удается решать поставленные в начале проекта задачи)

18 Построение системы мониторинга ПРОБЛЕМА РЕШЕНИЕ ПРОБЛЕМЫ ПРОЦЕСС Люди ОборудованиеСреда ТехнологииМатериалы Когда нужно создавать систему мониторинга? На стадии разработки программы

19 Мониторинг программы: что нужно для успешного мониторинга? Определить измеряемые показатели/индикаторы программы Установить источники информации для проведения мониторинга Выбрать методы сбора информации Определить периодичность сбора/получения информации Спланировать, каким образом будет использоваться получаемая информация Учесть в бюджете программы необходимые расходы

20 Как разработать индикаторы Ответить на вопрос «По каким признакам мы узнаем о том, что результаты программы достигнуты?» Индикаторы могут быть как количественными, так и качественными. Разрабатывать индикаторы должны авторы программы (эксперты). Индикаторы формируются на этапе разработки, но могут корректироваться в ходе программы. Индикатор, независимо от того, количественный он или качественный – всегда число!

21 Индикаторы Должны быть показательными в отношении качественных и количественных характеристик КОЛИЧЕСТВО --- сколько? КАЧЕСТВО насколько хорошо? ВРEМЯ когда?

22 Типы индикаторов Какие характеристики проекта измеряются: количественные качественные Что измеряют: вход, процесс, непосредственный результат, общий результат, влияние

23 Индикаторы ресурса Объем ресурсов Индикаторы выхода (продукты) Количество услуг Индикаторы результатов Выгоды для благополучателей Индикаторы эффективности Соотношение результатов и ресурсов Индикаторы воздействия Влияние на проблему проекта. Виды индикаторов мониторинга

24 Что такое «хороший индикатор»? (10 steps, page 68) Ясный / Clear Точный и определенный Существенный Relevant Относится к важным характеристикам объекта Экономичный Economic Предполагает разумные затраты Адекватный Adequate Дает информацию, соответствующую тому, что он измеряет Проверяемый Monitorable Допускает независимую проверку

25 Способы проверки Последний шаг для того, чтобы избежать разногласий по поводу достижений на момент окончания проекта состоит в том, чтобы установить СПОСОБЫ ПРОВЕРКИ ОТКУДА мы возьмем информацию, необходимую для установления выбранных показателей? КАК мы будем собирать эту информацию?

26 АЛГОРИТМ МОНИТОРИНГА ПРОЕКТА измеритель /индикатор источник информации метод сбора информации частота и график сбора информации ответственные исполнители анализ информации для кого результаты, в каком виде использование результатов бюджет мониторинга

27 Ограничения системы мониторинга Измеряет только то, что мы запланировали заранее Не измеряет то, что мы не запланировали заранее Констатирует факты, но не объясняет их причин Есть риск манипулирования значениями индикаторов (термометр – к свечке)

28 Как узнать, достигнут ли запланированный результат? Для этого необходимо указать измеряемые характеристики результата. Если фактические характеристики совпадают с запланированными, то результат достигнут. 1 2

29 Методы Замеры в сообществе в целом (например, социологический опрос). Оценка влияния на участников программ (например, оценка тренингов). Контрольные группы.

30 Ну и что ? П очему ? ОЦЕНКА:

31 Виды оценки (по М.Скривену) Формирующая: по результатам корректируется ход программы (повар пробует суп) Итоговая: по результатам извлекаются уроки на будущее (гости пробуют суп)

32 Формирующая оценка Оценка потребностей определяет несоответствие между существующим и желаемым положение дел относительно како-либо ситуации, выявляет существующие потребности и располагает их в порядке приоритетности Оценка процесса описывает то, как в действительности функционирует та или иная программа, каким образом реализация программы приводит к достижению желаемых результатов, и каковы сильные и слабые стороны программы

33 Итоговая оценка Оценка результатов помогает определить, какие программы и виды деятельности организации действительно приводят к достижению запланированных результатов. Оценка воздействия позволяет определить изменения в благосостоянии людей /благополучателей, которые могут быть отнесены на счет определенного проекта или программы. Оценка экономической эффективности программы использует экономические методы для оценки соотношения произведенных затрат и полученных результатов программы, выраженных в денежном отношении, и соотношении затрат и результатов программы, выраженных в затратах на единицу полученного результата

34 Кто может проводить оценку (мониторинг) программы? Сотрудники организации, не принимающие участия в программе Независимые специалисты Участники программы ПРОГРАММА ОРГАНИЗАЦИЯ Внешняя Внутренняя Само-оценивание

35 Самооценивание: преимущества и недостатки Преимущества: Является неотъемлемой частью жизни организации и заложена в практику её деятельности; Умение и навыки, необходимые для проведения самооценивания, рассосредоточены между всеми членами организации; Большая вероятность использования полученных данных; Процесс самооценивания представляет развивающую деятельность; Рентабельность Недостатки: Оценка требует времени, и ей может быть отведена вспомогательная роль; Не все сотрудники организации обладают навыками и знаниями. Необходимыми для проведения оценки, или не желают развивать их; Сложнее обеспечить надежность данных и объективность выводов, так как все участники оценки являются сотрудниками программы

36 Внутренняя оценка: преимущества и недостатки Преимущества : Хорошее знание ситуации; Возможно проследить за выполнением рекомендаций и способствовать их выполнению; Знание культуры и атмосферы организации, и её программ; Относительно дешево; Доверие участников программы и, как следствие, большая вероятность получения качественных данных. Недостатки: Может восприниматься как менее объективная; Может свести к акции по поддержке связей с общественность; Может «увязнуть», собирая массу мелких деталей и учитывая все, что необходимо отразить в отчете; Может не хватить умения для выполнения задания.

37 Внешняя оценка: преимущества и недостатки Преимущества: Свежий взгляд, могут быть заданы важные вопросы, которые не всегда очевидня для сотрудников; Независимость и объективность, повышающие доверие результатам оценки; Опыт проведения оценки разных программ в разных организациях и, как следствие, больший набор апробированных приемов и методов проведения оценки; Авторитет независимого эксперта Оценщик полностью сосредоточен на задаче проведения оценки. Недостатки: Отстраненность от программы может привести к неправильно поставленным акцентам и сбору некачественных данных; После завершения работы по оценке организация теряет много информации; Может не хватить авторитета для получения доступа к соответствующей группе для обсуждения и распространения полученных данных; Не несет ответственности за использование результатов и рекомендации, сделанных в ходе оценки; Стоит дороже.

38

39 Постановка задачи на оценку программы: формулирование вопросов Что мы хотим понять относительно нашей программы? Как мы собираемся использовать эту информацию?

40 Заинтересованные стороны Лицо, физическое или юридическое, у которого есть «интерес» в оцениваемой программе, ситуации или вопросе: Лицо, на которое оцениваемая программа, ситуация или вопрос влияют напрямую; Лицо, которое может напрямую влиять на оцениваемую программу, ситуацию или вопрос; Лицо, которое хочет получить ответ на вопрос, касающийся оцениваемой программы, ситуации или вопроса.

41

42 Планирование оценки На какие вопросы нужно ответить Что нужно знать для ответа на эти вопросы Что мы уже знаем Какой информации не хватает Где есть недостающая информация (источники информации) Как можно ее получить с учетом существующих ограничений (методы сбора данных) Какие инструменты необходимо подготовить для сбора и анализа данных Кто будет проводить оценку Каковы будут основные этапы проведения оценки (последовательность, продолжительность) Что необходимо для проведения оценки с организационной и технической точки зрения Каков будет бюджет оценки

43 ОСНОВНОЙ ВОПРОС ОЦЕНКИ: УСПЕШЕН ЛИ ПРОЕКТ?

44 Я действительно хотел/а бы узнать о программе следующее… (какая информация нужна) Когда я узнаю это, я … (как эта информация будет использована) Как сформулировать хороший вопрос?

45 Признаки хорошего вопроса: 1.Для ответа на этот вопрос можно получить информацию с помощью эмпирического исследования. 2.В вопросе не заложен ответ. 3.Те, кто будут принимать решения, действительно нуждаются в получении информации для ответа на вопрос. 4.Те, кто будут принимать решения и пользоваться информацией, хотят получить ответ на вопрос для себя, а не для кого-то другого. 5.Те, кто будут принимать решения, могут объяснить, как они будут использовать ответ, то есть как ответ будет влиять на их дальнейшие действия.

46 Источники данных определить, какие источники содержат наибольшее количество необходимой информации; установить взаимодействие с организациями, ответственными за сбор этих данных; разработать механизмы для сбора, обработки, интерпретации и презентации данных.

47

48 Методы сбора информации - ИНСТРУМЕНТЫ МОНИТОРИНГА и ОЦЕНКИ Анкетирование Наблюдение Интервьюирование Фокус-группа Изучение документации Факторы, определяющие выбор метода: Затраты Потребность в обучении Срок завершения работ Вероятность получения ответов (Предполагаемая) объективность результатов

49 ИНСТРУМЕНТЫ МОНИТОРИНГА Рекомендации по анкете Соответствие: вопросы соответствуют цели, уровню и возможностям респондента. Вопросы - ясные, по стилистике подходят сообществу. Анкета несложная и короткая. Опробовать анкету - раздать небольшой группе людей, чтобы они рассказали о впечатлениях: Позволяют ли вопросы получить нужную информацию? Легко ли ее заполнять? Что можно убрать из анкеты? Что необходимо добавить? Интервью – представляет собой личное общение с респондентом – задаются вопросы и записываются ответы: прямое (непосредственная беседа); опосредованное (беседа по телефону); формализованное (заранее разрабатывается вопросник); фокусированное (в центр внимания конкретное явление); свободное интервью (свободная беседа без заранее заданной темы)

50 Наблюдение – непосредственная регистрация событий: Заранее определена процедура Сведения фиксируются в протоколе или дневнике по определенной системе Неструктурируемое: ситуация заранее не определена; нет строго плана Структурируемое Включенное – войти в среду и адаптироваться Простое – взгляд «со стороны» Систематическое/ Случайное

51 Фокус-группа – Небольшая группа (6-12 человек) Определенная тема От 30 минут до 2-х часов Каждый отвечает на вопрос, дополняет других Люди развивают свои взгляды с точки зрения взглядов других Участники фокусируют важную тему Небольшое количество вопросов

52 Анализ документов Традиционный, классический – умственные операции по выявлению сути материала и интерпретации сведений, с определенной точки зрения. –Внешний анализ –Внутренний анализ Формализованный, количественный (контент-анализ) – найти легко подсчитываемые признаки, черты, свойства документа (частота употребления), которые отражали бы определенные существенные стороны содержания текста

53 Факторы, определяющие выбор методов сбора информации Затраты Потребность в обучении методу Вероятность получения ответов Срок выполнения работ (Предполагаемая) объективность результатов

54 Количественное исследование Ориентировано на проверку гипотез Следует традиционной естественнонаучной модели исследований (экспериментальный дизайн, статистические методы анализа данных) Акцент на стандартизацию, точность, объективность, надежность, воспроизводимость Сохранение заданного заранее «фокуса» исследования

55 Качественное исследование Проводится в естественных условиях Использует исследователя как основной «инструмент» сбора и анализа данных Ориентировано на выработку подробного («плотного») описания Направлено на изучение как результата, так и процесса Предполагает разнообразные методы сбора данных (особенно часто – наблюдение и интервью) Основано на индуктивном подходе к анализу данных (от частного к общему)

56 Выборка в качественном исследовании Репрезентативность ЦЕЛЕСООБРАЗНОСТЬ Сколько и каких людей необходимо опросить, чтобы хорошо понять интересующее нас явление?

57 Примеры целесообразной выборки Случаи, характеризующиеся высокой интенсивностью (либо экстремальные) Выборка с максимально возможным разнообразием «Снежный ком» Выбор подтверждающих и опровергающих случаев

58 Как избежать субъективности? Как остаться нейтральным? Нейтральный Субъективный Объективный Предвзятый

59 В какой мере можно доверять полученным данным? ТРИАНГУЛЯЦИЯ: - Методы - Источники - Исследователи

60

61 Анализ данных Полученные данные Факты, свидетельства, эмпирические результаты, то, что мы узнали Интерпретации (объяснения) Объяснение полученных данных, взаимосвязей между ними, объяснение причин. Выводы (заключения, суждения) Значение полученных данных – хорошо или плохо, мало или много, позитивно или негативно, в желательном или нежелательном направлении. Рекомендации Предлагаемые направления действий, предлагаемые изменения в программе, чего не следует менять, советы всем заинтересованным сторонам.

62

63 Характеристики хорошего отчета Грамотный анализ Корректная и обоснованная методология Профессиональный стиль Четкий фокус

64