Результаты работы по теме: «Инструменты оценки социальных проектов и программ»

2 «Практические рекомендации к оцениванию социальных результатов проектов и программ в сфере защиты детства» 1. Необходимые условия для проведения внешней оценки программы 2. Основания для проведения внутренней оценки программ. Система мониторинга и оценки. 3. Инструменты оценки Организационные и документальные средства оценки проектов и программ Методы сбора и обработки информации Инструменты оценки, адаптированные для программ с участием детей Профессиональная рефлексия как инструмент оценки 4. Ограничения применения подхода, основанного на оценке деятельности по показателям 5. Стоимостная оценка программ 6. Сравнения эффективности социальных программ

Цель раздела - предоставить основания для проведения, выбора инструментов и процедур оценки социальных проектов и программ всем заинтересованным сторонам, вовлеченным в задачу оценивания программ в сфере детства предоставить основания для разработки внутренней оценки, учитывающей специфику сферы детства познакомить с подходами к проведению независимой внешней оценки дать представление о стандартах и требованиях к проведению внешней независимой оценки программ 3

Зачем нужна оценка? Принятие управленческого решения по программе Недостаточно информации о деятельности программы Имеющаяся информация нуждается в подтверждении 4 Условия для проведения оценки Наличие предмета оценки Лица, заинтересованные в оценке Потребность в информации Доступность информации о предмете оценки Понимание использования результатов

5 Кто может проводить оценку программы? Сотрудники организации, не принимающие участия в программе Независимые специалисты Участники программы ПРОГРАММА ОРГАНИЗАЦИЯ Внешняя Внутренняя Само-оценивание

6 Самооценивание: преимущества и недостатки Преимущества: Является неотъемлемой частью жизни организации и заложена в практику её деятельности; Умение и навыки, необходимые для проведения самооценивания, рассосредоточены между всеми членами организации; Большая вероятность использования полученных данных; Процесс самооценивания представляет развивающую деятельность; Рентабельность Недостатки: Оценка требует времени, и ей может быть отведена вспомогательная роль; Не все сотрудники организации обладают навыками и знаниями. Необходимыми для проведения оценки, или не желают развивать их; Сложнее обеспечить надежность данных и объективность выводов, так как все участники оценки являются сотрудниками программы

7 Внутренняя оценка: преимущества и недостатки Преимущества : Хорошее знание ситуации; Возможно проследить за выполнением рекомендаций и способствовать их выполнению; Знание культуры и атмосферы организации, и её программ; Относительно дешево; Доверие участников программы и, как следствие, большая вероятность получения качественных данных. Недостатки: Может восприниматься как менее объективная; Может свести к акции по поддержке связей с общественностью; Может «увязнуть», собирая массу мелких деталей и учитывая все, что необходимо отразить в отчете; Может не хватить умения для выполнения задания.

8 Внешняя оценка: преимущества и недостатки Преимущества: Свежий взгляд, могут быть заданы важные вопросы, которые не всегда очевидня для сотрудников; Независимость и объективность, повышающие доверие результатам оценки; Опыт проведения оценки разных программ в разных организациях и, как следствие, больший набор апробированных приемов и методов проведения оценки; Авторитет независимого эксперта Оценщик полностью сосредоточен на задаче проведения оценки. Недостатки: Отстраненность от программы может привести к неправильно поставленным акцентам и сбору некачественных данных; После завершения работы по оценке организация теряет много информации; Может не хватить авторитета для получения доступа к соответствующей группе для обсуждения и распространения полученных данных; Не несет ответственности за использование результатов и рекомендации, сделанных в ходе оценки; Стоит дороже.

Фокус исследования - Осуществляемая деятельность – непосредственные продукты (output) Достижение целей программы – результаты деятельности (outcome) - изменения в жизни ребенка (личностно значимые и социально значимые) Соответствие миссии – отсроченное воздействие программы (impact) 9 4 типа программ: 1. Профилактика возникновения проблемы (показатели производительности программы; целевые изменения участников) 2. Экстренная помощь в случае возникновения проблемы (показатели технологичности, доступность и скорость услуг) 3. Помощь в решении проблемы (устойчивые личностные изменения) 4. Сопровождение «хронической» ситуации (показатели снижения вреда для целевой аудитории)

Типы индикаторов Какие характеристики проекта измеряются: количественные качественные Что измеряют: вход, процесс, непосредственный результат, общий результат, влияние

Индикаторы ресурса Объем ресурсов Индикаторы выхода (продукты) Количество услуг Индикаторы результатов Выгоды для благополучателей Индикаторы эффективности Соотношение результатов и ресурсов Индикаторы воздействия Влияние на проблему проекта. Виды индикаторов мониторинга

Что такое «хороший индикатор»? (10 steps, page 68) Ясный / Clear Точный и определенный Существенный Relevant Относится к важным характеристикам объекта Экономичный Economic Предполагает разумные затраты Адекватный Adequate Дает информацию, соответствующую тому, что он измеряет Проверяемый Monitorable Допускает независимую проверку

Формат описания индикатора 1. Этап проекта, к которому относится индикатор 2. Название индикатора 3. Определение индикатора 4. Исходное значение индикатора 5. Плановое значение индикатора 6. Когда должно быть достигнуто плановое значение 7. Период использования индикатора 8. Частота измерения 9. Источник информации 10. Метод сбора данных 11. Комментарии

Результат «Повышение уровня образованности детей: успеваемость в школе, количество читаемых книг» 1. Этап проекта – «Результаты проекта» 2.Название индикатора - «Количество детей, успешно закончивших учебный год» 3.Определение индикатора – дети: участники проекта, школьники от 10 до 16 лет; успешно закончившие учебный год – количество троек не больше трех. 4.Исходное значение индикатора – количество школьников от 10 до 16 лет на начало реализации проекта; количество троек у каждого участника проекта (от 10 до 16 лет) на начало участия в проекте. 5.Плановое значение индикатора – 70 % участников проекта от 10 до 10 лет закончили учебный год от 1 до 3х троек. 6.Плановое значение индикатора достигнуто - к июню 2010 г. 7.Период использования индикатора – в течении всего проекта 8.Частота измерения - в октябре 2009 г. (окончание 1й четверти); в начале июня 2010 г. (окончание 4й четверти) 9.Источник информации – участники проекта от 10 до 16 лет; родители данных учащихся;, вожатые; педагоги данных учащихся; дневники; классные журналы 10.Метод сбора информации – изучение документов; интервью; наблюдение; анкетирование 11.Комментарии – сбор информации, подготовка сводного отчета осуществляются силами вожатых. Анализ поученной информации проводит руководитель проекта. 14