Мониторинг и оценка социальных проектов Ведущий – Чагин Кирилл Георгиевич, консультант по социальной политике Института экономики города (Москва), тел.

Теоретические основы мониторинга и оценки 1.Функциональные определения мониторинга и оценки, их связь и различия. 2.Понятия и термины, применяемые в мониторинге и оценке. 3.Проведение мониторинга и оценки. 4.Использование данных мониторинга и оценки для принятия решений.

Функциональные определения мониторинга и оценки Мониторинг Регулярный сбор определенных данных об определенной деятельности в течение всего периода осуществления этой деятельности в целях сравнения фактической деятельности с запланированной и внесения в фактическую деятельность своевременных изменений – сравнение плана с фактом. Оценка Определение ценности (пользы) деятельности.

Различия между мониторингом и оценкой ПараметрМониторингОценка Общий вопрос ПРАВИЛЬНО ли выполняется деятельность? ПРАВИЛЬНАЯ ли выполняется деятельность? Модель осуществления деятельности Принимается за эталон.Подвергается анализу с целью изменения/улучшения/отказа. Время проведения Непрерывно и регулярно в течение всего периода осуществления деятельности. На определенных (ключевых) этапах осуществления деятельности. Итоги Степень соответствия фактической деятельности запланированной. В случае несоответствия внесение своевременных изменений в деятельность или проведение оценки с целью выяснения того, что стало причиной неудачи. Продолжение, изменение или прекращение деятельности.

Функциональная связь между мониторингом и оценкой Мониторинг – информационный базис оценки. Если неизвестно, как был выполнен план, трудно судить о его правильности по фактически достигнутой ситуации. Регулярно проводимая оценка становится мониторингом.

Понятия и термины, применяемые в мониторинге и оценке (1) Деятельность (activities) – происходящий процесс (обучение, предоставление бытовых услуг, консультирование по телефону доверия и т.п.). Вкладываемые ресурсы (inputs) – материальные и нематериальные средства, призванные обеспечивать осуществление деятельности (финансы, человеческий труд, оборудование, нормативно-методические документы и т.п.).

Понятия и термины, применяемые при мониторинге и оценке (2) Продукт (output)Результат (outcome) То, что ПРОИЗВЕДЕНО деятельностью То, что ИЗМЕНЕНО деятельностью Подростки-правонарушители, прошедшие социальную реабилитацию Подростки-правонарушители, прошедшие социальную реабилитацию и не совершающие повторных правонарушений Получение продуктов не обязательно означает достижение результатов !!!

Понятия и термины, применяемые при мониторинге и оценке (3) Показатели продуктов (output indicators) – количественные индикаторы, показывающие степень производства деятельностью продуктов (число подростков-правонарушителей, прошедших социальную реабилитацию). Продуктивность (productiveness) – производство деятельностью ожидаемых продуктов.

Понятия и термины, применяемые при мониторинге и оценке (4) Показатели результатов (outcome indicators) – количественные индикаторы, показывающие степень достижения деятельностью результатов (доля подростков- правонарушителей, прошедших социальную реабилитацию и не совершающих повторные правонарушения). Результативность (effectiveness) – достижение деятельностью ожидаемых результатов.

Понятия и термины, применяемые при мониторинге и оценке (5) Экономическая эффективность (efficiency) – соотношение вкладываемых в деятельность ресурсов и результатов. Влияние (impact): 1)Долгосрочное и/или внешнее воздействие осуществленной деятельности (снижение уровня подростковой преступности, снижение уровня уличной преступности и т.д.). 2)Влияние самой деятельности на полученные результаты, «нетто-результаты» деятельности (результаты деятельности минус результаты, вызванные внешними факторами, не имеющих отношения к деятельности).

Проведение мониторинга и оценки 1.Формулировка вопросов. 2.Выбор методики. 3.Определение показателей. 4.Определение источников информации. 5.Определение способов сбора информации. 6.Разработка инструментов для сбора информации. 7.Определение периодичности сбора информации. 8.Сбор информации. 9.Обработка информации и определение значений показателей. 10.Анализ информации и определение выводов (составление отчета). 11.Принятие решений.

Формулировка вопросов (1) Описательные вопросы (что? сколько? когда? и т.д.). Сколько подростков-правонарушителей прошли социальную реабилитацию? Нормативные (сравнение некого существующего эталона с действительностью). Являются ли подростки, проходящие социальную реабилитацию, подростками- правонарушителями? Причинно-следственные (роль определенного элемента в изменении ситуации). Отказались ли подростки- правонарушители, прошедшие социальную реабилитацию, от совершения повторных правонарушений именно благодаря полученной социальной реабилитации?

Формулировка вопросов (2) Деятельность Пример вопроса мониторинга Пример вопроса оценки Реабилитация детей-инвалидов Оказывают ли детям-инвалидам предусмотренные услуги? Улучшилось ли качество жизни получивших услуги детей-инвалидов? Горячее питание малоимущих пенсионеров Реализуют ли пенсионеры полученные талоны на питание в полном объеме? Улучшилось ли питание пенсионеров во время реализации талонов на питание?

Определение методики Экспериментальная методика. Квазиэкспериментальная методика. Неэкспериментальная методика.

Экспериментальная методика Наиболее полно и объективно отвечает на все три типа вопросов. Включает в себя три принципа. Принцип «до и после». При оценке сравнивается ситуация (комплекс показателей) до начала выполнения определенной деятельности и ситуация после завершения этой деятельности (этапа деятельности). Один этот принцип не позволяет ответить на причинно-следственные вопросы – изменение показателей может быть вызвано факторами, не связанными с данной деятельностью. Принцип «контрольной группы». При оценке сравниваются показатели клиентской группы, на которую была направлена деятельность, и группы этой же категории, не испытывавшей на себе этой деятельности. Если эти группы, принадлежа к одной категории, отличаются друг от друга какими-то конкретными свойствами или признаками, то именно они, а не данная деятельность, могут быть тем реальным фактором, который привел к изменению ситуации. Принцип случайности в выборе состава групп. Этот принцип позволяет придать оценке наиболее объективный характер.

Квазиэкспериментальная методика Отличается от экспериментальной тем, что в ней не выполняется третий принцип экспериментальной методики – случайность при выборе не только контрольной, но и клиентской группы. Данный принцип не всегда реализуем на практике и его применимость зависит от характеристик самой деятельности. Полностью применять этот принцип можно только тогда, когда главной целью проекта является эксперимент, и выбор клиентов деятельности с самого начала осуществляется произвольно («для чистоты эксперимента»).

Неэкспериментальная методика С помощью этой методики можно искать ответы на описательные и нормативные вопросы, но нельзя отвечать на причинно-следственные вопросы. Вариант 1. Только принцип «до и после» (нет контрольной группы). Вариант 2. Только принципы «контрольной группы» и «после» (доступна только информация о ситуации после завершения деятельности, информация о ситуации перед выполнением деятельности отсутствует). Вариант 3. Только принцип «после» (нет контрольной группы, доступна только информация о ситуации после завершения деятельности, отсутствует информация о ситуации перед выполнением деятельности).

Определение показателей (1) Требования к показателям: Обоснованность – измеряют ли показатели действительно то, что мы хотим измерить? ВопросНеобоснованный показатель Обоснованный показатель Являются ли подростки, проходящие социальную реабилитацию, подростками- правонарушителями? Доля клиентов, состоящих на учете в комиссии по делам несовершеннолетних Доля клиентов, состоящих на учете в подразделении УВД по делам несовершеннолетних

Определение показателей (2) Требования к показателям: Надежность – дает ли использование показателей объективную информацию? ВопросМенее надежный показатель Более надежный показатель Какова степень удовлетворения клиентов социальным обслуживанием на дому? Доля поставщиков услуг, считающих, что клиенты удовлетворены социальным обслуживанием на дому Доля клиентов, которые высказывают удовлетворение социальным обслуживанием на дому

Определение показателей (3) Требования к показателям: Важность – измеряют ли показатели то, что действительно важно для мониторинга или оценки, а не то что проще всего измерить? ВопросМенее важный показатель Более важный показатель Какова степень полезности для детей-инвалидов программы социальной реабилитации? Доля экспертов, считающих программу социальной реабилитации полезной для детей-инвалидов Доля родителей, считающих программу социальной реабилитации полезной для детей-инвалидов

Определение показателей (4) Требования к показателям: Точность – дает ли использование показателей точную информацию? ВопросМенее точный показатель Более точный показатель Как изменилось качество питания клиентов программы горячего питания малоимущих пенсионеров? Доля клиентов, качество питания которых улучшилось Доля клиентов, которые стали чаще употреблять мясные и рыбные блюда

Определение источников сбора информации Административные документы (статистика, отчеты и т.п.). Клиенты. Поставщики услуг (исполнители программы). Заказчики (доноры). Внешние эксперты.

Определение способов сбора информации Извлечение информации из административных документов. Фокус-группы. Опрос (анкетирование, телефонный опрос, индивидуальное интервью). Наблюдение. Использование технических средств измерения (например, медицинское обследование).

Рабочие инструменты для сбора информации Положение о программе или иной документ, на основании которого происходит реализация программы (план). Форма отчета, требуемого от исполнителя программы. –Форма отчета определяет то, что нужно узнать от исполнителя для проведения мониторинга или оценки. Вопросы для обсуждения на фокус-группе. Анкета или опросный лист. Форма для фиксации данных при наблюдении или использовании технических средств.

Извлечение информации из административных документов Преимущества: Простота Низкие затраты Ограничения: Недостаточность информации, особенно по результативности.

Фокус-группа Формат: Количество участников человек плюс ведущий. Общение участников происходит в режиме обсуждения предложенных ведущим вопросов. Ведущий следит за тем, чтобы обсуждение «фокусировалось» на предложенных вопросах. Преимущества: Возможность получить представление о существующих проблемах, мнениях и предложениях. Простота. Сравнительно низкие затраты. Ограничения: Информация, полученная на фокус-группе, не может считаться статистической и репрезентативной.

Опрос Виды: Анкетирование (респондент самостоятельно заполняет анкету). Индивидуальное интервью (интервьюер беседует с респондентом и заполняет в ходе беседы опросный лист). Выбор вида зависит от доступности респондентов, их характеристик и сложности вопросов. Более качественные данные могут быть получены при индивидуальном интервью (меньше пропусков вопросов, возможность разъяснения респонденту сложных вопросов и т.д.). Преимущества: Возможность получения статистической и репрезентативной информации. Ограничения: Сравнительно высокие затраты.

Этапы опроса 1.Определить, какая информация должна быть получена в ходе опроса. 2.Выбрать вид опроса. 3.Сделать выборку клиентов, если нет возможности или необходимости проводить сплошной опрос. 4.Разработать опросный лист или анкету. 5.Провести опрос.

Выборка клиентов для опроса Случайная выборка – каждый член генеральной совокупности должен иметь равный шанс попасть в выборку. Если генеральная совокупность клиентов состоит из различных категорий (например, клиенты разных отделений центра социального обслуживания), необходимо соблюдать в выборке соответствующие пропорции. Если сами клиенты не могут полноценно давать ответы на вопросы, необходимо опрашивать их представителей (родителей малолетних детей, опекунов и т.д.).

Каждый пункт опросного листа (анкеты) должен содержать только один вопрос. Используйте только понятные для клиентов понятия и слова. Избегайте наводящих вопросов. Снабжайте вопросы необходимыми временными ссылками. Формулируйте вопросы в виде законченного предложения. По возможности избегайте заставлять респондентов выполнять какие- либо вычисления, отвечая на вопрос. Не используйте отрицательных предложений, формулируя вопрос. Удостоверьтесь в том, что варианты ответов не пересекаются. Предложите все возможные варианты ответов. Используйте бальную систему оценки в ответах. Используйте равное количество положительных и отрицательных вариантов ответов. По-возможности, используйте одни и те же варианты ответов для разных вопросов. Соблюдайте логическую последовательность вопросов. Группируйте вопросы по темам. Сначала задавайте более легкие вопросы. Подготовка опросного листа (анкеты)

Что необходимо помнить при проведении опроса Нет смысла поручать проведение опроса сотрудникам, которые сами оказывают услуги опрашиваемым. Рекомендуется провести тестирование опросного листа на небольшой группе опрашиваемых. Перед опросом необходимо провести инструктаж по опросному листу для тех сотрудников, которые будут проводить опрос.

Периодичность сбора информации Мониторинг: Ежемесячно (желательно). Оценка: В зависимости от этапов программы и цикла принятия по программе управленческих и финансовых решений.

Анализ собранной информации Рассмотрение полученной количественной информации – получение цифровых значений показателей в абсолютном и относительном (доли, проценты) виде. Рассмотрение качественной информации – получение перечня ситуаций, мнений, отношений, предложений. Констатация степени соответствия фактической деятельности запланированной (при мониторинге). Констатация изменений или их отсутствия (при оценке). Констатация степени изменений (при оценке). Констатация отношений, точек зрения и предложений. Интерпретация – почему так?

Создание отчета Ориентированность на заказчика отчета. Ориентированность на ответы на вопросы мониторинга и оценки. Краткие выводы и рекомендации. Структурированность выводов и рекомендаций. Цифровая информация большого объема и информация, важная, но второстепенная для целей данного мониторинга и оценки, выносится в приложения.

Использование данных мониторинга и оценки при принятии решений Стратегия: –Продолжение / прекращение выполнения программы. –Изменение территории выполнения программы. –Изменение клиентской группы. Изменение финансирования программы. Изменение управления программой. Изменение работы персонала. Изменение инфраструктуры программы (техническая оснащенность, квалификация сотрудников и т.д.).

Мониторинг и оценка – не теоретические изыскания, а реальные и полезные инструменты для принятия конкретных управленческих решений.

Практические аспекты мониторинга и оценки 1.Опыт проведения мониторинга и оценки региональных и муниципальных социальных программ в России (с участием Фонда «Институт экономики города»). 2.Проблемы, возникающие при проведении мониторинга и оценки социальных программ и использовании их данных при принятии решений. 3.Требования к дизайну социальных проектов, обеспечивающие возможность их мониторинга и оценки.

Отдельные примеры успешного проведения мониторинга и оценки (I) 1.Оценка результативности льготного зубопротезирования (г. Березники Пермской области, 2004 г.). 2.Оценка реализации и результативности программы адресной социальной помощи «От пособия к зарплате» (г. Пермь, 2003 г.). 3.Оценка влияния программы адресной социальной помощи «От пособия к зарплате» (гг. Пермь и Краснокамск Пермской области, 2004 г.).

4.Создание технологии мониторинга результативности социального обслуживания на дому граждан пожилого возраста и инвалидов (Саратовская область, гг.). 5.Мониторинг реализации и оценка результативности ваучерной программы горячего питания одиноких малоимущих пенсионеров (г. Владимир, 2005 г.). 6.Мониторинг реализации и оценка результативности муниципальных и государственных заказов на оказание социальных услуг (гг. Пермь, Биробиджан, Владимир, Новосибирская область, Алтайский край, г.). Отдельные примеры успешного проведения мониторинга и оценки (II)

7.Мониторинг реализации и оценка результативности программы адресной социальной помощи «Самообеспечение» (Пермская область, гг.). 8.Оценка фактических и прогнозных последствий монетизации натуральных льгот на региональном уровне (Саратовская область, 2005 г.). 9.Создание и тестирование технологии мониторинга социальной защиты населения на региональном уровне (Алтайский край, гг.). Отдельные примеры успешного проведения мониторинга и оценки (III)

Что было бы, если мониторинг и оценка не проводились? 1.Полезные и результативные программы могли быть остановлены («От пособия к зарплате», «Самообеспечение»). 2.Реализация программ могла продолжаться неверно («Самообеспечение», ваучерная программа горячего питания). 3.Сравнение исполнителей программы могло продолжаться субъективно (надомное обслуживание пожилых и инвалидов).

Остановленные проекты по проведению мониторинга и оценки Создание системы мониторинга результативности деятельности, направленной на предотвращение подростковой преступности (г. Березники Пермской области, гг.). ЭтапСтатус 1.Определение показателей результативности. Осуществлен. 2.Замер результативности (сбор данных).Осуществлен. 3.Осуществление действий по повышению результативности. Начат, но не закончен. 4.Повторный замер результативности.Не начат.

Проблемы при проведении мониторинга и оценки 1.Значительная часть деятельности по программе «не приспособлена» для проведения мониторинга и оценки – отсутствуют полноценные правила реализации и/или понятие конкретного и измеримого ожидаемого результата деятельности. 2.Проведение мониторинга и оценки требует дополнительных затрат. 3.Нарушение правил проведения мониторинга или оценки (например, выбор методов сбора информации исключительно по критерию их дешевизны) приводит к получению искаженных данных и неправильным управленческим решениям. 4.«Детские» проблемы (например, не собирается информация о ситуации «до» - потом не с чем сравнивать ситуацию «после»).

«Проблемы заказчика» при проведении мониторинга или оценки Заказчик затрудняется сформулировать вопросы оценки – за него их формулирует оценщик. Вопросы оценки, сформулированные заказчиком, не связаны с его возможностями и компетенцией по принятию управленческих решений. Объект мониторинга или оценки (программа, вид деятельности) не соответствует требованиям проведения мониторинга или оценки - отсутствуют запланированные параметры реализации и/или понятие конкретного и измеримого ожидаемого результата.

Почему данные мониторинга или оценки могут не использоваться при принятии решений? 1.Меняется политика или стратегия пользователя данных вопросы оценки перестают представлять интерес. 2.Отсутствие или потеря четкого целеполагания у пользователя данных данные не находят своего применения. 3.Отношение к мониторингу и оценке как к образцово- показательному смотру выбор наилучших объектов реальное отсутствие потребности в улучшениях.

Почему данные мониторинга или оценки могут использоваться неверно? Игнорирование других факторов, находящихся за пределами вопросов мониторинга или оценки. Нерезультативная и неэффективная реализация программы.

Требования к проектам для проведения их мониторинга и оценки Для мониторинга Четкие клиентские группы. Четкие виды помощи или услуг. Четкие правила (условия) реализации. Для оценки Ожидаемые результаты реализации проекта.

Ожидаемые результаты социальных проектов (1) Качественные или количественные изменения у получателей услуг. Если изменения невозможны по объективным причинам: –Удовлетворенность получателей услуг оказываемыми услугами. Клиент социального обслуживания на дому пожилых и инвалидов доволен тем, как ему помогают. –Обеспечение определенных условий жизни получателя услуг. У клиента стационарного социального обслуживания, полностью утратившего способность к самообслуживанию и сохранный интеллект, обеспечиваются определенные санитарно-гигиенические условия.

Ожидаемые результаты социальных проектов (2) Ожидаемые результаты должны быть измеримыми. Ожидаемые результаты должны быть реалистичными - соответствовать характеру и продолжительности деятельности. Среди ожидаемых результатов могут быть определены приоритетные.

Ожидаемые результаты - качественные или количественные изменения у получателей услуг 1.Состояние здоровья. 2.Поведение. 3.Отношение. 4.Психологическое состояние. 5.Возможности. 6.Способности. 7.Материальное положение. 8.Риски.

Примеры изменений у получателей услуг (1) Что меняется?Пример Состояние здоровья После получения медицинских услуг больные перестают страдать от болезни или страдают от нее меньше. Поведение После получения социально- реабилитационных услуг подростки-правонарушители перестают совершать правонарушения.

Примеры изменений у получателей услуг (2) Что меняется?Пример Отношение После просмотра цикла документальных фильмов об истории и культуре национальных меньшинств у представителей титульной национальности территории улучшается отношение к представителям меньшинств. Психологическое состояние После получения психологических реабилитационных услуг у участников военных конфликтов проходит посттравматический синдром.

Примеры изменений у получателей услуг (3) Что меняется?Пример Возможности После оборудования физкультурных дворовых комплексов население территории получает возможность заниматься физкультурой по месту жительства. Способности После получения адаптационных услуг дети-инвалиды приобретают способность самостоятельно обслуживать себя в быту.

Примеры изменений у получателей услуг (4) Что меняется?Пример Материальное положение После получения социальной помощи ее получатели перестают быть малоимущими. Риски После проведения антиникотиновой кампании среди подростков подростки меньше курят. Во время вывоза подростков- правонарушителей в загородные досуговые лагеря снижается вероятность получения гражданами вреда от противоправных действий этих подростков.

Как определить и измерить результаты социального проекта? Этот вопрос должен иметь ответ. Если ответа на него нет и не может быть в принципе, то проект бесполезен.

Тренинг 1.Выбор конкретных проектов НКО, распределение участников по 4 тренинговым группам следующих содержательных типов: 1)Мониторинг состояния социальной проблемы, на решение (смягчение) которой направлен проект НКО. 2)Мониторинг реализации проекта НКО. 3)Оценка социальной результативности проекта НКО. 4)Оценка экономической эффективности проекта НКО. 2.Работа в группах: формулировка вопросов мониторинга и оценки, разработка показателей (индикаторов) мониторинга и оценки, определение источников информации, способов сбора информации, периодичности сбора информации, перечня инструментов сбора информации, необходимых условий для проведения мониторинга и оценки.