Мониторинг и оценка в деятельности НКО

Мотивация проведения оценки: Оценка деятельности осуществляется организацией для того, чтобы заинтересованные лица могли получить достоверную информацию о деятельности организации, качестве проекта или программы с тем, чтобы полученный опыт был учтен при принятии решений партнерами и донорами. Например: 1) что хотят знать организации и люди, предоставляющие финансовые или материальные ресурсы некоммерческим организациям?

Партнеры и доноры хотят знать: А. Насколько адекватно организация распоряжается полученной поддержкой с точки зрения: -целевого использования средств (финансовая отчетность) -выполнения всей запланированной (и обещанной спонсору) деятельности (программная отчетность) Б. Происходят ли те изменения, ради которых была предоставлена поддержка.

МОТИВАЦИЯ ОЦЕНКИ 2) Что хотят знать добровольцы, уже работающие в организации или только собирающиеся пойти работать?

Добровольцы хотят знать: А. Делает ли организация что-то, действительно нужное окружающим, Б. Изменяет ли деятельность организации жизнь людей к лучшему, В. Каким будет их добровольческий труд в этой организации.

МОТИВАЦИЯ ОЦЕНКИ 3) Что хотят знать люди, пользующиеся или планирующие пользоваться услугами некоммерческой организации?

Клиенты хотят знать: А. Насколько доступны эти услуги с точки зрения времени и места их предоставления, а также их цены в денежном выражении. Б. Изменили ли что-то эти услуги в жизни других людей со схожими проблемами, и если да, то что именно. В. Чем эти услуги отличаются от аналогичных услуг, предоставляемых иными организациями (по цене, качеству, уникальности и др. показателям).

МОТИВАЦИЯ ОЦЕНКИ 4) Что хочет знать сама некоммерческая организация?

Организация хочет знать: Правильно ли она организует свою деятельность, учитывает ли все положительные и отрицательные факторы, предпринимает ли все необходимые действия для достижения максимально положительного результата?

Элементы организационной культуры миссия (определяет цель) цель (определяет задачи) функции (направлены на достижение цели и решение задач в рамках прав и при условии соблюдения обязанностей) деятельность организации (обусловлена функциями) спонтанная планируемая деятельность (бессистемная) (виды планирования) план мероприятий проектпрограмма (контроль - ?!) Должна волновать не столько сама деятельность, сколько достигаемый эффект – количественные и качественные изменения, получаемые в результате этой деятельности.

примеры вопросов по самооценке организации Безусло вно, да Скорее да, чем нет Скорее нет, чем да Нет Предназначение и деятельность организации отвечают нуждам местного сообщества и/или целевой группы Организация не поддерживает никаких правонарушений, коррупции, взяточничества, финансовых махинаций или других незаконных действий Определяемая уставом управленческая структура оперирует эффективно и компетентно Адекватность размера оплаты сотрудников количеству той работы, которую необходимо проделать Ежегодный план работы основывается на оценке внутренних и внешних потребностей и ресурсов, а также на анализе сильных сторон, слабостей, возможностей и угроз (SWOT-анализ и.т.д.) Система финансового управления прозрачна, причём годовой отчёт доступен любому интересующемуся, представившему письменный запрос Местная власть видит пользу организации и поддерживает ее Зона тревоги Зона благо- получия

Оценка – три шага АССЕСМЕНТ (оценка ожиданий) МОНИТОРИНГ (изучение соотношения) ОЦЕНКА ДАЕТ ИНФОРМАЦИЮ ДЛЯ ОЦЕНКИ ПЕРЕСМОТР ПРОГРАММНЫХ ДЕЙСТВИЙ ПЛАНИРОВАНИЕ ПРОГРАММНЫХ ДЕЙСТВИЙ КОРРЕКТИРОВКА ПРОГРАММНЫХ ДЕЙСТВИЙ БАЗОВЫЕ ДАННЫЕ ДЛЯ ПОСЛЕДУЮЩИХ МОНИТОРИНГА И ОЦЕНКИ Изучение ситуации перед тем, как в нее вмешиваться. Включает не только определение характера ситуации, но и ее причин, а также факторов, которые могут помочь или помешать при попытке изменить данную ситуацию. Процесс отслеживания или измерения того, что происходит. Мониторинг исполнения - измерение хода процесса относительно изначального плана вмешательства в ситуацию и степени достижения конкретных целей; Мониторинг ситуации - измерение того, как изменяется параметр или набор параметров. Процесс, в ходе которого пытаются определить, как можно более систематически и объективно, ценность или значение программы вмешательства в ситуацию (выполняется по спец. методике)

Оценка и мониторинг: ключевые точки

МОНИТОРИНГ И ОЦЕНКА: СООТНОШЕНИЕ Мониторинг Оценка

СООТНОШЕНИЕ

МОНИТОРИНГ И ОЦЕНКА: ВЗАИМОДОПОЛНЯЕМОСТЬ (1) Периодически, регулярно ЧастотаЭпизодически Отслеживание Основное действие Определение значимости Улучшить ход исполнения, повысить эффективность, скорректировать план работ Основное назначение Улучшить качество, эффективность, влияние, будущие программы КраткосрочныйВременной горизонт Долгосрочный, выходящий за рамки конкретной программы Используемые ресурсы, процесс, продукты Рассматриваемые элементы программного цикла Также результаты и влияние Планы работы, целевые характеристики работы и контрольные индикаторы (в том числе для раннего выявления проблем) Нормативные документы Более широкие программные цели, стратегия, а также внешние нормы и стандарты МОНИТОРИНГОЦЕНКА

МОНИТОРИНГ И ОЦЕНКА: ВЗАИМОДОПОЛНЯЕМОСТЬ (2) Рутинные и контрольные системы, полевые наблюдения, отчеты о ходе работ, краткосрочные исследования Источники информации Те же, а также специальные опросы и исследования Менеджеры программы, участники программы, основные заинтересованные стороны, контролеры, те, кто предоставляет финансирование Исполнители Те же, если используется оценка с участием, а также внешние независимые оценщики Менеджерам программы, участникам программы, основным заинтересованным сторонам, контролерам, тем, кто предоставляет финансирование Отчет предоставляется Тем же, если используется оценка с участием, а также политикам и широкому кругу внешних заинтересованных сторон МОНИТОРИНГОЦЕНКА

Философия оценки – позиция 1 Истина – это объективная реальность. Она не зависит от того, нужна ли она наблюдателю, и подчиняется только неизменным законам природы, многие из которых имеют причинно- следственный характер. Что есть «истина»? Существует множество социальных конструкций реальности. «Истина» – это наиболее насыщенная информацией и сложная конструкция, относительно которой достигнут консенсус. Истина является абсолютной. Истинность любого предположения можно определить с помощью эмпирической проверки. Любое предположение, прошедшее такую проверку, является истинным. Можно ли найти «истину»? Любая «истина» является относительной. «Истинность» любого предположения (его достоверность) можно определить, если вынести его на суд группы хорошо информированных людей. Любое предположение, по которому достигнут консенсус, является истинным, пока оно не будет реконструировано в свете новой информации или знаний.

Философия оценки – позиция 2 Факты принадлежат к миру природы, и поэтому не зависят от теорий, которыми руководствуется любое исследование. Факты и ценности не связаны друг с другом. Что есть «факты»? Факты всегда определяются теорией: они не имеют никакого значения вне какой-либо системы ценностей. У любого наблюдаемого действия (результата) есть причина, а у каждой причины есть следствие. В принципе, всегда возможно определить первопричину любого наблюдаемого действия (хотя на практике это может оказаться недостижимым). Есть ли причинность ? Любое наблюдаемое действие является результатом мгновенного решения, одновременно принимаемого большим числом взаимосвязанных «создателей», каждый из которых постоянно формирует и которого формируют все остальные создатели. При определении первопричины можно исходить из произвольных предпосылок.

Механизм оценки проекта (программы) -Постановка цели, выработка задач -Формулировка вопросов, на которые необходимо получить ответ в результате оценки -Разработка индикаторов оценки -Выбор целевых групп проекта (программы) -Выбор методов сбора данных -Выбор методов анализа данных -Анализ проекта (программы) -Выработка рекомендаций по совершенствованию деятельности

Основные вопросы оценки проекта (программы) Кто знает о программе? Что они знают? Какие услуги должны получать клиенты? В какой степени существующие услуги удовлетворяют потребности клиентов? Как соотносятся затраты и результаты, выраженные в денежном виде? То же, но не в деньгах? Насколько достигнутые результаты соответствуют плановым показателям? Насколько достигаются цели? Какие ресурсы использует программа: численность персонала, соотношение числа сотрудников и клиентов и прочие показатели усилий, прилагаемых в рамках программы? Можно ли сократить используемые ресурсы, но все равно получить такие же результаты, или получить большие результаты, не увеличивая используемые ресурсы? В какой степени программа способна решить проблему целиком? В какой степени объем предоставляемых услуг соответствует необходимому объему? Что происходит с программой и ее участниками с течением времени? Как можно улучшить программу? Какие прямые или косвенные влияния оказала программа на сообщество (шире, чем благополучатели), в котором она была реализована? Как на самом деле программа влияет на клиентов, независимо от того, чего, по их словам, хотят добиться сотрудники? Каковы характеристики конкретных продуктов, производимых программой? Что происходит в программе? Что происходит внутри организации? Каковы сильные и слабые стороны повседневной работы? Какие процессы используются в программе, как к ним относятся сотрудники, клиенты и все прочие? Как можно улучшить эти процессы? Соблюдаются ли при оказании услуг минимальные допустимые стандарты? Каким образом можно проследить и подтвердить качество ухода? Какая информация нужна и желательна лицам, принимающим решения, пользователям информации и заинтересованным сторонам, чтобы они могли ее использовать для улучшения программы и принятия решений относительно программы?

Индикаторы оценки проекта (программы) Индикатор - это количественный показатель, позволяющий измерить состояние предмета исследования, количественно оценить его состояние. Признаки правильного индикатора : Измеряемость – индикатор поддается количественному измерению в неизменных единицах. Обоснованность – индикатор отражает действительно то, что необходимо оценить. Однозначность – индикатор имеет четкое, общепринятое определение Устойчивость – доступны временные (динамические) срезы данных по индикатору. Доступность – данные, необходимые для расчета индикатора доступны в традиционных источниках информации. А в попугаях я длиннее!

Выбор целевых групп проекта (программы) ЦЕЛЕВЫЕ ГРУППЫ – совокупность людей, которые имели то или иное отношение к проекту (программе). Это могут быть: прямые благополучатели по проекту; косвенные благополучатели (родственники, клиенты организации и т.д.) ЛПР (как непосредственные руководители, так и руководители, от которых хоть в какой-то мере зависит успех проекта); конкуренты; журналисты; неструктурированное общество; и т.д.

Сбор данных для мониторинга и оценки Методы сбора данных структурированное наблюдение (наблюдение за происходящими событиями при условии выделения из всей массы деталей тех параметров, которые заранее выделены и подлежат наблюдению) изучение документации и аналитических материалов (правовой анализ, смысловой анализ, контент-анализ) анкетирование, опрос (почтовый, телефонный, личный) фокус-группа интервью - формализованное (проводится по заранее заготовленным вопросам) - полуформализованное (проводится на основе заранее заготовленных вопросов, но могут быть отступления) -неформализованное (в свободной форме, последующий вопрос вытекает из содержания предыдущего вопроса) и др. Почему вы выбрали тот или иной метод сбора данных? Подробнее о методах анализа - на сайте в разделе «Школа общественных экспертов on-line»

Методы анализа данных Количественные методы анализа данных – обработка количественных данных с помощью формализованных математических операций и последующий качественный анализ полученных результатов. Качественные методы анализа данных – смысловая интерпретация данных. Подробнее о методах анализа - на сайте в разделе «Школа общественных экспертов on-line»

Анализ проекта (программы) 1) анализ логической схемы программы (проекта) – наличие всех необходимых для программы элементов и адекватность, обоснованность перехода от одного к другому. поставленная цель направлены ли задачи на достижение именно той цели, которая поставлена в проекте приводят ли мероприятия к тому результату, который должен быть получен вследствие выполнения задач исполняют ли мероприятия люди, обладающие именно той квалификацией, которая позволяет получить нужный результат достигается ли в результате тот самый эффект, который позволяет судить о достижении именно этой поставленной цели 2) Анализ эффекта – наличие и размер локального (тематического) или совокупного эффекта в результате реализации проекта (программы)