Formulating Outcomes and Indicators

Формулировки результатов и индикаторов

Changes in institutional performance or behaviours Strategic contribution to the country priorities/MDGs Number of outcomes depends on challenges and UNCT comparative advantages Collective priorities (but do not require contributions from every agency) Produced by the combined effects of the contributing outputs Reflect a choice about strategy or policy Outcomes: Definition & key features

Изменение деятельности институтов или институционального поведения Стратегический вклад в реализацию национальных приоритетов/ЦРТ Количество результатов определяется существующими проблемами и конкурентными преимуществами системы ООН в стране Совместные приоритеты (не предполагающие при этом вклада от каждого агентства) Обеспечиваются взаимодействием составляющих выходов Отражают выбор относительно стратегии или политики Результаты (Outcomes) : Определение и ключевые особенности

CHAIN OF RESULTS IMPLEMENTATIONRESULTS InputsActivitiesOutputsOutcomesGoals Financial, technical, and human resources; Knowledge transfer; Technical support; Other Actions and processes that are utilizing inputs to produce and deliver outputs Products, services, skills, evidence, individual and institutional capacities that are delivered from inputs and activities 1-2 years Institutional and behavioral change in development conditions caused by delivery and utilization of outputs. 5 years Positive and/or negative long- term effects on peoples lives produced by a development intervention, directly or indirectly, These effects can be socio-economic, cultural, institutional, environmental, technological; 10 years +

Последовательность результатов Реализация Результаты Реcурсы / Вклад (Inputs) Мероприятия (Activities) Выходы (Outputs) Результаты (Outcomes) Цели (Goals) Финансовые, технические, человеческие ресурсы Передача знаний Техническая поддержка Иное Действия и процессы, предполагающие использование ресурсов для обеспечения и получения выходов Продукты, услуги, навыки, доказательства, потенциал отдельных лиц и институтов, полученные от вкладываемых ресурсов и мероприятий года Институциональны е и поведенческие изменения условий развития, обеспеченные реализацией и использованием выходов 5 лет Позитивный и/или негативный долгосрочный эффект на жизни людей от прямого или косвенного воздействия в рамках работы в целях развития. Этот эффект может носить : социально- экономический, культурный, институциональный, экологический, технологический и пр. характер. 10 и более лет

IMPACT /GOAL OUTCOME OUTPUT ACTIVITY People exercise their rights to fair trial, justice, and asylum in corruption-free environment in line with international norms and human rights standards. Government meets international obligations and standards for juvenile justice, managing migration and the fight against organized crime and corruption State institutions have the capacity to ensure a unified response to corruption crime in line with international standards and norms Key line ministries have increased capacity to efficiently manage migration and asylum Support the review of national anti-corruption legislation and migration laws to align them with the international standards Facilitate parliamentary groups in adopting the legislative amendments Support a comprehensive programme of training of respective staff of Justice, Border control, and Migration National Agencies in application of the amended laws and enforcement of anti-corruption measures

Воздействие /цель (Impact / Goal) РЕЗУЛЬТАТ (Outcome) Выход (Output) Мероприятие (Activity) Население пользуются правами на справедливый суд, судебную защиту и убежище в свободной от коррупции среде в соответствии с международными нормами и стандартами в области прав человека. Правительство выполняет международные обязательства и стандарты в области ювенальной юстиции, управления миграцией и борьбы с организованной преступностью и коррупцией Государственные институты обладают потенциалов в области принятия согласованных ответных мер по борьбе с коррупционной преступностью в соответствии с международными нормами и стандартами Ведущие отраслевые министерства обладают расширенным потенциалом в области эффективного управления миграционными процессами и предоставления убежища Содействие доработке национального законодательства о противодействии коррупции и регулировании миграции с учетом международных стандартов Поддержка деятельности парламентских групп по принятию изменений и дополнений в законодательство Поддержка реализации комплексной программы подготовки и обучения для работников системы судопроизводства, охраны границ, национальных агентств по миграции в области применения измененных законов и реализации антикоррупционных мер

Typical pitfalls Wordy (..and no change language) To promote equitable economic development and democratic governance in accordance with international norms by strengthening national capacities at all levels and empowering citizens and increasing their participation in decision-making processes Too ambitious Strengthened rule of law, equal access to justice and the promotion of rights Containing multiple results The state improves its delivery of services and its protection of rightswith the involvement of civil society and in compliance with its international commitments

Формулировки результатов - типичные ошибки Многословие (и слабая ориентированность на описание предполагаемых конкретных изменений) Поддержка справедливого экономического развития и демократического управления в соответствии с международными нормами путем усиления национального потенциала на всех уровнях, расширения возможностей граждан и расширения их участия в процессах принятия решений Слишком масштабные Укрепление верховенства закона, равный доступ к правосудию и поощрение прав граждан Содержат несколько результатов Повышение качества предоставления государственных услуг и защиты прав граждан - с участием гражданского общества и в соответствии с международными обязательствами

Typical pitfalls Wishy-washy, not a result Support to institutional capacity building for improved governance So general, they could mean anything To promote sustainable development and increase capacity at municipal level Overlapping with National goals/ MDGs (impacts) Substantially reduce the level of poverty and income inequality in accordance with the MDGs and PRSP Confusing means and ends Strengthen the protection of natural resources through the creation of an enabling environment that promotes sound resources management

Типичные ошибки Расплывчатая формулировка, не результат Поддержка укрепления институционального потенциала для повышения качества государственного управления Результат сформулирован настолько обтекаемо, что может означать все что угодно Поддержка устойчивого развития и укрепление потенциала на муниципальном уровне Дублирует национальные цели развития/ЦРТ Существенное снижение уровня бедности и неравенства доходов в соответствии с ЦРТ и программой PRSP Смешение целей и средств Усиление охраны природных ресурсов за счет создания благоприятной среды, обеспечивающей рациональное управление ресурсами

Indicator A way to measure a result with the intention of gauging the performance of a programme – Specifies what is to be measured – Qualitative or Quantitative – Does not indicate direction or change (i.e. a target) – Must have a baseline and target to be made meaningful – Can be verified, objectively

Индикатор (Indicator) Способ измерения результата с целью оценки эффективности программы – Указывает на объект измерения – Качественный или количественный – Не указывает на направление или характер конкретных изменений (целевой показатель) – Предполагает наличие базового и целевого значения (что определяет его пригодность для использования) – Поддается объективной проверке

Baseline, Target, MoV Baseline – The status of the indicator at the beginning of a programme… a reference point to assess progress Target – The expected achievement (quantitative or qualitative) by the end of the programme or period Means of Verification (MoV) – The sources of information that inform baselines and measure targets.

Исходное и целевое значения, способ проверки Исходное значение (Baseline) – Состояние (значение) индикатора на начало программы... исходная точка для оценки прогресса Целевой показатель (Target) – Ожидаемые достижения (количественные или качественные) к моменту завершения программы или периода Метод проверки (Means of Verification / MoV) – Источники, служащие основой для оценки исходных значений и измерения целевых показателей.

Baseline, Target and Achievement Baseline Commitment Current Level of Achievement Performance Actual Achievement At end of period Target Planned Level of Achievement

Исходная ситуация, целевой показатель и достижения Исходный уровень (baseline) Обязательство Фактически достигнутый уровень на данный момент Достижения (achievement) Показатели деятельности Фактические достижения на конец периода Целевой показатель (target) Ожидаемые достижения

Types of Indicators Quantitative statistical measures: Number of Frequency of % of Ratio of Variance with Qualitative judgments or perceptions: Alignment with Presence of Quality of Extent of Level of

Типы индикаторов (indicators) Количественные статистические показатели Количество Частота Процентная доля Соотношение Отклонение Качественные суждения или представления Соотнесенность: Наличие Качество Степень выраженности Уровень

How to develop good indicators Factors to consider: – Validity – Balance – Sensitivity – Practicality – Equality – Ownership – Clarity

Разработка подходящих индикаторов Критерии: – Валидность – Сбалансированность – Чувствительность – Практичность – Равенство – Контроль – Четкость

Good example Governance and Education - PNG ( ) Outcome: National and selected Provincial Parliaments function more effectively and carry out their legislative and oversight roles - N o. users (MPs, committees, researchers) of services provided by Parliamentary Services (legal, research, library etc.); - Quantity and Quality of Legislation prepared and approved. Outcome: By 2012, girls will experience fewer inequalities attending school - A National plan and budget to implement the girls education policy; - No. of Child Friendly Schools in programe areas - No. of teachers trained to provide counselling; - % increase in girls enrolment and retention in programme areas

Хороший пример Государственное управление и образование - Папуа-Новая Гвинея ( ) Результат (outcome) : Национальный парламент и законодательные собрания отдельных провинций функционируют более эффективно и обеспечивают выполнение своих законотворческих и надзорных функций. - Число пользователей (депутаты, комиссии, исследователи) услуг, предоставляемых парламентскими службами (правовыми, исследовательскими, библиотечных, и т.п.); - Количество и качество подготовленных и утвержденных актов законодательства. Результат (outcome) : К 2012 году девочки будут реже сталкиваться с проявлениями неравенства в охвате школьным образованием - Наличие национального плана и бюджета на реализацию политики в области образования для девочек Количество школ, дружественных к ребенку, в программных регионах Число учителей, обученных навыкам психологического консультирования; % увеличения охвата и удержания девочек в школьном образовании программных регионов

Assumption A necessary condition for the achievement of results at different levels Part of the cause-effect logic Stated as though it is actually the case Often very un-predictable at higher levels Can help identify additional results or outputs If outputs have been delivered, and assumptions hold true, outcome will be achieved

Предположение (Assumption) Необходимое условие для достижения результатов на различных уровнях Часть логической цепочки причин и следствий Формулируются как истины Часто непредсказуемы на более высоких уровнях Способны помочь в формулировании дополнительных результатов и выходов Обеспечение выходов и истинность допущений гарантируют достижение результата

Risk A potential event or occurrence beyond the control of the programme that could negatively affect the achievement of the desired results A threat to success Not just the negative of an assumption A trigger for reconsideration of strategic direction. Consider… - Strategic, Environmental, Financial, Operational, Organisational, Political, Regulatory…

Риск (Risk) Потенциальное событие или происшествие, находящееся вне сферы контроля программы, способное негативно сказаться на достижении заявленных результатов Угроза для успеха Не просто негативная формулировка предположения Сигнал для пересмотра стратегического направления. Возможные виды рисков... - Стратегические, экологические, финансовые, операционные, организационные, политические, регуляторные...

Results Matrix

Матрица результатов (Results Matrix) Детализированная таблица результатов Рамочной программы ООН Национальные приоритеты в области развития: Результаты (Outcomes) перечислить задействованны е агентства ООН по каждому результату и указать головное агентство по данному результату Индикаторы и целевые показатели (Indicators and targets) все индикаторы должны содержать данные (описание) исходного и целевого уровней Исходные данные (Baseline) Метод провер ки (MoV) Риски и предполо жения (Risks and Assumptions) Роль партнер ов описать вклад партнеров вне системы ООН Ориентировочные потребности и источники ресурсного обеспечения [оценить требуемый объем финансовых ресурсов для реализации системой ООН вклада в достижение заявленного результата и оценочный объем финансового вклада каждого агентства в достижение заявленного результата как из основного бюджета, так и из других источников Необязательный пункт: указание объема финансового вклада или совместного финансирования со стороны Правительства

Example: Indicators, Baseline, Target and MoV Output: 800 teachers in Belem Province can deliver the new curriculum effectively Outcome: By 2007, more girls in Belem Province enjoy a quality, basic education Indicator: Net enrolment ratio (M; F) Baseline: F:45% Target: F: 75% - % Improvement in school test scores Source of Data -MICS (survey) -Annual school test scores report Indicator: # Teachers with new certification Baseline: 0 Target: 800 -Teacher proficiency reports -Improvement in school satisfaction ratings Source of Data: - MECYS EMIS -School satisfaction surveys

Пример: Индикаторы, исходные показатели, Цель и способы проверки Выход (output) : 800 учителей в провинции Белем готовы к эффективному преподаванию по новой программе Результат (outcome) : К 2007 году больше девочек в провинции Белем получают качественное базовое образование Индикатор (indicator ): Чистый коэффициент охвата (M; Ж) Исходный показатель ( baseline ): Ж:45% Целевой показатель ( target ): Ж: 75% - % улучшения баллов, полученных по школьным тестам Источник данных -MICS (опросы) -Годовые отчеты о результатах тестирования Индикатор (indicator) : # учителей – обладателей нового сертификата Исходный показатель ( baseline ): 0 Целевой показатель ( target ): 800 -Отчеты о подготовленности учителей -Улучшение показателей удовлетворенности школьным образованием Источник данных: - MECYS EMIS -Опросы об удовлетворенн ости школьным образованием