ПРИМЕНЕНИЕ ПОДХОДА НА ЛОГИЧЕСКОЙ ОСНОВЕ В ПРОЦЕССЕ ОЦЕНКИ МОДУЛЬ 7.1. - презентация

1 ПРИМЕНЕНИЕ ПОДХОДА НА ЛОГИЧЕСКОЙ ОСНОВЕ В ПРОЦЕССЕ ОЦЕНКИ МОДУЛЬ 7.1

2 Логическая основа ВкладыПродукты/ Первичные результаты Мероприятия Участие Результаты - Воздействие Краткосрочные Среднесрочные Долгосрочные situacia prioritetebi Во что инвестируем Персонал Добровольцы Время Деньги Исследовательс кая база Материалы Оснащение Технология Партнеры Что делаем Рабочие встречи Предоставление сервисов Производство учебных планов, ресурсов и другим продуктов Тренинг Консультации Оценка Фасилитация Партнерство Сотрудничество с СМИ Кого вовлекаем в процесс Заказчики Клиентура Организации Принимающие решения Потребители Каких кратко- срочных результатов ожидаем Образование Сознание Знание Навыки Мнения Стремления Мотивация Каких средне- срочных результатов ожидаем Действие Поведение Практика Принятие решения Политики Социальная активность Каких долго- срочных воздействий ожидаем Условия Социальные Экономические Гражданские Среда ДопущенияВнешние факторы Ситуация приоритеты Source: Enhancing Program Performance with Logic Models (online course). Available at

3 СИТУАЦИЯ «Ситуация» является фундаментом логической основы. Если ситуацию воспримем неправильно и произведем неправильную диагностику проблем, все, что за этим последует, соответственно, будет неправильным Выделите больше времени для глубинного анализа ситуации и проблем. Это может быть самым важным этапом. Как только решите, подумайте о следующих вопросах: В чем состоит проблема? Почему наступила проблема? (Что ее вызвало?) Кто является причиной (индивид, семья, группа, община, общество)? Кто участвует в ней? (Кто интересуется в ее решении или нерешенности) Что мы знаем о людях, вовлеченных в проблему? Какие исследования и информация доступны нам, и какой у нас имеется опыт? Что нам говорят исследования и опыт?

4 ПРИОРИТЕТЫ После описания ситуации возможно определить приоритеты Невозможно сделать все, соответственно, необходимо установить приоритеты, на что повлияют следующие несколько факторов: ваша миссия, ценности, ресурсы, опыт, экспертиза, история, что вам известно о ситуации и что делают другие участники в связи с этой проблемой В процессе определения приоритетов также подумайте о следующем: Какими критериями воспользуетесь для определения приоритетов ? Кто будет вам помогать? Каким образом? Определение приоритетов ведёт к определению желаемых результатов

5 ДОПУЩЕНИЯ Допущения являются представлением о программе и вовлеченных в ней людях, и о том, каким образом нам представляется осуществление программы В этом случае мы ведем речь о «теории»: теоретическое основание будущем программы, которое в дальнейшем подтверждаются на основании исследований и опыта. Допущения оказывают воздействие на принятых нами решениях. Допущения подразумевают принципы, представления, мнения по следующим вопросам: 1. ситуация и проблема, 2. ресурсы и персонал, 3. осуществление программы, 4. желательные результаты, 5. опыт и знания, 6. внешний контекст, 7. внутренняя среда, 8. участники: их информированность, мотивация и т.д.

6 РасходыПродукты Активности- участие Результаты - воздействие Краткосрочные Среднесрочные Долгосрочные Персонал Деньги Партнеры Создание учебного плана для работников центра профессиональн ой ориентации Проведение 6 интерактивны х тренингов и раздача соответствую щих материалов Присутстви е работников на тренингах Повышение знаний у работников о методах профессионал ьной ориентации Работники получают новые навыки Работники применяют новые навыки в работе Сокращение количества учащихся, меняющих специальность Figure 1

7 ВНЕШНИЕ ФАКТОРЫ Существует множество внешних факторов, которые могут иметь воздействие на успех программы Во внешних факторах подразумеваются культура, климат, экономическая конъюнктура, демография, политическая среда, опыт участников программы, переменная политика и приоритеты Эти факторы могут иметь решающее влияние на достижение желательных результатов. Они могут подействовать на многие аспекты программы, включая следующее: Осуществление программы Участники и бенефициары Скорость и степень изменений Персонал и ресурсы Эти факторы двусторонним образом взаимодействуют с программой, так как не только они воздействуют на программу, но и программа оказывает на них воздействие.

8 КАКИМ ОБРАЗОМ ПОМОЖЕТ НАМ В ОЦЕНКЕ ЛОГИЧЕСКАЯ ОСНОВА Вложение ресурсов в плохо спланированную программу - в результате плохое использование ресурсов. Посредством логических моделей возможно улучшить планирование, соответственно повысить пользу и эффективности оценки Расходование ресурсов на оценку программы, которая не готова к оценке, или ещё не осуществляется, является также плохим использованием ресурсов. Посредством логической модели можем определить, готова ли программа к оценке, какая информация пригодится нам и когда выгоднее всего собирать информацию Для оценки теоретической стороны программы необходимо сформулировать теоретическую основу программы (Вайс, 1998). Логическая основа обеспечивает эту теоретическую основу.

9 ПОДРОБНЫЙ ПЛАН ОЦЕНКИ Подробный план оценки состоит из 5 основных аспектов 1.Фокус 2.Вопросы Определите соответствующие вопросы для оценки 3. Индикаторы Выясните, какую информацию необходимо собрать 4. Время Определите, когда должны собирать информацию 5.Сбор информации Установите источники сбора информации, методы, выбор участников, инструменты

10 ЧТО ОЦЕНИВАЕМ – ФОКУС (1) Логическая модель описывает программу. Одна из самых больших преимуществ логической модели состоит в том, что она помогает в более четком восприятии программы. Восприятие содержания программы является первой важнейшей ступенью для оценок всех видов. Что конкретно желаете оценить? Всю программу или только ее конкретный компонент? Может хотите оценить какую-либо из конкретных целевых групп? Зачастую программы носят очень комплексный характер. У вас может не оказаться достаточных ресурсов для проверки всего. В результате применения Логической модели вы сможете выбрать для оценки конкретный аспект, уровень, компонент или часть программы

11 ВОПРОСЫ (2) Проверка и оценка чего является важной? На оценку чего вы потратите время и ресурсы? Невозможно проверить и оценить все. Лучше дать исчерпывающий ответ на несколько вопросов, чем дать скудные ответы на многие вопросы. Часто процесс оценки очень осложняется. Постоянно чувствуем потребность все в большей и большей информации. Необходимо сохранить фокусировку и простоту процесса. В противном случае, в конечном итоге получим работу в большом объеме, с менее полезной информацией и неясными переменными Наше решение по поводу того, что будем измерять/оценивать, обусловлено временем, финансовыми ресурсами и экспертизой Решение также зависит от того, кто будет применять в дальнейшем результаты оценки и с какой целью Помните! Оценка должна соответствовать программе и стадии ее осуществления Например: Было бы нецелесообразным оценивать какие-либо поведенческие изменения в рамках той программы, которая состоит лишь из одной рабочей встречи или из маломасштабных медиа-инициатив. Было бы нецелесообразным оценивать изменения социальных норм за первый же год многолетней программы.

12 Кто что желает знать? Каким образом будет использована информация? Кто может воспользоваться результатами оценки Что они желают знать Каким образом/для чего используют результаты Персонал программы Насколько эффективно работала программа с целевыми группами/индивидами программы? Насколько успешной является программа? Подотчетность перед поставщиками финансовых ресурсов Изменение стратегии в случае ее неуспеха Участники Какую пользу получают участники? Мое, как участника, положение чем лучше положения других? Предоставление информации о программе другим для продолжения участия Государственные служащие Достигает ли программа намеченных целей? Кто являются партнерами? Кто получает пользу? Оправдывает сделанные расходы? Принятие решения о поддержке Принятие информированных решений, изучение того, что оправдывает и что не оправдывает Партнеры Чувствуются или нет соответствующие изменения среди участников? Почему? Почему нет? Удовлетворены ли они? Что получаем мы, партнеры? Выполняют ли все партнеры свои обязательства? Принятие решения о продолжении партнерства и о сути сотрудничества Доноры Выполняет ли персонал программы то, что им поручено? Оправдывает ли программа сделанные расходы? Принятие решения о финансировании Принятие информированных грантовых решений в будущем Source: Enhancing Program Performance with Logic Models (online course). Available at

13 Ситуация Приоритеты РасходыПродукты Активность Участие Результаты - Воздействие Краткосрочный Среднесрочный Долгосрочный Персонал Деньги Партнеры Создание учебного плана для работников центра профессиональной ориентации Проведение 6 интерактивных тренингов и раздача соответствующих материалов Присутствие работников на тренингах Повышение знаний у работников о методах профессионально й ориентации Работники получают новые навыки Работники применяют новые навыки в работе Сокращение количества учащихся, меняющих специальность Основные вопросы, подлежащие оценке Достаточно ли было ресурсов Был ли разработан учебный план? Были ли проведены все шесть тренингов? Насколько хорошо? Присутствовали ли все желательные участники? Кто отсутствовал? Присутствовали ли не всех шести тренингах, почему, почем у нет? Вырос ли уровень знаний? Изучили ли новые методы? Что еще произошло? Используют ли работники полученные знания и навыки? Что в результате происходит? Какую пользу принесло обучение этим навыкам? Снизился ли показатель? Выполнили ли мы намеченные цели? Правильные ли допущения были сделаны? Присутствие участников такое, как мы ожидали? Находит ли теоретическое образование какое-либо практическое применение? Совпали ли с активностями программы какие-либо местные мероприятия, в связи с чем работники отсутствовали на семинарах?

14 ЧЕТЫРЕ ОСНОВНЫХ ВИДА ОЦЕНКИ Оценка потребностей Анализ потребностей, связанных с осуществлением программы (сравнение необходимого и желательного) или определением приоритетов (например, необходимо ли выделить больше ресурсов для профессионального развития учителей?) Оценка процесса оценивает ход/осуществление программы. Оценивается содержание программы, процесс работы, ее целевые группы и т.д. (например, получили ли мы желательный уровень вовлеченности от участников программы?) Оценка результатов оценивает достигнутые программой результаты и их последствия для людей (например, повышение знаний, изменение в настроениях, поведение и т.д.) Оценка воздействия оценка эффекта программы кроме достигнутых программой результатов. Зачастую происходит сравнение реальности, наступившей после осуществления программы с альтернативной реальностью, которая могла бы наступить без осуществления программы (например, показатели образования и занятости среди этнических меньшинств, отношение к интеграции)

15 ПРЕДПОЛОЖИТЕЛЬНЫЕ ВОПРОСЫ, СВЯЗАННЫЕ С ПОТРЕБНОСТЯМИ Кто в чем нуждается? Какова острота потребности/интереса – кто? Какие существуют в настоящее время возможности для удовлетворения этих потребностей? Какие изменения считает общество возможными и важными? Что нам говорят опыт/исследования об этих потребностях? Существует ли достаточно политической поддержки вокруг этих потребностей? Каким образом были идентифицированы эти потребности – кого мы выслушали и кого нет? На какие допущения опираемся?

16 ПРЕДПОЛОЖИТЕЛЬНЫЕ ВОПРОСЫ, СВЯЗАННЫЕ С ПРОЦЕССОМ Из каких компонентов состоит программа? Насколько эффективна ее структура? Кого программа достигает? Как это согласуется с тем, кто целевые группы программы? Кто в каких мероприятиях участвует? Кто не участвует? В равно ли мере мероприятия доступны для всех? Какие стратегии обучения/изучения используются? Что работает и для кого? Насколько продуктивно работает персонал? Как работает программа? Какие внутренние программные и организационные факторы воздействуют на деятельность программы? Какие ресурсы были инвестированы? Достаточно ли их? Сколько добровольцев участвуют? Чем они занимаются? Сильные стороны их участия? Слабости? Какие мероприятия более эффективны для каких участников? Во сколько обходится программе производство/предоставление каждой единицы продукта/обслуживания? Каков уровень удовлетворенности участников, общины, добровольцев, партнеров и доноров? Насколько следует программа установленному плану? Почему? Почему нет? Сделали ли мы правильные допущения по программному процессу? Какие внешние факторы воздействуют на осуществление программы?

17 ПРЕДПОЛОЖИТЕЛЬНЫЕ ВОПРОСЫ ПО РЕЗУЛЬТАТАМ Какие реальные изменения производит программа? Насколько успешной была программа? В чём конкретно, для кого? Кто получил пользу и каким образом? Как обучения, действия и/или в целом какие условия изменились/улучшились в результате программы? Какой ценой? Достигли ли мы того, что обещали? Чего не смогли достичь? Какие, если есть незапланированные или негативные последствия? Что мы узнали?

18 ПРЕДПОЛОЖИТЕЛЬНЫЕ ВОПРОСЫ ПО ВОЗДЕЙСТВИЮ Какие реальные изменения производит программа? Насколько успешной была программа? В чём конкретно, для кого? Кто получил пользу и каким образом? Как обучения, действия и/или в целом какие условия изменились/улучшились в результате программы? Какой ценой? Достигли ли мы того, что обещали? Чего не смогли достичь? Какие, если есть незапланированные или негативные последствия? Что мы узнали? Каков был чистый эффект/воздействие программы? (все изменения минус то, что и без того изменилось бы)

19 КАКИМ ОБРАЗОМ СООТВЕТСТВУЕТ ВСЕ ЭТО ЛОГИЧЕСКОЙ ОСНОВЕ Процесс Вклады Продукты Мероприятия Участие Результаты - Воздействие Краткосрочные Среднесрочные Долгосрочные situacia prioritetebi Допущения Внешние факторы Результаты Воздействие Потребности Ситуация приоритеты удовлетворённость Source: Enhancing Program Performance with Logic Models (online course). Available at

20 Как вы узнаете? Индикаторы Си туа ци я Пр ио ри тет ы РасходыПродукты Активность Участие Результаты - Воздействие Краткосрочный Среднесрочный Долгосрочный Персонал Деньги Партнеры Создание учебного плана для работников центра профессиональной ориентации Проведение 6 интерактивных тренингов и раздача соответствующих материалов Присутствие работников на тренингах Повышение знаний у работников о методах профессионально й ориентации Работники получают новые навыки Работники применяют новые навыки в работе Сокращение количества учащихся, меняющих специальность Основные вопросы, подлежащие оценке Достаточно ли было ресурсов Был ли разработан учебный план? Были ли проведены все шесть тренингов? Насколько хорошо? Присутствовали ли все желательные участники? Кто отсутствовал? Присутствовали ли на всех 6 тренингах, почему нет? Вырос ли уровень знаний? Изучили ли новые методы? Что еще произошло? Используют ли работники полученные знания и навыки? Что в результате происходит? Какую пользу принесло обучение этим навыкам? Снизился ли показатель? Выполнили ли мы намеченные цели? Индикаторы Персонал # Расходы # Партнеры # Когда осуществлено? Учебный план Проведенные сессии # Количество присутствовавших на каждой сессии #, % сертификаты... Знание получено #, % Дополнительные результаты #, % тех участников, которые пользуются полученными знаниями на практике Подотчетные изменения #, % учащихся меняющих специальность до тренинга и после него

21 ПОДБОР ЗНАЧИМЫХ ИНДИКАТОРОВ Некоторые индикаторы могут быть очень простыми и прямыми. Иногда даже одного индикатора может быть достаточно для всего процесса. Например, показатель окончания школы, в целом, принятый индикатор для программ, направленных на сокращение отчисления из школ. В других случаях может быть необходимо использование нескольких индикаторов. Подбор индикаторов требует много времени и размышлений. Постоянно просматривайте и усовершенствуйте индикаторы, пока они абсолютно точно не отразят интересные для нас аспекты. Подключение главных представителей заинтересованных сторон к подбору индикаторов также поможет в подборе значимых индикаторов

22 ВРЕМЯ (4) Дополнительным преимуществом Логической модели является то, что она помогает нам определить, КОГДА более целесообразно собирать информацию. Информацию можно собирать в различные отрезки времени: 1.Базовая информация 2.В начале программы – определенная активность/мероприятие 3.В процессе осуществления 4.В конце программы – после определенной активности/мероприятия 5.Ежемесячно, ежеквартально, ежегодно 6.Дальнейшее слежение: когда?

23 КОГДА СОБИРАТЬ ИНФОРМАЦИЮ В процессе пересмотра/усовершенствования плана оценки, учтите следующие три модели сбора информации: Постфактум (после завершения программы) В этом случае сбор информации происходит сразу после завершения программы; Например, постпрограммный опрос, или заключительный вопросник сессии. Модель часто применяется на практике, но является менее надежным источником, так как мы не знаем, какова была ситуация до осуществления программы Ретроспективный (после завершения программы) В этом случае участникам поручается вспомнить их положение, знания, отношения и т.д. до начала программы, но в некоторых случаях память может изменять участнику, соответственно, является менее надежным До и после (до начала программы и после ее завершения) Происходит оценка ситуации до начала программы и после ее завершения. Часто используется для оценки изменений, произошедших в двух отрезках времени в образовательных программах. Но в этих отрезках времени на эти изменения могут подействовать и многие другие факторы.

24 КОГДА СОБИРАТЬ ИНФОРМАЦИЮ (ПРОДОЛЖЕНИЕ) В процессе (сбор дополнительной информации в процессе осуществления программы) В процессе хода программы проведение сбора информации несколько раз предоставляет нам возможность связать программные мероприятия с наступившими результатами. Информацию можно собирать как по программным активностям, так и по прогрессу участников программы. Эта модель используется сравнительно редко в локальных проектах и оценках, как предполагается, из-за того, что требует много времени и ресурсов Временные серии (несколько раз до начала программы и после ее завершения) Временные серии подразумевают серии оценок с определенными интервалами, до начала программ и после их завершения. Помогает нам лучше описать ситуацию и тенденции изменений до и после. Обеспечивает выделение другого дополнительного воздействия от изменений, наступивших в результате программы Исследование отдельных примеров Использует многие источники информации и предлагает нам глубинный и детальный анализ программы. Его главное преимущество состоит в детальности и исчерпываемости анализа.

25 УЛУЧШЕНИЕ МОДЕЛЕЙ СБОРА ИНФОРМАЦИИ Для улучшения вышеупомянутых моделей используйте сравнения (индивидов, групп, мест) Укрепить вышеупомянутые модели, ориентированные на одну группу, можно добавлением сравнений – с другими группами, индивидами или местами. Сравнение группы происходит не с выбранной по принципу случайного подбора группой, а с группой, являющейся членом той же общины/общества (при случайном подборе они называются контрольными группами). Целью сравнений является подтвердить, что достигнутое воздействие/изменение наступили на самом деле в результате программы, а не из-за других внешних факторов. Для сравнения необходимо выбрать группу, похожую на целевую группу. Также учтите возможности вследствие сравнений: Между участниками программы (индивиды, группы, организации, а не между неучастниками; Между различными группами и индивидуальными участниками, которые в различной интенсивности участвуют в программе Сравнение целевых мест программы и тех мест, в которых программа не осуществляется (например, между теми школами, в которых осуществляется программы многоязычного образования и теми школами, в которых такие программы не осуществляется)

26 ЗАКЛЮЧЕНИЕ Попытайтесь сохранить прямоту и простоту процесса оценки. Фокусировка на том, что нам нужно знать, кто воспользуется этим и для чего, поможет вам лучше провести процесс и получить пользу Модель Логической основы является не моделью оценки, а рабочим процессом и структурой. Логическая основа помогает нам в более эффективном проведении оценки: Помогает определить точно, что нам нужно оценивать Помогает в подборе правильных вопросов для оценки вытекающих из программы Помогает определить, какую информацию нужно собрать, чтобы ответить на эти вопросы (индикаторы) Определить, когда лучше всего собирать информацию Определить источники информации, методы и инструменты