Что происходит с оценкой программ в мире и в нашей стране? И с оценкой программ и проектов с участием детей Владимир Балакирев

Оценка программ в мире, общее Дискуссии о том, зачем нужна оценка программ в прошлом Оценка программ сложилась и востребована как самостоятельная профессиональная область (имеются все основные признаки профессии). Становление в качестве полноценной профессии и научной дисциплины. Формирование и расширение перечня компетенций. Первый опыт внедрения системы сертификации специалистов на национальном уровне (Канада). В мире есть и доступно огромное количество методических материалов и результатов оценки программ, в т.ч. и на русском языке (не огромное) Существуют общепризнанные (разделяемые большинством) инструменты разработки программ и проектов и оценки

Оценка программ в мире, частное Прагматический подход к выбору методов оценки. Использование смешанных методов. Дискуссия о том, как оценить влияние программы и, в частности, допустимо ли использование других подходов кроме экспериментального. Использование системного подхода при проведении оценки. Использование современных технологий (интернет, мобильная связь, планшеты, специализированное программное обеспечение). Развитие экспертной, индикаторной и эмпирической оценок в отдельных доменах. Расширение границ дисциплины, заход в смежные дисциплины. Международный год оценки. Создание систем коллективного измерения, синхронизация подходов к измерению результатов между различными игроками, унификация подходов… Интегрирование оценки в управление программой. Оценка на всех стадиях жизненного цикла программы. Развивающая оценка.

Россия. Возможности для разработки социальных проектов и программ Приняты государственные решения на федеральном уровне относительно разработки государственных проектов и программ и их оценивания Стандарты управления проектом доступны для желающих их понять, принять и освоить Доступны к освоению инструменты и технологии разработки и управления социальными программами Имеется достаточно большое количество специалистов с опытом разработки и реализации программ и проектов, выстроенных в соответствии с принципами проектного подхода в управлении Современные технологии и методы работы с детьми все-таки потихоньку распространяются и внедряются

Россия. Препятствия в разработке социальных проектов и программ Слабость анализа проблемных ситуаций, неадекватно определение проблем, на решение которых будет направлена программная деятельность. (Разрывы в развитии гуманитарных наук, слабая интеграция в современное научное знание, политизированность тематики, отыгрывание моральных паник …) Имеющиеся разработки, описания ситуации, результаты анализа не становятся источником для разработки программ и даже не обсуждаются Тотальное недоверие даже к имеющимся источникам информации о реальных ситуациях Ошибки в технологии разработки проектов и программ (ложные цели, неоправданное стремление добиваться снижения финансовых затрат…) Заказчики госпрограмм имеются, управляющих и ответственных за реализацию нет Содержание программ часто отражают потребности учреждений и специалистов, а не потребности детей и их семей

Оценка программ в России Оценка программ и проектов пока не воспринимается как особая область знания и профессиональная сфера деятельности. Подавляющее большинство людей, занятых разработкой и осуществлением программ и проектов, не представляет, насколько развита оценка программ и проектов за рубежом, слабо знакомо даже с ее основами и с базовыми публикациями. Рынок оценки программ и проектов очень ограничен. Специализация в области оценки программ весьма проблематична. Число специалистов, владеющих методами оценки и имеющих практический опыт проведения оценки программ и проектов, относительно невелико и растет медленно. Оценка программ и проектов в государственном секторе не является приоритетом. Основное внимание уделяется формированию систем оценки эффективности и результативности деятельности различных учреждений социальной сферы (образование, наука, культура, социальная помощь, здравоохранение). Из трех видов оценки (экспертная, индикаторная, эмпирическая) принимаются во внимание преимущественно экспертная и индикаторная. Эмпирическая используется преимущественно негосударственными организациями: благотворительными фондами, некоммерческими организациями, и бизнесом (для оценки социальных программ).

Оценка программ в России Есть несколько сотен специалистов, интересующихся оценкой программ, в той или иной мере занимающихся оценкой программ и это в основном мир НКО. В стране формируется сообщество людей, занятых оценкой или интересующихся оценкой программ и проектов. Предпринимаются первые систематические шаги по распространению информации об оценке программ на русском языке: статьи, книги, дайджесты, пособия, блоги, сайты. Нет систематического обучения (то, что есть – почти ничего) Нет согласия по основным понятиям, методам и технологиям, споры о них остры и небезопасны для участников (при этом спорят только те, кто заинтересован в оценке) Проблемы и опыт внедрения оценки программ в практику НКО похожи на опыт американских НКО (2010 г. Innovation Network, перевод на русский язык Evolution & Philanthropy), кроме: государственные доноры не являются заказчиком оценки

Примеры, которые должны были быть решены на основе данных оценки, но … Оценка результатов внедрения курсов Основы религиозных культур и светской этики Результаты внедрения ЕГЭ Оценка внедрения так называемых образовательных стандартов нового поколения Оценка результатов национального проекта в сфере образования Региональные программы, направленные на развитие института замещающих родителей Лидерами будут частные фонды

Включение детей в оценку программы Включение детей в определение индикаторов? Какие преимущества получат дети от участия в оценке? Каковы издержки и риски участия детей в оценке? Согласны ли дети участвовать в оценке и в какой мере они свободны в том, чтобы отказаться от участия? Знают ли они о том, что могут отказаться участвовать в любой момент? Знают ли они почему мы оцениваем этот проект? Известен ли им график проведения оценки, место и время встреч? Были ли дети включены в разработку оценки? А были ли в принципе дети включены в этот проект? Знают ли они, как будут использованы результаты? Буду ли они проинформированы об основных выводах? Кто будет их информировать об основных выводах? Чему дети научатся в ходе оценки? Что взрослые узнают о детях в данном проекте? В какой мере группа репрезентативная или является информированной о проекте? Есть ли исключенные группы и насколько это правильно для них и для оценки? Будут ли дети радоваться оценке? Как долго следует соблюдать конфиденциальность информации? CHECKLIST FOR EVALUATING WITH CHILDREN (Grazyna Bonati)

Новые подходы в оценке детских программ Разработка программ с участием детей как принцип начинает доминировать в мире. Перенос подхода « с участием» в область оценки – участие молодежи и детей в проведении оценки (Детские деревни СОС в России) ОАШ в Воронеже – оценка потребностей местного сообщества. Проект в Новокузнецке Активное вовлечение детей в оценку, American Evaluation Association – тематическое группа, суждение о детской программы невозможно без участия детей в формировании оценочных выводов. Учебный курс Детского Фонда ООН (UNICEF)