ВЕБИНАР «Региональный опыт построения системы оценки качества образования» Кейс Чувашской Республики 16 марта 2012 года Российский тренинговый центр Института управления образованием РАО Сергей Анатольевич Боченков, эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары

Что включает в себя РСОКО Чувашии? Какие процедуры оценки используются в практике региона? Кто является заказчиком конкретных оценочных процедур? Какие организации участвуют в работах по ОКО? Каким образом проводится анализ данных конкретных оценочных процедур? Для принятия каких решений используются результаты оценочных процедур? Главные уроки построения РСОКО. Структура кейса о РСОКО Чувашии: 3 1 Подборка материалов про РСОКО Чувашии см. здесь: /116882/116884/

Чувашская Республика Площадь: км² (0,11% от РФ, 74 место в РФ) Численность: чел. (0,88% от РФ, 41 место в РФ) Национальный состав Число школ Чуваши 67,69% 313 (63,0%) школ с чувашским языком обучения Русские 26,53% 166 (33,0%) школ с русским языком обучения Татары 2,77% 14 (3,0%) школ с татарским языком обучения Мордва 1,22% 5 (1,0%) школ с мордовским языком обучения Украинцы 0,49% Марийцы 0,27% (по результатам переписи населения, октябрь 2010 г.) 439 ДОУ 55 тыс. детей 498 школ (47 – начальных, 131 – основных, 303 – средних, 17 – коррекционных) 127,4 тыс. детей 26 учреждений высшего (с филиалами) 27 среднего, 17 начального профобразования 97 тыс. обучающихся Во всех школах с русским языком обучения, а также в школах, где изучается татарский и мордовский языки, учащиеся 1–9 классах изучают чувашский язык как государственный, чувашскую литературу на русском языке – в 10–11 классах. 1

- Комплекс оценочных процедур должен охватывать максимальное число характеристик качества, которыми можно управлять. - Приоритет реального положения дел, проблема поиска процедур и индикаторов отражающих реальные процессы. - Решения принимаются на основе результатов оценки. - Управление интуитивное, векторы стратегии и тактики не согласованны между собой. - Оценочные процедуры должны показывать положительную динамику в системе координат поставленных задач. - Принятие управленческих решений по отбору и коррекции значений значимых показателей. Принятие управленческих решений на основе результатов оценочных процедур Подтверждение результатами оценочных процедур верности уже принятых управленческих решений Для чего формируется РСОКО? Цель республиканской системы оценки качества образования Чувашской Республики заключается в осуществлении оценки качества образования для формирования информационной основы принятия управленческих решений, обеспечивающих удовлетворение образовательных потребностей граждан, поступательное движение системы образования, обеспечение социально-экономического развития республики (из Положения о РСОКО Чувашской Республики 1

Региональная система оценки качества образования Чувашии Органы управления образованием Государственные структуры, органы управления образованием Бизнес-структуры Индивидуальные достижения обучающихся Личность, семья, гражданские институты Образовательные программы Образовательные учреждения задач 1

Основные блоки для проектирования РСОКО: Перечень запросов о качестве образования от потенциальных заказчиков (перечень возможных интересов) Перечень продуктов, отвечающих заказчикам на запросы о качестве образования Перечень полномочий и функций по оценке качества образования Организационно- управленческая модель Методическое обеспечение РСОКО Материально-техническое обеспечение Кадровое обеспечение РСОКО Финансовое обеспечение РСОКО Нормативно- правовое обеспечение РСОКО Информационно- технологическое обеспечение РСОКО Организационно- техническое обеспечение РСОКО Структура характеристик (показателей) качества образования Приоритеты образовательной политики Зоны ответственности за характеристики качества образования ДОРОЖНАЯ КАРТА - план создания и апробации организационных систем и технологий оценки качества образования ДОРОЖНАЯ КАРТА - план создания и апробации организационных систем и технологий оценки качества образования БЛОК 1 БЛОК 2 БЛОК 3 БЛОК 5 БЛОК 4 БЛОК 6 1

Что уже сделано в системе образования Чувашской Республики для организации информационного обеспечения принятия управленческих решений? Развитие региональной системы оценки качества образования (РСОКО) Развитие региональной системы оценки качества образования (РСОКО) – направление КПМО Модернизация системы мониторинга и статистики образования - в рамках проекта «Реформа системы образования» Создание эффективной системы мониторинга, статистики и оценки качества образования, организация исследований развития системы образования - Республиканская целевая программа развития образования Внедрение в систему образования эффективных механизмов оценки качества и востребованности образовательных услуг- государственная программа «Образование и развитие инновационной экономики: внедрение современной модели образования в годы» Закреплено понятие «качество образования» и составлен перечень отслеживаемых тенденций. Сформирована нормативно-правовая база РСОКО, включающая положение, регламенты и др. нормативные документы. Принята структура характеристик (показателей) качества образования на региональном уровне. Определены зоны ответственности за показатели качества образования на республиканском, муниципальном и школьном уровнях управления. Разработана циклограмма обновления значений ключевых показателей качества образования и методика их расчёта. Формируется каркас внешних оценочных процедур качества образования. Реализуется ряд оценочных процедур и электронных мониторингов. Определяются параллели между форматом собираемой информации и возможностями ее использованием в качестве информационной основы принятия управленческих решений. В регионе развивается практика заказа системы управления образованием на часть информационно-аналитического обеспечения (анализ результатов ЕГЭ, ГИА в 9 классах, образовательных и трудовых траекторий выпускников 11 классов, и т.д.). 1

Результаты обучения Уровень социализации Уровень учебных достижений Включение выпускников в жизнь Соответствие требованиям стандартов и запросам потребителей Освоение социальных навыков и компетенций Уровень освоения стандарта Соблюдение нормативных требований Безопасность и здоровье Соответствие заказу государства Уровень преступности среди несовершеннолетних Уровень внеучебных достижений Соответствие запросу родителей и учащихся Сетевые характеристики Характеристики потенциала управления Состояние зданий Обеспечение квалифи- цированными кадрами Обеспечение горячим питанием Организация отдыха детей Условия финансирования Информатизация Наличие и доступность ресурсов общего пользования Соотношение учащихся и преподавателей Распространение внешней оценки качества образов. Наличие и доступность условий подготовки к школе Условия для удовлетворения индивид. запросов в общем образовании Условия для удовлетворения индивид. запросов в дополнительном образовании Средний размер школы КАЧЕСТВО РЕЗУЛЬТАТОВ КАЧЕСТВО СОЗДАВАЕМЫХ УСЛОВИЙ И ИСПОЛЬЗОВАНИЯ РЕСУРСОВ СОЦИАЛЬНО- ЭКОНОМИЧЕСКИЙ ИНДЕКС ТЕРРИТОРИИ, ОТРАЖАЮЩИЙ КОНТЕКСТ Получение полного среднего образования, уровень потерь и социальная опека Коэффициент охвата полным средним образованием Качество социальной опеки Уровень потерь в образовании ЭФФЕКТИВНОСТЬ ИСПОЛЬЗОВАНИЯ РЕСУРСОВ Объем неэффективных расходов на управление кадровыми ресурсами Объем неэффективных расходов связанных с характеристиками сети Средняя наполняемость классов Комплекс характеристик (показателей) качества образования на региональном уровне. Индивидуальные характеристики 1

Логическая схема разработки индикатора Цель и предмет оценки Индикатор Показатели (данные) для расчета Источник получения данных Что измерять? Чем измерять? Как рассчитать? Наименование индикатора Назначение индикатора, место в комплексе Показатели, используемые для расчёта Источник информации Формула для расчета Значение индикатора Порядок обновления значения Откуда получить данные? 1

ПРОЦЕДУРЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ Индивидуальные образовательные достижения учащихся Оценка образовательных учреждений (учебный предмет, учитель) Оценка образовательных систем Статистическое наблюдение Итоговая аттестация выпускников 11 классов в форме ЕГЭ Итоговая аттестация выпускников 9 классов в форме ГИА Мониторинг образовательных и трудовых траекторий выпускников 11 классов Аккредитация образовательных учреждений Мониторинг уровня образовательных достижений учащихся по учебным предметам (в т.ч. оценка уровня готовности к ЕГЭ, ГИА и т.д.) Международные и федеральные исследования в области качества образования (PIRLS, TIMSS, PISA, готовность к обучению в школе и т.д.) Мониторинг реализации проектов и программ (мониторинг КПМО, Наша Новая Школа, целевые программы, электронные мониторинги) Оценка уровня удовлетворённости качеством образовательных услуг Предметные олимпиады (районный и республиканский этапы Всероссийской олимпиады школьников) Творческие, спортивные и прочие конкурсы, соревнования, конференции Оценка муниципальных образовательных систем на основе комплекса показателей Аттестация педагогических и руководящих кадров Процедуры оценки качества: объект оценки, область применения результатов 2

Электронный мониторинг Информационно-Аналитическая Система «Мониторинг» Подсистема взаимодействия с субъектами Российской Федерации Мониторинг школьного питания в общеобразовательных учреждениях Российской Федерации Информационная система комплексной оценки безопасности и готовности к новому учебному году инфраструктуры системы образования Информационно-аналитическая система обеспечения функциональной деятельности Министерства образования и науки Российской Федерации (ИАС ОФД МОН) 2

Кто является заказчиком конкретных оценочных процедур? Подробнее см. выступление «Оценочные процедуры в Чувашской Республике» в рамках учебного курса «Проектирование национальных и территориальных систем оценки качества образования: организационные, технологические и содержательные аспекты» Российского Тренингового Центра edu.ru/trainings/study/81 3 ПРОЦЕДУРЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ ЗАКАЗЧИКИ (кто платит за процедуру?) ПОЛЬЗОВАТЕЛИ ИНФОРМАЦИЕЙ О РЕЗУЛЬТАТАХ ОЦЕНКИ Статистическое наблюдение бюджетФ, Р, М Итоговая аттестация выпускников 11 классов в форме ЕГЭ бюджетЛ, Ф, Р, М, ОУ, У, СМИ Итоговая аттестация выпускников 9 классов в форме ГИА бюджетЛ, Р, М, ОУ, У Мониторинг образовательных и трудовых траекторий выпускников 11 классов ?????? ОУ, М, Р, Б Мониторинг уровня образовательных достижений учащихся по учебным предметам (в т.ч. оценка уровня готовности к ЕГЭ, ГИА и т.д.) Участники (Л) участник (Л) организатор (У, ОУ, М) Международные и федеральные исследования в области качества образования (PIRLS, TIMSS, PISA, готовность к обучению в школе и т.д.) бюджетФ, ОУ Мониторинг реализации проектов и программ (мониторинг КПМО, Наша Новая Школа, целевые программы, электронные мониторинги) бюджетФ, Р Оценка уровня удовлетворённости качеством образовательных услуг бюджетР, М, ОУ ??? СМИ Предметные олимпиады (районный и республиканский этапы Всероссийской олимпиады школьников) бюджетФ, Л, У, ОУ, М, Р Оценка муниципальных образовательных систем на основе комплекса показателей ?????? Р, М Аттестация педагогических и руководящих кадров бюджетУ, ОУ, М, Р ОБОЗНАЧЕНИЯ: Ф – федеральный уровень управления Р – региональный уровень управления М – муниципальный уровень управления ОУ – школа У – учитель Л – учащийся, участник, родитель Б – бизнес, работодатель СМИ – средства массовой информации, общественность ОБОЗНАЧЕНИЯ: Ф – федеральный уровень управления Р – региональный уровень управления М – муниципальный уровень управления ОУ – школа У – учитель Л – учащийся, участник, родитель Б – бизнес, работодатель СМИ – средства массовой информации, общественность

Преодоление разрыва между результатами оценочной процедуры и потребностями в информации разных групп пользователей о результатах. База результатов ЕГЭ (протоколы) Потребности пользователей в информации о результатах ЕГЭ 1. Выпускники и их родители 2. Учителя, общеобразовательные учреждения 3. Органы управления образованием 4. Методические службы 5. Родители, выбирающие школу Региональный сборник статистических и аналитических данных о результатах ЕГЭ + таблицы с данными значений показателей по всем образовательным учреждениям и фоновым группам. Свидетельство о результатах ЕГЭ Образец сборника можно скачать здесь: age=./16/530/952218/

Кому и на какие запросы можно отвечать на основе результатов ЕГЭ? Региональный уровень управления Муниципальный уровень управления Школьный уровень управления Уровень класса, предмета и учителя Уровень освоения образовательного стандарта среднего (полного) образования (получение аттестата). Качество профильной подготовки как основы для получения профессионального образования. Охват средним (полным) образованием учащихся соответствующего возраста учреждениями сети – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке. Уровень освоения образовательного стандарта по предмету (выше минимального порога). Востребованность предмета. Качество профильной подготовки по предмету. Успешность освоения отдельных дидактических единиц. Какой муници- палитет лучше Какая школа лучше Какой учитель и предмет лучше Родители, выбирающие школу для своих детей Качество общеобразовательной подготовки. Качество профильной подготовки по выбранному профилю. Какая школа лучше Подробнее о практике информирования различных целевых групп о результатах оценки учебных достижений школьников см. выступление С.А. Боченков «Как информируются различные целевые группы о результатах оценочных процедур?» в рамках учебного курса Российского Тренингового Центра edu.ru/trainings/study/102 3

Какие организации участвуют в работах по ОКО? Министерство образования и молодежной политики Чувашской Республики Управление по надзору и контролю в сфере образования Чувашской Республики Коллегия Министерства образования и молодежной политики Муниципальные органы управления образованием Муниципальные мониторинговые службы БОУ ДПО (ПК) С "Чувашский республиканский институт образования" БОУ « Центр психолого- педагогической реабилитации и коррекции » Экспертная комиссия по лицензированию, аккредитации образовательной деятельности Экспертные комиссии по аттестации педагогических и руководящих кадров Чувашский республиканский совет попечителей образования Торгово-промышленная палата Организационно- методический центр Центр сертификации персонала (системы НПО и СПО) Муниципальная экзаменационная комиссия (МЭК) Профессиональные ассоциации Сектор поддержки и сопровождения информационного портала Муниципальные психолого-медико- социальные центры БУ « Чувашский республиканский центр новых образовательных технологий » Государственная экзаменационная комиссия (ГЭК) Органы государственной власти, бюджетные учреждения Общественные организации Экспертные комиссии, рабочие группы Школы Основные заказчики Внутренняя структура Прямое подчинение направление заказа на договорной основе Внутришкольный контроль и служба школьного мониторинга Независимое агентство оценки качества образования «ЛИДЕР» Негосударственные структуры ОБОЗНАЧЕНИЯ: АУ « Центр внешкольной работы ЭТКЕР » 4

Анализ результатов оценочных процедур. Основные подходы. Важно знание технологии оценочной процедуры и её особенностей, структуры измерительных материалов и спецификаций, системы шкалирования и представления результатов. Анализ строится на основе запросов заказчика и как можно большей части потребителей информации. Показатели должны быть понятны и отражать реальную ситуацию в ракурсе заказа. Показатели должны быть привязаны к единице получающего образовательную услугу. Для сравнения результатов школ и муниципалитетов приоритетно сравнение внутри своего кластера и собственная динамика. Для правильной интерпретации необходимы рекомендации (описание ограничений на использование отдельных показателей, определение границ возможного их применения и т.д.). Информирование о результатах оценочной процедуры направлено на формирование рефлексивной позиции у участников образовательного процесса на всех уровнях управления образовательной системы. 5

Высокий уровень подготовки к ЕГЭ: знаний и умений достаточно для полноценного продолжения образования в профильном вузе с достаточно высоким конкурсом. Повышенный уровень подготовки к ЕГЭ: знаний и умений достаточно для продолжения образования по профильным специальностям в вузах со средним уровнем требований. Базовый уровень подготовки к ЕГЭ: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне. В группу с базовым уровнем подготовки входят учащиеся, которые могут продолжать образование по профильным специальностям в НПО и СПО или выбрать направление обучения в вузе, где данный предмет не является профильным. Низкий уровень подготовки к ЕГЭ: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ. 11А 11Б Пример формы представления результатов ЕГЭ: группы учащихся по уровню освоения образовательного стандарта по предмету 5

Анализ результатов ЕГЭ и ГИА по региону, муниципалитету, образовательному учреждению: подготовка аналитических материалов под заказ. Экспертная оценка и практика применения предлагаемой методики анализа результатов ЕГЭ и ГИА: -экспертиза в рамках проекта Рособрнадзора «Совершенствование управления качеством образования в общеобразовательных учреждениях на основе результатов независимого оценивания учащихся 9-х и 11-х классов» (в кн. «Управление качеством образования на основе результатов независимого оценивания учащихся 9-х и 11-х классов». В 2 частях / О.Ф. Батрова., В.И. Блинов, С.А.Боченков и др, – М, Аспект Пресс, 2007.); -обсуждение на семинаре Российской Академии Образования «Методологические основы оценки качества образования» -включён в Банк данных по оценке качества образования Института управления образованием Российской академии образования (ИУО РАО) -представлен на VIII Международной научно-практической конференции «Тенденции развития образования: Проблемы управления и оценки качества образования» (18-19 февраля 2011 года, г. Москва, МВШСЭН, выступление «Модель анализа и интерпретации результатов ЕГЭ и ГИА на региональном уровне: опыт Чувашской Республики»); -применяется в практике подготовки аналитических материалов и управлении качеством образования в Чувашской Республике с 2004 года, в Ханты-Мансийском АО – Югра (Служба по контролю и надзору в сфере образования округа) с 2008 года, в Чеченской Республике в 2010 году. В ряде регионов используется общая логика и отдельные элементы методики. Опыт адресной подготовки аналитических материалов, выполненных на основе результатов внешних оценочных процедур (ЕГЭ, ГИА) и выстроенных под задачи управления качеством образования. КООРДИНАТЫ: Сергей Анатольевич Боченков АНОНС АНАЛИТИКИ Сопоставимость результатов ЕГЭ и ГИА. -Оценка результатов профильного образования в старшей школе. -Обновлённая система кластеров образовательных учреждений. -Уровневый подход к оценке результатов ЕГЭ и ГИА. -Экспресс-анализ результатов ЕГЭ и ГИА-2012 по школе по отдельным предметам. 5

Группы управленческих решений на основе результатов оценочных процедур: Оценка и управление развитием территориальных образовательных систем – Распределение ресурсов и изменение условий организации образовательного процесса. Оптимизация и развитие сети, организация сетевого взаимодействия – Проектирование и реализация комплекса мер по повышению качества образования через отбор позитивного опыта и организацию эффективной работы – Информирование населения о состоянии системы образования. Оценка и управление развитием образовательного учреждения – Аккредитация образовательного учреждения, изменение статуса. – Распределение ресурсов и изменение условий организации образовательного процесса в школе. – Распределение грантов – Информирование населения об образовательном учреждении. Оценка, стимулирование деятельности и профессионального развития педагогических работников – Аттестация педагогических работников. – Установление стимулирующих надбавок, грантов – Разработка программ повышения квалификации педагогических кадров Совершенствование содержания и методов работы с учащимися – Программы работы с отдельными категориями учащихся (одарённые дети, дети- инвалиды, дети, испытывающие трудности в обучении). – Выстраивание индивидуальных образовательных траекторий Подробнее о практике принятия управленческих решений на основе результатов оценочных процедур см. выступление Г.П. Черновой «Использование результатов оценки качества образования на уровне региона. Кейс Чувашской Республики» в рамках учебного курса Российского Тренингового Центра edu.ru/trainings/study/

Главные уроки построения РСОКО: Необходимость ясного представления общей модели проектируемой РСОКО для комплексного разворачивания всего проекта в пространстве и во времени и эффективного распределения необходимых ресурсов. Целенаправленная подготовка кадров для проектирования и функционирования РСОКО. Важен доступ к имеющемуся международному, федеральному и региональному опыту и наработкам. Необходимость включения в работу РСОКО всей системы образования региона (региональные и муниципальные структуры, образовательные учреждения, внешние участники) – «цепочка обеспечения реализации реформ» (М. Барбер). 7

Главные уроки построения РСОКО (продолжение): Важна увязка в единый комплекс оценочных процедур - должны быть ясны критерии качества оценочных процедур, спецификации (документа, позволяющего понять какие именно характеристики качества образования оценивает данная процедура и каковы границы применения полученных результатов). В РСОКО часто заказчиком и потребителем информации являются разные субъекты, поэтому важно чтобы заказчик максимально учитывал интересы разных групп потребителей информации. Для РСОКО необходима информационная среда с удалённым регламентированным доступом и реализованным принципом «одного окна». Только тогда будет технически решена проблема совместимости результатов разных оценочных процедур. 7

БЛАГОДАРЮ ЗА ВНИМАНИЕ!