Рейтингование школ и муниципалитетов по результатам внешних оценочных процедур. Кейс Чувашской Республики. Семинар « Актуальные вопросы проектирования и формирования рейтингов в образовании » 31 октября - 1 ноября 2012 года, г. Москва СЕССИЯ 4 С.А. Боченков эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары оценки качества образования «Лидер», г. Чебоксары

© С.А. Боченков нельзя Результаты ГИА и ЕГЭ нельзя использовать для измерения, мониторинга и оценки качества образовательных результатов. ГИА и ЕГЭ – это экзамены с «высокими ставками», они служат только для измерения индивидуальных образовательных результатов можно Результаты ГИА и ЕГЭ можно использовать для измерения, мониторинга и оценки качества образовательных результатов. ГИА и ЕГЭ – это основные формы итоговой аттестации выпускников 11 классов Как оценивать качество образования по результатам ГИА и ЕГЭ, как анализировать и интерпретировать результаты ГИА и ЕГЭ? Можно ли использовать результаты внешних оценочных процедур в управлении качеством образования?

Практика рейтингования школ и муниципалитетов Чувашии по результатам внешних оценочных процедур: В сборниках по результатам ЕГЭ по Чувашии рэнкинг и рейтинг муниципалитетов и школ используется с 2003 года. Единицей индивидуальных результатов ЕГЭ и ГИА считаются совокупные результаты одного выпускника, а не предметные результаты. Школы сравниваются внутри кластера (группы школ, сходных по ряду контекстных характеристик), сравнение муниципалитетов линейное, но при этом приводятся некоторые значимые контекстные характеристики. Идёт поиск показателей, позволяющих разделить зоны ответственности между уровнями управления. Данные рейтинга муниципалитетов по ЕГЭ и ГИА используются в Публичном докладе Министерства образования и молодёжной политики Чувашии (см. доклад за 2011/12 учебный год здесь - где они сопоставляются с другими показателями результатов и условий организации образовательного процесса.

Проектирование рейтинга Какова цель рейтинга?Какова цель рейтинга? Кто является заказчиком?Кто является заказчиком? Кто может быть исполнителем?Кто может быть исполнителем? Какие критерии качества задаются этим рейтингом?Какие критерии качества задаются этим рейтингом? Регламент представления результатов: Кому предоставляется информация?Кому предоставляется информация? В каком формате?В каком формате? В какой очерёдности?В какой очерёдности? Какая степень полноты информации?Какая степень полноты информации? Формирование рейтинга Достоверность используемых данныхДостоверность используемых данных Комплекс показателейКомплекс показателей Сопоставимость показателей и вес в общих результатахСопоставимость показателей и вес в общих результатах Последействия и последствия: Кто и по отношению к кому принимает решения по результатам?Кто и по отношению к кому принимает решения по результатам? Каково возможное развитие ситуации?Каково возможное развитие ситуации? Какие возможны риски и эффекты?Какие возможны риски и эффекты? Модель построения рейтинга Рейтинг – одна из форм представления анализа и интерпретации результатов внешних оценочных процедур

Рейтинг задаёт рамку требований к качеству образования Рейтинг позволяет транслировать основные требования (характеристики) качества образования значимые в системе и акцентирует на них внимание. Рейтинг мотивирует на достижение значимых показателей.

Областной департамент общего образования подвел окончательные итоги ЕГЭ Хорошая школа должна иметь высокий средний балл ЕГЭ и большое число победителей олимпиад Хорошая школа должна иметь как можно больше стобалльников

Больше цениться не обучение без двоек, в высокий средний балл!

... Что значит – «хорошая школа по результатам ЕГЭ»? Признаки хорошей школы по результатам ЕГЭ: Слон – это нечто большое, широкое и шершавое, как ковер Он похож на прямую пустотелую трубу, страшную и разрушительную Слон могуч и крепок, как колонна …из древнеиндийской притчи

Что значит – «хорошая школа» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ школы: Соответствует ли заявленный профиль старшей ступени школы спектру предметов, выбираемых выпускниками 11 (12) классов для сдачи в форме ЕГЭ? Хорошая школа по результатам ЕГЭ - это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы (которые необходимы им для продолжения образования и которые они изучали в классах на профильном уровне). Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена и доля выпускников, успешно сдавших все экзамены в форме ЕГЭ)? Хорошая школа по результатам ЕГЭ - это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. И все выпускники которой успешно сдали все экзамены в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность.

Что значит – «хорошая школа» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ школы: Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим профильному уровню (ТБ2) и выше)? Хорошая школа по результатам ЕГЭ - это школа, в которой значительная часть выпускников преодолевают порог профильного уровня по всем предметам, которые они изучали на профильном уровне. Соответствует ли применяемая учителями школы система текущего оценивания результатам внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона и какова динамика значений ключевых показателей? Хорошая школа по результатам ЕГЭ - это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.

Динамика среднего балла по 100-балльной шкале. Результаты ЕГЭ по какому предмету лучше?

Соотношение 100-балльной и процентильной шкал (РФ, ЕГЭ-2012) 70 баллов © С.А. Боченков Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2012)

Два уровня освоения образовательного стандарта (ЕГЭ-2012) Предмет ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательному предмету (в скобках ТБ1 – балл по 100-балльной шкале) Минимальный балл ЕГЭ установленный Распоряжением Рособрнадзора и подтверждающий освоение выпускником основных общеобразовательных программ среднего (полного) общего образования по предмету ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания по соответствующему общеобразовательному предмету (в скобках ТБ2 – балл по 100-балльной шкале) Русский язык17 из 64 (36 из 100)54 из 64 (73 из 100) Математика5 из 32 (24 из 100)15 из 32 (63 из 100) Обществознание15 из 59 (39 из 100)48 из 59 (72 из 100) История13 из 58 (32 из 100)46 из 58 (72 из 100) Физика12 (11 – min) из 51(39 из 100)33 из 51 (62 из 100) Химия14 из 65 (36 из 100)58 из 65 (80 из 100) Биология17 из 69 (36 из 100)60 из 69 (79 из 100) География14 из 54 (37 из 100)44 из 54 (69 из 100) Информатика8 из 40 (40 из 100)35 из 40 (84 из 100) Иностранные языки16 из 80 (20 из 100)65 из 80 (82 из 100) Литература8 из 42 (32 из 100)36 из 42 (73 из 100) …Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 и 2012 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам. caling/

Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (стр.15) Границы уровней общеобразовательной подготовки по предметам ЕГЭ-2012 г. (стр. 17)

Рейтинг обще- образовательных учреждений Чувашской Республики по результатам ЕГЭ-2011 Цель формирования и публикации рейтинга общеобразовательных учреждений Чувашской Республики по результатам ЕГЭ – 2011 года – не определить лучшие и худшие школы, а привлечь внимание к проблеме уровня и качества образовательных достижений по результатам ЕГЭ в школах Чувашии и стимулировать публичную дискуссию по этой проблематике. Рейтинг должен сформировать информационную основу результатов ЕГЭ по школам республики для продуктивного обмена мнениями и опытом и стать инструментом работы с результатами и на результаты. Задачи: Представить сравнительную оценку результатов ЕГЭ-2011 школ Чувашской Республики. Обеспечить корректное сравнение данных по школам, существенно различающимся по условиям организации образовательного процесса, учебным программам, контингентам обучающихся и другим характеристикам, в значительной степени влияющим на результаты обучения. Обеспечить возможность сравнения, как общих результатов ЕГЭ, так и результатов по учебным предметам. ЕГЭ оценивает лишь некоторые характеристики качества образования и, поэтому, вынося суждение о том, хорошая или плохая школа по результатам ЕГЭ всегда следует помнить, что имеется в виду лишь этот ограниченный перечень характеристик.

Линейный рейтинг или сравнение школ внутри своего кластера? Подходы к рейтингованию Положение в рейтинге определяется достижением максимального значения показателя, далее – в зависимости от его абсолютного значения от большего к меньшему В верхней части рейтинга оказываются гимназии и лицеи, в нижней – вечерние школы и малочисленные сельские школы Положение в рейтинге определяется достижением максимального значения показателя, далее – в зависимости от величины превышения показателя над средним для данного кластера школ В верхней части рейтинга оказываются (как и в первом случае) школы с максимально-возможными показателями, далее те, чьи показатели заметно превышают средние для данного кластера школ

Составляющие рейтинга школ по общим показателям ЕГЭ. Рейтинг школ по активности участия выпускников в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта общего образования в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта для получения профессионального образования в ЕГЭ-2011 Рейтинг школ по качеству учебных достижений в ЕГЭ-2011 Доля выпускников, сдававших три и более предмета в форме ЕГЭ, % Доля выпускников, успешно сдавших два обязательных экзамена (выше минимального порога), % Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше минимального порога), % Доля экзаменов, результаты которых соответствуют отличному уровню (по РФ - 10%), % Промежуточные рейтингиПоказатели рейтингования Для расчета рейтингов значения показателей сравнивались со средними для данного типа школ и разница нормировалась. Нормирование осуществлялось по формуле:

Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ. Школа должна иметь возможность понять, чем определена её позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Какие показатели значимы для определения позиции школы в рейтинге? Почему в рейтинге использованы показатели, значение которых у большей части школ территории уже достигло максимума (100%)? Какова динамика общих результатов ЕГЭ данной школы за три года?

Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ. Школа должна иметь возможность понять, чем определена её позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Какие заключения можно сделать, сопоставив результаты ЕГЭ по русскому языку и по математике? Сравните результаты по предметам по выбору. По каким предметам школа обеспечивает стабильно- высокий уровень результатов? Значение каких показателей можно сравнивать между предметами и в динамике по годам? На какие ограничения при сравнении Вы считаете нужным обратить внимание?

Образовательное учреждение входит в число 10% лучших школ Чувашской Республики по результатам ЕГЭ Образовательное учреждение показывает результаты лучше, чем в среднем по республике Образовательное учреждение показывает результаты хуже, чем в среднем по республике Образовательное учреждение входит в число 10% школ, имеющих самые низкие результаты в республике Д Г Ж З В И Е А Б Рейтинг школ по активности участия выпускников в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта общего образования в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта для получения профессионального образования в ЕГЭ-2011 Рейтинг школ по качеству учебных достижений в ЕГЭ-2011 Общий рейтинг ЕГЭ-2011 Место в обще рейтинге среди 255 школ А 1,000 0,620 0,90508 Б 0,9830,9710,8280,180 0, В 0,9741,0000,8680,158 0, Г 1,000 0,8720,135 0, Д 1,0000,8890,4440,034 0, Е 0,6361,000 0,255 0, Ж 1,0000,6300,4440,056 0, З 1,000 0,000 0, И 0,5001,000 0,000 0, Использование данных рейтинга в оценке состояния территориальных образовательных систем.

Русский язык Математика Информатика Физика Химия Биология География Обществознание История Литература Английский язык А Б В Г Д Е Ж З И Лучшее ОУ по предмету: все выпускники успешно сдали предмет, средний балл выше среднего по республике и доля отличных результатов более 20% Все выпускники успешно сдали ЕГЭ с результатами ВЫШЕ среднереспубликанских Все выпускники успешно сдали ЕГЭ с результатами НИЖЕ среднереспубликанских Не все выпускники сдавали обязательный экзамен по предмету, либо не все успешно справились Лучшее ОУ по предмету: выпускники выбирают предмет чаще, чем в среднем по ЧР, все справляются, показывая высокие результаты Выпускники показывают разную активность в выборе предмета с результатами ВЫШЕ среднереспубликанских Выпускники показывают разную активность в выборе предмета с результатами НИЖЕ среднереспубликанских Никто из выпускников не сдавал ЕГЭ по предмету Случаи сдачи ЕГЭ по предмету единичны, что не позволяет сделать вывод о качестве подготовки

Пример рейтинга школ одного из муниципалитетов: Кластер Число выпускников Доля выпускников, успешно сдавших два обязательных экзамена в форме ЕГЭ (выше порога) "+" - ВСЕ выпускники освоили стандарт; "-" - НЕ ВСЕ выпускники освоили стандарт Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше порога) Качество подготовки по обязательным предметам. Средний балл по двум предметам Качество профильной подготовки. Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня Качество профильной подготовки. Доля экзаменов с результатом выше профильного уровня. Группа по совокупным результатам ЕГЭ-2012 МБОУ "Гимназия А" ,0%+92,1%58,267,9%21,3%1 МБОУ "СОШ А" ,0%+96,8%59,016,4%17,3%1 МБОУ "СОШ Б" ,0%+97,1%54,324,4%13,8%1 МБОУ "СОШ В" ,0%+97,6%57,102,4%13,0%1 МБОУ "СОШ Х с УИОП" ,0%+95,8%61,520,0%18,1%2 МБОУ "СОШ Г" ,0%+90,9%46,550,0% 2 МБОУ "СОШ Д" ,0%+79,6%53,087,1%14,4%3 МБОУ "СОШ Е ,0%+82,5%52,480,0%6,8%3 МБОУ "СОШ Ж" ,0%+78,0%47,642,0%6,7%3 МАОУ "СОШ И с УИОП" ,0%+91,4%52,720,0%4,5%3 МБОУ "СОШ К с УИОП" ,0%+90,0%50,200,0%3,4%3 МБОУ "СОШ Л" 26198,4%-86,9%53,003,3%9,6%3 МБОУ "В(С)ОШ ? " 62588,0%-60,0%38,340,0% 3 МБОУ СОШ М" 25998,3%-74,6%47,800,0% 4 Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона

... Что значит – «хорошая система образования» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ системы образования района или города:

Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Работает система контроля и надзора за процедурой. Все выпускники, допущенные до итоговой аттестации, успешно сдают обязательные экзамены и получают документы об образовании. Это один из показателей охвата средним (полным) образованием учащихся соответствующего возраста учреждениями системы. Учреждения сети обеспечивают удовлетворение потребности учащихся в изучении предметов на профильном уровне. На территории муниципалитета есть школы, обеспечивающие стабильный высокий результат по каждому из учебных предметов. Заявленный профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Обеспечивается равенство доступа к образованию соответствующего качества. Различия в результатах ЕГЭ между школами сети ниже, чем между индивидуальными результатами внутри отдельных школ. Определены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Выявлены школы, работающие в трудных условиях и им оказывается соответствующая поддержка. Ресурсы сети используются эффективно. Оценка деятельности школ ведётся с учётом условий организации образовательного процесса и контингента обучающихся. Что значит – «хорошая система образования» по результатам ЕГЭ?

Составляющие рейтинга муниципальных образований по результатам ЕГЭ. Рейтинг по уровню освоения образовательного стандарта общего образования Рейтинг по уровню готовности к продолжению образования Рейтинг по качеству общеобразовательной подготовки Рейтинг качества подготовки по профильным предметам (экзамены по выбору) Рейтинг по доступности образования соответствующего качества Доля выпускников, успешно сдавших два обязательных экзамена в форме ЕГЭ (выше порога), % Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше минимального порога), % Средний балл по обязательным предметам (русский язык + математика) Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня Разница среднего балла по обязательным предметам по региону и среднего балла «худшей» школы Промежуточные рейтингиПоказатели рейтингования Для расчета рейтингов значения показателей сравнивались со средними по региону и нормировались. Нормирование осуществлялось по формуле:

Равенство доступа к образованию соответствующего качества. Муниципалитеты.

Ключевые показатели Наименование муниципалитетов Всего выпускников, чел. Число образовательных учреждений, шт. Доля выпускников вечерней формы обучения Доля выпускников сельских школ, %. Доля выпускников, обучавшихся в школах кластера 1, % Доля выпускников, успешно сдавших оба обязательных экзамена в форме ЕГЭ (выше порога) Рейтинг по уровню освоения стандарта общего образования Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше порога) Рейтинг по уровню готовности к продолжению образования Качество подготовки по обязательным предметам. Средний балл по двум предметам Рейтинг качества подготовки по обязательным предметам Качество профильной подготовки. Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня Рейтинг качества подготовки по предметам по выбору Доступность образования соответствующего качества. Разница среднего балла по обязательным предметам по республике и среднего балла «худшей» школы Рейтинг по доступности образования Общее место в рейтинге по результатам ЕГЭ-2012 Динамика относительно позиций в рейтинге по результатам ЕГЭ-2010 года муниципалитет Н ,96100,00,0092, , ,80 2 1,46 2 1, муниципалитет С318830,82100,00,0089, , ,67 1 0, , муниципалитет Ш ,0256,851,6590, , ,46 4 0, , муниципалитет А ,24100,00,0087, , ,49 5 0, , муниципалитет Г ,060,0021,0689, , ,81 3 1, , муниципалитет К ,66100,00,0085, , ,20 8 0, , муниципалитет Ш ,59100,07,6683, , ,29 7 0, , по региону ,7869,026,2284,6036,7741,700,63 муниципалитет У ,5853,927,8385, , ,68 6 0, , муниципалитет Н ,52100,05,0179, , ,00 9 0, , муниципалитет Г ,57100,00,0088, , , , , муниципалитет Г ,7274,074,7874, , , , , муниципалитет Н ,00100,05,6981, , , , , муниципалитет А355818,310,0011,5580, , , , , муниципалитет Ш ,63100,00,0053, , , , , муниципалитет В ,55100,00,0081,421123,841337,92130, , Пример рейтинга муниципальных образований по результатам ЕГЭ

Основные фиксации: Рейтинг является одной из форм представления результатов анализа и интерпретации данных внешних оценочных процедур. Рейтинг позволяет транслировать основные требования к характеристикам качества образования значимым в системе и акцентирует на них внимание, поэтому перед тем как составить рейтинг важно прописать на языке показателей представление об объекте (школе или муниципалитете) каким может быть лидер рейтинга и каким может быть его аутсайдер. В зависимости от объекта рейтингования и для каждой группы пользователей рейтинга необходимо применять свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает лицо принимающее решение, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует для их достижения все имеющиеся в его распоряжении ресурсы. Рейтинг – это не просто поле данных, а расставленные акценты с высоким уровнем мотивации и последствий как для объектов рейтингования, так и для пользователей. Поэтому применение рейтингов в управлении является с одной стороны крайне действенным инструментом, с другой - влечёт за собой высокий уровень ответственности и подготовки как на этапе его создания, так и в процессе использования.

СПАСИБО ЗА ВНИМАНИЕ! Сергей Анатольевич Боченков г. Чебоксары, залив