Использование результатов: сопоставимость результатов разных оценочных процедур и работа с контекстной информацией Учебный курс «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» июня 2012 года, Кыргызская Республика С.А. Боченков эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары оценки качества образования «Лидер», г. Чебоксары СЕССИЯ 10

Проблема сопоставимости результатов оценочных процедур Любое сопоставление результатов оценочных процедур всегда несёт в себе определённую величину ошибки. Величина ошибки определяется… – особенностями и изменчивостью объекта оценки; – различием применяемых в разных оценочных процедурах методик оценки; – многообразием показателей, отражающих результаты оценки; – корректностью выбора фона для сравнения и контекстной информации; – … Ошибка ведёт к неверным выводам и ложным сигналам. Используя определённые приёмы в анализе и интерпретации результатов оценочных процедур можно нивелировать ошибку.

Сопоставимость результатов оценочных процедур – возможные варианты ситуаций сравнения Сопоставимость результатов оценочных процедур одной …в пределах одной оценочной процедуры предметов Сопоставимость результатов разных предметов объектов Сопоставимость результатов разных объектов в динамике по годам Сопоставимость результатов в динамике по годам разными …между разными оценочными процедурами одной категорией испытуемых разных Сопоставимость результатов, показанных одной и той же категорией испытуемых в разных оценочных процедурах одного объекта оценки разных Сопоставимость результатов, показанных учащимися одного и того же объекта оценки (школа, муниципалитет) в разных оценочных процедурах

Сопоставимость результатов по разным предметам в пределах одной оценочной процедуры Вопросы: Результаты по какому из предметов лучше (хуже) относительно других? Какова востребованность учебных предметов по выбору? Риски: Шкала первичных баллов и 100-балльная шкала у разных предметов может не совпадать (в ЕГЭ – не совпадает). Предметы могут быть обязательными и по выбору. Среди предметов по выбору группы сдающих их учащихся несопоставимы по числу и по уровню подготовки. Значима такая контекстная информация, как особенности профильной подготовки, репетиторство, востребованность предмета и т.д. Без учёта контекста сопоставление может привести к неверным выводам.

Соотношение 100-балльной шкалы и уровней подготовки по учебным предметам (РФ, ЕГЭ-2011) баллов © С.А. Боченков

Сопоставимость результатов по разным предметам в пределах одной оценочной процедуры. Пример ошибочного сравнения. его использование следует ограничить рамками внутрипредметного сопоставления по результатам одного учебного года Средний балл по 100- балльной шкале традиционно остаётся одним из наиболее распространённых показателей ЕГЭ, но его использование следует ограничить рамками внутрипредметного сопоставления по результатам одного учебного года. Поэтому, данная диаграмма некорректна и при использовании её данных возможны ошибочные выводы как о соотношении результатов по предметам, так и в оценке их динамики. Для принятия управленческих решений необходимо основываться на достоверные данные проводя корректное их сравнение.

Сопоставимость результатов по разным предметам в пределах одной оценочной процедуры. Варианты решения проблемы. Изменения процедуры ЕГЭ: Использование единой для всех предметов ЕГЭ 100- балльной шкалы. Сохранение сопоставимости шкалы по годам. Закрепление порога минимального базового и минимального профильного уровней освоения образовательного стандарта по каждому предмету. Использование специальных способов анализа: Использование относительных величин используемых показателей результатов ЕГЭ. Использование показателей на основе значений индивидуального рейтинга каждого участника. Использование уровневой системы интерпретации результатов: – Выделение уровней на основе процентильного подхода – Выделение двух пороговых групп участников - доля участников, успешно сдавших ЕГЭ по предмету (выше минимального порога базового уровня) и доля участников, преодолевших минимальный порог профильного уровня из числа изучавших предмет на профильном уровне. Учёт контекстной информации.

Уровни освоения образовательного стандарта (использована методика шкалирования ЕГЭ-2011, математика ПБ1 – это наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательному предмету ПБ2 – это наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания по соответствующему общеобразовательному предмету русский физика химия информ история биология ин.языки общество ,7% 19,7% 10,2%8,6% 18,7% 4,1% 19,0% 7,4% 5,4% 9,8% 12,8%4,8%8,3% 9,4%7,8%3,1%3,9% 21,3%

Динамика среднего балла по русскому языку по отдельным муниципалитетам Чувашии. Абсолютное значение среднего балла по 100-балльной шкале Относительное значение среднего балла по 100-балльной шкале Позитивная динамика абсолютных величин среднего балла по 100- балльной шкале за последние три года (график 1) на самом деле показывает обратную тенденцию – 4 из 5 муниципалитетов за последние три года показывают снижение результатов на фоне средних по РФ (график 2). РФ=1,00

Сопоставимость результатов оценочной процедуры при оценке разных объектов Вопросы: Как оценить индивидуальный результат (насколько высок полученный балл)? Какая школа (муниципалитет, регион) лучше (хуже) по результатам ЕГЭ относительно других? Риски: Шкала первичных баллов и 100-балльная шкала у разных предметов может не совпадать (в ЕГЭ – не совпадает). Учитель, школа, муниципалитет имеют разные ресурсы влияния на результаты ЕГЭ (мера ответственности) и должны оцениваться разными показателями. Использование одинаковых показателей приводит к росту подтасовок и наказанию невиновных. Трудность выделения вклада учителя, школы, системы образования в достигнутый образовательный результат. Зависимость результатов от контингента, представленности в нём групп риска.

Сопоставимость результатов оценочной процедуры при оценке разных объектов. Варианты решения проблемы. Изменения процедуры ЕГЭ: Наполнение понятий «результат ЕГЭ» для ученика, учителя, школы, системы образования. Подготовка методических рекомендаций по использованию результатов ЕГЭ для оценки разных объектов. Использование специальных способов анализа: Использование разных систем показателей результатов ЕГЭ для оценки работы учителя, школы, системы образования максимально отражающих уровень ответственности и степень влияния. Через соответствующие системы показателей определение критериев качества работы эффективного учителя, хорошей школы, системы образования. Учёт контекстной информации. Нормирование показателей.

Комплекс оценочных процедур. Как сопоставлять результаты? Сопоставление результатов, показанных каждым участником (одной и той же группой участников) в разных оценочных процедурах Готовность учащихся 1 классов к обучению в школе Внутриклассное оценивание, школьный мониторинг Готовность учащихся 5 классов к обучению в основной школе Внутриклассное оценивание, школьный мониторинг ГИА выпускников 9 классов Внутриклассное оценивание, школьный мониторинг Результаты предметных олимпиад ЕГЭ выпускников 11 классов Мониторинг образовательных и трудовых траекторий выпускников 11 классов Сопоставление результатов, показанных в каждой оценочной процедуре группой участников соответствующего возраста из одной школы (муниципалитета и т.д.) Комплекс процедур внешней оценки должен быть дополнен внутриклассным оцениванием и различными мониторингами….

Сопоставимость результатов нескольких оценочных процедур между собой. Варианты решения проблемы. Изменения собственно оценочных процедур: Проектирование оценочных процедур как частей единого комплекса ОСОКО. Совместимость баз данных индивидуальных результатов разных оценочных процедур между собой. Введение системы электронного портфолио учащихся. Использование специальных способов анализа: Единство методики исчисления ключевых показателей в разных оценочных процедурах (единообразие структуры моделей оценки). Через соответствующие системы показателей определение критериев качества работы эффективного учителя, хорошей школы, системы образования. Использование средних и относительных величин, поправочных коэффициентов, методов пересчета и т.д. Учёт контекстной информации.

Матрица системы сопоставимых показателей. ГИА выпускников 9 классов ЕГЭ выпускников 11 классов Мониторинг образовательных и трудовых траекторий выпускников 11 классов Показатели минимально- допустимого уровня достижения Доля выпускников успешно сдавших все экзамены в форме ГИА (выше минимального порога) Доля выпускников успешно сдавших два обязательных экзамена в форме ЕГЭ (выше минимального порога) Доля выпускников получивших определённый статус после окончания школы Показатели повышенного уровня достижения Доля выпускников, преодолевших порог готовности к изучению предмета на профильном уровне по всем предметам из числа предметов будущего профиля Доля выпускников, преодолевших минимальный порог профильного уровня по всем предметам из числа изучавшихся на профильном уровне Доля выпускников соответствующих заказу государства (получают профобразование на бюджетной основе или работают, или служат в армии) Относительные средние величины (рейтинг в группе участников) Среднее значение рейтинга выпускников школы

Рейтинг обще- образовательных учреждений Чувашской Республики по результатам ЕГЭ-2011 Цель формирования и публикации рейтинга общеобразовательных учреждений Чувашской Республики по результатам ЕГЭ – 2011 года – не определить лучшие и худшие школы, а привлечь внимание к проблеме уровня и качества образовательных достижений по результатам ЕГЭ в школах Чувашии и стимулировать публичную дискуссию по этой проблематике. Рейтинг должен сформировать информационную основу результатов ЕГЭ по школам республики для продуктивного обмена мнениями и опытом и стать инструментом работы с результатами и на результаты. Задачи: Представить сравнительную оценку результатов ЕГЭ-2011 школ Чувашской Республики. Обеспечить корректное сравнение данных по школам, существенно различающимся по условиям организации образовательного процесса, учебным программам, контингентам обучающихся и другим характеристикам, в значительной степени влияющим на результаты обучения. Обеспечить возможность сравнения, как общих результатов ЕГЭ, так и результатов по учебным предметам. ЕГЭ оценивает лишь некоторые характеристики качества образования и, поэтому, вынося суждение о том, хорошая или плохая школа по результатам ЕГЭ всегда следует помнить, что имеется в виду лишь этот ограниченный перечень характеристик.

Подходы к рейтингованию Положение в рейтинге определяется достижением максимального значения показателя, далее – в зависимости от его абсолютного значения от большего к меньшему В верхней части рейтинга оказываются гимназии и лицеи, в нижней – вечерние школы и малочисленные сельские школы Положение в рейтинге определяется достижением максимального значения показателя, далее – в зависимости от величины превышения показателя над средним для данного кластера школ В верхней части рейтинга оказываются (как и в первом случае) школы с максимально-возможными показателями, далее те, чьи показатели заметно превышают средние для данного кластера школ

25 лучших школ по абсолютным значениям четырёх показателей ЕГЭ 1.МОУ "Лицей 3 г. Чебоксары" 2.МОУ "Гимназия 1 г. Чебоксары" 3.МОУ "Гимназия 4 г. Чебоксары" 4.МОУ "Гимназия 5 г. Чебоксары" 5.МОУ "Лицей 2 г. Чебоксары" 6.МОУ "Гимназия 6 г. Новочебоксарск" 7.МОУ "Лицей 44 г. Чебоксары" 8.МОУ "Цивильская СОШ 1 им М.В. Силантьева" 9.МОУ "Батыревская СОШ 1" Батыревского района 10.МОУ "Гимназия 8 г. Шумерля" 11.МОУ "СОШ 1 г. Шумерля" 12.МОУ "Санарпосинская СОШ" Вурнарского района 13.МОУ "Гимназия 1 г. Мариинский Посад" 14.МОУ "Яншихово-Норвашская СОШ" Янтиковского р-на 15.МОУ "СОШ 62 г. Чебоксары" 16.МОУ "Лицей-интернат им. Г.С.Лебедева г.Чебоксары« 17.МОУ "Шимкусская СОШ" Янтиковского района 18.МОУ "Гимназия 1 г. Ядрин" Ядринского района 19.МОУ "Вурнарская СОШ 1" Вурнарского района 20.МОУ "Сятра-Хочехматская СОШ" Чебоксарского района 21.МОУ "СОШ 13 г. Новочебоксарск" 22.МОУ "СОШ 61 г. Чебоксары" 23.МОУ "Азимсирминская СОШ" Вурнарского района 24.МОУ "Алтышевская СОШ" Алатырского района 25.МОУ "Большеяльчикская СОШ" Яльчикского района 1.МОУ "Лицей 3 г. Чебоксары" 2.МОУ "Яншихово-Норвашская СОШ" Янтиковского р-на 3.МОУ "СОШ 1 г. Шумерля" 4.МОУ "Санарпосинская СОШ" Вурнарского района 5.МОУ "Цивильская СОШ 1 им М.В. Силантьева" 6.МОУ "Сятра-Хочехматская СОШ" Чебоксарского района 7.МОУ "Батыревская СОШ 1" Батыревского района 8.МОУ "СОШ 13 г. Новочебоксарск" 9.МОУ "Азимсирминская СОШ" Вурнарского района 10.МОУ "Лицей 2 г. Чебоксары" 11.МОУ "Анастасовская СОШ" Порецкого района 12.МОУ "Гимназия 1 г. Чебоксары" 13.МОУ "СОШ 3 г. Шумерля" 14.МОУ "Еметкинская СОШ" Козловского района 15.МОУ "СОШ 60 г. Чебоксары" 16.МОУ "Гимназия 4 г. Чебоксары" 17.МОУ "Янгличская СОШ" Канашского района 18.МОУ "Алтышевская СОШ" Алатырского района 19.МОУ "СОШ 2 г. Шумерля" 20.МОУ "Стемасская СОШ" Алатырского района 21.МОУ "Ювановская СОШ" Ядринского района 22.МОУ "Татарско-Сугутская СОШ" Батыревского района 23.МОУ "Гимназия 8 г. Шумерля" 24.МОУ "Чуварлейская СОШ" Алатырского района 25.МОУ "Гимназия 5 г. Чебоксары" 25 лучших школ по значениям четырёх показателей ЕГЭ относительно средних для аналогичных школ

Составляющие рейтинга школ по общим показателям ЕГЭ. Рейтинг школ по активности участия выпускников в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта общего образования в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта для получения профессионального образования в ЕГЭ-2011 Рейтинг школ по качеству учебных достижений в ЕГЭ-2011 Доля выпускников, сдававших три и более предмета в форме ЕГЭ, % Доля выпускников, успешно сдавших два обязательных экзамена (выше минимального порога), % Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше минимального порога), % Доля экзаменов, результаты которых соответствуют отличному уровню (по РФ - 10%), % Промежуточные рейтингиПоказатели рейтингования Для расчета рейтингов значения показателей сравнивались со средними для данного типа школ и разница нормировалась. Нормирование осуществлялось по формуле:

Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ. Школа должна иметь возможность понять, чем определена её позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Вопросы для работы с раздаткой: Какие показатели значимы для определения позиции школы в рейтинге? Почему в рейтинге использованы показатели, значение которых у большей части школ территории уже достигло максимума (100%)? Какова динамика общих результатов ЕГЭ данной школы за три года?

Лучшее ОУ по предмету: все выпускники успешно сдали предмет, средний балл выше среднего по республике и доля отличных результатов более 20% Все выпускники успешно сдали ЕГЭ с результатами ВЫШЕ среднереспубликанских Все выпускники успешно сдали ЕГЭ с результатами НИЖЕ среднереспубликанских Не все выпускники сдавали обязательный экзамен по предмету, либо не все успешно справились Лучшее ОУ по предмету: выпускники выбирают предмет чаще, чем в среднем по ЧР, все справляются, показывая высокие результаты Выпускники показывают разную активность в выборе предмета с результатами ВЫШЕ среднереспубликанских Выпускники показывают разную активность в выборе предмета с результатами НИЖЕ среднереспубликанских Никто из выпускников не сдавал ЕГЭ по предмету Случаи сдачи ЕГЭ по предмету единичны, что не позволяет сделать вывод о качестве подготовки

Построение рейтинга – это не окончание, а начало работы с результатами ЕГЭ. Школа должна иметь возможность понять, чем определена её позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Вопросы для работы с раздаткой: Какие заключения можно сделать, сопоставив результаты ЕГЭ по русскому языку и по математике? Сравните результаты по предметам по выбору. По каким предметам школа обеспечивает стабильно- высокий уровень результатов? Значение каких показателей можно сравнивать между предметами и в динамике по годам? На какие ограничения при сравнении Вы считаете нужным обратить внимание?

Образовательное учреждение входит в число 10% лучших школ Чувашской Республики по результатам ЕГЭ Образовательное учреждение показывает результаты лучше, чем в среднем по республике Образовательное учреждение показывает результаты хуже, чем в среднем по республике Образовательное учреждение входит в число 10% школ, имеющих самые низкие результаты в республике Д Г Ж З В И Е А Б Рейтинг школ по активности участия выпускников в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта общего образования в ЕГЭ-2011 Рейтинг школ по уровню освоения образовательного стандарта для получения профессионального образования в ЕГЭ-2011 Рейтинг школ по качеству учебных достижений в ЕГЭ-2011 Общий рейтинг ЕГЭ-2011 Место в обще рейтинге среди 255 школ А 1,000 0,620 0,90508 Б 0,9830,9710,8280,180 0, В 0,9741,0000,8680,158 0, Г 1,000 0,8720,135 0, Д 1,0000,8890,4440,034 0, Е 0,6361,000 0,255 0, Ж 1,0000,6300,4440,056 0, З 1,000 0,000 0, И 0,5001,000 0,000 0, Использование данных рейтинга в оценке состояния территориальных образовательных систем.

Русский язык Математика Информатика Физика Химия Биология География Обществознание История Литература Английский язык А Б В Г Д Е Ж З И Лучшее ОУ по предмету: все выпускники успешно сдали предмет, средний балл выше среднего по республике и доля отличных результатов более 20% Все выпускники успешно сдали ЕГЭ с результатами ВЫШЕ среднереспубликанских Все выпускники успешно сдали ЕГЭ с результатами НИЖЕ среднереспубликанских Не все выпускники сдавали обязательный экзамен по предмету, либо не все успешно справились Лучшее ОУ по предмету: выпускники выбирают предмет чаще, чем в среднем по ЧР, все справляются, показывая высокие результаты Выпускники показывают разную активность в выборе предмета с результатами ВЫШЕ среднереспубликанских Выпускники показывают разную активность в выборе предмета с результатами НИЖЕ среднереспубликанских Никто из выпускников не сдавал ЕГЭ по предмету Случаи сдачи ЕГЭ по предмету единичны, что не позволяет сделать вывод о качестве подготовки

СПАСИБО ЗА ВНИМАНИЕ! Сергей Анатольевич Боченков