Семёнов Сергей Викторович Красноярский Центр оценки качества образования, директор Российский тренинговый центр Института управления образованием РАО ВЕБИНАР «Возможности и риски использования результатов оценки учебных достижений при формирования рейтингов в образовании» Рейтингование муниципалитетов по учебным достижениям: опыт Красноярского края 22 июня 2012 года

ЗАГОЛОВОК 1.«Красноярский кейс» 2. Итоги Красноярского рейтингования: выводы, проблемы, размышления …

Часть 1. Красноярский кейс: История вопроса «На основе шести критериев будет составляться рейтинг образовательных учреждений, который позволит решить несколько задач, и прежде всего: выявлять одаренных в разных областях детей для дальнейшей работы с ними (в том числе, целенаправленной работы ВУЗов с такими детьми), объективно информировать родителей и общественность о качестве образования в тех или иных учреждениях для адекватного выбора родителями школ, формировать региональную грантовую программу для дополнительной финансовой поддержки школ-лидеров. Каждый год на основе полученных данных о качестве, министр образования Красноярского края будет делать доклад «О состоянии, достижениях и проблемах системы образования Красноярского края». Этот доклад будет заслушиваться на заседании Губернаторского Совета.» Выступление Губернатора Красноярского края Л.В. Кузнецова на заседании президиума Совета при Президенте РФ по реализации приоритетных национальных проектов и демографической политике ( г. Тюмень)

Часть 1. Красноярский кейс: История вопроса Какую бы методику рейтингования вы бы не использовали – всегда найдется, кто-нибудь кто с ней не согласен. Лучший вариант, когда используешь методику, созданную сторонним авторитетным разработчиком.

Часть 1. Красноярский кейс: История вопроса «Еще раз обращаю внимание КГБСУ «Центр оценки качества» на необходимость разработки и внедрения прозрачных критериев и механизма рейтингования. Также нужно ввести оценку учреждений «повышенного статуса» (гимназий, лицеев, школ с углубленным изучением предметов, кадетских корпусов и Мариинских гимназий) по работе с одаренными детьми.» Доклад министра образования и науки Красноярского края на августовском педагогическом совете 24 августа 2011 года

Часть 1. Красноярский кейс: История вопроса Центр оценки качества образования 2011 – 2012 год: рейтинг муниципалитетов по учебным достижениям школьников рейтинг муниципалитетов по внеучебным достижениям школьников рейтинг муниципалитетов по условиям осуществления образовательного процесса рейтинг муниципалитетов по уровню удовлетворенности учеников и родителей качеством образования

Часть 1. Красноярский кейс: История вопроса Центр оценки качества образования 2011 – 2012 год + используя те же методики: рейтинг «статусных школ» по учебным достижениям школьников рейтинг «статусных школ» по внеучебным достижениям школьников

Красноярский кейс: Общая схема создания рейтингов Разработка критериев и показателей рейтингования (ЦОКО) Утверждение критериев и показателей (Рабочая группа МОиН) Разработка методики рейтингования и построение первичных рейтингов (ЦОКО) Утверждение методики рейтингования (Рабочая группа МОиН) Доработка методики рейтингования, построение окончательных рейтингов (ЦОКО) Утверждение методики и результатов рейтингования (МОиН) Утверждение принципов публикации результатов рейтингования (Рабочая группа, МОиН) Подробно с методиками рейтингования можно ознакомиться на сайте Центра (

Красноярский кейс: Рейтинги по учебным достижениям Направления рейтингования: «ЕГЭ 2011: Уровень подготовки по русскому языку и математике» «ЕГЭ 2011: Возможность выпускников поступить в вуз» «ККР : Уровень подготовки выпускников начальной школы по русскому языку и математике» «ККР : Уровень сформированности общеучебных умений»

ЕГЭ-2011: обязательные предметы Участвуют все – можно делать вывод о том, как в муниципалитете готовят по предмету Показатели: Средний балл (как в среднем учат предмету) Процент выпускников, показавших средний и высокий уровень подготовки (группы выделены ФИПИ) (насколько хорошо обучают предмету)

ЕГЭ-2011: необязательные предметы необязательные предметы сдают, чтобы поступать в вуз результаты муниципалитетов можно оценивать по тому, какую возможность поступить в ВУЗ имеют выпускники нужно сравнивать сумму баллов по набору предметов, сдаваемых для поступления на ту или иную специальность чтобы «отсечь случайные выборы» предметов считаем % выпускников муниципалитета, набравших сумму больше определенного балла

ЕГЭ-2011: необязательные предметы Минимальный балл для зачисления в ведущий вуз здравоохранениерусский язык, химия, биология или физика сумма по 3 предметам – 193 балла экономика и менеджментматематика:41, русский язык: 50, обществознание: 50 или иностранный : 40 информатика и ИКТматематика, русский язык, физика или информатика и ИКТ сумма по 3 предметам – 180 баллов юриспруденцияобществознание:50, русский язык :50, история :50 или иностранный язык :50

Краевые контрольные работы для учащихся, закончивших 4-й класс Направления рейтингования: Уровень подготовки выпускников начальной школы по русскому языку и математике Уровень сформированности общеучебных умений (блок «Работа с информацией») оценка освоения умений (умение освоено / умение не освоено); качественная оценка соответствия продемонстрированных результатов требованиям ФГОС НОО (продемонстрировано / не продемонстрировано достижение базовой подготовки или уровня осознанного владения); тестовый балл по 100-балльной шкале (используем однопараметрическую модель Раша). тестовый балл Итоги Краевых контрольных работ можно посмотреть в отчете Цетнра ( Спецификация, кодификатор, демоверсия (

Краевые контрольные работы для учащихся, закончивших 4-й класс Участвуют порядка 85% учеников 4-х классов – можно использовать результаты Показатели: Средний балл в муниципалитете по 100 балльной шкале (как в среднем учат) Процент четвероклассников муниципалитета, продемонстрировавших повышенный и высокий уровень (насколько хорошо обучают)

Как «совместить» разные направления Нормирование X М.норм = (X М – X min ) / (X max – X min ) X М – значение показателя муниципалитета X min – значение минимального значения среди всех муниципалитетов X max – значение максимально значения среди всех муниципалитетов X М.норм – нормированное значение муниципалитета Таким образом: для муниципалитета с минимальным значением - нормированное значение 0; для муниципалитет с максимальным значением - нормированное значение 1. После этого все значения муниципалитетов располагаются в пределах 0 … 1 и можно складывать разные рейтинги

Сводный рейтинг Нормирование по каждому направлению Сводный индекс = сумма нормированных значений по направлениям

Использование рейтингов: Представление результатов публикация 20 лучших (из 60) муниципалитетов по отдельным направлениям и результатам сводного рейтинга; информирование глав муниципальных образований о результатах муниципалитета по отдельным направлениям и результатам сводного рейтинга.

Использование рейтингов: Сопутствующие информационные продукты Справка для МОиН по результатам отдельных направлений: основные итоги, лучшие и худшие муниципалитеты, основные характеристики худших, краткий анализ причин. Справка для Губернатора по результатам: рейтинги муниципалитетов по направлениям (учебные, внеучебные, удовлетворенность); направления и показатели рейтингования; лидеры и аутсайдеры по отдельным направлениям; устойчивые лидеры и аутсайдеры по нескольким направлениям.

Использование рейтингов: Управленческие решения Все боялись результатов рейтингов («начальники не умеют работать с рейтингами»; «ждем, когда полетят головы»; как следствие, публикация только лучших). Ничего особо страшного не произошло («никого не уволили»). Результаты обсуждаются в основном теми школами, муниципалитетами, которые ожидали увидеть себя в рейтинге на более высоком уровне.

Использование рейтингов: работа с результатами Можно оценить лишь то, насколько мои ожидания совпали с тем местом в рейтинге, которое я получил. Лучшим есть повод погордиться. Адресная поддержка аутсайдерам (услуга краевого ИПК).

Часть 2. Что нужно помнить при разработке методик рейтиингования Методика рейтингования – это инструмент оценки. Как любой инструмент оценки, методику необходимо апробировать (наверное, возможно использование аппарата, разработанного для тестирования). Если Вы используете «ненадежные» источники оценок для рейтингования – в будущем эти результаты будут фальсифицировать.

Часть 2. Что нужно помнить при интерпретации результатов Рейтинг по учебным достижениям не абсолютный показатель результативности работы: рейтинг линейный, но у всех разные условия – не показывает «вклад» муниципальной (школьной) системы образования; рейтинг линейный – можно лишь посмотреть на каком месте я нахожусь относительно моих ожиданий и представлений; сравниваем друг с другом в хвосте не те, у кого совсем все плохо, просто у тех, кто выше лучше; тех, кто внизу, необходимо обеспечивать ресурсами; тех, кто вверху, необходимо проверить – так ли и что у них хорошо и учиться этому на их опыте.

Часть 2. Чем рискуем когда строим рейтинги Любая процедура оценки, если её результаты используются для рейтингования – имеет тяготение к нарушению порядка проведения Если данные для рейтингования предоставляет оцениваемый объект – через некоторое время у всех будут одинаково высокие показатели (не используйте опросы, анкетирование и др. непроверяемые данные) Очень большое число показателей для оценки – мало что дает

Часть 2. Разработка рейтингов – что может быть в этом полезного? Построить рейтинг – присвоить каждому участнику «циферку», которая позволяет определить его место в общей «линейке». Придумать хитрую «циферку», комплексно отражающую состояние дел в образовании – основная задача оценки качества образования. Если эту «циферку» нормировать относительно друг друга – получится рейтинг; относительно взятых обязательств – получится индекс достижений. Если мы получим набор методов расчета «циферок» (общепризнанных, «полноотражающих», «достовернопоучаемых») – мы построим систему оценки качества образования.

СПАСИБО ЗА ВНИМАНИЕ! Центр оценки качества образования г. Красноярск cok.cross-edu.ru