Учебный курс «Национальные экзамены и мониторинги учебных достижений: интерпретация и представление результатов для различных групп пользователей» мая 2013 года, г. Москва Интерпретация и сопоставимость результатов оценочных процедур. СЕССИЯ 7 Сергей Анатольевич Боченков, эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары

Общие подходы к интерпретации результатов оценочных процедур. Примеры интерпретации результатов оценочных процедур (на примере ЕГЭ) для разных групп пользователей (для учителя, для школы, для системы образования). Проблема сопоставимости результатов оценочных процедур. Риски использования результатов экзаменов для мониторинга (на примере среднего балла ЕГЭ) Региональный отчёт по результатам оценочной процедуры – при каких условиях он может быть основной для других информационных продуктов? Вопросы, которые предлагается обсудить:

Интерпретация результатов определяется с одной стороны запросами группы пользователей, с другой – источниками данных Запросы разных групп пользователей о результатах оценочной процедуры Участники и их родители Учителя Администрация школы Органы управления образованием Методические службы Родители, выбирающие школу СМИ, местное сообщество Запросы разных групп пользователей о результатах оценочной процедуры Участники и их родители Учителя Администрация школы Органы управления образованием Методические службы Родители, выбирающие школу СМИ, местное сообщество Источники данных о результатах оценочной процедуры и об условиях организации образовательного процесса Протоколы результатов ЕГЭ (ГИА) Регламент оценочной процедуры Спецификации и кодификаторы КИМов Кодификатор школ региона _____________________________ Программа развития школы (региона) Данные других оценочных процедур и мониторингов Источники данных о результатах оценочной процедуры и об условиях организации образовательного процесса Протоколы результатов ЕГЭ (ГИА) Регламент оценочной процедуры Спецификации и кодификаторы КИМов Кодификатор школ региона _____________________________ Программа развития школы (региона) Данные других оценочных процедур и мониторингов Информационные продукты, содержащие интерпретацию результатов оценочной процедуры Свидетельство о результатах ЕГЭ Региональный отчёт по итогам оценки. Специализированный отчёт (по предмету, группе учащихся, по школе, по группе школ). Аналитическая записка для министра. Информационный буклет для родителей. Пресс-релиз Информационные продукты, содержащие интерпретацию результатов оценочной процедуры Свидетельство о результатах ЕГЭ Региональный отчёт по итогам оценки. Специализированный отчёт (по предмету, группе учащихся, по школе, по группе школ). Аналитическая записка для министра. Информационный буклет для родителей. Пресс-релиз

Интерпретация результатов ЕГЭ для учителя Информационные запросы УЧИТЕЛЯ о результатах ЕГЭ Уровень требований контрольно- измерительных материалов ЕГЭ по предмету. Востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Освоение учениками образовательного стандарта на минимальном уровне. Освоение учениками образовательного стандарта на профильном уровне. Успешность освоения отдельных дидактических единиц (позадачная решаемость), содержательных блоков, сформированность умений и видов деятельности. Соответствие системы текущего оценивания внешней оценке. Информационные запросы УЧИТЕЛЯ о результатах ЕГЭ Уровень требований контрольно- измерительных материалов ЕГЭ по предмету. Востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Освоение учениками образовательного стандарта на минимальном уровне. Освоение учениками образовательного стандарта на профильном уровне. Успешность освоения отдельных дидактических единиц (позадачная решаемость), содержательных блоков, сформированность умений и видов деятельности. Соответствие системы текущего оценивания внешней оценке. «Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ - если предмет изучается на базовом уровне: освоение образовательного стандарта на минимальном уровне стремится к 100%; все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уроне: востребованность предмета выше, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на минимальном уровне 100%; освоение образовательного стандарта на профильном уровне выше, чем среднее по территории и для аналогичных школ система текущего оценивания адекватна внешней оценке. «Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ - если предмет изучается на базовом уровне: освоение образовательного стандарта на минимальном уровне стремится к 100%; все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уроне: востребованность предмета выше, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на минимальном уровне 100%; освоение образовательного стандарта на профильном уровне выше, чем среднее по территории и для аналогичных школ система текущего оценивания адекватна внешней оценке.

Пример интерпретации результатов ЕГЭ для учителя. Уровень требований ЕГЭ ПРОВЕРЯЕМЫЕ ТРЕБОВАНИЯ НОМЕРА ЗАДАНИЙ В РАБОТЕ ЕГЭ-2012 Механика (кинематика, динамика, статика, законы сохранения в механике, механические колебания и волны). А1, А2, А3, А4, А5, А6, А22 Молекулярная физика (молекулярно- кинетическая теория, термодинамика). А7, А8, А9, А10, А24, В1 Электродинамика и основы СТО (электрическое поле, постоянный ток, магнитное поле, электромагнитная индукция, электромагнитные колебания и волны, оптика, основы СТО). А11, А12, А13, А14, А15, А16, А23, В3, В4 Квантовая физика (корпускулярно-волновой дуализм, физика атома, физика атомного ядра). А17, А18, А19, А25, В2 Методы научного познанияА20, А21 Задания высокого уровня сложности. МеханикаС1, С2 Задания высокого уровня сложности. Молекулярная физика С3 Задания высокого уровня сложности. Электродинамика и основы СТО С4, С5 Задания высокого уровня сложности. Квантовая физика С6

Пример интерпретации результатов ЕГЭ для учителя. Позадачная решаемость. Графическим выражением успешности, результата выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждого задания. При сравнении с коридором ожидаемой решаемости видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными. Практика анализа результатов экзамена в разрезе отдельной школы, класса и учителя даёт разные профили по решаемости заданий.

Пример интерпретации результатов ЕГЭ для учителя. Результаты освоения содержательных блоков курса и сформированность основных умений. РУССКИЙ ЯЗЫК ФИЗИКА 71,9% 43,8% 69,3% 65,2% 72,3% Задания высокого уровня сложности Задания базового и повышенного уровня сложности Методы познания Квантовая физика Электродина- мика Молекулярная физика Механика

Пример интерпретации результатов ЕГЭ для учителя. Группы учащихся по уровню готовности к ЕГЭ-2012 по физике. Высокий уровень подготовки к ЕГЭ: знаний и умений достаточно для полноценного продолжения образования в профильном вузе с достаточно высоким конкурсом. Повышенный уровень подготовки к ЕГЭ: знаний и умений достаточно для продолжения образования по профильным специальностям в вузах со средним уровнем требований. Базовый уровень подготовки к ЕГЭ: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне. В группу с базовым уровнем подготовки входят учащиеся, которые могут продолжать образование по профильным специальностям в НПО и СПО или выбрать направление обучения в вузе, где данный предмет не является профильным. Низкий уровень подготовки к ЕГЭ: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ. Доля выпускников, успешно сдавших ЕГЭ по предмету от общего числа выпускников, сдававших данный предмет - 100% Доля выпускников, сдавших ЕГЭ по предмету с результатом, соответствующим повышенному уровню и выше от общего числа выпускников, изучавших предмет на профильном уровне – 81,25%

Интерпретация результатов ЕГЭ для школы (администрация, педколлектив, учащиеся, родители, социум) Информационные запросы ШКОЛЫ о результатах ЕГЭ Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ? Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ) ? Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим повышенному уровню (ПБ 2) и выше)? Соответствие ли применяемая учителями система текущего оценивания внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона? Какова динамика значений ключевых показателей? Информационные запросы ШКОЛЫ о результатах ЕГЭ Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ? Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ) ? Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим повышенному уровню (ПБ 2) и выше)? Соответствие ли применяемая учителями система текущего оценивания внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона? Какова динамика значений ключевых показателей? Что значит – «хорошая школа» по результатам ЕГЭ? это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы необходимые им для продолжения образования. это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. это школа, все выпускники которой успешно сдали все экзамены (изучавшиеся на профильном уровне) в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность. это школы, обеспечивающие общий высокий уровень подготовки по всем предметам, особенно по предметам профиля. это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций. Что значит – «хорошая школа» по результатам ЕГЭ? это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы необходимые им для продолжения образования. это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. это школа, все выпускники которой успешно сдали все экзамены (изучавшиеся на профильном уровне) в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность. это школы, обеспечивающие общий высокий уровень подготовки по всем предметам, особенно по предметам профиля. это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.

Школа А не обеспечивает качества подготовки по востребованным предметам (биология, химия). Школа Б обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. Школа В кроме физике обеспечивает высокий уровень практически по всем предметам. Школа Г многопрофильная и обеспечивает высокий уровень подготовки по всем предметам. Пример интерпретации результатов ЕГЭ для ШКОЛЫ. Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ

Пример интерпретации результатов ЕГЭ школ в пределах одного из муниципалитетов региона: Кластер Число выпускников Доля выпускников, успешно сдавших два обязательных экзамена в форме ЕГЭ (выше порога) "+" - ВСЕ выпускники освоили стандарт; "-" - НЕ ВСЕ выпускники освоили стандарт Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше порога) Качество подготовки по обязательным предметам. Средний балл по двум предметам Качество профильной подготовки. Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня Качество профильной подготовки. Доля экзаменов с результатом выше профильного уровня. Группа по совокупным результатам ЕГЭ-2012 МБОУ "Гимназия А" ,0%+92,1%58,267,9%21,3%1 МБОУ "СОШ А" ,0%+96,8%59,016,4%17,3%1 МБОУ "СОШ Б" ,0%+97,1%54,324,4%13,8%1 МБОУ "СОШ В" ,0%+97,6%57,102,4%13,0%1 МБОУ "СОШ Х с УИОП" ,0%+95,8%61,520,0%18,1%2 МБОУ "СОШ Г" ,0%+90,9%46,550,0% 2 МБОУ "СОШ Д" ,0%+79,6%53,087,1%14,4%3 МБОУ "СОШ Е ,0%+82,5%52,480,0%6,8%3 МБОУ "СОШ Ж" ,0%+78,0%47,642,0%6,7%3 МАОУ "СОШ И с УИОП" ,0%+91,4%52,720,0%4,5%3 МБОУ "СОШ К с УИОП" ,0%+90,0%50,200,0%3,4%3 МБОУ "СОШ Л" 26198,4%-86,9%53,003,3%9,6%3 МБОУ "В(С)ОШ ? " 62588,0%-60,0%38,340,0% 3 МБОУ СОШ М" 25998,3%-74,6%47,800,0% 4 Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона

Интерпретация результатов ЕГЭ для управления образовательными системами (муниципальный, региональный уровни управления) Информационные запросы органов управления о результатах ЕГЭ в системе образования муниципалитета, региона Надёжность процедуры проведения ЕГЭ на территории(нарушения, фальсификации). Охват средним (полным) образованием учащихся соответствующего возраста учреждениями системы – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Выявление групп риска среди категорий учащихся, определение степени депрессивности территорий, выявление школ, работающих в трудных условиях. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке, предоставляемой сетью школ. Контроль качества и оценка эффективности деятельности школ. Эффективность использования ресурсов сети. Информационные запросы органов управления о результатах ЕГЭ в системе образования муниципалитета, региона Надёжность процедуры проведения ЕГЭ на территории(нарушения, фальсификации). Охват средним (полным) образованием учащихся соответствующего возраста учреждениями системы – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Выявление групп риска среди категорий учащихся, определение степени депрессивности территорий, выявление школ, работающих в трудных условиях. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке, предоставляемой сетью школ. Контроль качества и оценка эффективности деятельности школ. Эффективность использования ресурсов сети. Что значит – «хорошая система образования» по результатам ЕГЭ? Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Различия в результатах между школами ниже, чем между результатами внутри школы. Выявлены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения. Что значит – «хорошая система образования» по результатам ЕГЭ? Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Различия в результатах между школами ниже, чем между результатами внутри школы. Выявлены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения.

Равенство доступа к образованию соответствующего качества. Муниципалитеты.

Ключевые показатели Наименование муниципалитетов Всего выпускников, чел. Число образовательных учреждений, шт. Доля выпускников вечерней формы обучения Доля выпускников сельских школ, %. Доля выпускников, обучавшихся в школах кластера 1, % Доля выпускников, успешно сдавших оба обязательных экзамена в форме ЕГЭ (выше порога) Рейтинг по уровню освоения стандарта общего образования Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше порога) Рейтинг по уровню готовности к продолжению образования Качество подготовки по обязательным предметам. Средний балл по двум предметам Рейтинг качества подготовки по обязательным предметам Качество профильной подготовки. Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня Рейтинг качества подготовки по предметам по выбору Доступность образования соответствующего качества. Разница среднего балла по обязательным предметам по республике и среднего балла «худшей» школы Рейтинг по доступности образования Общее место в рейтинге по результатам ЕГЭ-2012 Динамика относительно позиций в рейтинге по результатам ЕГЭ-2010 года муниципалитет Н ,96100,00,0092, , ,80 2 1,46 2 1, муниципалитет С318830,82100,00,0089, , ,67 1 0, , муниципалитет Ш ,0256,851,6590, , ,46 4 0, , муниципалитет А ,24100,00,0087, , ,49 5 0, , муниципалитет Г ,060,0021,0689, , ,81 3 1, , муниципалитет К ,66100,00,0085, , ,20 8 0, , муниципалитет Ш ,59100,07,6683, , ,29 7 0, , по региону ,7869,026,2284,6036,7741,700,63 муниципалитет У ,5853,927,8385, , ,68 6 0, , муниципалитет Н ,52100,05,0179, , ,00 9 0, , муниципалитет Г ,57100,00,0088, , , , , муниципалитет Г ,7274,074,7874, , , , , муниципалитет Н ,00100,05,6981, , , , , муниципалитет А355818,310,0011,5580, , , , , муниципалитет Ш ,63100,00,0053, , , , , муниципалитет В ,55100,00,0081,421123,841337,92130, , Пример рейтинга муниципальных образований по результатам ЕГЭ

Интерпретация результатов оценочных процедур. Основные фиксации: Анализ и интерпретация результатов оценочной процедуры определяется с одной стороны запросами группы потенциальных пользователей, с другой – доступными источниками данных. Запросы на аналитические материалы по результатам оценочной процедуры разные и зависят от точки принятия управленческих решений, т.е. понимание результата оценочной процедуры на каждом уровне управления и под каждый запрос должно быть различно. Для адресной подготовки аналитики необходимо максимально точное понимание того, на какие именно вопросы хотели бы получить ответы представители данной группы пользователей и каковы критерии (характеристики) качества объекта оценки. Для каждой группы пользователей необходимо применять особую модель анализа и интерпретации результатов оценочной процедуры и свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает управленец, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует все имеющиеся в его распоряжении ресурсы для воздействия на эти показатели. Ошибки в использовании результатов оценочной процедуры связаны прежде всего с отсутствием соответствующих рекомендаций (в том числе – ограничений на использование отдельных показателей, определения границ возможного их применения и т.д.), которые должны быть подготовлены ещё в период апробации инструментария.

Сопоставимость результатов оценочных процедур – возможные варианты ситуаций сравнения Сопоставимость результатов оценочных процедур одной …в пределах одной оценочной процедуры предметов Сопоставимость результатов разных предметов объектов Сопоставимость результатов разных объектов в динамике по годам Сопоставимость результатов в динамике по годам разными …между разными оценочными процедурами одной категорией испытуемых разных Сопоставимость результатов, показанных одной и той же категорией испытуемых в разных оценочных процедурах одного объекта оценки разных Сопоставимость результатов, показанных учащимися одного и того же объекта оценки (школа, муниципалитет) в разных оценочных процедурах

Средний балл ЕГЭ – наиболее распространённый и принятый в системе образования РФ показатель, отражающий образовательные результаты. Если что-либо делается неправильно достаточно часто, оно становится правильным. Самарская область ~school120/ege.htm Чувашия /egeh_2012_chuvashija_sta tisticheskij_sbornik_2_ver.p dfhttp://ege21.ru/ege/metod /egeh_2012_chuvashija_sta tisticheskij_sbornik_2_ver.p df, стр.48. Сопоставление результатов ЕГЭ по школе с результатами по муниципалитету, регионе, стране Динамика результатов ЕГЭ по региону за три года

Использование средней величины допускается только после оценки её типичности и надёжности. Как оценить типичность и надёжность средней? Средняя величина должна быть типичной, т. е. должна отражать основную совокупность, из которой она получена. Типичность средней величины обратно-пропорциональна степени колеблемости (рассеянности) измеряемой величины. Чем более рассеян ряд, тем менее типична средняя. Чем больше число измерений составляет совокупность, тем надёжнее средняя.. Среднее квадратическое (или стандартное) отклонение: Среднее квадратическое отклонение является мерилом надежности средней. Чем меньше эта величина, тем лучше средняя арифметическая отражает собой всю представляемую совокупностьСреднее квадратическое отклонение является мерилом надежности средней. Чем меньше эта величина, тем лучше средняя арифметическая отражает собой всю представляемую совокупность Коэффициент вариации: Коэффициент вариации – это отношение среднеквадратического отклонения к среднеарифметическому, рассчитывается в процентах.Коэффициент вариации – это отношение среднеквадратического отклонения к среднеарифметическому, рассчитывается в процентах. Критериальным значением коэффициента вариации служит 33,3%, то есть если V меньше или равен 33,3% - вариация считает слабой, а если больше - сильной. В случае сильной вариации изучаемая статистическая совокупность считается неоднородной, а средняя величина - нетипичной и ее нельзя использовать как обобщающий показатель этой совокупности.Критериальным значением коэффициента вариации служит 33,3%, то есть если V меньше или равен 33,3% - вариация считает слабой, а если больше - сильной. В случае сильной вариации изучаемая статистическая совокупность считается неоднородной, а средняя величина - нетипичной и ее нельзя использовать как обобщающий показатель этой совокупности.

На практике мало кто задумывается, что такое однородность и продолжает считать «среднюю температуру по больнице»…

Средние величины и шкалирование. Совпадают ли шкалы оценочных процедур? Если тесты по двум предметам сопоставимы по сложности и шкалы выровнены, то уровень подготовки по русскому всех выпускников страны в среднем выше, чем по математике. Если тесты по двум предметам не выровнены по сложности, то возможно несколько вариантов: Уровень подготовки по русскому выше, чем по математике. Уровень подготовки по математике выше, чем по русскому языку, просто тест сложнее. Уровень подготовки по двум предметам примерно равный.

Два уровня освоения образовательного стандарта (ЕГЭ-2012) по методике ФИПИ Предмет ПБ1 (в скобках ТБ1 – балл по 100- балльной шкале) ПБ2 (в скобках ТБ2 – балл по 100-балльной шкале) Русский язык17 из 64 (36 из 100)54 из 64 (73 из 100) Математика5 из 32 (24 из 100)15 из 32 (63 из 100) Обществознание15 из 59 (39 из 100)48 из 59 (72 из 100) История13 из 58 (32 из 100)46 из 58 (72 из 100) Физика12 (11 – min) из 51(39 из 100)33 из 51 (62 из 100) Химия14 из 65 (36 из 100)58 из 65 (80 из 100) Биология17 из 69 (36 из 100)60 из 69 (79 из 100) География14 из 54 (37 из 100)44 из 54 (69 из 100) Информатика8 из 40 (40 из 100)35 из 40 (84 из 100) Иностранные языки16 из 80 (20 из 100)65 из 80 (82 из 100) Литература8 из 42 (32 из 100)36 из 42 (73 из 100) «…Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 и 2012 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам». ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательно му предмету ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания

Соотношение 100-балльной и процентильной шкал (РФ, ЕГЭ-2012) © С.А. Боченков Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2012) баллов

Сравнение 100-балльных шкал по среднепроцентильным рангам, или что лежит в основе сравнения среднего балла ЕГЭ между предметами и при оценки динамики результатов по годам

Стобалльная шкала ЕГЭ не позволяет сравнивать результаты по предметам и оценить динамику по годам, т.к.: НЕ СОВПАДАЕТ: величина наименьшего тестового балла, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по предмету (ТБ1) величина наименьшего тестового балла, получение которого свидетельствует о высоком уровне подготовки участника экзамена (а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания по соответствующему общеобразовательному предмету) ТБ2 МЕНЯЕТСЯ ПО ГОДАМ: время, отведённое на выполнение работы без изменения её содержания (русский язык в 2012 и в 2013) количество, качество и состав заданий, уровень сложности

Пример сравнения результатов ЕГЭ двух школ: Профиль школы Кол-во выпускников Средний балл ЕГЭ, при условии, что все выпускники все предметы сдали с одинаковым результатом, равным ТБ2 Вывод о результатах профильной подготовки Вывод об эффективности вузов, по качеству подготовки поступивших в них выпускников этих школ Школа с инженерным профилем (математика, физика + русский язык) 30 (математика 63 + физика 62 + русский 73) / 3 = 66,0 При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания ) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17% Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала Школа с медицинским профильным (биология, химия + русский язык) 30 (русский 73 + биология 79 + химия 80) / 3 = 77,3

Если не средний балл, то что? Какие показатели имеет смысл использовать при анализе результатов ЕГЭ? Для оценки результатов учителя: Уровень освоения образовательного стандарта: Доля выпускников, успешно сдавших экзамен в форме ЕГЭ по предмету из числа выпускников, допущенных к итоговой аттестации. Качество профильной подготовки: Доля выпускников, выбравших экзамен по предмету в форме ЕГЭ от общего числа изучавших данный предмет на профильном уровне. Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Корреляция между результатами ЕГЭ и текущей отметкой учащихся. Уровень освоения образовательного стандарта: Доля выпускников, успешно сдавших экзамен в форме ЕГЭ по предмету из числа выпускников, допущенных к итоговой аттестации. Качество профильной подготовки: Доля выпускников, выбравших экзамен по предмету в форме ЕГЭ от общего числа изучавших данный предмет на профильном уровне. Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Корреляция между результатами ЕГЭ и текущей отметкой учащихся. Для оценки результатов школы: Уровень освоения образовательного стандарта: Доля выпускников школы успешно сдавших два обязательных экзамена в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации. Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ. Качество профильной подготовки: Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2). Уровень освоения образовательного стандарта: Доля выпускников школы успешно сдавших два обязательных экзамена в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации. Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ. Качество профильной подготовки: Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2).

Комплекс оценочных процедур. Как сопоставлять результаты? Сопоставление результатов, показанных каждым участником (одной и той же группой участников) в разных оценочных процедурах Готовность учащихся 1 классов к обучению в школе Внутриклассное оценивание, школьный мониторинг Готовность учащихся 5 классов к обучению в основной школе Внутриклассное оценивание, школьный мониторинг ГИА выпускников 9 классов Внутриклассное оценивание, школьный мониторинг Результаты предметных олимпиад ЕГЭ выпускников 11 классов Мониторинг образовательных и трудовых траекторий выпускников 11 классов Сопоставление результатов, показанных в каждой оценочной процедуре группой участников соответствующего возраста из одной школы (муниципалитета и т.д.) Комплекс процедур внешней оценки должен быть дополнен внутриклассным оцениванием и различными мониторингами….

Сопоставимость результатов нескольких оценочных процедур между собой. Варианты решения проблемы. Изменения собственно оценочных процедур: Проектирование оценочных процедур как частей единого комплекса ОСОКО. Совместимость баз данных индивидуальных результатов разных оценочных процедур между собой. Введение системы электронного портфолио учащихся. Использование специальных способов анализа: Единство методики исчисления ключевых показателей в разных оценочных процедурах (единообразие структуры моделей оценки). Через соответствующие системы показателей определение критериев качества работы эффективного учителя, хорошей школы, системы образования. Использование средних и относительных величин, поправочных коэффициентов, методов пересчета и т.д. Учёт контекстной информации. Использование уровневой системы интерпретации результатов: – Выделение уровней на основе процентильного подхода – Выделение двух пороговых групп участников - доля участников, успешно сдавших ЕГЭ по предмету (выше минимального порога базового уровня) и доля участников, преодолевших минимальный порог профильного уровня из числа изучавших предмет на профильном уровне.

ПРИМЕР: NAPLAN (Австралия) национальная программа оценки учебных достижений для учащихся 3, 5, 7 и 9 классов Как интерпретировать результаты Слайд из презентации И.А. Вальдмана edu.ru/trainings/study/226

«Региональный отчёт является наиболее полным и всесторонним из всех информационных продуктов, которые могут быть подготовлены на основе данных оценки». База результатов ЕГЭ (протоколы) Потребности пользователей в информации о результатах ЕГЭ 1. Выпускники и их родители 2. Учителя, общеобразовательные учреждения 3. Органы управления образованием 4. Методические службы 5. Родители, выбирающие школу Региональный сборник статистических и аналитических данных о результатах ЕГЭ + таблицы с данными значений показателей по всем образовательным учреждениям и фоновым группам. Свидетельство о результатах ЕГЭ Преодоление разрыва между результатами оценочной процедуры и потребностями в информации разных групп пользователей о результатах

Анализ результатов ЕГЭ и ГИА по региону, муниципалитету, образовательному учреждению: подготовка аналитических материалов под заказ. Примерная структура регионального сборника по результатам ЕГЭ: -Общие подходы к анализу и интерпретации результатов ЕГЭ: ключевые линии анализа, система показателей, возможные направления использования. -Особенности контингента участников ЕГЭ по региону. -Общие результаты ЕГЭ выпускников общеобразовательных учреждений региона. -Общая статистика результатов -Активность участия -Уровень освоения образовательного стандарта -Качество учебных достижений -Равенство доступа к образованию соответствующего качества -Муниципальные образования региона в зеркале ЕГЭ. Рейтинг муниципалитетов. -Общеобразовательные учреждения региона в зеркале ЕГЭ. Рейтинг школ. -Анализ результатов ЕГЭ в разрезе учебных предметов. Методические рекомендации. -Основные выводы и рекомендации. -ПРИЛОЖЕНИЕ. Таблица значений показателей по региону, муниципалитетам, общеобразовательным учреждениям, фоновым группам. Опыт адресной подготовки аналитических материалов, выполненных на основе результатов внешних оценочных процедур (ЕГЭ, ГИА) и выстроенных под задачи управления качеством образования. АНОНС АНАЛИТИКИ Сопоставимость результатов ЕГЭ и ГИА. -Оценка эффективности профильного образования в старшей школе. -Обновлённая система кластеров образовательных учреждений. -Уровневый подход к оценке результатов ЕГЭ и ГИА. -Экспресс-анализ результатов ЕГЭ и ГИА по региону, муниципалитету, школе по отдельным предметам.

СПАСИБО ЗА ВНИМАНИЕ! Сергей Анатольевич Боченков г. Чебоксары, залив