Представление результатов оценки учебных достижений: почему нельзя полностью доверять среднему баллу теста? ВЕБИНАР 10 Представление результатов оценки учебных достижений: почему нельзя полностью доверять среднему баллу теста? 14 марта 2013 года Российский тренинговый центр Института управления образованием РАО Сергей Анатольевич Боченков, эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары

нельзя Результаты ГИА и ЕГЭ нельзя использовать для измерения, мониторинга и оценки качества образовательных результатов. ГИА и ЕГЭ – это экзамены с «высокими ставками», они служат только для измерения индивидуальных образовательных результатов можно Результаты ГИА и ЕГЭ можно использовать для измерения, мониторинга и оценки качества образовательных результатов. ГИА и ЕГЭ – это основные формы итоговой аттестации выпускников Как оценивать качество образования по результатам ГИА и ЕГЭ, как анализировать и интерпретировать результаты ГИА и ЕГЭ? Можно ли использовать результаты внешних оценочных процедур в управлении качеством образования?

Средний балл ЕГЭ – наиболее распространённый и принятый в системе образования РФ показатель, отражающий образовательные результаты. Если что-либо делается неправильно достаточно часто, оно становится правильным. Самарская область ~school120/ege.htm Чувашия /egeh_2012_chuvashija_sta tisticheskij_sbornik_2_ver.p dfhttp://ege21.ru/ege/metod /egeh_2012_chuvashija_sta tisticheskij_sbornik_2_ver.p df, стр.48. Сопоставление результатов ЕГЭ по школе с результатами по муниципалитету, регионе, стране Динамика результатов ЕГЭ по региону за три года

Что такое средняя величина и как она отражает совокупность? Надёжность средних величин. Когда использование средних некорректно? Средние величины бывают разные. Какую выбрать? Средние величины и целевые показатели. Может ли средний балл быть целевым показателем? Средние величины и шкалирование. Совпадают ли шкалы оценочных процедур? Способы выравнивания шкал. Как сопоставить результаты разных оценочных процедур? Условия, когда можно доверять среднему баллу теста. Вопросы, которые предлагается обсудить:

Что такое средняя величина и как она отражает совокупность? Средней величиной называют показатель, который характеризует обобщенное значение признака или группы признаков в исследуемой совокупности. Средняя величина заменяет большое число индивидуальных значений признака, обнаруживая общие свойства, присущие всем единицам совокупности. Среднее - такое значение признака, которое имело бы каждая единица совокупности, если бы общий итог всех значений признака был распределен равномерно между всеми единицами совокупности. Средняя величина это обобщающая характеристика размера изучаемого признака. Она позволяет одним числом количественно охарактеризовать качественно однородную совокупность. Средняя величина должна быть типична, а измеряемая ею совокупность - однородна Совокупность должна быть однородной, не распадающейся на несколько самостоятельных совокупностейСовокупность должна быть однородной, не распадающейся на несколько самостоятельных совокупностей Средняя вычисляется для признаков, присущих всем членам совокупности, для признаков, качественно однородных и различающихся только количественноСредняя вычисляется для признаков, присущих всем членам совокупности, для признаков, качественно однородных и различающихся только количественно Объективность средней определяется достаточно большим числом единичных измерений, составляющих совокупность Рассчитываются на основе массовых данных – достаточного числа анализируемых единиц.Рассчитываются на основе массовых данных – достаточного числа анализируемых единиц. Достаточность анализируемых единиц обеспечивается корректным определением границ исследуемой совокупности.Достаточность анализируемых единиц обеспечивается корректным определением границ исследуемой совокупности.

Использование средней величины допускается только после оценки её типичности и надёжности. Как оценить типичность и надёжность средней? Средняя величина должна быть типичной, т. е. должна отражать основную совокупность, из которой она получена. Типичность средней величины обратно-пропорциональна степени колеблемости (рассеянности) измеряемой величины. Чем более рассеян ряд, тем менее типична средняя. Чем больше число измерений составляет совокупность, тем надёжнее средняя.. Среднее квадратическое (или стандартное) отклонение: Среднее квадратическое отклонение является мерилом надежности средней. Чем меньше эта величина, тем лучше средняя арифметическая отражает собой всю представляемую совокупностьСреднее квадратическое отклонение является мерилом надежности средней. Чем меньше эта величина, тем лучше средняя арифметическая отражает собой всю представляемую совокупность Коэффициент вариации: Коэффициент вариации – это отношение среднеквадратического отклонения к среднеарифметическому, рассчитывается в процентах.Коэффициент вариации – это отношение среднеквадратического отклонения к среднеарифметическому, рассчитывается в процентах. Критериальным значением коэффициента вариации служит 33,3%, то есть если V меньше или равен 33,3% - вариация считает слабой, а если больше - сильной. В случае сильной вариации изучаемая статистическая совокупность считается неоднородной, а средняя величина - нетипичной и ее нельзя использовать как обобщающий показатель этой совокупности.Критериальным значением коэффициента вариации служит 33,3%, то есть если V меньше или равен 33,3% - вариация считает слабой, а если больше - сильной. В случае сильной вариации изучаемая статистическая совокупность считается неоднородной, а средняя величина - нетипичной и ее нельзя использовать как обобщающий показатель этой совокупности.

На практике мало кто задумывается, что такое однородность и продолжает считать «среднюю температуру по больнице»…

Использование средней величины допускается только после оценки её типичности Предмет Доля сдававших Средний балл Стандартное отклонение Коэффициент вариации Регион А Русский язык99,9%61,3213,0921,34% Математика99,9%43,9413,1529,93% Физика26,7%43,5311,6726,82% Химия7,1%54,6514,8227,12% Биология12,1%51,1812,9825,35% Иностранный язык5,8%57,3318,1431,65% Обществознание52,9%54,4311,8421,76% Информатика и ИКТ8,8%62,4115,4824,80% Регион Б Русский язык99,9%46,0114,5431,59% Математика99,9%37,6914,7439,11% Обществознание75,0%42,8814,2933,33%

Средние величины бывают разные. Простая и взвешенная форма средних. Наименование школы: ЕГЭ-2012, средний балл по математике Школа 167,3 Школа 254,5 Школа 348,6 Школа 445,4 Школа 556,9 Школа 656,0 Школа 733,5 Школа 860,4 Школа 954,2 Кол-во выпускников Пример. Расчёт среднего балла по муниципалитету:

Средние величины бывают разные. Средние степенные и структурные. 11 «А» класс Ученик 13 Ученик 23 Ученик 33 Ученик 43 Ученик 53 Ученик 64 Ученик 74 Ученик 84 Ученик 94 Ученик 104 Средние величины. Пример манипуляций. 11 «Б» класс Ученик 12 Ученик 22 Ученик 32 Ученик 42 Ученик 52 Ученик 65 Ученик 75 Ученик 85 Ученик 95 Ученик 105 Структурные средние: Мода – это наиболее часто встречающееся значение Медиана – это значение, которое делит совокупность на две равные части Структурные средние: Мода – это наиболее часто встречающееся значение Медиана – это значение, которое делит совокупность на две равные части

Средние величины и целевые показатели. Как выстроить систему целевых показателей, связанных с результатами оценочной процедуры? Формулировка требований к результату Для каждого объекта оценки в зависимости от задач формулируется рамка требований к результату. Преобразование требований в целевые показатели Система требований к результату прописывается в виде показателей с закреплением источника данных, формул для расчётов, периодичности и т.д. Распределение зон ответственности в зависимости от условий и ресурсов Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает лицо, работу которого оценивают, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует для их «улучшения» все имеющиеся в его распоряжении ресурсы.

Что значит – «хорошая школа» по результатам ЕГЭ? Признаки хорошей по результатам ЕГЭ школы: это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы (которые необходимы им для продолжения образования и которые они изучали в классах на профильном уровне); это школа, все выпускники которой успешно освоили образовательный стандарт не ниже минимального уровня по двум обязательным экзаменам в форме ЕГЭ (необходимо для получения аттестата о среднем (полном) образовании) и экзаменам по выбору независимо от профиля, т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность; это школа, в которой значительная часть выпускников преодолевают порог профильного уровня по всем предметам, которые они изучали на профильном уровне; это школа, где результаты текущего оценивания коррелируют с результатами внешней оценки; это школа, показывающая положительную динамику или стабильность в высоких результатах по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона.

Сравнение результатов двух оценочных процедур: Если тесты по двум предметам сопоставимы по сложности и шкалы выровнены, то уровень подготовки по русскому всех выпускников страны в среднем выше, чем по математике. Если тесты по двум предметам не выровнены по сложности, то возможно несколько вариантов: Уровень подготовки по русскому выше, чем по математике. Уровень подготовки по математике выше, чем по русскому языку, просто тест сложнее. Уровень подготовки по двум предметам примерно равный.

Два уровня освоения образовательного стандарта (ЕГЭ-2012) по методике ФИПИ Предмет ПБ1 (в скобках ТБ1 – балл по 100- балльной шкале) ПБ2 (в скобках ТБ2 – балл по 100-балльной шкале) Русский язык17 из 64 (36 из 100)54 из 64 (73 из 100) Математика5 из 32 (24 из 100)15 из 32 (63 из 100) Обществознание15 из 59 (39 из 100)48 из 59 (72 из 100) История13 из 58 (32 из 100)46 из 58 (72 из 100) Физика12 (11 – min) из 51(39 из 100)33 из 51 (62 из 100) Химия14 из 65 (36 из 100)58 из 65 (80 из 100) Биология17 из 69 (36 из 100)60 из 69 (79 из 100) География14 из 54 (37 из 100)44 из 54 (69 из 100) Информатика8 из 40 (40 из 100)35 из 40 (84 из 100) Иностранные языки16 из 80 (20 из 100)65 из 80 (82 из 100) Литература8 из 42 (32 из 100)36 из 42 (73 из 100) «…Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 и 2012 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам». ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательно му предмету ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания

Соотношение 100-балльной и процентильной шкал (РФ, ЕГЭ-2012) © С.А. Боченков Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2012) баллов

Сравнение 100-балльных шкал по среднепроцентильным рангам, или что лежит в основе сравнения среднего балла ЕГЭ между предметами и при оценки динамики результатов по годам

Стобалльная шкала ЕГЭ не позволяет сравнивать результаты по предметам и оценить динамику по годам, т.к.: НЕ СОВПАДАЕТ: величина наименьшего тестового балла, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по предмету (ТБ1) величина наименьшего тестового балла, получение которого свидетельствует о высоком уровне подготовки участника экзамена (а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания по соответствующему общеобразовательному предмету) ТБ2 МЕНЯЕТСЯ ПО ГОДАМ: время, отведённое на выполнение работы без изменения её содержания (русский язык в 2012 и в 2013) количество, качество и состав заданий, уровень сложности

Пример межпредметного сравнения результатов ЕГЭ-2012 по региону на основе разных показателей

Пример сравнения результатов ЕГЭ двух школ: Профиль школы Кол-во выпускников Средний балл ЕГЭ, при условии, что все выпускники все предметы сдали с одинаковым результатом, равным ТБ2 Вывод о результатах профильной подготовки Вывод об эффективности вузов, по качеству подготовки поступивших в них выпускников этих школ Школа с инженерным профилем (математика, физика + русский язык) 30 (математика 63 + физика 62 + русский 73) / 3 = 66,0 При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания ) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17% Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала Школа с медицинским профильным (биология, химия + русский язык) 30 (русский 73 + биология 79 + химия 80) / 3 = 77,3

Условия, когда можно доверять среднему баллу теста: Оценка результата в пределах одного теста (например, ЕГЭ-2012 по математике): Если совокупность данных, лежащая в основе расчётов средней однородна и средняя величина типична. Если измерений в совокупности данных достаточно много, чтобы работал закон больших чисел. Если ясна природа воздействия на средний балл контролируемых и случайных факторов. Если способ расчета средней выбран так, чтобы полученная оценка совокупности максимально отражала реальную ситуацию. Если совокупность данных, лежащая в основе расчётов средней однородна и средняя величина типична. Если измерений в совокупности данных достаточно много, чтобы работал закон больших чисел. Если ясна природа воздействия на средний балл контролируемых и случайных факторов. Если способ расчета средней выбран так, чтобы полученная оценка совокупности максимально отражала реальную ситуацию. Сопоставление результатов нескольких тестов или динамика результатов: Если быть уверенным, что тест ЕГЭ по русскому и тест ЕГЭ по математике (и т.д. – по другим предметам) измеряют сопоставимые величины и результаты представлены по выровненным шкалам. Если быть уверенным, что результаты ЕГЭ по математике (и т.д. – по другим предметам) по годам измеряют сопоставимые величины и результаты представлены по выровненным шкалам. Если быть уверенным, что тест ЕГЭ по русскому и тест ЕГЭ по математике (и т.д. – по другим предметам) измеряют сопоставимые величины и результаты представлены по выровненным шкалам. Если быть уверенным, что результаты ЕГЭ по математике (и т.д. – по другим предметам) по годам измеряют сопоставимые величины и результаты представлены по выровненным шкалам.

Если не средний балл, то что? Какие показатели имеет смысл использовать при анализе результатов ЕГЭ? Для оценки результатов учителя: Уровень освоения образовательного стандарта: Доля выпускников, успешно сдавших экзамен в форме ЕГЭ по предмету из числа выпускников, допущенных к итоговой аттестации. Качество профильной подготовки: Доля выпускников, выбравших экзамен по предмету в форме ЕГЭ от общего числа изучавших данный предмет на профильном уровне. Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Корреляция между результатами ЕГЭ и текущей отметкой учащихся. Уровень освоения образовательного стандарта: Доля выпускников, успешно сдавших экзамен в форме ЕГЭ по предмету из числа выпускников, допущенных к итоговой аттестации. Качество профильной подготовки: Доля выпускников, выбравших экзамен по предмету в форме ЕГЭ от общего числа изучавших данный предмет на профильном уровне. Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Корреляция между результатами ЕГЭ и текущей отметкой учащихся. Для оценки результатов школы: Уровень освоения образовательного стандарта: Доля выпускников школы успешно сдавших два обязательных экзамена в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации. Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ. Качество профильной подготовки: Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2). Уровень освоения образовательного стандарта: Доля выпускников школы успешно сдавших два обязательных экзамена в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации. Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ. Качество профильной подготовки: Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2).

БЛАГОДАРЮ ЗА ВНИМАНИЕ!