АНАЛИЗ СИСТЕМЫ ПЕРЕВОДА ПЕРВИЧНОГО БАЛЛА (i) В ТЕСТОВЫЙ БАЛЛ ЕГЭ (t). Б.Ф. Борисов. Доцент физического факультета СПбГУ, зам. председателя предметной комиссии. - презентация

1 АНАЛИЗ СИСТЕМЫ ПЕРЕВОДА ПЕРВИЧНОГО БАЛЛА (i) В ТЕСТОВЫЙ БАЛЛ ЕГЭ (t). Б.Ф. Борисов. Доцент физического факультета СПбГУ, зам. председателя предметной комиссии СПбГУ по физике, преподаватель физики в Академической Гимназии СПбГУ, эксперт ЕГЭ по физике. По публикациям на официальном сайте ФИПИ (Федеральный Институт Педагогических Измерений), По личному опыту проверки ЕГЭ, По обращению сотрудников отдела «Физики» АПО.

2 Цель доклада Отметить принципиальные недостатки действующей системы начисления итоговых баллов ЕГЭ, которые приводят к серьезным перекосам на конкурсе предметов; Инициировать дискуссию о возможных путях их устранения внутри структуры ЕГЭ; Указать элементарные способы, как обойти эти перекосы без изменения структуры ЕГЭ; Инициировать обращение Съезда к ФИПИ и Рособрнадзору по данным вопросам.

3 Максимальная сумма первичных баллов (К) в каждом предмете своя (от 30 до 80). Например, в 2011 году: 1. «Математика» «Информатика» «Физика» «Русский язык» - 64 Шкала тестовых баллов ЕГЭ (0 ÷100) является единой для всех предметов. В дальнейшем: i – индивидуальная сумма первичных баллов; t (i) – тестовый балл ЕГЭ, начисляемый ученику, набравшему i первичных баллов.

4 Функции распределения первичных баллов по русскому языку, математике, химии и физике

5 Априорные требования к системе перевода первичного балла в тестовый балл ЕГЭ. 1) Очевидные граничные условия: t(0) = 0, t(К) = 100. (Есть !) 2) Корректировка суммы первичных баллов по разным вариантам одного ЕГЭ из-за их неэквивалентности. (Нет !) 3) Введение внутреннего условия, нормирующего степень трудности задания на уровень подготовки учеников. Например, за средний первичный балл начислять 50 тестовых баллов: t ( ) = 50. (???) 4) Объективность требует, чтобы в алгоритме перевода i в t не было подгоночных параметров, вводимых постфактум. (Нет !)

6 Примеры дисбаланса сложности задач в разных вариантах ЕГЭ по физике (противопоставление тем) Свободное падение - столкновения. Полный газовый цикл – отдельный процесс. Простейшие цепи постоянного тока – анализ на максимум мощности в нагрузке. Закон эл.-магн. индукции – геометрическая оптика. Единичный квантовый эффект – полный набор этих эффектов.

7 СХЕМА ПЕРЕВОДА ПЕРВИЧНОГО БАЛЛА В ТЕСТОВЫЙ БАЛЛ ЕГЭ В 2011г.

8 Функция перевода первичного балла « i» в тестовый t для «физики» ( г, г.)

9 (сайт ФИПИ): «Для объективной оценки уровня подготовленности участника ЕГЭ по сравнению с другими участниками экзамена применя- ется специальная методика шкалирования результатов ЕГЭ. Она разработана ведущими специалистами в области педагоги- ческих измерений на основе международной тестологической модели...В основе методики шкалирования результатов ЕГЭ по большинству предметов лежит математическая модель «Partial Credit», или «политомическая модель Раша» (Polytomous Rasch model)... …В процессе шкалирования первичные результаты переводятся в сформированную по определенным правилам числовую систему, в которой отношение между свойствами объекта выражено в соответствующих числах. В соответствии с методикой, после получения результатов сдачи экзаменов не менее чем от 80 % участников экзамена создается единая таблица соответствия первичных и тестовых баллов».

10 «числовая система, в которой выражено отношение между свойствами объекта» является решением системы из 2К+1 нелинейных уравнений. Это двойной ряд чисел: δj (j= 1, 2, 3,…K) и Θi (i = 0, 1, 2, …K) общим количеством (2К+1) штук. Параметр δj характери - зует относительную трудность получения одного конкрет - ного балла под j. Параметр Θi характеризует относи - тельный уровень подготовленности среднего школьника, набравшего i первичных баллов. Окончательное выставление тестового балла производится по формуле: где m = t (1) и M = t (К – 1).

11 t(i) = a + b Θ(i), где Ао = M – m. Становится ясным смысл последней про- цедуры. Объективная нормировка идет теперь не на всю 100- балльную шкалу, а на более короткую ее часть раз- мером Ао Например, для «Физики» в 2010г. этот интервал (Ао) составил 87 баллов ЕГЭ (от 7 до 94). Иными словами, были введены значения: m=7 (т.е. +5 относительно пропорциональной шкалы) и M=94 (4, соответственно).

12 Функция перевода первичного балла « i» в тестовый t(i) для «физики» (2010г.).

13 Комментарий к графику Для «Физики» в 2010г. интервал (Ао) составил 87 баллов ЕГЭ (от 7 до 94). Иными словами, были введены значения: m=7 (т.е. +5 относительно пропорциональной шкалы) и M=94 (4, соответственно). Поясним. Ученик, угадавший на экзамене по физике всего 1 ответ из 25 и не решивший ни одной задачи, получает не 0, и даже не 2 балла (2% от всего задания), а целых 7 тестовых баллов ЕГЭ (7%, т.е., 5% бонуса). А самый «продвинутый» школьник, решивший абсолютно все, но сделавший единственную маленькую помарку, не только не прощается, но строго наказывается снятием целых 6-ти баллов ( 2-х пропорциональных и, сверх того, еще 4-х штрафных).

14 Отличие ( Δ t=t-I) тестового балла t(i) от линейно нормированного первичного балла I=100i/K в 2010г..

15 Отличие ( Δ t=t-I) тестового балла t(i) от линейно нормированного первичного балла I=100i/K в 2011г.

16 Структура теста ЕГЭ по физике в 2010 г. Часть «А». 25 вопросов + 4 варианта ответа на каждый из них. Нужно указать верные ответы (по 1 баллу). Максимальная сумма баллов в части «А» - 25 (50%). Часть «В». 3 легкие задачи (по 1 баллу) и 2 вопроса (по 2 балла) на соответствие формул, параметров, свойств и т.д. Максимальная сумма в части «В» - 7 (14%) Часть «С». Описание и анализ представленного в задаче С1 эксперимента + 5 нормальных задач (С2 - С5) на весь спектр тем (по 3 балла). Максимальная сумма баллов в части «С» - 18 (36%) Максимальная итоговая сумма первичных баллов – 50.

17 . Вероятность угадать: ровно i ответов из 25 (левый график) «не менее, чем i ответов» (правый график).

18 Установленные ФИПИ границы стандартных оценок «неуд», «уд», «хор» и «отл» в 2010г. – математика, – физика, – русский язык, – информатика

19 Русский язык (2009 и 2010гг.) Распределение первичных ( ) и тестовых ( ) баллов..

20 Русский язык (2011г.) Распределение первичных ( ) и тестовых ( ) баллов.

21 Математика (2009 и 2010гг.) Распределение первичных ( ) и тестовых ( ) баллов..

22 Математика (2011г.) Распределение первичных ( ) и тестовых ( ) баллов.

23 Физика (2009 и 2010гг.) Распределение первичных ( ) и тестовых ( ) баллов..

24 Функции распределения первичных () и тестовых ( ) баллов по физике в 2011г.

25 Химия (2009г.) Распределение первичных ( ) и тестовых ( ) баллов.

26 Химия (2011г.) Распределение первичных ( ) и тестовых ( ) баллов.

27 Информатика (2009 и 2010гг.) Распределение первичных ( ) и тестовых ( ) баллов..

28 Химия, география и биология (2009г.) Распределение первичных ( ) и тестовых ( ) баллов..

29 «Русский язык» ( ), «Математика ( ), «Физика» ( ) и «Химия» ( Δ ) в 2009г. Распределение первичных (слева) и тестовых (справа) баллов..

30 «Русский язык» ( ), «Математика ( ) и Физика» ( ) в 2010г. Распределение первичных (слева) и тестовых (справа) баллов..

31 Сравнение федеральной шкалы перевода ( ) с элементарным сдвигом «пика» в середину ( ) для «Русского языка» (слева) и «Физики» (справа). ( ) – первичные баллы.

32 Сравнение федеральной шкалы перевода ( ) с элементарным сдвигом «пика» в середину ( ) для «Математики». ( ) – первичные баллы..

33 Функции распределения первичных баллов по русскому языку, математике, химии и физике

34 Функции распределения тестовых баллов по русскому языку, математике, химии и физике

35 Выявленные недостатки федеральной системы, Завышение «цены» баллов на краях и занижение в центре. Наличие произвольных параметров. Искусственное сужение кривой распределения. Стирание истинной информации о положении дел и невозможность (?) ретроанализа. Недостаточность для объективного конкурса предметов. Неспособность обработать «экстремальные» кривые. Категорическая неприемлемость федеральной системы начисления тестовых баллов

36 Необходимо внести коренные изменения в структуру контрольно-измерительных материалов ЕГЭ, систему начисления первичных баллов, систему перевода первичных баллов в тестовые.

37 Конкретные меры Устранение селективной части «А». Монотонное повышение уровня заданий. Возможное введение части «D» олимпиадного уровня с избирательным статусом.

38 Возможные меры исправления перекосов в результатах ЕГЭ без их изменения. Установление каждым ВУЗом соответствующего «веса» для каждого «нужного» предмета. ВУЗ должен иметь право делать это уже после публикации итогов ЕГЭ текущего года. Прием ЕГЭ по некоторым предметам (которые избирает сам ВУЗ) на условиях «зачета». Это означает, что ВУЗ допускает к своему конкурсу только тех, у кого по указанным предметам балл ЕГЭ не ниже, чем заранее установленный, но в самом конкурсе этот балл не участвует. Самые явные «кандидаты» на это – «Русский язык», «Информатика», «Обществознание» и «Математика». Конкуренции с тремя первыми не выдержит ни один предмет, а «Математика», наоборот, сама не имеет реальных шансов без «посторонней» помощи.