Щаницина Светлана Валерьевна, старший преподаватель кафедры вычислительной и прикладной математики Ивановского государственного университета Анализ влияния. - презентация

1 Щаницина Светлана Валерьевна, старший преподаватель кафедры вычислительной и прикладной математики Ивановского государственного университета Анализ влияния дискриминирующих факторов на качество результатов единого государственного экзамена

2 Общественную дискуссию идеологи ЕГЭ рассматривают «в качестве своего рода коллективного мысленного эксперимента, направленного на выявление уязвимых мест в идее единого экзамена», что позволяет обозначить некоторые «серьезные риски, которые не просто исключат положительный эффект от введения единого экзамена, но и создадут реальную угрозу превращения его в свою противоположность, в своего рода сеть с разновеликими ячейками, позволяющую манипулировать результатами оценки знаний выпускников общеобразовательных учреждений и приемом в вузы. Аргументы, приводимые оппонентами единого экзамена, оказали стимулирующее влияние на разработку такой технологии его проведения, которая максимально полно отвечает требованиям достоверности, объективности и надежности полученных результатов» Единый государственный экзамен. Научные основы, методология и практика организации эксперимента: Сборник статей / Под ред. В. А. Болотова. – М.: Логос, – 208 с.

3 Показатели качества тестовых заданий, используемых для оценки уровня подготовки выпускников общеобразовательных учреждений: оценка параметров трудности, оценка параметров дифференцирующей способности, оценка параметров валидности, результаты дистракторного анализа для заданий с выбором ответа. В спецификациях контрольно-измерительных материалов, используемых в ЕГЭ априорные качественные оценки уровня трудности (базовый, повышенный, высокий).

4 Различия в результатах выполнения одного и того же задания в разных группах являются следствием различия в уровне подготовки испытуемых – оценка справедлива. Если в задании фигурируют знания, умения, навыки, которые в силу культурных, национальных и других различий не могут быть сформированы у испытуемых, такое задание будет заведомо несправедливо к ним.

5 Оценка за задание является смещенной, если не равны вероятности правильного ответа на задание в различных группах для индивидуумов с одинаковым уровнем подготовленности. Методы для идентификации и удаления из тестов заданий, которые заведомо имеют меньшую вероятность выполнения для отдельных групп испытуемых с одинаковым уровнем подготовки, были разработаны за рубежом и получили название анализ дифференцированного функционирования задания (ДФЗ). Рассматриваемую группу испытуемых называют центральной группой, а группу, с которой сравнивается результат выполнения задания, референтной группой.

6 Примеры характеристических кривых с различной степенью выраженности эффекта дифференцированного функционирования задания

7 Два случая взаимного расположения характеристических кривых задания: кривые не пересекаются в случае a F = a R и пересекаются в случае a F a R, создавая эффект «взаимоуничтожения влияний»

8 Характеристические кривые задания при разной вероятности угадывания правильного ответа испытуемым на задание теста при полном отсутствии знаний у тестируемых

9 Количество параметров модели Абсолютное значение группового эффекта ДФЗ 1 2, a F = a R = a 2, a F a R 3, a F = a R = a 3, a F a R

10 Если F R, то знак эффекта определяется знаком разности R – F, в противном случае – знаком разности a F – a R

11 Величина взвешенного эффекта ДФЗ для заданий ЕГЭ по математике 2007 года на выборке испытуемых Ивановской области, разделенных на группы по признаку пола