МАСТЕР-КЛАСС Критериально-ориентированное педагогическое тестирование Модуль 3. Оценка надежности теста © РЭА им. Г.В. Плеханова © Управление качеством учебного процесса

2 Оценка надежности теста (1) Надежность теста отражает точность педагогического измерения и устойчивость результатов тестирования к воздействию посторонних случайных факторов. Для оценки надежности теста необходимо иметь матрицу ответов группы студентов на тест. Для каждого студента путем суммирования числа правильных ответов определяется «сырой балл». испытуемого Задания

3 Оценка надежности теста (2) Пусть критерий зачета – 60% и более выполненных заданий. Тогда для теста из 26 заданий зачет будет получать студенты, выполнившие 16 и более заданий. На основании результатов тестирования составляется таблица сопряжения результатов тестирования «2х2», в которой a, b, c, d – доли испытуемых, получивших соответствующую аттестацию по результатам двух параллельных форм теста. На основе таблицы сопряжения вычисляются коэффициент надежности как фи-коэффициент корреляции и каппа-коэффициент надежности теста. Параллельная форма теста - А Паралле льная форма теста - Б НезачетЗачет Незачетa=0,5b=0 Зачетc=0,05d=0,45

4 Оценка надежности теста (3) 1. - фи-коэффициент корреляции 2. - вероятность принятия согласованного решения по таблице сопряжения результатов критериально-ориентированного теста, представляющая собой сумму вероятностей принятия согласованных решений по отнесению испытуемых в каждую из групп. – вероятность случайного согласования – оценка надежности критериально-ориентированного теста, учитывающая случайную согласованность. Каппа-коэффициент надежности теста к = [ -1; + 1] 3. Равенство фи и каппа коэффициентов надежности, а также превышение этими величин значения 0,8, говорит о надежности проведенных тестовых испытаний.

5 Способы увеличения надежности теста Провести тщательный анализ каждого тестового задания по соответствию его формы и содержания основам тестовой теории. Увеличить количество заданий в тесте. Удалить из теста те задания, которые плохо различают подготовленных и неподготовленных учащихся. Использовать задания в закрытой форме с четырьмя и более вариантами ответов для уменьшения влияния случайного угадывания

6 Статистический анализ качества тестовых заданий. Коэффициент Dj По каждому заданию в тесте рассчитывается коэффициент различающей способности Dj путем выделения двух контрастных групп испытуемых (на основе анализа сырых баллов отделяются 27% слабых и 27% сильных студентов) Рu и Рl - доли студентов (процент от общего числа сдававших тест) в лучшей и слабой группе, правильно ответивших на данное j-е задание. Если Dj >= 0,4 – задание вполне эффективно От 0,3 до 0,39 – удовлетворительное От 0,2 до 0,29 – задание следует проанализировать на пригодность использования в тесте < 0,19 – задание необходимо изъять или тщательно проанализировать и переработать. Оно практически не обладает дифференцирующей способностью. Если Dj

7 Методы подсчета тестовых баллов – коррекция на угадывание (1) Пусть испытуемый А дал 35 верных ответов, 10 неверных и 5 заданий пропустил в тесте с выбором из 5 вариантов ответа. Испытуемый Б: 36 верных и 14 неверных в том же тесте. Испытуемый В: 34 дает верных ответа и пропускает все остальные задания. 1. Расчет поправки на угадывание по алгоритму «Правильный плюс пропуск» осуществляется по формуле: где хi - скорректированный индивидуальный балл; R – число правильных ответов; Н– число пропущенных заданий; к – число вариантов ответов в задании. Испытуемый А Испытуемый Б Испытуемый В

8 Методы подсчета тестовых баллов – коррекция на угадывание (2) 2. Расчет поправки на угадывание по алгоритму «Правильный минус неправильный» осуществляется по формуле: где хi - скорректированный на угадывание индивидуальный балл; R – число правильных ответов; Н– число неправильных ответов; к – число вариантов ответов в задании. Испытуемый А Испытуемый Б Испытуемый В

9 Результаты теста – сырые баллы испытуемых испыту емого Задания …Xi

10 Методы подсчета тестовых баллов Традиционный -, где xi – общий индивидуальный балл i-го испытуемого, xij – индивидуальный балл i-го испытуемого при ответе на j-е задание теста. За правильный ответ испытуемый получает 1, за неправильный – 0. Однако, при ответе на закрытые вопросы (с вариантами ответа) существует различие между испытуемыми по степени желания пропускать в тесте те вопросы, на которые они не знают правильного ответа. Чтобы уравнять испытуемых существуют алгоритмы коррекции на угадывание.