Сравнение открытой и закрытой форм тестирования Карпова Ирина Петровна (karpova_ip@mail.ru) Московский институт электроники и математики (МИЭМ) - презентация

1 Сравнение открытой и закрытой форм тестирования Карпова Ирина Петровна Московский институт электроники и математики (МИЭМ)

2 Тестирование как основная форма контроля знаний в автоматизированных обучающих системах Типы тестовых ответов (В.С. Аванесов) Закрытый (выборочный): выбор одного или нескольких вариантов ответов в произвольном порядке. Определение порядка вариантов ответов. Определение соответствия элементов двух множеств. Открытые: свободно-конструируемые ответы (числовые и текстовые).

3 Выборочная форма ответа: Достоинство: простота реализации. Недостатки: Сложно придумать неправильные, но правдоподобные варианты ответов. Тестируемый может запомнить неправильные варианты ответа. Решаемая задача: выбор наиболее правдоподобного ответа. Ненулевая вероятность угадывания правильного ответа. Предположение: тестирование с закрытой формой ответов при прочих равных условиях покажет более высокие результаты, чем тестирование со свободно- конструируемыми ответами. Условия проведения экспериментов: Тестирование проводилось по предмету «Базы данных». Оба теста – закрытый и открытый – содержали по 35 вопросов с одинаковыми формулировками. Вопросы были составлены таким образом, чтобы формулировка одного вопроса не являлась подсказкой ответа на другой вопрос. Тестирование проводилось в один день, сначала – открытое, затем – закрытое.

4 Выборочные ответы Выборочный ответ оценивается по формуле: где К t – количество правильных вариантов, вошедших в ответ; К f – количество неправильных вариантов, вошедших в ответ; L – общее количество правильных вариантов.

5 Открытые ответы Оценка открытого ответа: 1. Если ответ рассматривается как множество элементов: аналогично закрытой форме. 2. Если ответ числовой: проверка на равенство эталону (с учетом погрешности). 3. Если ответ текстовый: синтаксический анализ, игнорирование грамматических ошибок, наличие нескольких эталонов. Вопрос : Чему равно число ? Эталон :3.14 Погрешность: 0.01

6 Результаты экспериментов ПотокКоличество тестируемых Средняя оценка за открытый тест Средняя оценка за закрытый тест Разница оценок МФТИ, ФНТИ 4-й курс МИЭМ, гр. К 3-й курс МИЭМ, гр. С 3-й курс Средняя разница между оценками двух тестов0.86

7 Распределение оценок за ответ открытой формы Варианты ответов тестируемыхКоличествоОценкаВсего (разделяемые, исключающие); (разделенная, исключающая); (раздельные, монопольные) монопольная 23,5 разделяемые, явные, автоматические 12,75 (гонки,тупики); (полная, распределенная); (по множеству данных, по степени доступности, по способу установки); (блок на запись, блок на чтение) и др. 242 Средняя оценка за ответ 2,8 Вопрос: Какие виды блокировок по степени параллельности работы вы знаете? Эталон = { разделяемые, монопольные } Эталон = { разделяемые, исключающие }

8 Распределение оценок за выборочный ответ Ответы тестируемыхКоличествоОценкаВсего (1, 3); (3, 1) (1, 3, 4); (1, 3, 5)64 (1, 3, 4, 5); (1); (3)53,53,5 (1, 4); (3, 5); (1, 5)53 (1, 2, 4); (1, 2, 5); (1, 4, 5)42,75 9 (1, 5, 2, 4)12,6 (4); (2)22 (4, 5); (5, 2)22 Средняя оценка3,73,7 Вопрос: Какие виды блокировок по степени параллельности работы вы знаете: 1) разделяемые 2) отложенные 3) монопольные 4) явные 5) автоматические Эталон = { 1, 3 }

9 Ответы на упорядочение (списки) Список оценивается как множество: Отбрасываются элементы, не входящие в эталонный ответ. Полученный список оценивается так: где K i – количество инверсий списка относительно эталонного списка; K n – максимальное количество инверсий списка длиной n, K n =n(n-1)/2. Суммарная оценка, например: Пример. Вопрос: Перечислите (через запятую) известные вам модели данных в порядке убывания возможностей представления связей между объектами предметной области. Оценка: 1 =1; 2 =2/3; = 1 * 2 =2/3 (4 балла по пятибалльной системе)

10 Реализация Описанные методы реализованы в CКЗ TS, которая характеризуется следующими особенностями: Поддержка различных типов вопросов (ответов): числовые выражения; выборочный ответ с произвольным количеством вариантов и произвольным количеством правильных вариантов; ответы на упорядочение и сопоставление; свободно-конструируемые ответы: на упорядочение, на сопоставление, текстовые ответы, ответы в виде графика, ответы в виде формулы; двухуровненвые схемы: списки множеств, множества списков и др. Ориентация на работу в сети. Режим "клиент-сервер" в рамках ЛВС и через Internet. Открытость. Возможность настройки системы на требования конкретного пользователя: Изменение режимов и параметров функционирования ПО, входящего в состав ядра системы. Возможность использования любых учебных материалов на машинных носителях и методов подачи этих материалов: электронный справочник (от просмотра текстовых файлов до подключения гипертекста), запуск демонстрационных программ и т.д. Организация внешнего управления процессом обучения (вынесение во внешние базу данных и базу знаний правил организации управления обучением). Наборы правил можно модифицировать.. Переносимость на различные платформы на уровне исходных текстов программ. Система TS используется для контроля знаний студентов МИЭМ по курсам «Базы данных» (каф. ВСиС); «Электрические микромашины» (каф. УиИТС). Система может функционировать удалённо, адрес сайта в Internet:

11 Примеры ответов различных типов Вопрос:В каком году родился Томас Торквемада ? Эталон:1420 Погрешность = 1 (Точная дата рождения великого инквизитора неизвестна. Считается, что он родился около 1420 года. Таким образом, в соответствии с эталоном ответы 1419, 1420, 1421 будут признаны правильными.) Вопрос: Соотнесите название класса членства и суть ограничения целостности, которое он обеспечивает: 1) подчиненная запись удаляется вместе с записью-владельцем 4) необязательный 2) подчиненная запись остается при удалении записи-владельца 5) фиксированный 3) запись-владелец не может быть удалена, пока у нее есть хотя 6) факультативный бы одна подчиненная запись 7) обязательный (Например: [1,2], [3,4], [5,7]) Эталон = [1, 5], [2, 4], [3, 7] Вопрос: Объедините термины, обозначающие одно и то же понятие, в группу, а группы расположите в иерархическом порядке (от простого к сложному): 1) запись, 4) кортеж, 7) элемент данных, 2) атрибут, 5) набор, 8) групповое отношение, 3) поле, 6) агрегат, 9) база данных. (Например: {1, 2}, {3, 4}, {5}, {6, 7, 8, 9}) Эталон = {2, 3, 7}, {6}, {1, 4}, {5, 8}, {9}

12 Графические ответы и формулы

13 Система дистанционного обучения SDO на базе сервера СКЗ TS

14 Публикации Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний. – Журнал «Компьютеры в учебном процессе», 2000, 4. – с Карпова И.П. Анализ ответов обучаемого в АОС. – Журнал "Информационные технологии", 2001, 11. – с Фалк Г.Б., Карпов В.Э., Карпова И.П. Методические указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту "Выбор элементов и устройств автоматики для систем автоматического управления с использованием персональных ЭВМ и удаленных баз данных. – Метод. указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту. – МГИЭМ, – 14 с. – Карпова И.П. Некоторые аспекты качественной оценки ответов тестируемых в системах контроля знаний. – Журнал "Вопросы тестирования в образовании", 2006, 4 (16). – с Карпова И.П. Об одном подходе к созданию обучающих систем с открытой архитектурой. – Материалы IV Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра». – М., ВВЦ, 3.10 – Все публикации есть на сайте:

15 Спасибо за внимание