МЕТОДИКА РАЗРАБОТКИ И ОБРАЗЦЫ ТЕСТОВЫХ ЗАДАНИЙ Из методических материалов научного руководителя Лаборатории «Гуманитарных Технологий» профессора А.Г. Шмелева к семинару «КОНСТРУИРОВАНИЕ И ПРИМЕНЕНИЕ ТЕСТОВ ЗНАНИЙ В СИСТЕМЕ МОНИТОРИНГА КАЧЕСТВА ОБРАЗОВАНИЯ В ВУЗЕ»

Не все опытные преподаватели умеют рефлексировать и структурировать свои знания для создания теста. Даже обширные познания о том, какие ошибочные ответы дают студенты на экзаменах не являются достаточным условиям успешности в этой работе, хотя это вполне реальный и полезный источник для создания дистракторов (отвлекающих ответов).

Структура теста

Пример тематической спецификации (структуризации) теста: Шесть разделов в тесте по общей психологии на госэкзамене в МГУ (по 10 заданий на раздел): 1)введение в общую психологию и история психологии, 2)психология ощущения и восприятия. 3)психология внимания и памяти, 4)психология мышления и речи, 5)психология мотивации и эмоций, 6)психология личности и индивидуальных различий. Внимание: Это дает надежную тематическую репрезентативность, но не дает возможность выводить надежный показатель по каждому разделу как по отдельному субтесту. Нужно 15, а лучше 20 вопросов на каждый раздел. Задания должны сбалансированно представлять различные тематические разделы учебной программы.

Требования к тесту в МГППУ (ФОС)

Классификация заданий по трудности Каждый автор по каждой теме должен стараться составить поровну легких, средних и трудных заданий. Это гарантирует сбалансировать банка и вариантов по трудности. Легкие - свыше 70 процентов правильных ответов Средние - от 40 до 70 Трудные - менее 40 правильных ответов. ВНИМАНИЕ: Угроза случайного угадывания для слишком трудных заданий Другой подход к созданию спецификации (модели) теста - это проектирование «скелетона», указывающего на статус каждого тестового задания на определенной позиции в варианте.

Требования к тесту в МГППУ (ФОС)

Типология заданий

Простейшая типология заданий по вопросительным местоимениям 1) Фактологические вопросы - Что? Где? Когда? 2) Персонологические вопросы - Кто? 3) Количественные вопросы - Сколько? 4) Причинно-следственные вопросы - Почему? Что следует? 5) Целевые вопросы - Зачем? С какой целью? 6) Структурный вопрос по модели «Из чего состоит?» 7) Инструментальные вопросы - Как? Каким образом? 8) Обстоятельственные вопросы - При каких условиях? 9) Словарно-концептуальные вопросы - Как называется? Что значит «термин»? 10) Процедурные вопросы - В какой последовательности? В этой же логике можно поставить и менее очевидные, более сложные вопросы: Как называется? В каком порядке? Чем отличается? Как создается?

Общий тезис: Тест должен включать разнотипные вопросы, требующие актуализации не только знания фактов, имен и точных формулировок (инструкций), но умения распознавать и применять знания к неожиданным логически-неочевидным описаниям проблемных ситуаций, имеющих избыточность или неполноту существенной информации (кейс- задания).

Что такое компетентностный подход в образовательной оценке? - Это моделирование ситуации применения знаний. Можно ли смоделировать эти ситуации с помощью тестов с выбором ответа? Или обязательно применять задания с открытым ответом? Ограничение тестовых заданий фактологическими вопросами типа «Что-Где-Когда?» - это дань телевизионному формату и неоправданному желанию разработчиков угодить испытуемым, желающим увидеть в тесте очень краткие ответы - одним словом. Но... ведь ответ не надо переписывать, на него надо только указывать!

Логико-семантическая типология заданий

AA)Фактологические и персонологические (Что? Кто? Где? Когда?) Кто изобрел паровоз? AB)Терминологические (Как называется? Какое определение данного термина точнее? Назови видовые отличия в рамках родового понятия.) Что такое паровоз? Чем паровоз отличается от тепловоза? AC)Логико-теоретические (Как объяснить? Как предсказать? Какова причина? Каков механизм?) Каков принцип движения паровоза?

AC)Логико-теоретические (Как объяснить? Как предсказать? Какова причина? Каков механизм?) Каков принцип движения паровоза? AD)Методические, конструктивные, процедурные (Что делать? Как сделать? Из чего состоит? Какова правильная последовательность действий?) Из каких деталей можно собрать паровоз? Что можно делать с помощью паровоза?

АЕ) Текстологические вопросы на понимание текста Предъявляется текст по предмету объемом от 1000 до 2000 знаков. Вопросы: Чему, какой проблеме посвящен текст? Какова основная мысль (вывод) автора? Как автор обосновывают свой вывод? На какие вопросы в тексте можно найти ответ? На какие вопросы в тексте НЕЛЬЗЯ найти ответ? Какое из утверждений можно найти в тексте в перефразированной форме? и т.п. Внимание: особая модификация заданий АЕ представляет тест «контекстной вставки»: в тематической тексте в определенных значимых местах (на месте специальных терминов) предъявляются пропуски, которые учащийся должен заполнить.

АЕ) Текстологические вопросы на понимание текста Пример особой модификации заданий АЕ возникает всякий раз, когда физическое, социальное и даже воображаемое препятствие мешает или прерывает действие, направленное на достижение цели создает, таким образом, наряду с исходной новую, защитную , направленную на преодоление возникшего препятствия. Прежняя и новая реализуются в эмоциональных реакциях, иначе они оказались бы блокированными и неиспользованными. Неудивительно, что типичные реакции на представляют собой все типы эмоциональный реакций в том смысле, в каком мы их определили.

AF) Задание типа «Кейс» (случай из жизни). Повторим определение кейса: это текстовое описание проблемной ситуации, не имеющее подсказывающих референций к разделам учебника, имеющее избыточность и одновременно неполноту существенной информации. Обычно это задание с «множественным ответом» (интерактивный элемент чек-бокс), хотя в практикуме на семинаре планируется ограничиться лишь заданиями с ОДНИМ правильным ответом.

Кейс-задание: Жан Пиаже – швейцарский психолог, известен работами по изучению психологии детей, создатель теории когнитивного развития. Одно время он работал в Париже в школе для мальчиков. Помогая обрабатывать результаты IQ теста, Ж. Пиаже заметил, что маленькие дети постоянно дают неправильные ответы на некоторые вопросы. Это наблюдение привело его к теории, что мысли и когнитивные процессы, свойственные детям, существенно отличаются от таковых у взрослых. В одном из экспериментов Жан Пиаже выкладывал перед ребенком 5 – 7 лет два ряда мелких предметов (пуговицы и пр.) и спрашивал, в каком ряду их больше. После правильного ответа детей «Одинаково» предметы в нижнем ряду раздвигают. Теперь ребенок считает, что в нижнем ряду предметов стало больше. Подзадача 1 Ребенок 5–7 лет относится, по Ж. Пиаже, к такому периоду развития интеллекта, как период … 1. становления конкретных операций 2. сенсомоторный 3. функционирования конкретных операций 4. формальных операций Подзадача 2 Описанный эксперимент свидетельствует, по мнению Ж. Пиаже, о таких свойствах психики ребенка, как … 1. центрация 2. неумение сосредоточиться на изменениях 3. анимизм 4. эгоцентризм Подзадача 3 Ребенок 5–7 лет относится к ___________ возрасту.

Дистракторы

Откуда взять дистракторы? Дистрактор - это отвлекающий раздражитель, то есть, ложный, отвлекающий ответ (неправильное название - деструктор). Авторы учебников знают правильные ответы, но... часто создают неправдоподобные дистракторы. Хороший дистрактор создается на базе ошибочных ответов студентов на открытые вопросы устного или письменного экзамена. Дистракторы должны быть «провокационными», должны «заманивать студента», ловить его на тактике угадывания. При формулировании правильного ответа и дистракторов (отвлекающих) ответов, надо учитывать, что студенты прибегают к тактике угадывания и пытаются угадать правильный ответ по следующим признакам:

Психологика испытуемого Искусство составителя дистракторов состоит в том, чтобы, зная тактику хитрого, но не подготовленного студента, предложить ему удачный провокативный дистрактор. Надо воплотить в дистракторе те свойства, которые хитрые студенты ожидают увидеть в правильном ответе: самый длинный ответ (вывод: дистракторы нельзя делать короткими) содержит «самые умные» слова или «пафосные утверждения»; содержит самый частотный термин, встречавшийся на лекциях или в учебники (любимое словечко преподавателя) содержит термины, встречающиеся в самом вопросе; нечто среднее между явно абсурдными крайностями; имеет подсказку из содержания другого вопроса; нечто развернутое и обоснованное на фоне сверхкратких формальных дистракторов; содержит перечень логических условий, при которых выполняется основное суждение

Ссылки на литературные источники и авторство Формальная типология тестовых заданий Образцы заданий

Ссылки на литературные источники и авторство При формулировании вопроса и вариантов ответа не должно возникать неоднозначных ситуаций, порождающих различные трактовки в зависимости от выбранной концепции. Например, должна быть прописана явная отсылка к источнику: не теория внимания вообще, а теория внимания в работах Рибо (всегда, как минимум, отсылка к автору, а можно и к книге автора). В противном случае почти всегда найдется автор другой «классической книги», который думал по-другому. Так обстоит реально дело в психологии - еще не вполне стандартизованной системе знаний.

Формальная типология тестовых заданий Задания на соответствия двух рядов понятий (можно задать ответы в виде определенных пар и свести к ЗВВ) Задание на последовательность. Опять сводится к ЗВВ путем перечисления среди заданных ответов возможных последовательностей. Задание на заполнение пропуска. Можно указать в вариантах ответов возможные варианты заполнения. ВНИМАНИЕ: Почти все задания такого типа без особых проблем сводятся к заданиям типа А. Часто увлечение авторов этой типологией создает лишь дополнительные трудности для студентов. За счет этих заданий очень любят повышать стоимость свои разработок программисты - разработчики тестовых оболочек. Конечно, красиво, когда пользователь может переместить мышкой слово из списка и вбросить прямо на то место в высказывании, где зияет пропуск...

Интеллектуальные задания (задания из тестов на IQ) Задания, сопряженные с тестированием интеллектуальных операций мышления: 1) Исключение лишнего (понятия) 2) Продолжение ряда (таблицы) 3) Решение аналогии 4) Принадлежность к классу 5) Решение анаграммы 6) Вставка пропущенных букв в слово Почти все эти задания попадают по нашей классификации в один класс - «Логико-теоретические задания».

Формальная типология тестовых заданий

Образцы заданий разного типа на примере курса «Психодиагностика» AA) Фактологические и персонологические (Что? Кто? Где? Когда?) Кто предложил первым термин «психодиагностика»? Гальтон Бине Роршах Штерн AB) Терминологические задания Укажите правильное определение термина «психодиагностика»: 1) наука об индивидуальных психологических различиях, основанная не экспериментальном подходе к их выявлению 2) множество психологических тестов, соответствующих психометрическим требованиям надежности, валидности, репрезентативности и достоверности 3) система приемов и правил поставки постановки психологического диагноза, указывающего на степень отклонения человека от нормы 4) область науки и форма практики, которая связана с разработкой и использованием разнообразных методов распознавания индивидуальных психологических особенностей человека.

AC) Логико-теоретические задания Как связаны между собой понятия «надежность» и «валидность»? - валидность не может превышать надежность - чем выше надежность, тем выше валидность - надежность - частный случай валидности - никак не связаны, это независимые понятия, разные показатели качества измерительной психодиагностической методики. AD) Методические задания В какой последовательности лучше проверять различные психометрические свойства теста: 1) вначале валидность, затем надежность, затем репрезентативность, затем достоверность: 2) надежность, валидность, достоверность, репрезентативность 3) репрезентативность, надежность, валидность, достоверность

AD) Текстологические задания А это текст из тематического раздела курса «Психология восприятия: органы слуха и равновесия». Какова основная функция системы косточек среднего уха? 1) Защита уха от механических повреждений 2) Ослабление звуковой волны 3)Усиление звуковой волны 4) Передача информации в головной мозг

AD) Задания кейсового типа Студент Петров отвечал на устном экзамене по билету. На первый вопрос он ответил все. что приготовил. На втором вопросе его прервали и поставили оценку «Отлично». Какой вопрос больше запомнится Петрову, если его спросить об экзамене через пару месяцев? 1)Первый 2)Второй 3)Оба запомнятся 4)Оба забудутся