Правила разработки качественных тестов по информатике Борисов В.А. КАСК – филиал ФГБОУ ВПО РАНХ и ГС Красноармейск 2012 г. - презентация

1 Правила разработки качественных тестов по информатике Борисов В.А. КАСК – филиал ФГБОУ ВПО РАНХ и ГС Красноармейск 2012 г.

2 Введение 2

3 3 Тест (от test, англ. испытание или проверка) Система специально разработанных и структурированных кратких вопросов и заданий, с ограничением времени выполнения всего набора заданий и предназначенных для установления различного типа характеристик обучения и преподавания предмета.

4 Тестовые задания Учебные ситуации с ограничением ресурсов, для которых тестируемый должен выбрать наиболее подходящий, на его взгляд, вариант ответа на тот или иной ситуационный вопрос из предложенных ему вариантов или же сам сконструировать такой вариант. 4

5 Педагогическое тестирование Подготовка качественных тестов, комфортных условий для тестирования, проведение тестирования и последующие, основанные на результатах тестирования идентификация и анализ уровня подготовки как отдельного тестируемого, так и всей группы тестируемых. 5

6 Правила разработки качественных тестов 6

7 Правило 1. Тест должен быть валидным. 7

8 Валидность Мера соответствия теста измеряемым знаниям, умениям и навыкам, для проверки которых был разработан тест, мера соответствия стандартам и программам обучения, а также результатам тестирования. 8

9 Правило 2. Тест должен иметь необходимый и достаточный уровень сложности. 9

10 Сложность Мера умственных усилий, требуемых для выбора ответа. 10

11 Правило 3. Тест должен быть объективным и надежным. 11

12 Надежность Мера правильности и адекватности отражения тестом уровня знаний студентов. 12

13 Правило 4. Тест должен быть устойчивым и шкалируемым. 13

14 Устойчивость теста Мера сохранения надежности и валидности при переносе теста в другую, аналогичную среду, мера равнозначности и однородности тестов для различных групп студентов. 14

15 Шкалирование теста Способность теста отображать результаты учебных достижений в некоторой задаваемой системе оценок или баллов. 15

16 Правило 5. Тест должен быть репрезентативным. 16

17 Репрезентативность теста Мера полноты охвата заданиями учебного материала, программы, отражения тестами различных уровней обучения. 17

18 Правило 6. Тест должен быть значимым и дискриминантным. 18

19 Значимость теста Мера необходимости, актуальности включения в тест ключевых знаний. 19

20 Дискриминантность теста Мера дифференциации тестируемых относительно максимального или минимального уровня обучения. 20

21 Правило 7. Тест должен быть достоверным, научным, непротиворечивым. 21

22 Достоверность, научность, непротиворечивость теста Мера истинности теста, согласованности, соответствия современному состоянию науки и технологии, методике обучения. 22

23 Правило 8. Тест должен быть разработан преподавателем-методистом в полном соответствии с требованиями тестологии. 23

24 Правило 9. Тестовое задание должно быть сформулировано ясно и четко, не допускать двусмысленного толкования и способствовать формулированию правильного ответа. 24

25 Правило 10. Каждое задание теста должно быть функционально завершенным. 25

26 Правило 11. Принцип подбора тестовых заданий и сами тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности, а не только на отдельных его участках. 26

27 Правило 12. Желательно использовать простую, но грамматически правильную утвердительную форму задания в виде одного предложения из 520 слов. 27

28 Правило 13. Как можно реже использовать слова типа «иногда», «часто», «всегда», «все», «никогда», «большой», «небольшой», «малый», «много», «меньше», «больше» и грамматичес- кие обороты типа «Почему не может не...», «Правда ли, что...», «Возмож- но ли...», двойные отрицания, исклю- чающее «или», отрицания кванторов и т. д. 28

29 Правило 14. Желательно строить ответы одинаковой формы и длины. 29

30 Правило 15. Количественные ответы желательно упорядочивать по возрастанию или убыванию, а если ответы легко вычислить, то первым не должен быть указан правильный ответ. 30

31 Правило 16. Необходимо исключить возможность выбора правильного ответа интуитивно и ассоциативно, догадкой, вербально, а место правильного ответа выбрать случайно. 31

32 Правило 17. Ответы должны быть независимы, одинаково привлекательны для выбора, а влияние вероятности угадывания правильного ответа на общий результат тестирования должно быть как можно меньше. 32

33 Правило 18. Если тестовое задание специально рассчитано на понимание аббревиатур и сокращений, то в условии и дистракторах тестового задания они могут присутствовать. 33

34 Правило 19. В каждом задании количество дистракторов должно быть от 3 до 5. 34

35 Правило 20. При подстановке любого варианта ответа условие не должно принимать неопределенное значение. 35

36 Правило 21. Все дистракторы должны быть подобраны грамотно, умело, без подвохов, но не произвольно, а в соответствии с типовыми ошибками, допускаемыми по данному заданию. 36

37 Правило 22. Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания. 37

38 Правило 23. Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия. 38

39 Правило 24. Из ответа к одному тестовому заданию нельзя получать каким- либо образом ответ к другому заданию. 39

40 Правило 25. Если возможно построение качественного тестового задания закрытой формы, то желательно использование этой формы. 40

41 Правило 26. Если достаточно использования качественного мономорфного тестирования, то нет необходимости использовать полиморфное. 41

42 Правило 27. Если достаточно гомогенных тестов, нет необходимости использовать гетерогенные. 42

43 Правило 28. Задание должно быть детерминированным. 43

44 Правило 29. Ни при каких условиях задание не должно предполагать знаний, выходящих за пределы учебного материала, программы. 44

45 Правило 30. Количество тестовых заданий в тесте должно составить

46 Правило 31. Количество заданий в базе данных тестовых заданий должно быть примерно в 1020 раз больше длины теста. 46

47 Правило 32. Среднее время тестирования должно составлять 6090 минут. 47

48 Правило 33. Большинство заданий в тесте должны иметь закрытую форму. 48

49 Правило 34. Тест должен состоять из минимального количества заданий, достаточных для полного определения уровня обучения. 49

50 Правило 35. Задания в тесте должны быть упорядочены по возрастанию уровня сложности. 50

51 Правило 36. Оценку результатов тестирования лучше производить баллами. 51

52 Правило 37. Любое тестирование должно заканчиваться не только выставлением оценок, но и анализом результатов тестирования, выявлением уровня обучения и качества тестов. 52

53 Правило 38. Необходимо принимать меры к минимизации «привлекательности» использования шпаргалок, списывания и подбора. 53

54 Правило 39. Сложность теста нельзя «повышать» введением множества дополнительных фраз в постановку вопроса в тестовом задании. 54

55 Правило 40. При формировании тестов полезно проводить адаптивное тестирование. 55

56 Правило 41. При определении структуры теста важно использовать статистические методы определения пороговых значений. 56

57 Правило 42. Если тестирование проводится в системе оценок с двумя вариантами ответов, то и результат тестирования должен быть оценен в полярной шкале: «зачет не зачет», «аттестован не аттестован», «сдан не сдан». 57

58 Правило 43. Студенты, имеющие одинаковый и достаточный опыт работы с тестами, должны быть помещены в одинаковую операционную обстановку. 58

59 Правило 44. Только грамотные, интересные вопросы и ситуации могут вызывать у студента стремление ответить, а не подобрать ответ. 59

60 Правило 45. Если при оценке результатов тестирования используются баллы, то их число должно быть нечетным. 60

61 Система количественных и качественных оценок 0 баллов уровень полной неподготовленности (2); 1 балл сильно выраженный отрицательный уровень подготовки (2); 2 балла выраженный отрицательный уровень подготовки (2); 3 балла отрицательный уровень подготовки (2); 4 балла слабо выраженный отрицательный уровень подготовки (2); 61

62 Система количественных и качественных оценок 5 баллов слабо выраженный положительный уровень подготовки (3); 6 баллов положительный уровень подготовки (3); 7 баллов хороший уровень подготовки (4); 8 баллов очень хороший уровень подготовки (4); 9 баллов высокий уровень подготовки (5); 10 баллов очень высокий уровень подготовки (5). 62

63 Правило 46. В тестировании необходимо широко использовать делегирование решения проблемы тестирования специалистам профессионалам в области тестологии и технологии тестирования. 63

64 Ресурсы Аванесов В. С. Научные основы тестового контроля знаний. М.:Исследовательский центр, Батаршева А. В. Тестирование. М.: Дело, Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования: Программно-дидактическое тестовое задание. М.: МГУП, Казиев В. М., Казиев К. В. Правила практического педагогического тестирования (с примерами по информатике), // Информатика и образование Клайн П. Справочное руководство по конструированию тестов: Введение в психометрическое проектирование. К.: ПАН Лтд., Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Интеллект-центр, Макарова Н. В. Информатика классы. СПб.: Питер, Макарова Н. В., Николайчук Г. С., Титова Ю. Ф. Информатика и информационно-коммуникационные технологии классы. Базовый уровень. СПб.: Питер, Машбиц Е. И. Психолого-педагогические проблемы компьютеризации обучения. М.: Педагогика, Талызина Н. Ф. Теоретические основы контроля в учебном процессе. М.: Знание, Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, Поспелов Д. А. Информатика: Энциклопедический словарь для начинающих. М.: Педагогика-Пресс, Ефимова О. В., Морозов В. В., Угринович Н. Д. Курс компьютерной технологии с основами информатики: Учебное пособие для старших классов. М.: ABF, Шауцукова Л. 3. Информатика: Учебное пособие для 1011 классов. М.: Просвещение,