1 Тесты как способ независимой оценки знаний и компетенций студентов Денисова Диана Аркадьевна к.т.н., директор ЦМиККО, доцент кафедры «ОиТФ» - презентация

1 1 Тесты как способ независимой оценки знаний и компетенций студентов Денисова Диана Аркадьевна к.т.н., директор ЦМиККО, доцент кафедры «ОиТФ»

2 2 ТЕСТ: ПОНЯТИЕ, ХАРАКТЕРИСТИКИ, КЛАССИФИКАЦИЯ Житейское понимание: «проба, проверка, испытание». Научное понимание «фиксированное по времени, стандартное испытание служащее для установления количественных и качественных различий по некоторым признакам между людьми или группами людей. ХАРАКТЕРИСТИКИ ТЕСТА: 1. Достаточно краток по времени. 2. Действует прицельно (т.е. измеряет конкретные качества). 3. Структура теста и принципы его обработки делают возможным сравнение результатов различных людей и сравнение результатов одного человека во времени.

3 3 ТЕСТЫ ДОСТИЖЕНИЙ: НАЗНАЧЕНИЕ, ВИДЫ – диагностируют достигнутый уровень знаний, умений и навыков; – оценивают, что человек знает и что умеет делать к настоящему времени; – проводятся по итогам обучения или после определенных этапов обучения, позволяют понять, насколько программа усвоена и эффективна. 1. Широкоориентированные. 2. По конкретным учебным предметам. 3. По конкретным темам и комплексам тем. НАЗНАЧЕНИЕ ТД: ВИДЫ ТД:

4 4 точность и устойчивость процедуры измерения, ее независимость от случайных варьирующих факторов ( показывает, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам). Характеристики тестов Надежность теста измеряет некое качество; делает это устойчиво во времени; позволяет сравнивать результаты испытуемых, протестированных в разное время, в разном месте, в разном состоянии. Признаки надежности теста: Факторы, снижающие надежность теста: 1.Внешние ( условия тестирования ). 2.Внутренние ( особенности людей ). 3.Социально-информационные ( знания о тестировании и тестах ). Большинство методик не позволяют получить значения коэффициентов надежности больше 0,7-0,8.

5 5 характеристика теста, указывающая на его способность измерять именно то, для чего он предназначен. Валидность теста Валидность Надежности Причина неравенства Надежный тест измеряет некое качество. Валидный тест измеряет качество, которое мы хотим измерить. Критерии валидизации мнение педагогов о знаниях обследуемого в определенной области; академические оценки; результаты контрольных проверок; объективными показатели достижений в профессиональной сфере.

6 6 свойство выборочной совокупности представлять характеристики генеральной совокупности ( можно считать, что представленное в выборочной совокупности распределение изучаемых признаков соответствует их реальному распределению ). Дискриминативность теста способность теста дифференцировать испытуемых по изучаемому признаку. Репрезентативность теста Назначение репрезентативности Репрезентативность теста показывает, насколько результаты выборки стандартизации могу быть перенесены на тех людей, на которых будет проводиться тест.

7 7 Длительность теста Оптимальное время тестирования – время от начала процедуры до момента наступления утомления. Рекомендации: 1. Время тестирования не более 60 минут. 2. Длина теста не более заданий (в предположении, что на одно задание не более одной минуты). 3. Тестирование в первой половине дня. 4. В середине недели.

8 8 Цель: упорядочение испытуемых по уровню подготовленности. Нормативно-ориентированные и критериально-ориентированные тесты Ранжирует испытуемых по уровню знаний. Нормативно-ориентированный тест Критериально-ориентированный тест Цель: выяснить, знает ли испытуемый стандартный материал. Выявляет факт усвоения испытуемым данного материала.

9 9 Эффективным является такой тест, который «лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, и все это - по возможности одновременно». В.С. Аванесов ПРИНЦИПЫ РАЗРАБОТКИ ТЕСТОВЫХ ЗАДАНИЙ По В.C. Аванесову задание в тестовой форме это педагогическое средство, отвечающее следующим требованиям: 1.Цель. 2.Краткость. 3.Технологичность. 4.Логическая форма высказывания. 5.Определенность места для ответов. 6.Одинаковость правил оценки ответов. 7.Правильность расположения элементов задания. 8.Одинаковость инструкции для всех испытуемых. 9.Адекватность инструкции форме и содержанию задания.

10 10 Тестовое задание – это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: 1.Известной трудности. 2.Дифференцирующей способности (достаточной вариации тестовых баллов). 3.Положительной корреляции баллов задания с баллами по всему тесту, а также другим математико- статистическим требованиям. Следует различать задания в тестовой форме и тестовые задания. Только после статистической проверки задание в тестовой форме может стать тестовым заданием. Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий! ВАЖНО!

11 11 Этапы подготовки банка ТЗ 1.Определение структуры учебной дисциплины. 2.Отбор содержания учебного материала. 3.Формулировка тестовых заданий. 4.Экспертиза качества ТЗ. 5.Определение целей тестирования. 6.Конструирование технологической матрицы и ее экспертиза. 7.Построение выборки для предварительного испытания теста. 8.Апробация теста и изучение результатов. 9.Стандартизация теста. 10.Подготовка учебных материалов для публикации. Каково должно быть содержание тестовых заданий? Как правильно сконструировать тестовые задания? Как правильно составить из тестовых заданий тесты? Как убедиться в валидности, надежности, дискриминативности тестов и при необходимости скорректировать их? Вопросы, которые должен решить автор при разработке теста:

12 12 Содержание тестовых заданий для контроля усвоения знаний по конкретной дисциплине определяется в первую очередь рабочей программой дисциплины, которая в свою очередь составляется в соответствии с государственным образовательным стандартом (ГОС ВПО или ФГОС ВПО). Авторы – разработчики теста (преподаватели) должны определить наиболее существенные, ключевые понятия и определения курса, для проверки понимания которых и будут далее сформулированы тестовые задания. Таким образом, содержательная валидность теста обеспечивается авторами учебных материалов. Определение структуры учебной дисциплины и отбор учебного материала

13 13 представляет в компактной форме информацию о структуре БТЗ, составных дидактических единицах, видах используемых интеллектуальных действий при выполнении определенного количества тестовых заданий; может быть построена с разной степенью детализации, что позволит обоснованно определить качество и структуру самого БТЗ; может быть разработана как по всему содержанию дисциплины, так и по отдельным, наиболее крупным темам или нескольким логически связанным темам дисциплины. Технологическая матрица БТЗ: Вид технологической матрицы БТЗ выбирается разработчиком БТЗ самостоятельно, но в ней должны быть отражены контролируемые дидактические единицы, их содержание, т.е. название и количество тестовых заданий, виды проверяемых интеллектуальных действий. Перед тем как приступить к конструированию тестовых заданий, полезно сделать список объектов контроля: основных понятий, фактов, принципов, условий работы чего-то и т.п.

14 14 Технологическая матрица БТЗ дисциплины «Современные средства оценивания результатов обучения»

15 15 В тестах учебных достижений выделяют следующие формы тестовых заданий: закрытая (в том числе задания с несколькими вариантами выбора и альтернативные задания); открытая; на установление соответствия; на установление правильной последовательности. Конструирование тестовых заданий Выбор формы ТЗ зависит прежде всего от цели тестирования, содержания теста, технических возможностей, а также уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

16 16 Задание в закрытой форме - задание, к которому дается список ответов. *Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.

17 17 - требует ответа, сформулированного самим обучаемым (подразделяются на задания со свободным (т. е. произвольным) ответом и на задания с ограничениями на ответ). Задание в открытой форме Примеры возможных ограничений: ограничение по количеству слов в ответе (рекомендуется не более двух) или ограничение длины поля ввода; ограничение по характеру вводимой информации (численная или текстовая); ограничения в формате ввода ответа (например, указание, с какой точностью должна быть введена десятичная дробь или как вводить символы, отсутствующие на клавиатуре). Все ограничения вводятся с единственной целью: чтобы тестирующая программа могла сравнить ответ испытуемого с хранящимся в ее памяти правильным ответом и выявить их соответствие или несоответствие.

18 18 - задания, в которых объектам одной группы надо поставить в соответствие объекты другой группы. Задание на установление соответствия *Пример задания, выполненного в конструкторе АСТ-тест, взят из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.

19 19 - задания, в которых требуется определить порядок следования предложенных объектов (символов, слов, формул, рисунков). Задание на упорядочение (на установление правильной последовательности) *Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.

20 20 Одни и те же задания могут быть представлены в различных формах. Следует выбирать ту из них, в которой вопрос формулируется более кратко и понятно, а вероятность угадывания правильных ответов меньше. Если задания в различных формах выглядят в равной степени эффективными, то выберите из них тот тип, который менее всего представлен в тесте. ВАЖНО!

21 21 I. Требования к названию БТЗ Для всех курсов одной дисциплины - единый БТЗ. Название БТЗ совпадает с названием дисциплины по ГОС. В исключительных случаях (различные требования по ГОС): допускается формирование разных БТЗ для курсов одной дисциплины, название может совпадать с названием курса. Пример:Общая физика Отечественная история II. Требования к названию теста Название теста формируется в соответствии со следующими правилами: пишется название курса, запятая, пробел, тест или АКР, запятая, пробел, модуль. Пример: Отечественная история, тест, модуль2 Физика1/3, АКР, модуль7

22 22 III. Требования к структуре БТЗ Структура БТЗ формируется в соответствии со структурой дидактических единиц. Если руководитель дисциплины предлагает иную структуру, то данное изменение должно быть обосновано. Рекомендуемое количество уровней в структуре БТЗ – четыре. Пример: дисциплина «Общая физика» ДЕ Наименование дидактической единицы ГОС 1Механика 2Молекулярная (статистическая) физика и термодинамика 3Электричество и магнетизм 4Механические и электромагнитные колебания и волны 5Волновая и квантовая оптика 6Квантовая физика, физика атома 7Элементы ядерной физики и физики элементарных частиц

23 23 Перечень дидактических единиц по дисциплинам со структурой до второго уровня для каждой специальности представлен на официальном сайте ФЭПО: Название ДЕ ДЕТема задания Общая физика Механика1Кинематика поступательного и вращательного движения 2Динамика точки и поступательного движения твердого тела 3Динамика вращательного движения твердого тела 4Работа. Энергия. Закон сохранения механической энергии 5Законы сохранения момента импульса и энергии 6Элементы специальной теории относительности Отечественная история Теория и методология исторической науки 1Функции истории 2Методы изучения истории 3Методология истории 4Историография истории

24 24 Где можно взять информацию по дидактическим единицам дисциплины? сайт Раздел «МЕТОДИЧЕСКАЯ ПОДДЕРЖКА» – подраздел «тестовые материалы»

25 25 Содержание государственных образовательных стандартов, структуры АПИМ и демо-варианты

26 26 Выбрать шифр направления подготовки/специальности и дисциплину – нажать кнопку «Вывести содержание ГОС, структуру АПИМ и демо-вариант»

27 27

28 28 Официально утвержденных Министерством образования стандартных требований к составлению тестовых заданий на сегодняшний день нет. Приведенные ниже требования носят рекомендательный характер. ВАЖНО! Требования к составлению тестовых заданий 1.Тестовое задание (ТЗ) должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового утверждения. 2.Содержание задания должно отвечать требованиям ГОС. 3.Все варианты ответов должны быть грамматически согласованы с основной частью задания. 4.Избегайте вводных слов и предложений, а также таких слов как «иногда», «никогда», «всегда», «часто», «каждый» и т.п., в которых обычно содержится двусмысленность или противоречие.

29 29 5.Тестовое задание не должно содержать повторов, двойных отрицаний и сленга. Не следует использовать отрицание (тестироваться должны позитивные знания!). 6.В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора. 7.Формулировка тестового задания должна быть выражена в повествовательной форме, в форме логического высказывания (вопрос исключается) 8.В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.) Чем лаконичнее задание, тем лучше оно воспринимается. Пример: Выберите из перечисленного ниже списка факторы, влияющие на … : Факторы, влияющие на … :. 9.Ответ на поставленный вопрос не должен зависеть от предыдущих ответов студента. 10.Формулировки заданий и ответов должны быть краткими, ясными и не содержать прямых или скрытых подсказок.

30 30 11.Форма ТЗ должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения. 12.Требования к заданиям закрытого типа: Не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов. Лучше «длинный» вопрос и «короткие» ответы, чем наоборот. Количество дистракторов в задании должно находится в пределах от 4 до 6. Недопустимы ответы типа: все вышеперечисленное верно, все указанные ответы неверны и т.д. 13.Задание должно быть составлено с учетом того, что среднее время его предъявления на экране составляет 2-3 минуты (максимум – 5 минут), из которых на ответ отводится около одной минуты.

31 31 Рекомендации по назначению нормы трудности тестовых заданий (Попов Д.И., МГУП, Москва) Норма трудности ТЗ может оцениваться с учетом количества используемых формул, правил, аксиом и т.д., необходимых для поиска правильного решения. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ. Наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ - на упорядочение и на соответствие. К простым относят ТЗ: направленное на «опознание» какого-то объекта или на проверку «знания-знакомства». направленное на выбор одного варианта ответа из многих с помощью знания всего одного концепта (формулы, правила, аксиомы и т.д.). открытого типа, направленное на выявление знания определения односложного базового термина.

32 32 направленное на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях, с которыми знаком испытуемый) или на проверку «знаний воспроизведения копии». по выбору подмножества правильных вариантов из заданного множества дистракторов. К среднему уровню сложности относят ТЗ: К высокому уровню сложности относят ТЗ: направленное на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку «знаний умения и применения». требующие применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

33 33 1.Правильное расположение тестовых заданий в тесте повышает их валидность. Традиционно ТЗ располагаются в порядке возрастающей трудности. NB! При компьютерном тестировании используется автоматическое перемешивание вопросов, при котором это условие не выполняется. NB! При компьютерном адаптивном тестировании сложность предъявляемых ТЗ регулируется тестовой системой автоматически в процессе тестирования и зависит от ответов тестируемого. 2.Традиционно в тесте используется большее количество ТЗ средней трудности (60-70%). 3.Количество разрабатываемых заданий в тесте должно превышать предполагаемую длину теста как минимум в 10 раз. Рекомендации по составлению теста с учетом норм трудности ТЗ

34 34 Рекомендуемая литература 1.Аванесов В.С. Формы тестовых заданий. М.: МИСиС, Васильев В.И., Киринюк А.А., Тягунова Т.Н. Требования к программно-дидактическим тестовым материалам и технологиям компьютерного тестирования. М.: Издательство МГУП, Клайн П. Справочное руководство по конструированию тестов. Киев: ПАН-ЛТД, Майоров А.Н. Теория и практика создания тестов для системы образования. М., "Интеллект-центр", Переверзев В.Ю. Технология разработки тестовых заданий: справочное руководство. – М.: Е-Медиа, с. 6.Романов А. Н., Торопцов В.С., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: ЮНИТИ-ДАНА, Требования к оформлению тестовых заданий для включения в банки контрольных тестов по учебным дисциплинам ГОС ВПО. – Барнаул : БГПУ, – 24с. 8.Шапкин В.В. Диагностика обученности с применением тестирования: Учебное пособие для слушателей курса повышения квалификации - СПб.: ГОУ ИПК СПО, с.

35 35 Примеры составления тестовых заданий

36 36 1. Ключевое слово отсутствует. 2. Не компактность

37 37 Термин «специальная» в названии «Специальная теория относительности» означает, что она разработана для решения: а) задач со специальными инерциальными системами отсчета б) специальных задач с околосветовыми скоростями в) специальных задач с относительностью движения г) задач со специальными неинерциальными системами отсчета 1. Ключевое слово отсутствует. 2. Не компактность. 3. Повторы. 4. Неравнозначные дистракторы ЗАДАЧИ, РЕШЕНИЕ КОТОРЫХ ПОДЧЕРКИВАЕТСЯ ТЕРМИНОМ «СПЕЦИАЛЬНАЯ» В НАЗВАНИИ «СПЕЦИАЛЬНАЯ ТЕОРИЯ ОТНОСИТЕЛЬНОСТИ»: а) с инерциальными системами отсчета б) с околосветовыми скоростями в) с относительностью движения г) с неинерциальными системами отсчета

38 38 Выбор ведущих методов психолого-педагогического исследования обусловлен в первую очередь: а) концептуальными ориентирами б) методологическими установками в) характером, предметом и задачами исследования ВЫБОР МЕТОДОВ ПСИХОЛОГО-ПЕДАГОГИЧЕСКОГО ИССЛЕДОВАНИЯ ОБУСЛОВЛЕН: а) концепцией б) методологией в) характером г) предметом д) задачами 1. Мало дистракторов. 2. Используется слово с неопределенностью (в первую очередь). 3. Неравнозначные дистракторы.

39 39 *Пример взят из презентации «Разработка тестовых материалов для Федерального Интернет-экзамена в сфере профессионального образования (ФЭПО)» зам. начальника отдела педагогических измерений ФГУ «Росаккредагентство» А.В.Капустина, Москва,

40 40 *Пример взят из презентации «Разработка тестовых материалов для Федерального Интернет-экзамена в сфере профессионального образования (ФЭПО)» зам. начальника отдела педагогических измерений ФГУ «Росаккредагентство» А.В.Капустина, Москва,