Лекция 6 Требования, предъявляемые к тестовым заданиям. Психолого-педагогические аспекты тестирования. План лекции: 1. Требования, предъявляемые к тестовым заданиям. 2. Требования, предъявляемые к банкам тестовых заданий. 3. Последовательность разработки педагогических тестов и БТЗ. 4. Программное обеспечение процедуры тестирования (АСТ). 5. Психолого-педагогические аспекты тестирования
1. Требования, предъявляемые к составлению тестовых заданий: 1. Тестовое задание должно быть представлено в форме краткого суждения, сформулированного четким языком, исключающего неоднозначность заключения тестируемого на требования тестового утверждения. 2. Содержание задания должно соответствовать требованиям ГОС. 3. Содержание тестового задания НЕ должно содержать повторов, двойных отрицаний и сленга. 4. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора. 5. Формулировка тестового задания должна быть выражена в повествовательной форме (вопрос исключается).
Требования, предъявляемые к составлению тестовых заданий: 6. В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.). 7. Ответ не должен зависеть от предыдущих ответов студента. 8. Ни в тексте, ни в ответах не должно быть подсказок. 9. Тестовое задание может быть представлено в стандартизированной форме (открытое, закрытое и т.д). 10. Форма ТЗ должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения.
Требования, предъявляемые к составлению тестовых заданий: 11. Требования к заданиям закрытого типа: а)Не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Следует применять правдоподобные ошибочные варианты, взятые из опыта. б)В заданиях закрытого типа дистракторы не должны начинаться или заканчиваться повторяющимися словами или выражениями. Количество дистракторов в задании должно находится в пределах от 4 до 6. в)недопустимы ответы типа: все выше перечисленное верно, все указанные ответы неверны. г)лучше «длинный» вопрос и «короткие» ответы, чем наоборот. д)количество слов в формулировках тестового задания не должно превышать 13-и. е)в заданиях закрытого типа с выбором нескольких ответов из 5 ответов должно быть 2 или 3 правильных.
Требования, предъявляемые к составлению тестовых заданий: 12. Задания на установление соответствия и правильной последовательности должны начинаться со слов: Соответствие … (а не установить соответствие) Соответствие … (а не установить соответствие) Последовательность (а не установить последовательность)
2. Требования, предъявляемые к тестам и банкам тестовых заданий Банк тестовых заданий Банк тестовых заданий Тест Тест Тестовое задание Тестовое задание Банк тестовых заданий (БТЗ) - это упорядоченное множество тестовых заданий, позволяющее осуществить адекватную целям изучения учебной дисциплины проверку степени усвоения ее содержания и обеспечивающее возможность формирования педагогических тестов различного объема и назначения. Банк тестовых заданий (БТЗ) - это упорядоченное множество тестовых заданий, позволяющее осуществить адекватную целям изучения учебной дисциплины проверку степени усвоения ее содержания и обеспечивающее возможность формирования педагогических тестов различного объема и назначения.
К основным свойствам БТЗ должны быть отнесены: предметная направленность банка; предметная направленность банка; содержание (состав и взаимосвязь дидактических единиц, образующих содержание учебной дисциплины); содержание (состав и взаимосвязь дидактических единиц, образующих содержание учебной дисциплины); объем (количественный и качественный состав ТЗ, входящих в банк); объем (количественный и качественный состав ТЗ, входящих в банк); структура (способ упорядочения тестовых заданий, образующих банк); структура (способ упорядочения тестовых заданий, образующих банк); качество ТЗ и банка в целом, обеспечивающее получение объективных и достоверных результатов тестирования; качество ТЗ и банка в целом, обеспечивающее получение объективных и достоверных результатов тестирования; возрастающая трудность ТЗ. возрастающая трудность ТЗ.
Дидактическая единица - это относительно самостоятельная в смысловом отношении часть системы знаний, образующей содержание учебной дисциплины. К дидактическим единицам относятся, например, раздел, подраздел, тема, понятие. Дидактическая единица - это относительно самостоятельная в смысловом отношении часть системы знаний, образующей содержание учебной дисциплины. К дидактическим единицам относятся, например, раздел, подраздел, тема, понятие. Элементарной дидактической единицей, обеспечивающей возможность преобразовать содержание дисциплины во множество тестовых заданий, является утверждение или, иначе, высказывание повествовательное предложение, имеющее определенный смысл и значение. Элементарной дидактической единицей, обеспечивающей возможность преобразовать содержание дисциплины во множество тестовых заданий, является утверждение или, иначе, высказывание повествовательное предложение, имеющее определенный смысл и значение.
Структура («дерево») БТЗ - строение банка тестовых заданий, определяющее принадлежность каждого из ТЗ соответствующей дидактической единице и уровню. Структура («дерево») БТЗ - строение банка тестовых заданий, определяющее принадлежность каждого из ТЗ соответствующей дидактической единице и уровню.
Структура БТЗ
Возможные подходы к структурированию БТЗ («дерева») Первый подход: раздел дисциплин; раздел дисциплин; дидактическая единица ГОС; дидактическая единица ГОС; понятие, раскрывающее дидактическую единицу. понятие, раскрывающее дидактическую единицу. Второй подход: дидактическая единица ГОС; дидактическая единица ГОС; раздел дисциплин; раздел дисциплин; понятие, раскрывающее дидактическую единицу. понятие, раскрывающее дидактическую единицу. Третий подход: раздел программы; раздел программы; дидактическая единица ГОС; дидактическая единица ГОС; уровень трудности ТЗ (легкое, среднее, трудное) уровень трудности ТЗ (легкое, среднее, трудное)
БТЗ должен быть сформирован так, чтобы обеспечить: 1. Выявление всего состава знаний и умений, формируемых данной учебной дисциплиной в соответствии с требованиями ГОС и/или целями ее изучения, указанными в рабочей программе. 2. Отображение составом ТЗ, включенных в банк системы знаний, охватываемых содержанием учебной дисциплины. 3. Возможность формирования ПТ различного назначения: входной контроль; входной контроль; текущий контроль; текущий контроль; итоговый контроль; итоговый контроль; контроль остаточных знаний. контроль остаточных знаний.
БТЗ должен быть сформирован так, чтобы обеспечить: 4. Возможность формирования требуемого количества ПТ заданного назначения и количественного состава: от нескольких десятков до сотен тестов. 5. Возможность формирования ПТ, имеющих иерархическую структуру и состоящих из ТЗ трех уровней трудности: первый уровень (задания легкие); первый уровень (задания легкие); второй уровень (задания средней трудности); второй уровень (задания средней трудности); третий уровень (задания трудные). третий уровень (задания трудные). 6. БТЗ должен состоять из ТЗ четырех различных форм.
Трудность (уровень или норма трудности) ТЗ - (в теории) количество мыслительных операций и характер логических связей между ними, характеризующих продолжительность поиска и нахождения верного решения; Трудность (уровень или норма трудности) ТЗ - (в теории) количество мыслительных операций и характер логических связей между ними, характеризующих продолжительность поиска и нахождения верного решения; Статистическая трудность определяется долей верных ответов на тестовое задание. Статистическая трудность определяется долей верных ответов на тестовое задание. Основное назначение трудности заданий - определение заданий, которые не подходят для использования по причинам излишней простоты или сложности и определение места задания в тесте. Основное назначение трудности заданий - определение заданий, которые не подходят для использования по причинам излишней простоты или сложности и определение места задания в тесте.
Требования к наполнению БТЗ: адекватность тестовых заданий содержанию учебного материала и «веточке дерева» БТЗ; адекватность тестовых заданий содержанию учебного материала и «веточке дерева» БТЗ; использование 4 форм тестовых заданий в пропорциональном соотношении (по 25%): открытые, закрытые, на упорядочение, на соответствие; использование 4 форм тестовых заданий в пропорциональном соотношении (по 25%): открытые, закрытые, на упорядочение, на соответствие; равномерное распределение тестовых заданий по трудности тестовых заданий (33% – легкие; 33% – средней трудности; 33% – трудные); равномерное распределение тестовых заданий по трудности тестовых заданий (33% – легкие; 33% – средней трудности; 33% – трудные); общее количество не менее длины одного теста. общее количество не менее длины одного теста.
3. Последовательность разработки педагогических тестов и БТЗ Процесс создания педагогического теста или БТЗ состоит из ряда строго последовательных этапов: Процесс создания педагогического теста или БТЗ состоит из ряда строго последовательных этапов: 1. Определение цели тестирования, области содержания теста, выбор вида теcта, подхода к его созданию. Цели тестирования: входной, текущий, итоговый или отсроченный контроль. Подход к созданию БТЗ: нормативно- или критериально-ориентированный.
2. Анализ содержания учебной дисциплины и отбор содержания для теста. Данный этап очевиден, он предполагает работу с ГОС и учебными программами. 3. Определение структуры теста. Разработка спецификации теста. 4. Составление тестовых (предтестовых) заданий. Определяется проектируемая трудность тестовых заданий. 5. Экспертный анализ содержания и формы тестовых заданий и теста в целом.
6. Переработка содержания и формы заданий по результатам экспертизы. 7. Разработка и проведение пробного тестирования. 8. Сбор эмпирических результатов. 9. Статистическая обработка результатов тестирования. 10. Оценка качества тестовых заданий и теста в целом с помощью статистических методов. 11. Корректировка теста по результатам предыдущего этапа. 12. Составление окончательного варианта теста, нормирование (установление норм) и стандартизация теста.
4. Программное обеспечение процедуры тестирования (АСТ). Конструктор тестов Генераци я теста Конвертер Администратор Студенты Сервер Player SWAP Данные Преподаватель Коррекция учебного процесса
Состав системы Конструктор тестов - предназначен для создания и наполнения накопителя тестовых заданий и формирования семейства тестов на его основе. SWAP – программа обмена данными между накопителем тестовых заданий и документами WinWord (текстовый формат) Конвертер – предназначен для конвертации исходных тестовых файлов ast в формат asd, который используется серверной частью системы тестирования AST-Test, с возможностью внесения изменений в OLE- обьекты (формулы,текст).
АСТ- Сервер АСТ-Администратор – программа Test_Administrator предназначена для удаленного управления процедурой тестирования и получения статистических данных и результатов. АСТ-Плеер - программа AST-Test_Player предназначена для проведения тестирования посредством подключения пользователя к удаленной базе тестов, находящейся на другом компьютере - сервере. Комплекс программ для проведения и сопровождения процедуры тестирования