Основы педагогических измерений Ашурова Наталья Игоревна, доцент ЦОКО ТОИПКРО, к.и.н.
Исходные понятия тестологии «учебное задание». средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда. (обучающие и контролирующие).
Исходные понятия тестологии Очень общее определение: тест – это стандартизованный метод. Очень общее определение: тест – это стандартизованный метод. Система заданий стандартной формы, выполнение которых проходит в равных для всех испытуемых условиях, поддается количественному учету (оценке), позволяет установить уровень сформированности знаний, навыков, умений тестируемого Система заданий стандартной формы, выполнение которых проходит в равных для всех испытуемых условиях, поддается количественному учету (оценке), позволяет установить уровень сформированности знаний, навыков, умений тестируемого
Исходные понятия тестологии Тест – стандартизированное, часто ограниченное во времени испытание, предназначенное для установления количественных и качественных индивидуально-психологических особенностей. Тест – стандартизированное, часто ограниченное во времени испытание, предназначенное для установления количественных и качественных индивидуально-психологических особенностей. (П.Клайн, 1996) [21] Педагогический тест – комплекс заданий, измеряющих уровень учебных достижений, обученности, прогресс в учебной деятельности, эффективность учебного процесса. Педагогический тест – комплекс заданий, измеряющих уровень учебных достижений, обученности, прогресс в учебной деятельности, эффективность учебного процесса. (Т.М. Балыхина, 2000) [6] Тест – это измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию. Тест – это измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию. (Словарь ЕГЭ, 2001) КИМ – это комплект тестовых заданий разного типа (открытых и закрытых), подготовленных для апробации. КИМ – это комплект тестовых заданий разного типа (открытых и закрытых), подготовленных для апробации. (Словарь ЕГЭ, 2001) КИМы – стандартизованная экзаменационная работа, создаваемая в соответствии с требованиями теории педагогических измерений, позволяющая с достаточной объективностью и надежностью провести независимую государственную аттестацию выпускников ОУ и отбор абитуриентов в вуз. КИМы – стандартизованная экзаменационная работа, создаваемая в соответствии с требованиями теории педагогических измерений, позволяющая с достаточной объективностью и надежностью провести независимую государственную аттестацию выпускников ОУ и отбор абитуриентов в вуз. (А.О. Татур. 2002) [60] Тесты представляют собой совокупность заданий, которые позволяют дать объективную, сопоставимую и даже количественную оценку качества подготовки обучаемого в заданной образовательной области Тесты представляют собой совокупность заданий, которые позволяют дать объективную, сопоставимую и даже количественную оценку качества подготовки обучаемого в заданной образовательной области (М.Б. Челышкова, 2002) [63] Тест обученности – это совокупность заданий, сориентированных на определение (измерение) уровня (степени) усвоения определенных аспектов содержания обучения. Тест обученности – это совокупность заданий, сориентированных на определение (измерение) уровня (степени) усвоения определенных аспектов содержания обучения. (П.И. Подласый, 2003) [44] Педагогический тест– система специально подобранных проверочных заданий, составленных по тестовой форме, позволяющая количественно оценить учебные достижения человека в одной или нескольких областях знаний. Педагогический тест– система специально подобранных проверочных заданий, составленных по тестовой форме, позволяющая количественно оценить учебные достижения человека в одной или нескольких областях знаний. (Проект отраслевого терминологического стандарта, 2004) [55] : «Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения» : «Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения» ( А.Н. Майоров)
ЗТФ и учебное задание Учебное задание: контролирующее, обучающее, контролирующее и обучающее Учебное задание: контролирующее, обучающее, контролирующее и обучающее ЗТФ: только контролирующее ЗТФ: только контролирующее
Виды тестов По процедуре создания -стандартизированные -нестандартизированные тесты. По средствам предъявления: -бланковые -компьютерные -практические По направленности -тесты интеллекта -личностные тесты -тесты достижений По целям: - критериально-ориентированный тест - - нормативно-ориентированный тест...
Виды тестов КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ ТЕСТ (criterion-referenced test). Термин предложен Р. Гласером (1963 г.). К.-о. т. выявляет то, что индивид знает и может делать, а не то, как его результаты соотносятся с результатами других тестируемых, т. е. тип тестов, предназначенных для определения уровня обученности испытуемых относительно некоторого критерия, а не относительно групповых норм. (criterion-referenced test). Термин предложен Р. Гласером (1963 г.). К.-о. т. выявляет то, что индивид знает и может делать, а не то, как его результаты соотносятся с результатами других тестируемых, т. е. тип тестов, предназначенных для определения уровня обученности испытуемых относительно некоторого критерия, а не относительно групповых норм. НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ (norm-referenced test). Тип тестов, предназначенных для определения сравнительного уровня подготовки (обученности) испытуемых – между собой и относительно некоторой нормы (внешний контроль). (norm-referenced test). Тип тестов, предназначенных для определения сравнительного уровня подготовки (обученности) испытуемых – между собой и относительно некоторой нормы (внешний контроль).
Сравнение двух основных подходов к тестированию по достигнутым результатам Тестирование на основе нормы Тестирование на основе критерия 1. Основной вид использования Обзорное тестированиеТестирование на степень владения материалом 2. Основное назначениеОценить индивидуальные различия в уровне достигнутых знаний Описать задачи, которые ученик может выполнить 3. Обработка результатов Сравнение индивидуальных результатов с результатами других членов группы Сравнение результатов с чётко определённой областью достижений
Сравнение двух основных подходов к тестированию по достигнутым результатам 4. Диапазон охватаОхватывает широкую область достижений Фокусируется на ограниченном наборе учебных задач 5. Процедура подбора вопросов Отбираются вопросы, обеспечивающие максимальное разнообразие в индивидуальных оценках. Легкие вопросы обычно не включаются в тест Включаются все вопросы, необходимые для адекватно оценки. Не делаются попытки изменить сложность вопроса или исключить легкие вопросы в целях достижения большего разнообразия в оценках 6. Стандарты выполненияУровень выполнения теста определяется относительно позиции в группе (пятое место в группе из двадцати) Уровень выполнения теста определяется исходя из абсолютных стандартов (владение материалом демонстрируется определением 90 процентов технических терминов).
Достоинства тестов качественный и объективный способ оценивания, объективность тестирования достигается путем стандартизации процедуры проведения ёмкий инструмент широкий инструмент (с точки зрения интервала оценивания) технологичность процедуры
Ограничения Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний с тестированием сравниться не может. Но и абсолютизировать возможности тестовой формы нет никаких оснований. Да и вряд ли есть хотя бы одна какая-то форма, которая могла бы выразить все богатство содержания. Не все умения проверяются тестами. Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний с тестированием сравниться не может. Но и абсолютизировать возможности тестовой формы нет никаких оснований. Да и вряд ли есть хотя бы одна какая-то форма, которая могла бы выразить все богатство содержания. Не все умения проверяются тестами. Скрытая слабость показателей по содержательному критерию состоит в трудности формирования выборок заданий по тем дисциплинам, для обследования навыков и знаний в которых предназначен тест. Каково значение 90% -ого показателя? Правильно ли говорить, что индивидуум с таким показателем знает 90% из данной дисциплины? Почти наверное, это не так, и даже если бы это было так, два испытуемых с одинаковыми значениями показателя могли неправильно выполнить различные задания, поэтому эти показатели являются совершенно не эквивалентными. Наличие этой трудности означает, что использование таких тестов должно ограничиваться только областью дисциплин с точно описываемым материалом и теми уровнями, на которых знания являются настолько фиксированными и определенными, что становится возможным реально формировать соответствующие выборки заданий, как например, в случае с простейшими арифметическими операциями. Скрытая слабость показателей по содержательному критерию состоит в трудности формирования выборок заданий по тем дисциплинам, для обследования навыков и знаний в которых предназначен тест. Каково значение 90% -ого показателя? Правильно ли говорить, что индивидуум с таким показателем знает 90% из данной дисциплины? Почти наверное, это не так, и даже если бы это было так, два испытуемых с одинаковыми значениями показателя могли неправильно выполнить различные задания, поэтому эти показатели являются совершенно не эквивалентными. Наличие этой трудности означает, что использование таких тестов должно ограничиваться только областью дисциплин с точно описываемым материалом и теми уровнями, на которых знания являются настолько фиксированными и определенными, что становится возможным реально формировать соответствующие выборки заданий, как например, в случае с простейшими арифметическими операциями.
Исходные понятия тестологии КАЧЕСТВО ТЕСТА. Существенный признак, свойство, которым должен обладать тест. К показателям к.т. относятся валидность, надежность, практичность (технологичность), экономичность, корректность.
Исходные понятия тестологии ВАЛИДНОСТЬ (validity) (действенность, адекватность, пригодность, обоснованность). Комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения (т. е. тест дает ответ на вопрос: измеряют ли задания то, что хотели их составители). Существуют четыре основных метода определения В. теста: 1) метод, основанный на изучении содержания теста; 2) метод, основанный на корреляционном анализе; 3) метод, основанный на различных экспериментальных процедурах; 4) метод, основанный на серии теоретико-экспериментальных исследований. ВАЛИДНОСТЬ (validity) (действенность, адекватность, пригодность, обоснованность). Комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения (т. е. тест дает ответ на вопрос: измеряют ли задания то, что хотели их составители). Существуют четыре основных метода определения В. теста: 1) метод, основанный на изучении содержания теста; 2) метод, основанный на корреляционном анализе; 3) метод, основанный на различных экспериментальных процедурах; 4) метод, основанный на серии теоретико-экспериментальных исследований.
Исходные понятия тестологии КОРРЕКТНОСТЬ. Качественная характеристика тестового задания, согласно которой корректным считается задание, содержащее один предмет измерения и один правильный ответ, в отличие от некорректных заданий, имеющих более одного предмета измерения и допускающих несколько вариантов правильных ответов. КОРРЕКТНОСТЬ. Качественная характеристика тестового задания, согласно которой корректным считается задание, содержащее один предмет измерения и один правильный ответ, в отличие от некорректных заданий, имеющих более одного предмета измерения и допускающих несколько вариантов правильных ответов.
Исходные понятия тестологии НАДЕЖНОСТЬ (reliability). Характеристика качества тестов, отражающая точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты, оценки при повторных предъявлениях. Н. может определяться по совпадению двух половин теста (четных и нечетных заданий); вычисляется как коэффициент корреляции между результатами по четным и нечетным заданиям для каждого испытуемого. НАДЕЖНОСТЬ (reliability). Характеристика качества тестов, отражающая точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты, оценки при повторных предъявлениях. Н. может определяться по совпадению двух половин теста (четных и нечетных заданий); вычисляется как коэффициент корреляции между результатами по четным и нечетным заданиям для каждого испытуемого.
Надежность теста На надежность теста влияет ряд факторов: На надежность теста влияет ряд факторов: 1) содержательная репрезентативность (максимально возможная покрываемость программы); 2) репрезентативность контингента (тест должен быть выполнен как сильными, так и слабыми учащимися; 3) количество заданий (чем больше заданий, тем надежнее 4) трудность заданий (трудный тест считается более надежным), 5) стабильность, или стандартность внешних условий тестирования (времени, инструкций, мотивов и оценок).
Исходные понятия тестологии ПРАКТИЧНОСТЬ ТЕСТА (practicality, administrability) (технологичность). Одна из характеристик качества теста, заключающаяся в доступности инструкций и содержания заданий теста для понимания тестируемого, состоящая в сравнительной простоте как организации тестирования, так и проверки, подсчета результатов, подведения итогов. ПРАКТИЧНОСТЬ ТЕСТА (practicality, administrability) (технологичность). Одна из характеристик качества теста, заключающаяся в доступности инструкций и содержания заданий теста для понимания тестируемого, состоящая в сравнительной простоте как организации тестирования, так и проверки, подсчета результатов, подведения итогов.
Исходные понятия тестологии ПРЕДТЕСТ (лат. ргае перед, впереди) (pretest) (предварительный, пилотный тест). Предварительный тест, качества и результаты которого обрабатываются, интерпретируются для составления окончательного теста.
Исходные понятия тестологии ПРЕПОДАВАТЕЛЬСКИЙ ТЕСТ (classroom, teacher made) (нестандартизированный тест, учительский тест). Система заданий, составленных преподавателем дисциплины по пройденному материалу для текущего, промежуточного контроля, т. е. для учебных потребностей. Для п.т. необязательно определение всех показателей качества. ПРЕПОДАВАТЕЛЬСКИЙ ТЕСТ (classroom, teacher made) (нестандартизированный тест, учительский тест). Система заданий, составленных преподавателем дисциплины по пройденному материалу для текущего, промежуточного контроля, т. е. для учебных потребностей. Для п.т. необязательно определение всех показателей качества.
Исходные понятия тестологии РЕПРЕЗЕНТАТИВНОСТЬ (фр. representatif представительный, показательный). Дополнительный показатель качества теста, представленность тех или иных параметров. Например: репрезентативная выборка объектов тестирования означает максимальную представленность в тесте учебной программы; репрезентативность контингента – равнопредставленность как более сильной, так и более слабой части контингента испытуемых, для которых предназначался тест. РЕПРЕЗЕНТАТИВНОСТЬ (фр. representatif представительный, показательный). Дополнительный показатель качества теста, представленность тех или иных параметров. Например: репрезентативная выборка объектов тестирования означает максимальную представленность в тесте учебной программы; репрезентативность контингента – равнопредставленность как более сильной, так и более слабой части контингента испытуемых, для которых предназначался тест.
КРИТЕРИИ КАЧЕСТВА ЗАДАНИЙ Показатели качества тестового задания, среди которых основными являются: 1) дифференцирующая способность, т. е. информация о том, насколько данное задание способно разграничить сильных и слабых (индекс должен быть не менее +0,3); 2) степень трудности (facility value) заданий должна быть в пределах от 20% до 80%. Неэкономично включать в тест задания, степень трудности которых ниже 20% (это слишком трудные задания) и выше 80% (слишком легкие).
Исходные понятия тестологии ГЕТЕРОГЕННЫЙ ТЕСТ (heterogen test). Педагогический тест, проверяющий структуру и уровень компетенции, знаний по нескольким коррелирующим между собой дисциплинам. ГЕТЕРОГЕННЫЙ ТЕСТ (heterogen test). Педагогический тест, проверяющий структуру и уровень компетенции, знаний по нескольким коррелирующим между собой дисциплинам. ГОМОГЕННЫЙ ТЕСТ (homogen test). Педагогический тест, проверяющий структуру и уровень знаний по конкретной дисциплине. ГОМОГЕННЫЙ ТЕСТ (homogen test). Педагогический тест, проверяющий структуру и уровень знаний по конкретной дисциплине.
Исходные понятия тестологии ДИСТРАКТОР (distractor) (альтернатива, отвлекающий ответ). Вариант ответа на тестовое задание, близкий к правильному, но не являющийся таковым. К отвлекающим ответам относятся: антоним правильного ответа, неполный синоним, контекстуальная отвлекающая, аффиксальная отвлекающая (к правильному ответу прибавляется или от него отнимается префикс, суффикс), случайное слово и т. д. ДИСТРАКТОР (distractor) (альтернатива, отвлекающий ответ). Вариант ответа на тестовое задание, близкий к правильному, но не являющийся таковым. К отвлекающим ответам относятся: антоним правильного ответа, неполный синоним, контекстуальная отвлекающая, аффиксальная отвлекающая (к правильному ответу прибавляется или от него отнимается префикс, суффикс), случайное слово и т. д.
Исходные понятия тестологии ДЛИНА. Один из параметров оформления тестового задания, согласно которому словесное оформление заданий должно быть кратким. Д. основной части (основы) не должна превышать слов, а д. ответов – 3-5 слов, при этом в основе задания допускается одно придаточное предложение. ДЛИНА. Один из параметров оформления тестового задания, согласно которому словесное оформление заданий должно быть кратким. Д. основной части (основы) не должна превышать слов, а д. ответов – 3-5 слов, при этом в основе задания допускается одно придаточное предложение.
Исходные понятия тестологии УСЛОВИЯ ТЕСТИРОВАНИЯ. Под У.Т. понимается окружающая обстановка и другие факторы, влияющие на процедуру тестирования (готовность помещения, рабочего места, благоприятная атмосфера и т.д.), главные из которых следующие: 1) 1) необходимость следовать процедуре тестирования и руководству по использованию теста; 2) 2) реагирование на любые нестандартные условия; 3) 3) учет при интерпретации результатов теста нестандартных условий тестирования.
Требования к ЗТФ Для заданий в тестовой форме решающее значение играет сама форма
Требования к ЗТФ ЗТФ – единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Корректность содержания (общее) + технологичность, приобретаемая за счет тестовой формы Наличие одного правильного ответа
Краткость минимумом средств добиваться ясности смысла содержания задания. Спрашивать об одном. (Точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. А.М. Пешковский) Правильность выбора формы Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.
Логическая форма высказывания является универсальной формой четкого выражения мысли человеком. Учебные вопросы многословны. (ответы полные и неполные, правильные и неправильные, разные по форме, содержанию и по структуре, обязательное участие преподавателя, субъективизм). Одинаковость правил оценки ответов
В процессе целеполагания необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста (отражается в спецификации). В процессе целеполагания необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста (отражается в спецификации). Одно задание – один элемент знаний Одно задание – один элемент знаний Значимость материала – наиболее важные, ключевые, структурныe элементы. оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста Значимость материала – наиболее важные, ключевые, структурныe элементы. оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста Научная достоверность - объективно истинное и поддается рациональной аргументации. Соответственно, все спорные точки зрения, которые существуют в науке, не рекомендуется включать в тестовые задания. (Требование наличия одного правильного ответа – эталонного). Научная достоверность - объективно истинное и поддается рациональной аргументации. Соответственно, все спорные точки зрения, которые существуют в науке, не рекомендуется включать в тестовые задания. (Требование наличия одного правильного ответа – эталонного).
Репрезентативность. Репрезентативность. Возрастающая трудность. Возрастающая трудность. Вариативность содержания. Вариативность содержания.
Системность содержания. содержания тестовых заданий должно отвечать требованиям системности знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Системность содержания. содержания тестовых заданий должно отвечать требованиям системности знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Комплексность и сбалансированность содержания теста. Необходимо искать задания комплексно отражающие основные, если не все темы курса. В то же время существует стремление сбалансировано отобразить в тесте основной теоретический материал – понятия, законы, закономерности, теории, гипотезы, факты – вместе с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задания. Комплексность и сбалансированность содержания теста. Необходимо искать задания комплексно отражающие основные, если не все темы курса. В то же время существует стремление сбалансировано отобразить в тесте основной теоретический материал – понятия, законы, закономерности, теории, гипотезы, факты – вместе с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задания. Взаимосвязь содержания и формы. Доказательства, обширные вычисления, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме. Взаимосвязь содержания и формы. Доказательства, обширные вычисления, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме.
Задания закрытого типа (задания с выбором одного правильного ответа) Это основные формы заданий в тестологии Варианты: одного, нескольких, наиболее правильного
Широко распространены: технологичны, понятны Критикуемость: возможность «угадывания», запоминаемость неправильных ответов, ограниченность проверяемых умений уровень знаний 1.Оптимальное число дистракторов в задании? 2.Минимальное число дистракторов в задании. 3.Можно ли в одном тесте конструировать задания с разным числом вариантов ответов? 4.Обозначение дистракторов: буквы или цифры
Подбор дистракторов Правильно подобранный дистрактор выбирают незнающие учащиеся Принципы: одинаковая форма одинаковая форма одинаковая длина (быть в равной степени детальными или обобщенными) одинаковая длина (быть в равной степени детальными или обобщенными) одинаковая трудность одинаковая трудность должны быть выражены одной частью речи должны быть выражены одной частью речи должны представлять вместе с правильным ответом одну область знания должны представлять вместе с правильным ответом одну область знания
Элементы ЗТФ Инструкция Инструкция задания задания Содержание задания Содержание задания Место для ответа Место для ответа
Методическое оснащение теста Методическое оснащение – составная часта теста, которая состоит из комплекта сведений, инструкций и рекомендаций, которые в комплексе обеспечивают всем испытуемым равные условия на всех этапах использования теста. Методическое оснащение – составная часта теста, которая состоит из комплекта сведений, инструкций и рекомендаций, которые в комплексе обеспечивают всем испытуемым равные условия на всех этапах использования теста.
Методическое оснащение теста: сведения, которые необходимо знать пользователю теста об инструменте; сведения, которые необходимо знать пользователю теста об инструменте; правила и требования предъявления теста испытуемым; правила и требования предъявления теста испытуемым; правила обработки результатов; правила обработки результатов; рекомендации по интерпретации полученных данных рекомендации по интерпретации полученных данных
Инструкция для ведущего условия проведения теста; условия проведения теста; материалы и приборы, требуемые при проведении тестирования, порядок их размещения и предъявления; материалы и приборы, требуемые при проведении тестирования, порядок их размещения и предъявления; временные ограничения; временные ограничения; полный текст инструкции для испытуемых; полный текст инструкции для испытуемых; правила поведения экспериментатора во время проведения теста; правила поведения экспериментатора во время проведения теста; описание ответов на возможные типичные вопросы; описание ответов на возможные типичные вопросы; необходимая квалификация для лиц, которые проводят тестирование, проверяют правильность выполнения, анализируют результаты; необходимая квалификация для лиц, которые проводят тестирование, проверяют правильность выполнения, анализируют результаты; вопросы конфиденциальности и доступа к получаемой в результате тестирования информации; вопросы конфиденциальности и доступа к получаемой в результате тестирования информации; инструкция по проверке результатов инструкция по проверке результатов
Инструкция для испытуемого: описание назначения теста (если это не противоречит условиям тестирования); описание назначения теста (если это не противоречит условиям тестирования); правила заполнения бланков для ответов (тестовых тетрадей, внесения ответов в компьютер и т.д.); правила заполнения бланков для ответов (тестовых тетрадей, внесения ответов в компьютер и т.д.); образцы решения задач образцов по крайней мере по одной на каждый тип заданий, представленных в тесте; образцы решения задач образцов по крайней мере по одной на каждый тип заданий, представленных в тесте; образцы исправления неверно выполненного задания и образцы исправления исправленного. образцы исправления неверно выполненного задания и образцы исправления исправленного.
Элементы задания Инструкция – указание, что сделать, каким образом выполнить задание (укажите, выберите) Правила: Будьте кратки, насколько возможно Изъясняйтесь настолько просто, насколько можно, употребляя простые предложения Должны быть примеры выполнения Ответ запишите в рамку, для промежуточных записей используйте место слева от вопроса Номер выбранного ответа запишите в бланке ответов напротив номера задания В бланке ответов 1 под номером выполняемого задания поставьте знак «х» в клеточку, номер которой соответствует номеру выбранного ответа
Требования к формальной стороне процедуры тестирования : обеспечить инструментарием в необходимых количествах; обеспечить наличие столов и стульев в количестве, необходимом для проведения исследования; разместить столы и стулья так, чтобы к каждому испытуемому было удобно подойти; обеспечить каждому испытуемому за столом удобное место, что достигается подбором помещения, оснащенного мебелью необходимых размеров;. оборудовать место для ведущего и, если это необходимо, для наблюдателя, с максимальным обзором.
Сценарий проведения тестирования Объяснить, зачем нужен тест, сообщить, какие результаты ожидаются: Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, Медленно, громко, чётко, без запинок, естественным голосом прочесть инструкцию к тесту с примерами, если они имеются. Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач образцов, если таковые имеются, проверить, правильно ли понята инструкция. Сообщить о временном ресурсе, о, правилах исправления допущенных ошибок, о том, чего не рекомендуется делать при решении задач, к кому обращаться в случае возникновения вопросов. Вместе с испытуемыми или самому, заполнить, если требуется, паспортные и биографические данные в регистрационных бланках. Проследить за правильностью заполнения. Ответить на имеющиеся вопросы. Дать команду начать решение задач теста. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.
Сценарий проведения тестирования Во время решения задач или ответов на вопросы следить: -за временем решения (если это необходимо); j за наличием отточенных карандашей и других материалов; -за правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка своевременно её устранить); -за тем, чтобы испытуемые не писали на тестовых брошюрах, если иное не предусмотрено, не портили тестовых установок и приборов; -за тем, чтобы соседи не общались между собой, не шептались, не мешали друг другу, -за состоянием испытуемых; -за тем, чтобы испытуемые своевременно получали ответы на вопросы в ситуациях, связанных с процедурой проведения (ответы не должны служить подсказкой для решения или нарушать указания руководства, возможные варианты ответов должны быть предусмотрены в руководстве).
Сценарий проведения тестирования После сигнала окончания решения задач теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать После сигнала окончания решения задач теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать По окончании тестирования просмотреть все брошюры и стереть пометки на них; если это невозможно брошюры следует уничтожить. По окончании тестирования просмотреть все брошюры и стереть пометки на них; если это невозможно брошюры следует уничтожить.
Требования к личности ведущего тестирование понимание задач тестирования; понимание задач тестирования; компетентность в проведении тестирования; компетентность в проведении тестирования; эмоциональная уравновешенность, общительность, тактичность. эмоциональная уравновешенность, общительность, тактичность.
Наблюдатели Значительные возможности по стандартизации процедуры проведения тестирования даёт институт наблюдателей. Значительные возможности по стандартизации процедуры проведения тестирования даёт институт наблюдателей. Наблюдатель лицо, фиксирующее процедуру проведения и соответствие действий ведущего (исследователя) сценарию тестирования. Наблюдатель лицо, фиксирующее процедуру проведения и соответствие действий ведущего (исследователя) сценарию тестирования.
Кодификатор Кодификатор является, по сути, объединением конкретизированной рабочей программы дисциплины с системой (базой) учебных заданий различных видов, предназначенных для определенных целей и форм контроля Кодификатор является, по сути, объединением конкретизированной рабочей программы дисциплины с системой (базой) учебных заданий различных видов, предназначенных для определенных целей и форм контроля Содержательная структура учебной дисциплины должна наглядно отображать связь содержания дисциплины с составом разрабатываемых контрольных заданий и их основными показателями – назначением, конструктивными формами, уровнем трудности и др. Содержательная структура учебной дисциплины должна наглядно отображать связь содержания дисциплины с составом разрабатываемых контрольных заданий и их основными показателями – назначением, конструктивными формами, уровнем трудности и др.
Последовательность этапов в разработке 1. Анализ нормативных документов, которые содержат квалификационные требования к обучающимся по образовательной программе данного направления (специальности) с целью: определения состава знаний, умений и навыков, которыми должен владеть выпускник, завершивший изучение дисциплин данного цикла (раздел «Квалификационные требования к уровню подготовки выпускника» ФГОС); определения состава знаний, умений и навыков, которыми должен владеть выпускник, завершивший изучение дисциплин данного цикла (раздел «Квалификационные требования к уровню подготовки выпускника» ФГОС); определения состава знаний, умений и навыков, которыми должен владеть учащийся, завершивший изучение данной учебной дисциплины (раздел «Цели и задачи изучения дисциплины» из соответствующей рабочей программы). определения состава знаний, умений и навыков, которыми должен владеть учащийся, завершивший изучение данной учебной дисциплины (раздел «Цели и задачи изучения дисциплины» из соответствующей рабочей программы).
2. Выделение объема теоретических и практических знаний, составляющих содержание данной учебной дисциплины и подлежащих усвоению обучающимися в установленные сроки с требуемым результатом. Структурирование содержания учебной дисциплины ведется обычно в логике и порядке изучения предмета. Учебный элемент рассматривается как содержательная единица предметного изучения, а, следовательно, как единица понимания и усвоения элементных составляющих обучения, логически независимую часть содержания, по объему и логике соответствующая такому достаточно крупному компоненту содержания как: понятия, теория, закон, закономерность, явление, факт, объект, метод и т.д. Учебный элемент состоит из информационно-смысловых элементов. Информационно-смысловой элемент – завершенное по содержанию и форме простое суждение, при дальнейшем разделении которого утрачивается смысл.
3. Определение (при необходимости) соответствия рабочей программы учебной дисциплины минимуму содержания, установленному стандартом для данной дисциплины в качестве федерального компонента: требования стандарта в этой части должны быть удовлетворены полностью без каких- либо исключений. При обнаружении отклонений в рабочую программу вносятся необходимые коррективы. В теоретическом плане итогом проведенной работы является вербальное определение планируемого результата обучения в обобщенных формулировках. Для перевода в формулировку диагностируемого результата (целей) необходимо каждую из полученных дидактических единиц представить в виде конкретизированных целей (деятельностных), т.е. провести операционализацию целей обучения.
4. Процесс операционализации строится на описании учебных целей в виде результатов определенной учебной деятельности. 4. Процесс операционализации строится на описании учебных целей в виде результатов определенной учебной деятельности. Итогом этапа является перечень требований к учебным достижениям испытуемых – результатам учебной деятельности, на основе которых будет формироваться содержание контроля. Один и тот же учебный элемент проверяется различными видами действий испытуемых, т.е. одной дидактической единице соответствует несколько деятельностных целей. При этом контролируемые знания будут разных уровней усвоения
Таксономия Б.Блума для когнитивных целей
Под конечным результатом обучения учащегося мы понимаем совокупность знаний, умений и опыта, которая Под конечным результатом обучения учащегося мы понимаем совокупность знаний, умений и опыта, которая соответствует стандарту (по направлению или специальности), определяющему подготовку как по предмету, так и общеинтеллектуальную; соответствует стандарту (по направлению или специальности), определяющему подготовку как по предмету, так и общеинтеллектуальную; сформулирована в терминах, допускающих проверку; сформулирована в терминах, допускающих проверку; контролируется (фиксируется уровень достижения учащимся образовательного стандарта) по окончании обучения. контролируется (фиксируется уровень достижения учащимся образовательного стандарта) по окончании обучения. 5. Конкретизация целей обучения
Пример конкретизации цели по учебному элементу «Изотопы» на уровне воспроизведения знаний: дать определение терминам и понятиям «изотоп» и «нуклид»; называть причины существования изотопов, называть вред, причиняемый радиоактивными изотопами живым организмам, перечислять особенности изотопов некоторых элементов, выбирать по массовым числам формулы изотопов, описывать по уравнениям процесс радиоактивного распада и ядерных реакций, перечислять способы применения изотопов в промышленности. на уровне понимания и применения знаний в знакомой ситуации: объяснять отличия изотопов одного элемента, объяснять устойчивость изотопов, характеризовать распространение изотопов разных элементов в природе, устанавливать различие между изотопами и изобарами, рассчитывать процентное содержание изотопов элемента по атомной массе и наоборот, составлять реакции ядерного распада, вставить пропущенные обозначения в уравнения ядерных реакций. на уровне применения знаний в незнакомой ситуации: предсказывать последствия ядерной реакции при облучении определенным видом излучения, при этом обосновывать свою точку зрения, высказывать свое суждение о роли реакций ядерного распада, роли знаний об изотопах, составлять план эксперимента по получению заданного элемента из другого.
5. При решении вопроса о значимости того или иного компонента знаний можно руководствоваться, в частности, степенью его необходимости (важности) для: 5. При решении вопроса о значимости того или иного компонента знаний можно руководствоваться, в частности, степенью его необходимости (важности) для: изучения и усвоения данной дисциплины; изучения и усвоения данной дисциплины; изучения и усвоения последующих дисциплин; изучения и усвоения последующих дисциплин; формирования личностных (например, профессионально необходимых) качеств обучающегося. формирования личностных (например, профессионально необходимых) качеств обучающегося. Ориентировочная классификация и распределение компонентов знаний, выделенных в п.3, по уровням значимости: первый уровень – компоненты, составляющие минимальный уровень - базис данной учебной дисциплины (эти компоненты именуются как «Базовый уровень»); первый уровень – компоненты, составляющие минимальный уровень - базис данной учебной дисциплины (эти компоненты именуются как «Базовый уровень»); второй уровень – компоненты, развивающие и дополняющие базис учебной дисциплины (именуются как «Средний уровень»); второй уровень – компоненты, развивающие и дополняющие базис учебной дисциплины (именуются как «Средний уровень»); третий уровень – компоненты повышенного - системного уровня (обозначены как «Системный уровень»). третий уровень – компоненты повышенного - системного уровня (обозначены как «Системный уровень»).
6. После определения выбора метода контроля для каждой деятельностной цели следует указать форму задания. 6. После определения выбора метода контроля для каждой деятельностной цели следует указать форму задания. Например, для тестирования используются задания с выбором правильного ответа, открытой формы, установления правильной последовательности и соответствия. На выбор определенной формы существенно влияет характер требований к уровню подготовки учащегося, вид знания, вид контроля. Возможно, что одну цель будут контролировать несколько заданий: в одной форме либо в разных; относящихся к одному виду контроля или нескольким. Присвоение каждому заданию идентификационного номера (кода), который показывает принадлежность определенному разделу, теме, дидактической единице
7. Наряду с определением формы задания, необходимо указать проектируемый уровень коэффициента трудности задания, который выражается вероятной долей правильных ответов (р): 7. Наряду с определением формы задания, необходимо указать проектируемый уровень коэффициента трудности задания, который выражается вероятной долей правильных ответов (р): КТ.1 – первый уровень трудности (задания легкие, р < 0,3); КТ.1 – первый уровень трудности (задания легкие, р < 0,3); КТ.2 – средний уровень трудности (задания средней трудности, 0,3 0,8); КТ.2 – средний уровень трудности (задания средней трудности, 0,3 0,8); КТ.3 – третий уровень трудности (задания трудные, р > 0,8). Проектируемый уровень трудности заданий вносится в содержательную структуру дисциплины. КТ.3 – третий уровень трудности (задания трудные, р > 0,8). Проектируемый уровень трудности заданий вносится в содержательную структуру дисциплины. Перечисленные действия разработчика завершаются оформлением проектного документа: форма кодификатора представлена таблице
Структура кодификатора
СПЕЦИФИКАЦИЯ
Спецификация Конструирование теста как научно обоснованной диагностической методики представляет собой научно- методически обоснованный процесс с обязательным соблюдением основных процедур. Конструирование теста как научно обоснованной диагностической методики представляет собой научно- методически обоснованный процесс с обязательным соблюдением основных процедур. После того, как выбрана цель тестирования, определено содержание контроля на основе выделения структурных учебных элементов, представленных в операциональной форме деятельности, необходимо составить план теста, проект условий его использования, совершенствования (спецификацию). После того, как выбрана цель тестирования, определено содержание контроля на основе выделения структурных учебных элементов, представленных в операциональной форме деятельности, необходимо составить план теста, проект условий его использования, совершенствования (спецификацию).
СПЕЦИФИКАЦИЯ контрольных измерительных материалов для проведения регионального мониторинга 1. Назначение работы 2. Содержание итоговой работы 3. Характеристика структуры и содержания экзаменационной работы Таблица 1. Распределение заданий по частям работы Число заданий Максимальный балл Тип заданий 1616 Задания с выбором ответа 816 Задания с кратким ответом на основе текста Время выполнения работы 5. Дополнительные материалы и оборудование 6. Система оценивания отдельных заданий и работы в целом 7. План работы
План работы задания задания Код и наименование раздела Код и наименование контролируемого элемента содержания Код (и наименование) контролируемого умения Максимальны й бал за выполнение задания 1 6. Эволюция живой природы 6.3. Сходство человека с животными и отличия от них. Биологическая природа и социальная сущность человека Клетка – живая система 2.2 Строение клетки. Основные части и органоиды клетки, их функции Организм – живая система 3.1 Организм – единое целое. Одноклеточные и многоклеточные организмы. Ткани, органы, системы органов многоклеточных животных и растительных организмов