Критериально- ориентированное педагогическое тестирование

2 Педагогический тест – система заданий специфической формы, позволяющая объективно и функционально, независимо от преподавателя, измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков в той или иной области содержания.

3 Классификация педагогических тестов По уровню контроля: вступительные, текущие, тематические тесты, тесты промежуточной и итоговой аттестации. По содержанию: гомогенные и гетерогенные. По методологии интерпретации результатов: нормативно-ориентированные и критериально-ориентированные. По форме предъявления: бланковые, компьютерные ординарные и компьютерные адаптивные.

4 Гомогенный тест – основывается на содержа- нии какой-либо одной дисциплины. Гетерогенный тест – основывается на содержании нескольких дисциплин, Полидисциплинарный тест - набор гомогенных тестов (субтестов) по отдельным дисциплинам. Междисциплинарный тест - каждое задание теста должно включает элементы содержания нескольких дисциплин. Выполнение таких заданий требует применения некоторых обобщенных, интегративных знаний и умений. Наиболее пригоден для итоговой аттестации степени соответствия уровня подготовленности студентов к профессиональной деятельности требованиям ГОС, но очень реализация сложна.

5 Нормативно-ориентированный педагогический тест – позволяет сравнивать учебные достижения (уровни профессиональных знаний и умений) отдельных испытуемых друг с другом. Эти тесты используются для того, чтобы получить надежно и нормально распределенные баллы для сравнения тестируемых. Критериально-ориентированный педагогичес- кий тест – система заданий, позволяющая измерить уровень индивидуальных учебных достижений относительно полного объема знаний, навыков и умений, которые должны быть усвоены обучаемыми по конкретной дисциплине.

6 Этапы разработки критериально-ориентированного теста 1. На основании ГОСа по соответствующей дисциплине определяется область содержания теста и цели тестирования. План (спецификация) теста для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с ГОСом по специальности. 2. Для каждого пункта спецификации разрабатывается несколько тестовых заданий. 3. Методическая комиссия кафедры (эксперты) оценивает соответствие заданий области содержания и целям тестирования. Проводится внутреннее пробное тестирование преподавателями кафедры. Осуществляется предварительная корректировка теста. Определяется время тестирования студентов Тст = Тпр * 2.

7 4. По замечаниям экспертов задания корректируются и проводится пробное тестирование в аудитории. Нельзя сообщать студентам, что это пилотное тестирование – можно получить некачественные результаты. 5. На основании анализа статистических параметров по каждому заданию и тесту в целом производится повторная корректировка теста – убираются неудачные задания, если необходимо составляются новые. 6. Выбор стандартов оценивания экспертными и эмпирическими методами. Оценка надежности теста. Оценка содержательной и критериальной валидности. 7. Составление окончательного варианта теста и его параллельных форм. Тиражирование самого теста и связанных с ним материалов.

8 Первоначально нужно ответить на вопрос – для измерения чего предназначен тест, т.е. каковы область содержания и цель тестирования. При разработке плана делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе. В спецификации фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Также в спецификации желательно указать вес каждого задания, рекомендуемый автором, рекомендуемое время выполнения теста, охват требований стандартов, рекомендуемая стратегия расположения заданий в тесте.

9 Кто будет тестироваться, т.е. какая выборка студентов будет участвовать в тестировании? Кто реально заинтересован в получении результатов тестирования и какую информацию нужно предоставить пользователям? Критерий оценивания может быть установлен 50% для оценки текущей успеваемости по непрофилирующим дисциплинам и 85% для аттестационных тестов по специальным дисциплинам. Надежность теста оценивается степенью постоянства принятия решения «зачет-незачет» при двукратном тестировании. Для этого заполняется таблица сопряжения результатов «2х2» и вычисляется фи-коэффициент корреляции и каппа-коэффициент согласованности результатов тестирования.

10 Принципы отбора содержания тестовых заданий для тестов 1. Принцип конгруэнтности – соответствие содержания педагогического теста содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания. 2. Принцип значимости – отражает необходимость включения в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. 3. Принцип научной достоверности – все спорные точки зрения, допусти- мые в научном споре, следует исключить из тестовых заданий. 4. Принцип соответствия содержания теста уровню современного состояния научного знания – необходимо постоянно совершенствовать тест, добавляя в банк новые тестовые задания. 5. Принцип системности, комплексности и сбалансированности содержания теста – подбор заданий, комплексно отображающих основные темы учебной дисциплины. 6. Принцип возрастающей трудности тестовых заданий – каждый учебный элемент имеет некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний. 7. Принцип взаимосвязи содержания и форы – не всякое содержание задания можно выразить в тестовой форме. Также содержание теста должно отвечать логическим и семантическим требованиям и нормам.

11 Задания с выбором ответа (в закрытой форме) Тестовые задания Задания с повторяющим ся выбором элементов множества Задания с неповторяющ имся выбором элементов множества Задания с повторяющим ся выбором элементов множества Задания на установление соответствия открытой формы Задания на установление соответствия с вариантами ответов Задания на установление соответствия Задания на установле- ние правиль- ной последоват ельности в открытой форме Задания на установле- ние правильной последовате льности в закрытой форме (с готовыми вариантами последовате льности) Задания на установление правильной последовательности Задания с 3-мя и более вариантами ответа Задания на сравнение величин Задания с выбором нескольких правильны х ответов Задания на логический выбор из трех утверждений Задания с привязкой к одному информацио нному блоку Задания с подчеркиван ием частей предложе- ния Задания с пропусками частей предложе- ния Задания на причинно- следствен- ные отношения Задания на «квазипроф ессиональ- ную» ситуацию Задания с 2-мя ответами Задания на выбор местополож ения курсора мыши на экране монитора Задания открытой формы Задания с коротким ответом Задания с развернуты м ответом

12 Требования к заданиям с выбором ответа В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов; Задание имеет предельно простую синтаксическую конструкцию; В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы; Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других; Из текста должны быть исключены все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки; Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова; Основная часть задания должна быть освобождена от всякого иррелевантного для данной проблемы материала; Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий;

13 Требования к заданиям с выбором ответа В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа; Из числа неправильных исключаются ответы, вытекающие один из другого; Из числа тестовых исключаются задания, содержащие оценочные суждения или мнения ученика по какому-либо вопросу; Все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа; Ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов; Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста; Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах; Все ответы должны быть параллельны по конструкции грамматически согласованными с основной частью задания теста.

14 Информационные технологии 1. Сервер – это: программа; тест; команда; компьютер. 2. Вирусы типа "Троянский конь" характеризуются отсутствием маскировки да; нет. Экономическая теория 3. Труд, капитал, земля, предпринимательская способность - базовая классификация экономических ресурсов. Можно ли к экономическим ресурсам отнести деньги? можно, если они используются для покупки инвестиционных ресурсов; можно, если ими оплачиваются услуги труда; все ответы – правильные; все ответы – неправильные; можно, если деньги помещены в банк и приносят процент. Экономическая теория 4. Специфика предпринимательского таланта как экономического ресурса в отличие от труда состоит в том, что предприниматель способен организовать производство и выпуск товаров и услуг, путем соединения всех необходимых факторов производства; предприниматель принимает основные решения по управлению производством и ведению бизнеса; предприниматель никогда не рискует своими денежными средствами; все ответы верны; верны ответы 1) и 2).

15 В задании Б неудачно сформулированы варианты ответа на вопрос – правильный ответ должен быть «замаскирован» среди неправильных. В задании Б правильный ответ легко отличить по его длине. Маркетинг А. Кривая спроса иллюстрирует следующее положение: Если товара сегодня произвели меньше, чем вчера, то его меньшее количество может быть продано только по более низкой цене; Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более высокой цене; Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более низкой цене; Если товара сегодня произвели столько же, сколько вчера, на него можно плавно поднимать цену. Б. Ваши ответные действия на снижение цены конкурентом на определенный продукт: Тоже снижу цену; Немедленно осуществлю комплекс мероприятий, включающий корректировку ценовой политики и учитывающий возможности предприятия и реальные условия; Уйду с данного рынка; Прекращу выпуск данной продукции.

16 Неудачно сформулированы варианты ответа на поставленный вопрос. Ответы должны быть продолжением фразы, содержащейся в вопросе. Маркетинг Для партнерства не характерно, то что … партнеры не принимают единоличных решений; каждый партнер несет неограниченную ответственность по долгам фирмы; возможность привлечения дополнительного капитала путем продажи акций; партнеры несут личную ответственность за дела фирмы; невозможность привлечения дополнительного капитала путем продажи акций. В матрице БКТ (Бостонской Консалтинговой Группы) категория товаров – дойные коровы определяются как: высокий темп роста продаж; находятся в конце жизненного цикла; приходит больше прибыли, чем требуется для поддержания их доли на рынке; товар, который уже долго остается в товарном портфеле компании.

17 Информационные технологии Как сменить диск на левой панели? Shift+F1 Ctrl+F1 Alt +F2 Alt +F1 Экономическая теория Кривая предложения отражает зависимость между величиной издержек производства и ценой товара; ростом населения и объемом предложения; объемом производства данного товара и его ценой; величиной издержек производства и объемом предложения; объемом производства данного товара и количеством используемых ресурсов В первом примере очевидно, что варианты ответа не равновероятны – 1) два одинаковых сочетания - Alt +F2 и Alt +F1, 2) F1 встречается 3 раза, следовательно правильный ответ - Alt +F1. Возможность угадывания должна быть сведена к минимуму. Исключение составляют расчетные математические или физические задачи, в которых без расчета необходимо «увидеть» ответ. Соблюдено правило относительно местоположения альтернативных ответов Присутствует сочетание в дистракторах правильных и неправильных элементов. Этот прием позволяет повысить привлекательность дистракторов Экономическая теория Сахар дополняет кофе, но заменяет фруктозу. Удорожание сахара может привести при прочих равных условиях к … сокращению спроса на кофе и фруктозу понижение цен на кофе и фруктозу. некоторому понижению спроса на кофе и повышению спроса на фруктозу повышению цен на кофе и повышению спроса на фруктозу нет правильного ответа