Проблемы использования системы тестирования в учебном процессе в университете О.В. Машникова, нач. отдела тестирования УОУП 1. - презентация

1 Проблемы использования системы тестирования в учебном процессе в университете О.В. Машникова, нач. отдела тестирования УОУП 1

2 1.Роль тестирования в системе подготовки кадров 2.Реализация тестовых технологий в Финуниверситете 3.Основные принципы разработки тестовых материалов 2

3 Причины медленного внедрения эффективных тестовых технологий высокая трудоемкость процесса разработки тестовых материалов; «зашумленность» вузов тестовыми материалами низкого качества; недостаточное знакомство преподавателей с теорией и методологией компьютерного тестирования; представление о легкости создания тестовых материалов, мнение «а у нас все есть»; отсутствие стандартов.

4 Необходимые условия эффективного применения компьютерного тестирования – глубокое знание предмета; – знание государственных образовательных стандартов; – знание правил использования тестов; – хорошая программная оболочка;

5 Педагогический тест – это система заданий специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков студентов в конкретной предметной области. 5

6 Валидность – комплексная характеристика качества теста, отражающая обоснованность, значимость (пригодность) его результатов, отражающая способность теста служить той цели, для которой он создавался. 6

7 Содержательная валидность БТЗ – степень соответствия содержания БТЗ содержанию конкретной учебной дисциплины. 7

8 Надежность – характеристика качества теста, отражающая точность оценки уровня подготовленности с помощью данного ПТ, степень постоянства результатов тестирования, устойчивость к действию посторонних случайных факторов. 8

9 Трудность – основная статистическая характеристика теста, определяемая в классической тестовой теории эмпирическим путем в результате апробации теста на представительной выборке студентов. 9

10 10

11 11 Тестовое задание (ТЗ) – минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой сформулирована задача и предписан порядок ответа.

12 Банк тестовых заданий (БТЗ) – логически упорядоченная совокупность тестовых заданий, прошедших апробацию и имеющих определенные характеристики (учебная дисциплина, разделы, темы, авторы, уровни трудности ТЗ и другие). 12

13 Тест – система заданий, сформированных по всему БТЗ или по отдельно взятому разделу/теме, позволяющая качественно оценить структуру и эффективно измерить уровень знаний учащихся. 13

14 Тестовое задание (ТЗ) – минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой сформулирована задача и предписан порядок ответа; Банк тестовых заданий (БТЗ) – логически упорядоченная совокупность тестовых заданий, прошедших апробацию и имеющих определенные характеристики (учебная дисциплина, разделы, темы, авторы, уровни трудности ТЗ и другие); Тест – система заданий, сформированных по всему БТЗ или по отдельно взятому разделу/теме, позволяющая качественно оценить структуру и эффективно измерить уровень знаний учащихся. 14

15 15 Отличительные характеристики инструментальной среды адаптивного тестирования «АСТ-Тест-Plus» – автоматическое формирование варианта теста для каждого тестируемого; – возможность использования 4-х форм тестовых заданий; – ротация дистракторов; – накопление статистических данных после прохождения тестирования; – возможность учета сложности тестовых заданий и реализации принципа адаптивных систем; – возможность организации тестирования через Интернет; – программный продукт сертифицирован.

16 Интернет-система разработки компании «Стэл – Компьютерные системы»: STELLUS Используется для контроля знаний студентов бакалавриата, специалитета и магистратуры заочной формы обучения, а также для самоподготовки студентов бакалавриата очной формы обучения (только в классах комплекса по адресу ул. Олеко Дундича, д. 23). 16

17 Система дистанционного обучения: Прометей – для дистанционного обучения и тестирования слушателей в сети Интернет/интранет, а также управления деятельностью виртуального учебного заведения. 17

18 Все виды контрольного тестирования для студентов очной формы обучения на всех территориях в системе АСТ-Тест-Plus. Все виды самоподготовки (самоконтроль и самотестирование) для студентов всех форм обучения (с возможностью удаленного доступа через Интернет): в системе АСТ-Тест-Plus; в системе Прометей. 18

19 Рекомендации Перед началом работы над БТЗ необходимо определить: цель тестирования (контроль знаний или самоподготовка); форму контроля знаний (текущий, тематический, рубежный); на каких специальностях/направлениях будет использоваться БТЗ. 19

20 20 Цель структуризации БТЗ: четкое представление составных частей учебного материала; фиксирование отношений между разделами и темами учебного материала; установление иерархии между элементами учебного материала.

21 Структуризация БТЗ Тезаурус – специальным образом организованный и контролируемый словарь ключевых терминов. Спецификация БТЗ – исходное детальное описание структуры БТЗ 21

22 Спецификация теста Раздел Под- раздел Тема Кол-во тестовых заданий ВсегоОткр.Закр.Соот.Упор-е

23 Желательно, чтобы: каждый БТЗ включал не менее 300 ТЗ; Задания разных типов распределялись в БТЗ равномерно. 23

24 Тестовые задания Задания закрытого типа Задания открытого типа Задания на установление соответствия Задания на установление последовательности 24

25 Задание закрытого типа Состоит из неполного тестового утверждения с одним ключевым элементом и множества допустимых заключений, одно или несколько из которых являются правильными. Тестируемый определяет правильные заключения из данного множества. 25

26 Дистрактор – отвлекающий ответ – ложная альтернатива среди перечня предложенных ответов. 26

27 Пример оформления задания закрытого тип а I: Задание 1 авторское имя (Ф.И.О. преподавателя), Т З S: Экономика организаций (предприятий) - это наука +: о хозяйственной жизни организации (предприятия) -: о процессах управления денежным оборотом организации (предприятия) +: о закономерностях формирования ресурсов, затрат и результатов на предприятии (организации) -:о региональном размещении производительных сил России -: о процессах управления 27

28 Задание открытого типа Требует сформулированного самим тестируемым заключения на требования ТЗ. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве одного ключевого элемента может быть число, слово или словосочетание. 28

29 Пример оформления заданий открытого типа I: Задание 2 авторское имя (Ф.И.О. преподавателя), ТЗ S: Физическое или юридическое лицо, уплачивающее страховые взносы и вступающее в конкретные страховые отношения со страховщиком, называется ### +: Страхователь +: страхователь +: Страх*вател#$# +: страх*вател#$# 29

30 Задание на установление соответствия Задание должно состоять из двух групп элементов и четкой формулировки критерия соответствия между ними. Основное условие образования групп – однородность всех элементов, т.е. наличие общего для них свойства, признака. Целесообразно, чтобы количество элементов в группах отличалось на один-два элемента. 30

31 Пример оформления заданий на установление соответствия I: Задание 3 авторское имя (Ф.И.О. преподавателя), ТЗ S: Соответствие между показателем и его характеристикой: L1: Россия L2: Франция L3: Великобритания R1: Москва R2: Париж R3: Лондон R4:: Рим 31

32 Задание на установление последовательности Задание должно состоять из однородных элементов некоторой группы и четкой формулировки критерия упорядочения этих элементов. 32

33 Пример оформления заданий на установление последовательности I: Задание 4 авторское имя (Ф.И.О. преподавателя), ТЗ Q: Правильная последовательность дней недели 1: понедельник 2: вторник 3: среда 4: четверг 5: пятница 6: суббота 7: воскресенье 33

34 Трудность тестового задания- основная статистическая характеристика тестового задания, определяемая в классической тестовой теории долей испытуемых из выборки, ответивших на него правильно. 34

35 Трудность Задания легкие – задания для выявления степени усвоения дидактических единиц, образующих теоретический базис, основу учебной дисциплины. Позволяют оценить знания основных понятий, утверждений, правил, приемов и операций, связанных с качественным и количественным описанием свойств изучаемого в дисциплине предмета; 35

36 Трудность Задания средней трудности – задания для выявления степени усвоения дидактических единиц – разделов (подразделов, тем), развивающих и дополняющих базис учебной дисциплины. Позволяют оценить знание и понимание значения, смысла основных теоретических и/или практических положений, умение решать типовые (стандартные) учебные задачи. 36

37 Трудность Задания трудные – задания для выявления степени усвоения системы знаний, включающей теоретическую и практическую составляющие учебной дисциплины. Позволяют оценить знание и понимание взаимосвязей между всеми разделами дисциплины, умение применять системные знания в решении прикладных (нестандартных) учебных задач. 37

38 Основные правила формирования заданий Тестовое задание должно быть представлено в форме свернутого краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность заключения тестируемого на требования задания. Формулировка тестового задания не должна начинаться с вопроса. 38

39 Основные правила формирования заданий В тестовом задании не должно быть повторов, двойных отрицаний, глаголов в повелительном наклонении. В тестовом задании не должно быть обобщающих слов, таких как: «всегда», «иногда», «никогда». Формулировка тестового задания не должна начинаться с предлога, частицы, союза. 39

40 Основные правила формирования заданий Каждое тестовое задание должно иметь отношение к конкретному факту, принципу, умению, знанию, т.е. обладать достаточной важностью для включения в тест. Все тестовые задания должны быть связаны с целями обучения. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора. 40

41 Основные правила формирования заданий Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области. 41

42 Основные правила формирования заданий В тексте тестового задания не должно быть непреднамеренных подсказок и сленга. Не должно быть взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое. 42

43 Основные правила формирования заданий Рекомендуется соблюдать единый стиль оформления заданий, входящих в один тест. На экране во время предъявления заданий из теста не должно присутствовать никаких графических и мультимедийных элементов, не имеющих прямого отношения к пониманию содержания тестового задания. Тестовое задание должно быть составлено с учетом того, что среднее время его предъявления на экране составляет 1,5 - 2 минуты. 43

44 Основные правила формирования заданий Элементы тестового задания могут содержать текст, формулы, графические изображения, мультимедийные компоненты. Аудио компоненты и видеофрагменты при визуализации тестового задания должны представляться в виде условного общепринятого и понятного тестируемому графического символа и активизироваться тестируемым (например, щелчком мыши). 44

45 Завершение работы над БТЗ Тщательная проверка правильности оформления БТЗ. Внутрикафедральная экспертиза БТЗ. Выработка рекомендаций по доработке. Утверждение БТЗ кафедрой. Определение перечня тестов на базе утвержденного БТЗ, задание параметров генерации тестов (временные ограничения, структура теста, способ оценивания результата и т.д.). Передача БТЗ в Отдел тестирования. Экспериментальная проверка тестов, модификация ТЗ, коррекция параметров генерации тестов. 45

46 Наши координаты: ул. Кибальчича, д.1 ком. 11С, 12С (3 этаж), ком.25 (2 этаж) Тел./факс (499) , (499) мест ,