Test Center of Kharkov National University of Radioеlectronics, E-mail : opentest@opentest.com.ua, phone 7021 326opentest@opentest.com.ua Шкиль А.С Межвузовский. - презентация

1 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г. 1 ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ СТУДЕНТОВ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ

2 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г. 2 Цели и задачи Цель - обобщение опыта применения системы компьютерного тестирования знаний студентов по различным дисциплинам в ХНУРЭ. Рассматриваемые вопросы 1. Тестирование как способ контроля знаний. 2. Тестовые задания. 3. Контроль знаний, умений, навыков. 4. Технология проведения тестирований. 5. Оценивание знаний. 6. Статистические результаты тестирований. 7. Тестовый центр ХНУРЭ.

3 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Тестирование как форма контроля знаний Тестирование - это способ (технология) определения уровня знаний и умений студентов с помощью специальных тестовых заданий. Формы тестовых заданий : вопросы (однозначные ответы); контрольные задачи (контроль процесса решения). Характеристики процесса тестирования : дидактические (составление тестов); технологические (организация тестирования); технические (инструментальные средства).

4 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Организационные формы тестирования Бланковое достоинства : простота, надежность, мобильность ; недостатки : дороговизна подготовки, сложность перестройки, необходимость спец.персонала. Аппаратное Необходимость разработки специального оборудования. Компьютерное тестирование (обработка) на стороне клиента ; тестирование (обработка) на стороне сервера (клиент-серверные системы тестирования).

5 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Компьютерные (клиент-серверные) системы тестирования Преимущества массовое применение ; минимальный технический персонал; автоматизация получения результата; конфиденциальность результатов. Компьютерная система тестирования OpenTEST Бесплатные программные инструментальные средства : СУБД MySQL ; Язык серверных сценариев PHP ; Язык текстовой разметки HTML ; Язык клиентских сценариев JavaScript. Мультиязычнй интерфейс (русский, украинский, английский).

6 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Тестовые задания вопросного типа. Типы вопросов Вопросы закрытого типа выбор одного из нескольких ; выбор нескольких из нескольких установка соответствия. Вопросы открытого типа свободноконструируемый ответ (ввод в поле ответа) ; расставить, переместить и т.д.

7 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Структура выборочного вопроса Описание ситуации. В этой части вопроса могут присутствовать текст, рисунки, графики, анимации и т.д. Эта часть вопроса не является обязательной, но все же рекомендуется ее применять, так как одна и та же ситуация может быть основой для множества однотипных вопросов. Текст вопроса. Он должен быть сформулирован четко, и не содержать двузначных формулировок. Текст вопроса достаточно часто может быть совмещен с описанием ситуации. Варианты ответов. В Web-интерфейсе выборочные варианты ответов на вопросы реализуются через radio-button ("выбор одного из нескольких") или check-box ("выбор нескольких из нескольких"). Визуально они различимы, поэтому обучаемый всегда может определить, какой тип вопроса ему предложен. Порядок следования вариантов ответов в исходном задании теста абсолютно несущественен (при выдаче тестов происходит случайное перемешивание порядка следования вариантов ответов).

8 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Типы выборочных вопросов в системе OpenTEST Внешний вид вопроса типа «один из нескольких» в Web- интерфейсе системы OpenTEST.

9 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Формы представления тестовой информации Модель предметной области : «Тема» - «Подтема» - «Вопросы темы» Представление тестовой информации : XML-формат ; doc -формат. Способы ввода тестовой информации : через Web-интерфейс непосредственно в БД; через имитатор Web-интерфейса с конвертированием его в XML-формат; из doc-файла с конвертированием его в XML-формат; из XML-файла (импортирование теста);.

10 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Формат представления тестового doc-файла Представление вопросов в doc-файле в форме таблицы Тема : Алгебраические уравнения Подтема : Уровень 1 Вопрос : Решить уравнение -1; 0; 11; 16; -11.

11 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Внешний вид теста в базе данных

12 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Нормирование длины тестов в системе OpenTEST Под тематической единицей принято понимать совокупность всех видов учебной нагрузки (лекции, практические занятия, лабораторные работы, самостоятельная работа), необходимые для изучения определенной темы. Рекомендуемая минимальная длина тематической единицы – 7 часов.

13 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Уровень сложности вопросов В теории приобретения знаний выделяют три уровня усвоения знаний : узнавание (запоминание); заучивание (понимание, применение); актуализация (синтез новых понятий, комплексное применение умений и навыков ). Разные уровни (сложности) вопросов проверяют разные аспекты познавательной деятельности обучаемых. Для точного оценивания уровня знаний, умений и навыков авторам теста было бы целесообразно разделять тесты по целевым установкам, например, "Физика_механика (знания)", "Матанализ_пределы (умения)".

14 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Пример вопросов на узнавание (запоминание) Данный уровень сложности вопросов позволяет определить на сколько тестируемый знаком с материалом определенной предметной области. Такие вопросы проверяют исключительно уровень знаний тестируемого. На какой свет светофора следует переходить улицу : Красный ; Желтый; Зеленый. Какова область значений функции Y = x 2 : Y – больше / равно нуля (Y >= 0); Y – меньше нуля (Y < 0); Y – все действительные числа. В каком году был основан город Харьков : 1554; 1645; 1654.

15 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Пример вопросов на применение (понимание) При использовании вопросов данного уровня сложности более глубоко проверяются знания и простейшие умения. Главное в ответе на такой вопрос - это умение правильно применять определенную формулу (закон, нормативный акт, пункта правил и т.д.) к описанной ситуации. Сколько электроэнергии потребит элетролампа мощностью 100 ватт :за 30 минут : 3 Квт-ч ; 0.3 Квт-ч ; 0.03 Квт-ч ; 0.05 Квт-ч ; Сколько существует булевых функций от трех переменных : 8 ; 16; 256; бесконечное множество ;

16 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Примеры вопросов на синтез новых понятий (умения и навыки) При использовании вопросов данного уровня сложности более глубоко проверяются умения и навыки в решении типовых практических задач в данной предметной области. Обычно для ответа на такой вопрос необходимо применить несколько формул в определенной последовательности или выбрать правильные начальные условия для применения некоторых формул (законов), знать и уметь использовать основные физические и математические константы. Как соотносятся между собой величины чисел e π и π e : e π > π e ; e π < π e ; e π = π e.

17 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Примеры вопросов на синтез новых понятий (продолжение) Дан фрагмент программного кода на языке С #include void main() { struct S{char c; S * next;} A = {'a', 0}, B={'b', &A}, C={'c', &B} D={'d', &C}, *p = &D; for (int i=0; i next; std::cout c;} Какая буква будет выведена на консоль. 'a'; 'b'; 'c'; 'd'.

18 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Математические вопросы. Умения и навыки Решить уравнение 2 ; 6 ; 16, 8 ; 12. Применение свободноконструируемх ответов в математических задачах ограничено ! Решить уравнение Cos 2x + Sin 2x = Cos x + Sin x ответ { π/6 + 2/3 πn; 2πk } имеет достаточно много форм представления, в частности " π " может быть заменено на "180 ", или на запись "180 градусов". Периодичность ответов для тригонометрических уравнений также может быть представлена многими способами. Математические символы типа,,, с клавиатуры в Web-интерфейсе не вводятся.

19 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Математические вопросы с задержкой появления ответов Появление текста вопроса; Нажатие кнопки «Ответ готов»; Выбор ответа за 10 – 15 секунд ( настраивается ).

20 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Технология процесса тестирования Составитель (автор) тестов Выполняет тематическую разбивку предметной области, выбирает типы применяемых вопросов, группирует вопросы по уровням сложности и предлагает варианты шкалы оценивания. Оператор ввода тестов Является специалистом в области XML-формата и модуля Студия тестов OpenTEST.Оператор должен уметь вводить тест во всех режимах. Организатор тестирования Определяет цели и задачи тестирования, устанавливает параметры сеанса тестирования и способ оценивания. Оператор проведения тестирования Проводит тестирование непосредственно в машинном зале. Инженер по знаниям Анализирует статистические результаты тестирований по заказам преподавателей. Администратор системы Выполняет инсталяцию и системы OpenTEST и устанавливает права доступа разным категориям пользователей.

21 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Общая структура системы OpenTEST. Web-интерфейс

22 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Оценивание в системе OpenTEST. Границы диапазонов шкалы оценивания C k – верхние границы k-го интервала k – номер интервала 1

23 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Пример шкалы оценивания с вопросами равной альтернативности Пусть D=5, N=20, m=4 для всех вопросов. При этом С 1 =25%, С 2 =44%, С 3 =63%, С 4 =82%, С 5 =100% % B

24 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Установка авторской шкалы оценивания

25 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Форма выдачи результатов тестирования

26 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Норма шкалы оценивания Распределение количества тестируемых по шкале оценивания соответствует нормальному (Пуассоновскому) закону распределения с заметно выраженным максимумом в середине шкалы оценивания. Пример распределения оценок группы тестируемых по пятибалльной шкале оценивания. Максимальное значение количества оценок называется «норма шкалы оценивания» и характеризует сложность теста относительно группы тестируемых.

27 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Результаты тестирования по дисциплине «Дискретная математика» Группа СКС-03-1

28 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Тестовий центр ХНУРЕ Метою діяльності тестового центру є використання та розвиток технологій компютерного тестування знань в навчальному процесі ХНУРЕ. Основними функціями ТЦ відповідно до головної мети є: організація та координація робіт у галузі створення та впровадження єдиної системи компютерного тестування знань в Університеті; розробка та затвердження нормативної бази з питань компютерного тестування; підтримка працездатності єдиного університетського серверу компютерного тестування; проведення консультацій та навчання з викладачами та співробітниками Університету; проведення експертизи тестових завдань.

29 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Нормативне забезпечення процесу тестування в ХНУРЭ Положення про комп'ютерне тестування знань і вмінь в ХНУРЕ Статус заходв тестування (поточне, підсумкове, контрольне); Тестовий центр при Центрі технологій дистанційного навчання; Технології та формати підготовки тестовмх завдань; Процедури проведення експертизи тестових завдань; Порядок підготовки та проведення тестувань; Інтерпретація результатів тестувань. Позитивні результати підсумкового тестування є підставою для отримання студентом заліку або позитивної оцінки ("задовільно") при диференційованих формах підсумкового контролю (модульний іспит, письмовий іспит та інші).

30 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г Технічне та організаційне забезпечення процесу тестування в ХНУРЕ Тестовий сервер при Центрі технологій дистанційного навчання; Компютерна система тестування знань OpenTEST (локальні інсталяції OpenTEST не підтримуються Тестовим центром); Сайт opentest.com.ua ; opentest.com.ua ; Технічна підтримка тестових заходів на рівні мережевої інфраструктури ХНУРЕ; Відповідальні на кафедрах за проведення тестових заходів (на першому етапі виступають в ролі організаторів тестувань). Офіцйними є результати тестувать, як отримані на тестовому сервері ЦТДН з використанням тестів, як пройшли експертизу у відповідності з процедурою, зазначеною в Положенні....

31 Test Center of Kharkov National University of Radioеlectronics, phone 7021 Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г. 31 Выводы Компьютерная системе тестирования OpenTEST показала свою эффективность для контроля знаний умений и навыков студентов ХНУРЭ по различным дисциплинам. Неоднократные попытки студентов «обойти» систему тестирования или «взломать» базу данных OpenTEST оказались безуспешными. Базовая версия системы OpenTEST распространяется Центром технологий дистанционного обучения ХНУРЭ бесплатно. Вся информация имеется на сайте opentest.com.ua.opentest.com.ua Приглашаем все ВУЗы Украины к сотрудничеству !