Итоги тестирования в 2009/2010 учебном году и перспективы развития системы тестирования учебных достижений студентов ГУ-ВШЭ Артамонова М.В. martamonova@hse.ru. - презентация

1 Итоги тестирования в 2009/2010 учебном году и перспективы развития системы тестирования учебных достижений студентов ГУ-ВШЭ Артамонова М.В.

2 Где размещены материалы? Вся информация по вопросам тестирования размещается на сайте Отдела методического сопровождения учебного процесса в разделе ТЕСТИРОВАНИЕ

3 Локальное нормативное обеспечение тестирования на 2009/2010 уч.г. Приказ 31-04/1326 от г. "Об обеспечении Интернет-тестирования в 2009/2010 учебном году» Приказ 31-04/1603 от г. "О подготовке и проведении аккредитации отдельных образовательных программ Государственного университета – Высшей школы экономики в учебном году»

4 Функциональная схема тестирования

5 Виды тестирования: возможности факультетов/отделений ППС – тестирование в рамках самообследования по материалам преподавателей АСТ- тестирование по тестовым базам АСТ-центра ФЭПО – федеральный интернет-экзамен в сфере профессионального образования (Росаккредагентство) Тест-тренажеры – дополнительная услуга НИИ мониторинга качества образования Внутренний мониторинг (самообследование) Внешний мониторинг Самообледование (по тестам преподавателей Университета) Самообследование (по тестам Центра – АСТ) Тестирование: Федеральный экзамен профессионального образования (ФЭПО)

6 Тест-тренажеры - необязательная, но полезная форма самоподготовки, самопроверки для последующих контрольных по срезов всем видам тестирования

7 Тест-тренажеры «подходов»- попыток самоподготовки с учетом организованных на факультетах срезов для подготовки групп к ФЭПО – всего тестируемых, с учетом филиалов Ни один преподаватель ГУ-ВШЭ (Москва и филиалы) не воспользовался возможностью тестирования учебной группы.

8 Тест-тренажеры Вывод: Рассчитывать на сознательную самоорганизацию процесса тестирования и системы тестирования не приходится. «Никто не делает больше того, к чему его обязывают совесть, профессиональная этика педагога … и четкие указания руководства» М.Н.Скаткин

9 Сводная таблица количества тестируемых в 2009/2010 уч. году по всем видам тестирования ГУ-ВШЭ/Филиалы ППСАСТФЭПО Пермский Нижегородский Санкт - Петербургский Всего по филиалам ГУ-ВШЭ (Москва) (940)*612 Итого: (1718)*1160 В 2009/2010 уч. г. : по филиалам 1512; ГУ-ВШЭ (Москва) 2118 Всего 3630 (по всем видам тестирования); * с учетом факультета менеджмента и МИЭФ

10 Информация о получении отчетов по тестированию за 2009/2010 («0» - отчетность не предполагалась) Подразделение/факультетФакт Факультет экономикида Отделение статистики, анализа данных и демографиида Факультет мировой экономики и мировой политикинет Факультет бизнес-информатикинет Отделение программной инженериинет Отделение прикладной математики и информатикида Факультет государственного и муниципального управлениянет Факультет истории0 Факультет математики0 Факультет менеджментада Отделение логистикида Факультет психологиида Факультет права0 Факультет прикладной политологиида Отделение деловой и политической журналистикида Специальность "Реклама"да Факультет социологиида Факультет философиида Отделение культурологии0 Отделение востоковедения0 Международный институт экономики и финансовнет

11 Диаграмма сравнения результатов по видам тестирования: доля (%)тестируемых получивших положительные результаты

12 ФЭПО Федеральный интернет-экзамен в сфере профессионального образования Объект оценки Показатель освоения дисциплины Критерий освоения дисциплины Студент Процент освоенных ДЕ дисциплины 100% освоенных ДЕ дисциплины Выборка студентов ООП Процент студентов, освоивших все ДЕ дисциплины 50% студентов, освоивших все ДЕ дисциплины

13 Диаграмма результатов тестирования в целом по вузу (ФЭПО 2010)

14 Диаграмма обобщенных результатов тестирования по дисциплине Английский язык

15 По дисциплине «Информатика» приняли участие 72 студента следующих образовательных программ: «Прикладная математика и информатика», «Бизнес-информатика». Результаты тестирования: 70 (97,2%) студентов освоили 100% дидактических единиц дисциплины

16 Результат тестирования ООП Философия (бакалавриат) по дисциплине Экономика. Диаграмма ранжирования ООП по показателю освоения дисциплины на соответствие требованиям ГОС в сравнении с вузами РФ (УГН Гуманитарные науки)

17 АСТ * с учетом участников факультета менеджмента и МИЭФ проведено 116 срезов (сеансов) тестирования Филиалы778 ГУ-ВШЭ (Москва)775 (940)* Итого:1553 (1718)*

18 Сравнительные данные по видам тестирования Циклы/срезыСамообследование (доля студентов, получивших хорошо и отлично), % Результаты тестирования по АСТ (доля студентов освоивших все ДЕ), % Результаты Интернет-экзамена (доля студентов освоивших все ДЕ), % ГСЭ ЕН ОПД-7589 СД9681 – ДН.М100--

19 Диаграмма сравнения результатов тестирования по циклам учебного плана

20 Тестирование по материалам ППС Две темы: Получение отчетов о проведении контрольного тестирования и комплектов ТЗ по аккредитуемым в 2010г. образовательным программам. Разработка БТЗ в связи с переходом на новые стандарты

21 Аккредитация отдельных образовательных программ в 2010 г. (выдержки из приказа 31-04/1603 ) 1.1. по направлениям высшего профессионального образования, реализуемым в Государственном университете – Высшей школе экономики: Прикладная математика и информатика Философия Журналистика Международные отношения 1.2. по направлениям и специальностям высшего профессионального образования, реализуемым в Нижегородском филиале Государственного университета - Высшей школы экономики: Прикладная математика и информатика Логистика и управление цепями поставок 1.3. по направлениям высшего профессионального образования, реализуемым в Пермском филиале Государственного университета - Высшей школы экономики: Менеджмент 1.4. по направлениям и специальностям высшего профессионального образования, реализуемым в Санкт-Петербургском филиале Государственного университета - Высшей школы экономики: Политология Психология

22 Анализ комплектности тестовых материалов ППС по аккредитуемым в 2010 году образовательным программам ООП /факульте/филиал дисциплина ТЗ (всего заданий в комплекте Тезаурус Таблица спецификации Ключи Оценочная шкала Прикладная математика и информатика Отчет представлен, материалы нет Философия Современные проблемы философии 24да нет Современная философия94да нет Философская антропология 20да нет Журналистика магистерская программа « Менеджмент в СМИ » Современные теории массовой коммуникации 44да нет Компьютерные технологии в журналистике и научных исследованиях 50да нет Международные отношения Отчет не представлен

23 Анализ комплектности тестовых материалов ППС по аккредитуемым в 2010 году образовательным программам (слайд-2) Логистика и управление цепями поставок/НН Логистика складирования 120да нет Управление запасами в цепях поставок 120да нет Основы логистики120да нет Менеджмент/Пермь Отчет представлен Материалы нет Политология/ СПб Политический анализ и прогнозирование 30нетда Теория политики 84нет да Мировая политика и международные отношения 121нетда Математика 40нетда Психология/СПб Общая психология 70нетда Экспериментальная психология 60нетда Социальная психология 60нетда Анатомия ЦНС 60нетда

24 Цитата из тезауруса (неположительные примеры): В отличие от отношений власти, где навязание одной стороной своей воли другой не подразумевает получения на это согласия у последней, отношения политического господства и подчинения в политической социологии Вебера предполагают наличие стремления к повиновению у тех, кому отдаются приказы. В зависимости от того, на основании какого рода мотивов осуществляются отношения господства и подчинения в политическом сообществе, Вебер выделяет три типа легитимного господства: традиционный, харизматический и легально-рациональный.

25 Фрагмент Тезауруса (неположительные примеры): основные понятия с определениями и тезисы по дисциплине «Компьютерные технологии в журналистике и научных исследованиях» Основные термины: Автоматизированные измерения Автоматизированные измерения аудитории Автоматизированные измерения аудитории Интернета Автоматизированные измерения аудитории радио Автоматизированные измерения аудитории телевидения Автоматизированная регистрация эфирных событий

26 Как доказать, что результат получен? Компетенции, заявленные как результаты обучения, сформированы?

27 Образовательная программа это: Заявление о намерениях (соглашение между абитуриентом и вузом о предоставлении некоторых образовательных услуг) Совокупность условий реализации образовательных услуг Результат – подтверждение нового качественного состояния субъекта

28 Обоснование достижения результата (сформированности компетенций) Традиционное построение системы оценивания в вузе не содержит нормативно закрепленных процедур формальных измерений приращения качественных изменений субъекта. Тестирование учебных достижений – инструмент оценки достижения результата.

29 Образовательный результат – подтверждение нового качественного состояния субъекта (формы, способы, методы) Экспертные: общепринятые, традиционные формы контроля: (итоговые - Итоговый государственный экзамен, защита ВКР; промежуточные – экзамен, зачет, эссе, контрольная, коллоквиум, домашнее задание и пр.) Стандартизированные и объективизированные: тесты (не требующие присутствия, наличия и участия преподавателя) в процессе контроля. Компетентностно-ориентированные задания: методы объективизированные +экспертные. Образовательные компетенции НИУ должны быть подтверждены результатами контрольных мероприятий

30 Система контрольно-оценочных материалов Всю систему контрольно-оценочных материалов по дисциплинам, модулям, входящим в определенную образовательную программу, необходимо рассматривать как своего рода договор между педагогами, администрацией вуза и работодателями о том, что первые готовы обеспечить подготовку специалиста определенного качества, а последние удовлетворены его характеристиками.

31 Стандартизированные методы контроля Тестирование учебных достижений студентов – инструмент формирования, контроля и обоснования достижения результата (сформированности компетенций)

32 Инструмент оценки достижения результата: Согласованность целей участников процесса (администрации, преподавателей, студентов) Мотивация (администрации, преподавателей, студентов) Стандарт разработки, применения Признание внешней средой права применения инструмента (т.е. качества БТЗ НИУ)

33 Различия целей использования Moodle и АСТ-тест:Moodle Moodle (модульная объектно-ориентированная динамическая учебная среда) свободная система управления обучением (LMS) Каждый преподаватель может воспользоваться возможностями сайта moodle.org для создания своего образовательного ресурсаMoodleсвободнаясистема управления обучениемmoodle.org Комфортная информационно-технологическая среда для формирования авторских оригинальных учебных материалов АСТ-тест - адаптивная среда тестирования, программное обеспечение разработки тестовых заданий, их аккумуляции в базы по ООП, администрирования процесса, предъявления результата и его анализа. При наполнении БТЗ преподавателей - инструмент измерения качества образования по образовательной программе в целом, когда отдельные разработки интегрированы в единый комплекс.

34 Инструмент оценки достижения результата Тестирование учебных достижений студентов становится КОНТРОЛЬНО-ИЗМЕРИТЕЛЬНЫМ ИНСТРУМЕНТОМ только при едином подходе к стандартизированным правилам разработки, применения и оценки тестовых материалов

35 Стандарт разработки, применения инструмента Требует формализации правил разработки тестовых заданий, регламента сбора и формирования университетской базы тестов по ООП, регламента использования в учебном процессе, нормативно закрепленных и признаваемых участниками процесса.

36 Разработка инструмента Предпосылки Задачи

37 Предпосылки: что есть Проект положения о внедрении системы тестирования в ГУ-ВШЭ (опубликованный, рекомендованный как типовое положение для вузов РФ) Инструкция для разработки комплекта тестовых заданий по учебной дисциплине (для преподавателей, разработчиков тестов) Компьютерная программа: Адаптивная среда тестирования (АСТ-центра) База тестов по 50 учебным дисциплинам ООП ГУ-ВШЭ, заказанных кафедрами в 2009 году (установлена на сервере ГУ-ВШЭ)

38 Что сделано Проведены интернет экзамены в форме тестирования (внешние проверки) ФЭПО (Росаккредагентство): 2009 г. (697студентов), 2010 г. (612 студентов) Проведено интернет тестирование по тест-тренажерам НИИ мониторинга качества образования (Росаккредагентство)1037студентов Проведено тестирование по закупленным базам тестов АСТ-центра студентов ГУ-ВШЭ и филиалов общее количество студентов, участвовавших в тестировании в 2009/2010 учебном году (без учета повторного тестирования) Собраны тестовые материалы по 10 образовательным программам к аккредитационной проверке вуза в 2009 году (разной комплектации и качества) Закуплено программное приложение Maker, Converter с помощью которого можно формировать собственно университетские банки тестов (соответствующие содержанию образования ФГОС/НИУ)

39 Что делать? Для формирования баз тестовых заданий по образовательным программам необходимо разработать комплекты тестовых заданий по дисциплинам учебного плана каждой образовательной программы. В связи с этим предполагается решить задачи: –Организационные –Содержательные –Технические

40 Что делать: организационные задачи (взаимодействие участников для ввода тестовых заданий по учебной дисциплине в БТЗ) Ответственный от Методического управления Редактор Преподаватель - разработчик Заведующий кафедрой Ответственный за тестирование от факультета Рецензент Оператор ввода тестовых заданий в БТЗ программу

41 Что делать: технические задачи (взаимодействие участников для ввода тестовых заданий по учебной дисциплине в БТЗ) Установить программное обеспечение Maker, Converter для работы ответственных за тестирование от факультетов в учебных корпусах, размещения факультетов с обеспечением доступа для преподавателей для автономной работы с ПО В ОМСУП организовать ПК для хранения всех БТЗ и тестовых материалов для редактирования и ввода тестовых материалов, последующего размещения на серверах ГУ-ВШЭ Обеспечить сопровождение ДИТ работы ПО и консультативную помощь Обеспечить ввод в программу тестовых материалов по конкретной дисциплине/образовательной программе силами студентов практикантов/учебных ассистентов

42 Что делать: Содержательные задачи Тестовые материалы соответствуют тематическим планам программ учебных дисциплин? (Чему учим, то и проверяем) Как проверить в тестовой форме то, что не может быть проверено тестами? (Создать фонд компетентностно- ориентированных заданий - КИМов, которые не могут быть стандартизированы)

43 Фонд компетентностно-ориентированных заданий - КИМов Компетентностный формат стандартов ставит педагогическое сообщество перед задачей концептуального обоснования принципов оценивания и создания банка обновленных оценочных средств.

44 Создание банка обновленных оценочных средств: Чему учим, то и проверяем Каждый преподаватель по учебному курсу разрабатывает контрольно-измерительные материалы (КИМ) согласно «Требованиям к программам учебных дисциплин» и «Инструкции к разработке комплекта тестовых заданий по учебной дисциплине» Приложение к рабочей учебной программе: фонд контрольно-измерительных стандартизированных тестовых заданий

45 Фонд компетентностно-ориентированных заданий - КИМов, которые не могут быть стандартизированы Согласно обозначенным в программе учебной дисциплины формулировкам компетенций, которые должны быть достигнуты, сформированы в результате освоения учебного курса, преподавателем разрабатывается на каждую компетенцию задание, успешное выполнение которого подтверждает достижение заданного в стандарте НИУ уровня компетенции

46 В зарубежной практике Университетского образования аналогов подобных разработок нет Мониторинговые исследования Международной ассоциации по оценке учебных достижений IEA Участие в международных сравнительных исследованиях качества образования в России (естественно-математическое образование - IEAP-II, TIMSS-1995, TIMSS-1999, TIMSS-2003, TIMSS-2007, PISA-2000, PISA-2003, PISA-2006; PISA-2009) для летних школьников Международное сравнительное исследования «Изучение качества чтения и понимание текста» (Progress in International Reading Literacy Study, PIRLS). Все масштабные исследования проводились на школьниках, а не на студентах!

47 Выводы: Новая идеология тестирования: от навязанного контроля к многофункциональному инструменту измерения образовательного процесса и результата Существующие БТЗ могут быть использованы для тренинга, текущего контроля Для объективного контроля разработать тестовые материалы ППС, соответствующие программам учебных дисциплин, создать общеуниверситетскую БТЗ-инструмент измерения

48 Благодарим коллег, принявших участие в организации и проведении тестирования на факультетах и отделениях!

49 Спасибо за внимание!