2005-2007 © Рособрнадзор 2005-2007 © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Оценка качества подготовки студентов. - презентация

1 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Оценка качества подготовки студентов на основе результатов Интернет – экзамена в сфере профессионального образования Киселева Валентина Петровна Национальное аккредитационное агентство в сфере образования Москва

2 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Модель оценки выполнения требований ГОС Объект оценки Показатель выполнения требований ГОС Критерий выполнения требований ГОС Студент Процент освоенных дидактических единиц ГОС 100 % освоенных дидактических единиц ГОС ООП Процент студентов, освоивших все дидактические единицы ГОС 50% студентов, освоивших все дидактические единицы ГОС

3 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Подходы к конструированию оценочных средств по дисциплинам «Индивидуальный» подход: уникальный измеритель для каждой образовательной программы «Инвариантный» подход: измеритель для группы образовательных программ на основе инварианта содержания и инварианта глубины изучения дисциплины

4 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Модель аттестационного педагогического измерительного материала по дисциплине Критерий освоения дидактической единицы : 50 % правильно выполненных заданий Дисциплина Дидактическая единица 1 Дидактическая единица 2... Дидактическая единица k Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Название дисциплины Контролируемыев АПИМ дидактические единицыдисциплины Задания АПИМ

5 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формирование структуры АПИМ по дисциплине ДЕ ГОС Темы Перечень КУЭ Задания

6 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Мониторинг результатов Интернет-экзамена: ЦИКЛ ГСЭ

7 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Мониторинг результатов Интернет-экзамена: ЦИКЛ ЕН

8 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ЦИКЛ ОПД Экономический профиль

9 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Доля студентов, выполнивших требования ГОС по дисциплине «Маркетинг"

10 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Доля студентов, выполнивших требования ГОС по дисциплине «Менеджмент"

11 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ООП: «Маркетинг»

12 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ООП: «Государственное и муниципальное управление»

13 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ООП: «Управление персоналом»

14 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ООП: «Менеджмент организации»

15 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов для диагностики содержания и уровня подготовки студентов рейтинг-лист студентов по проценту правильно выполненных заданий и по проценту освоенных ДЕ дисциплины (с перечнем освоенных ДЕ для каждого студента) гистограмма плотности распределения результатов в студенческой группе по проценту правильно выполненных заданий карта коэффициентов решаемости заданий по темам (для студенческой группы) карта коэффициентов освоения ДЕ дисциплины для студенческой группы диаграмма сравнения освоения дисциплины для всех образовательных программ вуза (и на общероссийском фоне)

16 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов : рейтинг-лист студентов

17 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов Гистограмма плотности распределения результатов По форме и положению гистограммы можно судить о характере распределения результатов для данной группы студентов Гистограмма позволяет эффективно оценить расслоение результатов студентов по уровню подготовки

18 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов Оценка освоения тем дисциплины студентами разных образовательных программ

19 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов Оценка освоения разделов дисциплины студентами разных специальностей (на уровне кафедры)

20 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов Диаграмма результатов освоения дисциплины на уровне требований ГОС для ООП вуза на фоне других вузов

21 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Сравнение показателей освоения дисциплины с результатами других вузов Мониторинг результатов освоения базового уровня подготовки по дисциплине

22 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ОЦЕНКА КАЧЕСТВА ЗАДАНИЙ АПИМ ПО ДИСЦИПЛИНЕ

23 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Статистические характеристики заданий АПИМ Коэффициент решаемости заданий по темам АПИМ (определяется долей студентов, верно выполнивших данное задание) Дифференцирующая способность заданий АПИМ ( разделяет студентов по уровню подготовки) Коэффициент точечно-бисериальной корреляции заданий АПИМ (связывает выполнение конкретного задания с выполнением всего АПИМ)

24 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Статистические параметры заданий АПИМ

25 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Статистическая оценка тематических наборов заданий

26 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Статистическая оценка тематических наборов заданий

27 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Статистическая оценка тематических наборов заданий

28 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Статистическая оценка тематических наборов заданий

29 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Дистракторный анализ тематического набора заданий 1. Предмет: Математика 2. Объем часов: Раздел ГОС: Анализ 4. Дидактическая единица ГОС: Математический анализ 5. Тема задания: Геометр. прилож.опред. интеграла 6. Уровень сложности – 2 (знать и уметь) 7. Ориентировочное время выполнения – 2 минуты 8. Перечень контролируемых учебных элементов Студент должен знать: формулу для вычисления площади кривол.фигуры уметь: записать формулу для вычисл. площади с помощью опред.интеграла 9. Ошибки, заложенные в дистракторах: False 2 – ошибка при записи подынтегральной функции False 3 – ошибка при расстановке пред интегрир. в опред. интеграле False 4 –незнание формулы площади фигуры, записанной с помощью опред. интегр. 10. Дата создания – октябрь 2005 г. 11. Количество заданий в данном файле – 30 37% 11% 41%

30 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Содержание ГОС по дисциплине Тематическая структура АПИМ Перечень контролируемых учебных элементов по темам АПИМ Примеры тестовых заданий (содержание, форма, уровень трудности) Репетиционное тестирование Методика оценки результатов тестирования Методическая поддержка тестирования на сайте

31 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Наличие тестовых материалов

32 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

33 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

34 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Результаты Интернет-экзамена позволяют эффективно диагностировать содержание и уровень подготовки студентов на соответствие требованиям ГОС интегрировать информацию для различных уровней управления в образовании проводить мониторинговые исследования базового уровня подготовки студентов эффективно использовать их во внутривузовских системах менеджмента качества (в части внешней оценки базового уровня подготовки)

35 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Взаимодействие с УМО и НМС утверждение перечня дидактических единиц дисциплины в соответствии с содержанием государственных образовательных стандартов внешняя экспертиза аттестационных педагогических измерительных материалов

36 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ УВАЖАЕМЫЕ КОЛЛЕГИ! Приглашаем Вас принять участие в следующем этапе Интернет-экзамена в сфере профессионального образования с 22 апреля по 22 июня 2008 года

37 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Спасибо за внимание! Киселева Валентина Петровна к.п.н., доцент, начальник отдела сопровождения ФЭПО Тел: 8-(8362) , Сайт:

38 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ПРИЛОЖЕНИЕ

39 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ЦИКЛ ОПД Технический профиль

40 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ЦИКЛ ОПД Педагогический профиль

41 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ЦИКЛ ОПД Юридический профиль