Педагогический анализ результатов Интернет-экзамена и его использование при проведении процедуры самообследования образовательного учреждения Киселева Валентина Петровна НИИ Мониторинга качества образования Москва, февраль

Педагогический анализ – основополагающий компонент системы педагогического менеджмента, обеспечивающий реализацию диагностической и прогностической функций управления образовательным процессом в вузе. Сущностные характеристики педагогического анализа результатов тестирования: тематический анализ как основа разработки АПИМ параметрический анализ как основа оценки качества подготовки студентов

Результаты тестирования студентов в рамках Интернет-экзамена в сфере профессионального образования (декабрь 2008 г. - январь 2009 г.) представлены в виде: Краткого отчета по результатам тестирования Информационно-аналитической карты «Педагогический анализ результатов тестирования студентов на основе дисциплинарного (полидисциплинарного) подхода»

Краткий отчет по результатам тестирования студентов Сводная таблица выполнения требований ГОС для ООП вуза (показатели освоения каждой отдельной дисциплины) Рейтинг-листы студентов ООП вуза по дисциплине (процент правильно выполненных заданий в АПИМ, процент освоенных ДЕ дисциплины)

Показатели выполнения требований ГОС для ООП вуза

Рейтинг-лист студентов Идентификатор студента Продолжительность тестирования, мин Количество выполненных заданий Процент выполненных заданий Количество освоенных ДЕ Процент освоенных ДЕ 1Студент из 3293%8 из 8100% 2Студент из 3287%8 из 8100% 3Студент из 3281%8 из 8100% 4Студент из 3281%8 из 8100% 5Студент из 3281%8 из 8100% 6Студент из 3278%7 из 888% 7Студент из 3278%8 из 8100% 8Студент из 3275%8 из 8100% 9Студент из 3271%8 из 8100% 10Студент из 3265%7 из 888% 11Студент из 3262%6 из 875% 12Студент из 3262%8 из 8100% Среднее:76%

Информационно-аналитическая карта «Педагогический анализ результатов тестирования на основе дисциплинарного подхода»

Модель оценки выполнения требований ГОС 50% студентов, освоивших все дидактические единицы ГОС Процент студентов, освоивших все дидактические единицы ГОС ООП 100 % освоенных дидактических единиц ГОС Процент освоенных дидактических единиц ГОС Студент Критерий выполнения требований ГОС Показатель выполнения требований ГОС Объект оценки

Принцип оценивания базовой подготовки студентов на соответствие требованиям ГОС Освоение всех структурных элементов содержания (дидактических единиц) дисциплины на уровне требований, заданном в ГОС Дидактическая единица (ДЕ) – раздел дисциплины Освоение ДЕ – выполнение не менее половины заданий раздела

Модель аккредитационных педагогических измерительных материалов по дисциплине Критерий освоения дидактической единицы: 50 % правильно выполненных заданий Дисциплина Дидактическая единица 1 Дидактическая единица 2... Дидактическая единица k Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Название дисциплины Контролируемыев АПИМ дидактические единицыдисциплины Задания АПИМ

Педагогический анализ результатов тестирования

Ректорат Деканат Кафедра Преподаватель Студент Рособрнадзор Сравнение показателей освоения требований ГОС с другими вузами Показатели освоения требований ГОС для ООП по профилям подготовки Показатели освоения требований ГОС; Показатели освоения ДЕ дисциплин Показатели освоения ДЕ дисциплин; Коэффициенты решаемости заданий по темам Рейтинговый показатель в группе, специальности, вузе, группе вузов Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования Структурирование информации о результатах Интернет- экзамена для пользователей различного уровня

Структура содержания-1 1.Результаты тестирования студентов в вузе 1.1. Показатели выполнения требований ГОС для ООП вуза 1.2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза 2. Результаты тестирования студентов по ООП вуза 2.1. Результаты тестирования студентов ООП …… 2.2. Результаты тестирования студентов ООП ….. 3. Педагогический анализ результатов тестирования студентов на соответствие требованиям ГОС 3.1. Дисциплина «Английский язык» ООП «Дизайн» Приложение 1. Методы анализа результатов дисциплинарного тестирования (модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов для ООП вуза на основе педагогических измерений)

Показатели выполнения требований ГОС для ООП вуза

Объем часов, выделяемых на изучение дисциплин, в вузе ООПЦиклДисциплинаMINMAXГОС ГСЭЭкономика ГСЭЭкономика ГСЭЭкономика ГСЭЭкономика ГСЭЭкономика ГСЭФилософия ГСЭФилософия ГСЭФилософия ГСЭФилософия20800

Диаграмма обобщенных результатов тестирования студентов ОУ на соответствие требованиям ГОС

Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза

Результаты тестирования студентов по основным образовательным программам вуза Выводы по освоению дисциплины «+» Дисциплина освоена, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили 100% ДЕ дисциплины. «/+» Дисциплина освоена условно, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили не менее 70% всех ДЕ дисциплины. «» Дисциплина не освоена, если более 50% студентов, принимавших участие в Интернет-экзамене, освоили менее 70% всех ДЕ дисциплины. « * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми (контингент менее 10 чел.).

Результаты тестирования студентов по ООП вуза Выводы по освоению цикла дисциплин Выводы по освоению цикла дисциплин не приводятся (**), если сумма часов тестируемых дисциплин цикла составляет менее половины объема часов, отводимого в ГОС на изучение цикла, или количество часов по тестируемым дисциплинам данного цикла в ГОС отсутствует. Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла. При этом полагается, что: цикл дисциплин освоен, если освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; цикл дисциплин освоен условно, если освоены и условно-освоены или только условно-освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; цикл дисциплин не освоен, если не освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла.

+ 86% 14 Математика и информатика (150) ЕН (230) 82%48%65 Менеджмент (100) + 88% 32 Маркетинг (100) -/+ 75%45%32 Бухгалтерский учет (280) ОПД (1050) + 77% 1313 Экономика (90) + 71%64%1414 Философия (90) + 85% 13 Социология (90) ГСЭ (1260) Выводы по освоению цикла/дис циплины Процент студентов, освоивших не менее 70% ДЕ Процент студентов, освоивших 100% ДЕ Количество студентов, принявших участие в Интернет - экзамене Результаты тестирования студентов Дисциплина (объем часов, выделяемых на изучение дисциплины в ГОС) Цикл дисциплин (объем часов, выделяемых на изучение цикла в ГОС) Результаты тестирования студентов ООП ** -/+

Декан, зав.кафедрой Результаты освоения дисциплины в целом для образовательных программ кафедры

Сравнение показателей освоения дисциплины с результатами других вузов. Мониторинг результатов освоения базового уровня подготовки по дисциплине Декан, зав.кафедрой

Профессорско-преподавательский состав кафедры Диаграмма обобщенных результатов тестирования на соответствие требованиям ГОС в целом по дисциплине Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требований ГОС Требования ГОС к обязательному минимуму содержания ООП по дисциплине Структура АПИМ по дисциплине Гистограмма плотности распределения результатов тестирования Карта коэффициентов решаемости заданий по темам Карта коэффициентов освоения ДЕ дисциплины

Диаграмма обобщенных результатов тестирования на соответствие требованиям ГОС в целом по дисциплине

Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требованиям ГОС (по каждой дисциплине цикла)

Формы представления результатов тестирования: гистограмма плотности распределения По форме и положению гистограммы можно судить о характере распределения результатов для данной группы студентов Гистограмма позволяет эффективно оценить расслоение результатов студентов по уровню подготовки

Представление результатов: карта коэффициентов решаемости заданий Карта коэффициентов решаемости позволяет оценить уровень подготовки испытуемых по отдельным темам измерительных материалов По данному графику можно выявить темы, оказавшиеся трудными для студентов контролируемой группы (коэффициент решаемости менее 0,4)

Представление результатов: карта коэффициентов освоения ДЕ График позволяет оценить степень освоения тематических разделов дисциплины Наглядно выявляются разделы, освоенные на недостаточном уровне (коэффициент освоения менее 0,7)

Информационно-аналитическая карта «Педагогический анализ результатов тестирования на основе полидисциплинарного подхода»

Модель педагогических измерительных материалов для полидисциплинарного тестирования M+N+1, M+N+2,..., M+N+P М+1,М+2, …, М+N 1,2,3, …, М ДЕ Дисциплина 3Дисциплина 2Дисциплина 1 Наименование дисциплины

Модель оценки выполнения требований ГОС при полидисциплинарном тестировании 50% студентов, освоивших все контролируемые дидактические единицы полиАПИМ Процент студентов, освоивших все контролируемые дидактические единицы полиАПИМ ООП 100 % освоенных дидактических единиц полиАПИМ, предъявленных к выполнению Процент освоенных дидактических единиц полиАПИМ, предъявленных к выполнению Студент Критерий освоения совокупности дисциплин полиАПИМ на соответствие требов. ГОС Показатель освоения совокупности дисциплин полиАПИМ на соответствие требов. ГОС Объект оценки

Структура содержания-2 1. Результаты полидисциплинарного тестирования студентов в вузе 1.1. Показатели выполнения требований ГОС для ООП вуза 1.2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза 2. Результаты полидисциплинарного тестирования студентов по ООП вуза 2.1. Результаты полидисциплинарного тестирования студентов ООП Результаты полидисциплинарного тестирования студентов ООП Содержательный анализ результатов педагогических измерений полидисциплинарного тестирования для ООП вуза 3.1. Цикл дисциплин ГСЭ ООП «Психология» 3.2. Цикл дисциплин ЕН ООП «Юриспруденция» Приложение 1. Методы анализа результатов дисциплинарного тестирования (модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов для ООП вуза на основе педагогических измерений, представление результатов педагогических измерений по дисциплине для отдельной ООП) Приложение 2. Методы анализа результатов полидисциплинарного тестирования (модель полиАПИМ, модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов полидисциплинарного тестирования для ООП вуза, представление результатов полидисциплинарного тестирования для отдельной ООП вуза)

Показатели выполнения требований ГОС для ООП вуза

Диаграмма обобщенных результатов полидисциплинарного тестирования на соответствие требованиям ГОС по дисциплинам

Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требованиям ГОС по отдельной дисциплине

Результаты полидисциплинарного тестирования студентов по ООП вуза Выводы по освоению дисциплины на основе полидисциплинарного подхода «+» Дисциплина освоена, если все контролируемые ДЕ дисциплины освоили не менее 50% студентов. «» Дисциплина не освоена, если все контролируемые ДЕ дисциплины освоили менее 50% студентов. « * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми (контингент менее 10 чел.).

Выводы по освоению цикла дисциплин на основе полидисциплинарного подхода Выводы по освоению цикла дисциплин по результатам полидисциплинарного тестирования не приводятся (**), если сумма часов, предусмотренных ГОС для изучения тестируемых дисциплин, составляет менее половины объема часов, отводимого в ГОС на изучение цикла, или количество часов по тестируемым дисциплинам данного цикла в ГОС отсутствует. Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла. При этом полагается, что: цикл дисциплин освоен, если показатель освоения совокупности дисциплин полиАПИМ не менее 50%; цикл дисциплин освоен условно, если показатель освоения совокупности дисциплин полиАПИМ менее 50%, но при этом показатели освоения всех дисциплин полидисциплинарного тестирования не менее 50%; цикл дисциплин не освоен, если показатель освоения совокупности дисциплин полиАПИМ менее 50%, и при этом показатели освоения некоторых дисциплин полидисциплинарного тестирования также менее 50%.

+ 77%65 ОМЗ (100) + 90%65Психология (300) + 65%65Педагогика (400) ** ОПД (3050) + 60%41 Культурология (100) + 78%41 Отечественная история (320) + 75%41 Английский язык (340) ГСЭ (1260) Выводы по освоению цикла/дис циплины Процент студентов, освоивших все контролируемые ДЕ Количество студентов, принявших участие в полидисц. тестировании Результаты тестирования студентов Дисциплина (объем часов, выделяемых на изучение дисциплины в ГОС) Цикл дисциплин (объем часов, выделяемых на изучение цикла в ГОС) Результаты полидисциплинарного тестирования студентов ООП вуза

Диаграмма ранжирования ООП вузов по показателю освоения дисциплины на соответствие требованиям ГОС УГС Гуманитарные науки; Экономика и управление Дисциплина: Менеджмент

Содержательный анализ результатов педагогических измерений полидисциплинарного тестирования для ООП вуза требования ГОС к обязательному минимуму содержания ООП по дисциплине структура АПИМ по дисциплине гистограмма плотности распределения результатов полидисциплинарного тестирования карты коэффициентов решаемости заданий по дисциплинам карта коэффициентов освоения ДЕ совокупности дисциплин

Гистограмма плотности распределения результатов полидисциплинарного тестирования Цикл дисциплин: ОПД («Менеджмент», «Статистика») ООП: «Финансы и кредит»

Карта коэффициентов решаемости заданий полиАПИМ по отдельной дисциплине Дисциплина: Менеджмент ООП: «Финансы и кредит»

Карта коэффициентов освоения ДЕ совокупности дисциплин Цикл дисциплин ОПД:«Менеджмент-5ДЕ», «Статистика-4ДЕ » для ООП: «Финансы и кредит»

Области использования результатов Интернет- экзамена в образовательном учреждении Рейтинговые технологии оценки учебных достижений студентов Система менеджмента качества (внешняя оценка, мониторинг) Самообследование Государственная аккредитация

Баллы для рейтинга студентов Текущая работа Контроль освоения модулей (разделов) Дополнительные виды работ Результаты Интернет-экзамена Экзамен вуза

Информация 1 раз в 5 лет Процедуры оценки вып-ния треб-ний ГОС Процедуры, проводящиеся дополнительно к сессионному контролю Процедуры, встроенные в сессионный контроль Разовые (1 раз в 5 лет) Самообследование и аттестационная экспертиза (АПИМ) Регулярные (1 раз в семестр) Внутренний (и/или внешний) независимый контроль (АПИМ) 1 уровень: Контроль на базовом уровне (АПИМ) 2 уровень: Контроль на повышенном уровне (процедуры, принятые в вузе) Мониторинг освоения ГОС Двухуровневый экзамен Д л я о ц е н к и О О П Для оценки студента Контроль освоения ГОС студентами ООП Контроль освоения ГОС студентами ООП

Возможные показатели для вузовского рейтинга студента Рейтинг- лист по результатам ФЭПО Самый сложный раздел

Полный рейтинг-лист результатов тестирования Выполнение заданий по каждой теме

Использование результатов ФЭПО в вузовской системе менеджмента качества

Результаты ФЭПО в вузовской системе менеджмента качества Анализ результатов оценки выполнения требований ГОС на уровне: –ректората (освоение материала по образовательным программам) –деканата (освоение материала по дисциплинам и циклам дисциплин) –кафедры (освоение материала по ДЕ и дисциплине) –преподавателя (освоение материала по темам и ДЕ) Мониторинг результатов по дисциплинам и образовательным программам

Ректорат Показатели освоения дисциплин для ООП вуза Сравнение показателей освоения дисциплин с результатами других вузов Мониторинг результатов оценки базового уровня подготовки студентов вуза

Показатели освоения дисциплин для ООП вуза, принимавшего участие в Интернет-экзамене

Сравнение показателей освоения дисциплины с результатами других вузов Мониторинг результатов освоения базового уровня подготовки по дисциплине

Деканат Показатели освоения дисциплин для группы ООП вуза (факультета) Мониторинг результатов оценки базового уровня подготовки студентов факультета

Результаты ФЭПО для группы ООП

Кафедра Освоение разделов дисциплины для различных образовательных программ Освоение дисциплины в целом для различных образовательных программ Мониторинг результатов освоения дисциплины

Оценка освоения разделов дисциплины студентами разных специальностей Кафедра

Результаты освоения дисциплины в целом для образовательных программ кафедры

Мониторинг выполнения требований ГОС по дисциплине ФЭПО-N ФЭПО-(N+2)

Результаты ФЭПО по дисциплине на фоне других вузов Экономика и управление Сфера обслуживания Сельское и рыбное хозяйство Геодезия и землеустройство Геология, разведка и разработка полезных ископаемых

Преподаватель Результаты Интернет-тестирования: Индивидуальные результаты студентов Карта решаемости заданий в одной и нескольких группах Карта освоения разделов в одной и нескольких группах Показатели освоения дисциплины по образовательным программам

Оценка освоения тем дисциплины студентами разных специальностей Преподаватель

Оценка освоения разделов дисциплины студентами разных специальностей Преподаватель

Студент Результаты тестирования: Выполнение заданий по каждой теме Освоение разделов Рейтинг в группе по числу выполненных заданий и/или освоенных разделов Рейтинг на курсе по уровню освоения совокупности дисциплин (цикла дисциплин) на уровне требований ГОС

Использование результатов Интернет-экзамена при самообследовании вуза

Две актуальные задачи при проведении самообследования оценка освоения дисциплин на соответствие требованиям ГОС мониторинг результатов этой оценки для образовательных программ (не менее 3-х лет)

Примерная программа оценки качества подготовки студентов при самообследовании 1. Все аккредитуемые ООП 2. Все циклы дисциплин по каждой ООП 3. Важнейшие дисциплины цикла: не менее 3-х по циклам ГСЭ и ЕН не менее 5-и по циклам ОПД и СД 4. Студенческие группы, завершившие изучение дисциплины не позднее, чем за один год до самообследования

Приблизительная оценка объема выборки дисциплин при самообследовании Число дисциплин в ООП Число контролируемых дисциплин = 0,90 – 0,95 = 0,8 – 0,9 = 0,7 – 0,

Национальное аккредитационное агентство в сфере образования НИИ мониторинга качества образования проводят цикл информационно-консультационных семинаров по тематике Федерального Интернет-экзамена в сфере профессионального образования К участию в работе семинаров приглашаются ректоры, проректоры, специалисты и организаторы Интернет-экзамена в вузе.

График проведения семинаров (1-ое полугодие 2009 года) ДатаТематика семинаровМесто проведения Информационно-консультационный семинар «Федеральный Интернет-экзамен в сфере профессионального образования: технология проведения, анализ и использование его результатов. Интернет-олимпиада в сфере профессионального образования» г. Ростов-на- Дону Мастер-класс «Федеральный Интернет-экзамен в сфере профессионального образования: технология проведения, разработка АПИМ, анализ и использование его результатов» г. Новосибирск Информационно-консультационный семинар «Федеральный Интернет-экзамен в сфере профессионального образования: технология, разработка аккредитационных педагогических измерительных материалов, самообследование образовательного учреждения» г. Москва V Международная летняя школа-семинар «Федеральный Интернет-экзамен в сфере профессионального образования. Измерение латентных переменных» г.Адлер

Спасибо за внимание! Киселева Валентина Петровна Телефоны: 8-(8362) ,