Педагогический анализ/мониторинг качества подготовки студентов по результатам Интернет-тестирования в сфере профессионального образования Москва, март 2010 Тикина Галина Петровна НИИ мониторинга качества образования

Педагогический анализ проводится с целью рассмотрения результатов тестирования студентов и информирования преподавателей образовательных учреждений для принятия соответствующих решений по коррекции учебного процесса. Педагогический мониторинг осуществляется через создание системы объективной проверки знаний с использованием информационных технологий.

Результаты тестирования студентов в рамках Интернет-экзамена в сфере профессионального образования представлены в виде: Сводного отчета о проведении Интернет- экзамена Педагогического анализа/мониторинга

Педагогический анализ/мониторинг

Модель оценки освоения дисциплины по уровню подготовки студентов 50% студентов, освоивших все дидактические единицы ГОС Процент студентов, освоивших все дидактические единицы ГОС Выборка студентов ООП 100 % освоенных дидактических единиц ГОС Процент освоенных дидактических единиц ГОС Студент Критерий освоения дисциплины Показатель освоения дисциплины Объект оценки

Модель оценки освоения дисциплины по уровню подготовки студентов (модель 1) Показателем освоения дисциплины выборкой студентов ООП является процент студентов, освоивших все ДЕ дисциплины. Cтудент освоил дидактическую единицу дисциплины, если процент правильно выполненных им заданий этой ДЕ не ниже заданного критерия освоения ДЕ (например, 50% заданий ДЕ); Cтудент освоил дисциплину, если он освоил все ДЕ дисциплины; Показателем освоения дисциплины выборкой студентов ООП является процент студентов, освоивших дисциплину; Критерием освоения дисциплины выборкой студентов ООП является 50% студентов, освоивших дисциплину.

Дисциплина Дидактическая единица 1 Дидактическая единица 2... Дидактическая единица k Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Название дисциплины Контролируемыев ПИМ дидактические единицыдисциплины Критерий освоения дидактической единицы: 50% правильно выполненных заданий Модель педагогических измерительных материалов по дисциплине

Принцип оценивания базовой подготовки студентов на соответствие требованиям ГОС Освоение всех структурных элементов содержания (дидактических единиц) дисциплины на уровне требований, заданном в ГОС Дидактическая единица (ДЕ) –раздел дисциплины Освоение ДЕ – выполнение не менее половины заданий раздела

Структурирование информации о результатах Интернет-экзамена для пользователей различного уровня Ректорат Деканат Кафедра Преподаватель Студент Сравнение показателей освоения требований ГОС с другими вузами Показатели освоения требований ГОС для ООП по профилям подготовки Показатели освоения требований ГОС; Показатели освоения ДЕ дисциплин Показатели освоения ДЕ дисциплин; Коэффициенты решаемости заданий по темам Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования Ректорат

Информационно- аналитические материалы для ректората вуза (директората ссуза): результаты тестирования студентов по вузу в целом показатели выполнения требований ГОС ВПО и СПО по циклам дисциплин и по отдельным дисциплинам циклов модели оценки освоения дисциплин

1. Показатели выполнения требований ГОС на основе результатов Федерального Интернет- экзамена в сфере профессионального образования 1.1 Количественные показатели участия в ФЭПО студентов Российской Федерации 1.2 Показатели выполнения требований ГОС в целом по Российской Федерации 1.3 Показатели выполнения требований ГОС в целом по РФ (головные ОУ) 1.4 Показатели выполнения требований ГОС в целом по РФ (филиалы) 1.5 Показатели выполнения требований ГОС на основе результатов ФЭПО по ОУ «N-ский» вуз 1.6 Показатели выполнения требований ГОС на основе результатов ФЭПО по N-скому филиалу вуза 2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин ОУ«N-ский» вуз 2.1 Цикл общих гуманитарных и социально-экономических дисциплин высшего профессионального образования (ГСЭ ВПО) 2.2 Цикл общих математических и естественнонаучных дисциплин высшего профессионального образования (ЕН ВПО) 2.3 Цикл общепрофессиональных дисциплин высшего профессионального образования (ОПД ВПО) 3. Мониторинг результатов выполнения требований ГОС по дисциплинам 3.1 Дисциплины цикла ГСЭ ВПО 3.2 Дисциплины цикла ЕН ВПО 3.3. Дисциплины цикла ОПД ВПО 3.4 Мониторинг выполнения требований ГОС для ООП вуза на основе результатов ФЭПО 6 - ФЭПО Результаты тестирования студентов по вузу 4.1 Показатели выполнения требований ГОС для ООП вуза на основе ФЭПО-10 Структура содержания Часть I

Количество вузов и филиалов вузов, принимавших участие в ФЭПО Год провед ения Этап ФЭПО Количество вузов и филиалов вузов, принимавших участие в ФЭПО Количество результатов тестировани я 2007ФЭПО ФЭПО ФЭПО ФЭПО ФЭПО Количественные показатели участия в ФЭПО студентов Российской Федерации

Показатели выполнения требований ГОС в целом по Российской Федерации

Показатели выполнения требований ГОС в целом по Российской Федерации (головные образовательные учреждения)

Показатели выполнения требований ГОС на основе результатов ФЭПО по ОУ «N-ский вуз»

Обобщенные результаты выполнения требований ГОС по циклам дисциплин по вузу Цикл общих гуманитарных и социально-экономических дисциплин высшего профессионального образования (ГСЭ ВПО)

Дисциплины цикла ЕН ВПО Дисциплина: Информатика ФЭПО-7 ФЭПО-8 ФЭПО-9 ФЭПО-10 ФЭПО-6

Мониторинг выполнения требований ГОС для ООП вуза на основе результатов ФЭПО 6 - ФЭПО 10

Мониторинг выполнения требований ГОС для ООП вуза на основе результатов ФЭПО 6 - ФЭПО 10

Результаты тестирования студентов по вузу Показатели выполнения требований ГОС для ООП вуза на основе ФЭПО-10 (модель1)

Для деканов и заведующих выпускающими кафедрами требования ГОС ВПО и СПО к обязательному минимуму содержания ООП структуры измерительных материалов по каждой дисциплине статистика по участию ООП вуза в тестировании, результаты тестирования студентов отдельной ООП вуза и показатели освоения дисциплин на соответствие требованиям ГОС ВПО и СПО. Приводятся соответствующие данные не только по отдельному вузу, но и по Российской Федерации в целом.

Краткая структура содержания 1.Тематическое наполнение разделов дисциплин и перечень учебных элементов в соответствии с требованиями ГОС-II к обязательному минимуму содержания ООП «Бухгалтерский учет, анализ и аудит» 2.Динамика участия в Федеральном Интернет-экзамене в сфере профессионального образования 2.1.Количественные показатели участия в ФЭПО студентов Российской Федерации 2.2.Количественные показатели участия в ФЭПО студентов Российской Федерации, обучающихся по ООП «Бухгалтерский учет, анализ и аудит» 2.3.Количественные показатели участия в ФЭПО студентов ОУ «N-ский вуз» 2.4.Количественные показатели участия в ФЭПО студентов ОУ «N-ский вуз», обучающихся по ООП «Бухгалтерский учет, анализ и аудит» 3.Данные о выполнении требований ГОС ВПО 4.Показатели освоения дисциплин в рамках ФЭПО-10 5.Мониторинг результатов тестирования студентов, обучающихся по ООП «Бухгалтерский учет, анализ и аудит» в ОУ «N-ский вуз» 5.1.Мониторинг результатов освоения дисциплин 5.2.Мониторинг результатов освоения дисциплин по циклам 6.Формирование выводов по качеству подготовки студентов ООП «Бухгалтерский учет, анализ и аудит» ОУ «N-ский вуз» 7.Сравнение результатов тестирования студентов ООП «Бухгалтерский учет, анализ и аудит» с результатами в целом по Российской Федерации 8.Интернет-тренажеры в сфере образования

Тематическое наполнение разделов дисциплин и перечень учебных элементов в соответствии с требованиями ГОС-II к обязательному минимуму содержания ООП «Бухгалтерский учет, анализ и аудит»

Количественные показатели участия в ФЭПО студентов РФ, обучающихся по ООП «Бухгалтерский учет, анализ и аудит»

Количественные показатели участия в ФЭПО студентов ОУ «N-ский вуз»

Количественные показатели участия в ФЭПО студентов ОУ «N-ский вуз»,обучающихся по ООП «Бухгалтерский учет, анализ и аудит»

Показатели выполнения требований ГОС студентами ООП «Бухгалтерский учет, анализ и аудит» в целом по РФ

Показатели выполнения требований ГОС студентами ООП «Бухгалтерский учет, анализ и аудит» ОУ «N-ский вуз»

Показатели выполнения требований ГОС студентами ООП «Бухгалтерский учет, анализ и аудит» вуза в рамках ФЭПО-10 ОУ «N-ский вуз» Цикл дисципли н (объем часов, отводимых на изучение цикла) Дисциплина (объем часов, отводимых на изучение дисциплины) Количество студентов, принявших участие в Интернет - экзамене Процент студентов, освоивших 100% ДЕ ГСЭ (852) Иностранный язык (340) 18100% Экономическая теория (250) 23100% ЕН (1120)Математика (600)1888% ОПД (1760) Маркетинг (110)15100% Статистика (200)20100% Экономика организаций (предприятий) (136) 20100%

Показатели выполнения требований ГОС студентами ООП «Бухгалтерский учет, анализ и аудит» вуза в рамках ФЭПО-10 ОУ «N-ский вуз» Лепестковая диаграмма (эпюра) результатов тестирования ООП «Бухгалтерский учет, анализ и аудит» в рамках ФЭПО-10

Показатели освоения дисциплин в целом по Российской Федерации

Показатели освоения дисциплин в ОУ «N-ский вуз»

Показатели освоения дисциплин ООП «Бухгалтерский учет, анализ и аудит» в целом по Российской Федерации

Показатели освоения дисциплин по ООП «Бухгалтерский учет, анализ и аудит» в ОУ «N-ский вуз »

Мониторинг результатов тестирования студентов, обучающихся по ООП «Бухгалтерский учет, анализ и аудит» в ОУ «N-ский вуз» Цикл дисциплин Дисциплина Процент студентов, освоивших 100% ДЕ дисциплины ФЭПО-6ФЭПО-7ФЭПО-8ФЭПО-9ФЭПО-10 ГСЭ Иностранный язык––––100% Экономическая теория––0%–100% ЕН Информатика––90%–– Математика––––88% ОПД Маркетинг––––100% Статистика––0%–100% Финансы––93%–– Экономика организаций (предприятий) ––46%–100%

Мониторинг результатов освоения дисциплин по циклам Цикл гуманитарных и социально-экономических дисциплин

Цикл естественнонаучных дисциплин

Формирование выводов по освоению дисциплины «+» Дисциплина освоена, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили 100% ДЕ дисциплины. « » Дисциплина освоена условно, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили не менее 70% всех ДЕ дисциплины. «» Дисциплина не освоена, если более 50% студентов, принимавших участие в Интернет-экзамене, освоили менее 70% всех ДЕ дисциплины. « * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми, если контингент студентов составляет менее 10 чел. Формирование выводов по качеству подготовки студентов

Формирование выводов по освоению цикла дисциплин Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла; при этом полагается, что: цикл дисциплин освоен, если освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; цикл дисциплин освоен условно, если освоены и условно- освоены или только условно-освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; цикл дисциплин не освоен, если не освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла. Выводы по освоению цикла дисциплин не приводятся (**), если сумма часов тестируемых дисциплин цикла составляет менее половины объема часов, отводимого в ГОС на изучение цикла.. Формирование выводов по качеству подготовки студентов

Формирование выводов по освоению цикла дисциплин

Формирование выводов по качеству подготовки студентов в рамках нескольких ФЭПО Выводы по освоению цикла в рамках нескольких этапов ФЭПО можно разделить на четыре категории: 1.Студенты ООП по результатам четырех этапов ФЭПО продемонстрировали устойчивое положительное качество подготовки по циклу, если цикл освоен четыре раза на протяжении всех четырех этапов ФЭПО; 2.Студенты ООП по результатам четырех этапов ФЭПО продемонстрировали положительное качество подготовки по циклу, если цикл освоен трижды на протяжении всех четырех этапов ФЭПО; 3.Студенты ООП по результатам четырех этапов ФЭПО продемонстрировали условно положительное качество подготовки по циклу, если цикл освоен дважды на протяжении всех четырех этапов ФЭПО. 4.Студенты ООП по результатам четырех этапов ФЭПО продемонстрировали отрицательное качество подготовки по циклу, если цикл освоен менее двух раз на протяжении всех четырех этапов ФЭПО. 5.Выводы о качестве подготовки по циклу в рамках четырех этапов ФЭПО не приводятся, если не приводятся данные по освоению цикла в рамках хотя бы двух этапов ФЭПО.

Формирование выводов по качеству подготовки студентов

Диаграмма ранжирования ООП вузов, участвующих в программе«I-EXAM.RU», по показателю освоения дисциплины на соответствие требованиям ГОС (УГС Экономика и управление) Дисциплина: Английский язык Сравнение результатов тестирования студентов ООП с результатами в целом по РФ

Диаграмма ранжирования ООП вузов, участвующих в программе«I-EXAM.RU», по показателю освоения дисциплины на соответствие требованиям ГОС (УГС Экономика и управление) Дисциплина: Информатика Сравнение результатов тестирования студентов ООП с результатами в целом по РФ

Для заведующих кафедрами, профессорско- преподавательского состава вуза (ссуза) тематическое наполнение содержания дисциплины в соответствии с ГОС-2 результаты тестирования студентов по дисциплине для всех ООП вуза-участника ФЭПО показатели освоения дисциплины на соответствие требованиям ГОС.

1. Динамика участия в Федеральном Интернет-экзамене в сфере профессионального образования 1.1 Количественные показатели участия в ФЭПО студентов Российской Федерации 1.2 Динамика участия студентов образовательных учреждений высшего профессионального образования по дисциплине «Математика» 1.3 Динамика участия студентов в тестировании по дисциплине «Математика» ОУ «N-ский вуз» 2. Статистические данные о выполнении требований ГОС ВПО 2.1 Показатели выполнения требований ГОС в целом по Российской Федерации по дисциплине «Математика» 2.2 Гистограмма результатов тестирования в целом по Российской Федерации по дисциплине «Математика» 2.3 Показатели выполнения требований ГОС для ОУ «N-ский вуз» по дисциплине «Математика 2.4 Гистограмма результатов тестирования в целом по ОУ «N-ский вуз» дисциплине «Математика» 3. Мониторинг результатов тестирования студентов ООП вуза по дисциплине «Математика» 3.1. Результаты тестирования студентов ОУ «N-ский вуз» по дисциплине «Математика» в ФЭПО Показатели освоения дисциплины «Математика» по Российской Федерации в целом 3.3 Мониторинг результатов тестирования студентов по дисциплине «Математика» ОУ «N-ский вуз» 4. Тематическое наполнение содержания разделов дисциплины в соответствии с требованиями ГОС-II 4.1 Дисциплина «Математика» ООП: «Маркетинг» 5. Педагогический анализ результатов тестирования студентов по дисциплине «Математика» 5.1 ООП «Маркетинг» 5.2 ООП «Бухгалтерский учет, анализ, аудит» Структура содержания Часть III

Динамика участия студентов образовательных учреждений высшего профессионального образования по дисциплине «Математика»

Динамика участия студентов в тестировании по дисциплине «Математика» ОУ «N-ский вуз»

Показатели выполнения требований ГОС в целом по Российской Федерации по дисциплине «Математика»

Диаграмма результатов тестирования в целом по Российской Федерации по дисциплине «Математика»

Показатели выполнения требований ГОС для ОУ «N-ский вуз» по дисциплине «Математика»

Результаты тестирования студентов ОУ «N-ский вуз» по дисциплине «Математика» в ФЭПО-10

Показатели освоения дисциплины «Математика» по Российской Федерации в целом (По программам вуза, участвовавшим в ФЭПО)

Мониторинг результатов тестирования студентов по дисциплине «Математика» ОУ «N-ский вуз»

Тематическое наполнение содержания разделов дисциплины в соответствии с требованиями ГОС-II Дисциплина «Математика» ООП: «Маркетинг» Цикл общих математических и естественнонаучных дисциплин Математика (400 часов): Аналитическая геометрия и линейная алгебра. Последовательности и ряды. Дифференциальное и интегральное исчисления. Векторный анализ и элементы теории поля. Гармонический анализ. Дифференциальные уравнения. Численные методы. Функции комплексного переменного. Элементы функционального анализа. Вероятность и статистика. Теория вероятностей. Случайные процессы. Статистическое оценивание и проверка гипотез. Статистические методы обработки экспериментальных данных. 1.Линейная алгебра 1.1.Вычисление определителей знать: определение детерминанта второго порядка уметь: вычислять определители второго порядка 1.2.Линейные операции над матрицами знать: определение линейных операций над матрицами уметь: выполнять операции над матрицами 1.3.Умножение матриц знать: определение операции умножения матриц уметь: выполнять операцию умножения матриц 1.4.Системы линейных уравнений: методы решения знать: методы решения систем линейных уравнений уметь: находить решение системы линейных уравнений 2.Аналитическая геометрия 2.1.Основные задачи аналитической геометрии на плоскости знать: формулу для нахождения расстояния между двумя точками на плоскости формулу для нахождения координат середины отрезка уметь: решать основные задачи аналитической геометрии на плоскости находить координаты середины отрезка 2.2.Кривые второго порядка знать: определения кривых второго порядка уметь: представлять уравнения кривых второго порядка в каноническом виде 2.3.Полярная система координат знать: полярную систему координат уметь: записывать уравнение кривой в полярных координатах. 2.4.Прямая и плоскость в пространстве знать: условие принадлежности заданной плоскости уметь: проверять условие принадлежности точки заданной плоскости

Педагогический анализ результатов тестирования студентов по дисциплине «Математика» Введено три уровня освоения раздела (ДЕ) дисциплины Раздел дисциплины освоен, если КДЕ 0,7, то есть не менее 70% студентов освоили раздел на уровне требований ГОС; Раздел дисциплины освоен на недостаточном уровне, если 0,5 К ДЕ < 0,8, то есть не менее половины и не более 80 % студентов освоили раздел на уровне требований ГОС; Раздел дисциплины не освоен, если К ДЕ < 0,5, то есть менее половины студентов освоили раздел на уровне требований ГОС. Значения коэффициентов освоения ДЕ дисциплины выражаются через долю студентов, преодолевших критерий освоения конкретной ДЕ дисциплины. Как правило, в качестве критерия освоения ДЕ дисциплины берется выполнение 50% заданий от их общего числа в ДЕ.

Педагогический анализ результатов тестирования студентов по дисциплине «Математика» ООП «Маркетинг»

Карта коэффициентов решаемости заданий Дисциплина: Математика ООП: «Маркетинг» Таким образом, на низком уровне освоены следующие темы: 7………………………………………………… 16……………………………………………… 19…………………………………………… 24…………………………………………………………

Диаграмма коэффициентов освоения ДЕ Таким образом, на недостаточном уровне освоены следующие ДЕ дисциплины: 1 Ряды………………………………………………………………………….. 2 Дифференциальные уравнения……………………………………………………

Модель оценки освоения дисциплины по уровню освоения дидактических единиц Выборка студентов ООП Объект оценки Показатель освоения дисциплины Критерий освоения дисциплины Процент освоенных ДЕ дисциплины выборкой студентов ООП Освоение всех ДЕ дисциплины выборкой студентов ООП

Модель оценки освоения дисциплины по уровню освоения дидактических единиц Показателем освоения дисциплины выборкой студентов ООП является процент освоенных ДЕ дисциплины. Показателем освоения дидактической единицы дисциплины выборкой студентов ООП является процент правильно выполненных заданий ДЕ дисциплины студентами данной выборки. Считается, что дидактическая единица дисциплины освоена студентами выборки, если показатель освоения ДЕ дисциплины для этой выборки студентов не ниже заданного критерия (например, 50% правильно выполненных заданий ДЕ студентами данной выборки); Критерием освоения дисциплины выборкой студентов ООП является освоение всех ДЕ дисциплины студентами этой выборки.

Результаты тестирования студентов по вузу Показатели выполнения требований ГОС для ООП вуза на основе ФЭПО-10 (модель 2)

Результаты тестирования студентов по вузу Показатели выполнения требований ГОС для ООП вуза на основе ФЭПО-10 (модель1)

Спасибо за внимание! Контактная информация телефоны: (8362) , ,