Васенев Ю.Б.1 Методика оценки качества магистерских программ Ю.Б. Васенев

Васенев Ю.Б.2 Основные типы моделей: 2000г.: Модель совершенства Минобра- зования России - модель Премии конкурса по качеству. Многие европейские и российские университеты строили свои системы качества образования, основываясь на моделях совершенства г.: В России появляется Типовая модель системы качества ОУ, построенная на принципах ГОСТ Р ИСО 9000 (Систем менеджмента качества).

Васенев Ю.Б.3 а ) дают возможность организации выявить свои сильные и слабые стороны; б) содержат положения по оцениванию в сравнении с общими моделями; в) обеспечивают основу для постоянного улучшения; г) включают способы внешнего признания. Общее между подходами в моделях совершенства и СМК семейства ИСО:

Васенев Ю.Б.4 Различия: а) Стандарты семейства ИСО 9000 содержат требования к СМК и рекомендации по улучшению их деятельности; б) Оценивание СМК устанавливает выполнение этих требований ; в) Модели совершенства содержат критерии, позволяющие проводить сравнительную оценку деятельности организации и это применимо ко всем видам деятельности и ко всем заинтересованным сторонам; г) Критерии оценки и числовые данные в моделях совершенства Минобразования России обеспечивают основу для сравнения деятельности вуза с деятельностью других вузов.

Васенев Ю.Б.5 Вуз (университет) вправе воспользоваться Типовой моделью или другими существующими моделями, модернизировав их под свои условия, или сам разработать подобную модель. Один из возможных «гибридных» подходов к построению альтернативной модели управления качеством предложен ниже. Этот подход, однако, не отрицает опыт, накопленный другими вузами, а скорее является их модификацией.

Васенев Ю.Б.6 Продемонстрируем предлагаемый подход на примере оценки качества магистерских программ, реализованный в рамках АПО и УК МП, разработанной в СПбГУ авторским коллективом в составе профессора Н.В. Хованова, (руководитель) Н.В. Михайлова и Ю.Б.Васенева. Аналогичные модели могут быть построены в вузе и для других областей (видов) деятельности. Особенностью их является то, что учитываются не только качественные, (как в Модели совершенства Премии Минобразования) или не только количественные (как при мониторинге деятельности вузов, проводимом Рособразованием ежегодно), а те и другие виды показателей контролируемых объектов.

Васенев Ю.Б.7 Достоинства предлагаемого подхода: -позволяет строить системы качества в любом структурном подразделении вуза по мере его готовности к этому, а также достаточно быстро адаптировать разработанные модели к условиям других вузов (институтов, факультетов); -дает возможность накапливать необходимый опыт, расширять или оптимизировать количество контролируемых видов деятельности (показателей); -подготавливает вуз к осознанному внедрению системы качества, как скоординированной совокупности требований к взаимосвязанным и взаимодействующим элементам учебного процесса. -ориентируют руководителей МП, коллективы преподавателей на поиск путей совершенствования МП.

Васенев Ю.Б.8 В АПО и УК МП каждая МП оценивается по 20 числовым показателям, в частности: количество учебно-методических пособий, изданных руководителем МП за последние годы, количество печатных листов и т.д., а также по 16 квалиметрическим показателям для каждого из которого разработана 3-х балльная шкала оценок.

Васенев Ю.Б.9 Идентификатор и название показателя Описание опорных точек шкал 1-высокий уровень 2-достаточный уровень 3- недостаточный уровень, требуется улучшение Q1 (0) Соответствие содержания учебного плана МП требованиям ГОС ВПО содержание соответствует стандарту имеются несущественные отклонения от стандарта множественные отклонения от стандарта; в учебный план внесены не утвержденные уч. советом изменения Q2 (0) Наличие всех элементов учебного плана в учебном плане присутствуют все необходимые элементы, правильно выполненные имеются все элементы учебного плана, однако один или два элемента имеют незначительные отклонения от нормы в учебном плане отсутствует обязательный элемент Описание шкал порядка (ординальных шкал), используемых для выставления оценок по квалиметрическим показателям, характеризующим МП

Васенев Ю.Б.10 Индивидуальная ведомость оценок эксперта БЛАНК 1 ___________________________________ (должность, фамилия, инициалы эксперта) по квалиметрическим показателям Qm при определении качества магистерской программы (МП) _______________________________________________________ (наименование МП, код направления по ОКСО, факультет, ________________________________________________________ кафедра, номер приказа и дата, открытия МП, ________________________________________________________ ФИО, должность, ученое звание и ученая степень руководителя МП) Код показател я Название показателя Оценка Q1 (0)Соответствие содержания учебного плана МП требованиям ГОС ВПО Q2 (0)Наличие всех элементов учебного плана Q3 (0)Количество ошибок в учебных планах МП. Наличие и диапазон дисциплин по выбору Q4 (0)Наличие и качество программ учебных дисциплин и программ НИРМ (практик) Q5 (0) Диапазон и качество научно-методических (учебно-методических) разработок по МП Q6 (0) Характеристика научных руководителей магистрантов Код МП: ________

Васенев Ю.Б.11 Продолжение Бланк 1 Код показателя Название показателя Оценка Q7 (0) Использование современных технологий обучения Q8 (0) Наличие на сайте требований к уровню подготовки магистра по направлению подготовки и данной МП Q9 (0) Наличие на сайте учебного плана МП Q10 (0) Наличие на сайте программ учебных дисциплин, НИРМ и практик договоров с вузами о сотрудничестве Q11 (0) Наличие на сайте информации об учебно-методическом обеспечении Q12 (0) Наличие информации на сайте о кадровом обеспечении МП Наличие Q13(0) Наличие договоров с вузами о сотрудничестве Q14 (0) Наличие согласованных учебных планов между вузами Q15 (0) Формы выдаваемых документов по завершению обучения Q16(0) Наличие информации о трудоустройстве магистров Дата _________________ Подпись эксперта ____________________ Оценки экспертов выставляются по 3-х балльным шкалам в соответствии таблицей 1: «Описание шкал порядка (ординальных шкал) для выставления оценок по показателям, характеризующим МП».

Васенев Ю.Б.12 Рассмотрим работу модели, на 12 МП от 3-х факультетов: Биологический факультет:Ботаника Микробиология Физиология растений Генетика Географический факультет:Ландшафтоведение Биогеография Биоэкология Климатология Математический факультет:Теоретическая механика Биомеханика Робототехника Компьютерная механика

Васенев Ю.Б.13 Перейдем на модель оценки качества МП и посмотрим динамику ее работы

Васенев Ю.Б.14 Очевидно, что в представлении экспертов разные показатели по разному влияют на качество МП. Поэтому эксперты должны иметь возможность вводить в подсистему свое видение роли показателей в оценке качества МП. Это учитывается путем введения дополнительной ординарной и интервальной информации. В частности нечисловые ординарные (порядковые) данные о весовых коэффициентах задаются системой равенств и неравенств вида: и т.д.

Васенев Ю.Б.15 С вводом дополнительной информации, как правило, увеличивается точность числовых оценок (стандартное отклонение уменьшается). Это закономерный, ожидаемый результат, т.к. ввод дополнительной информации о значимости отдельных исходных показателей позволяет уменьшить неопределенность при построении интегрального показателя качества МП. Дополнительная информация изменяет относительное положение МП в ранжированном ряде значений сводного показателя и зачастую значительно.

Васенев Ю.Б.16

Васенев Ю.Б.17

Васенев Ю.Б.18 Данные диаграммы типа «Биржевая» строятся на основе таблиц, формируемых моделью. Вернемся еще раз к интегральному показателю качества МП. ДиаграммаМАКСМИНСреднее Роботехника 0,7110,5880,649 Теоретическая механика0,6750,5500,613 Биогеография0,6820,5280,605 Биомеханика0,6680,5410,605 Микробиология0,6810,5210,601 Компьютерная механика0,6560,5080,582 Климатология0,6480,5070,577 Биоэкология0,5870,4640,526 Физиология растений0,5620,4640,513 Ландшафтоведение0,5670,4440,506 Ботаника0,5650,4330,499 Генетика0,5560,4180,487

Васенев Ю.Б.19 Из диаграммы можно сделать заключение, что по интегральному показателю с учетом точности полученных результатов доминирует группа из пяти первых кафедр (см. «Среднее» - до 0,600); в аутсайдерах – последние 2 кафедры, остальные 5 кафедр входят в среднюю группу. При этом с учетом стандартных отклонений явное доминирование наблюдается только у первой кафедры над последними пятью. Первые 7 кафедр в пределах допустимых ошибок могут претендовать на первое место. Аналогичные рассуждения можно продолжить и далее. Если соотнести эти значения с таблицей, приведенной на следующем слайде, устанавливающей взаимосвязь между шкалами оценок, то качество первой МП «Роботехника» можно оценить оценкой «С » (по шкале ECTS) – последних двух «Генетика» и «Ботаника» - «Е», а остальных – оценкой «D».

Васенев Ю.Б.20 Пример шкал абсолютных оценок и их взаимосвязь Российская оценкаОценка в рамках ЕСТS100-балльная шкала 5 (отлично)А (отлично)1 - 0,86 4 (хорошо) В (очень хорошо)0,85 - 0,75 С (хорошо)0,74 - 0,65 3 (удовлетворительно) D (удовлетворительно)0,64 - 0,50 E (посредственно)0,49 - 0,38 2(неудовлетворительно) FX (неудовлетворительно с правом пересдачи) 0,37 - 0,2 F (неудовлетворительно, необходимо повторить курс) 0,19 - 0

Васенев Ю.Б.21 СПАСИБО ЗА ВНИМАНИЕ