1 Ю.Б.Васенёв - канд. экон. наук Проект Типовой модели качества магистерских программ СПбГУ

2. Особенностью предлагаемой Типовой модели является учет не только качественных, (как в Модели совершенства Премии Минобразования) или не только количественных (как при мониторинге деятельности вузов и специальностей, проводимом Минобрнауки ежегодно), а тех и других видов показателей магистерских программ (МП).

3 Типовая модель качества МП должна : -позволять строить Модели качества МП на любом факультете по мере его готовности к этому; -давать возможность накапливать необходимый опыт, расширять или оптимизировать количество контролируемых характеристик (показателей) МП; -подготавливать факультет к более масштабному внедрению системы качества, как скоординированной совокупности требований к взаимосвязанным и взаимодействующим элементам учебного процесса. -ориентировать руководителей МП, коллективы преподавателей на поиск путей совершенствования МП.

В рамках пилотного проекта «Комплекс магистерских программ по направлению «Экономика»», реализованного в 2007 г. в СПбГУ по проекту: Инновационная образовательная среда в классическом университете разработана локальная система качества (ЛСК) магистерских программ, которая прошла испытание на трёх факультетах: экономическом, социологии ( уч.год) и психологии ( уч.год). Данная ЛСК может служить в качестве прообраза для создании Типовой модели оценки качества магистерских программ на факультетах СПбГУ или групп факультетов (физико- математических, естественно-научных, социально- экономических, гуманитарных). 4

5 В ЛСК магистерских программ каждая МП оценивается по 20 числовым показателям, в частности: к оличество магистрантов, побывавших на обучении в других вузах, количество учебно-методических пособий, изданных руководителем МП за последние годы, количество печатных листов и т.д., а также по 16 квалиметрическим (качественным) показателям для каждого из которого разработана 3-х балльная шкала оценок.

6 БЛАНК 1 Индивидуальная ведомость оценок эксперта ____________________________________ (должность, фамилия, инициалы эксперта) по квалиметрическим показателям Кi при определении качества магистерской программы (МП) _______________________________________________________ (наименование МП, код направления по ОКСО, факультет, ________________________________________________________ кафедра, номер приказа и дата, открытия МП, ________________________________________________________ ФИО, должность, ученое звание и ученая степень руководителя МП) Код показ.Название показателя Оценка Q 1 (0) Соответствие содержания учебного плана МП требованиям ГОС ВПО Q 2 (0) Наличие всех элементов учебного плана Q 3 (0) Количество ошибок в учебных планах МП. Наличие и диапазон дисциплин по выбору Q 4 (0) Наличие и качество программ учебных дисциплин и программ НИРМ (практик) Q 5 (0) Диапазон и качество научно-методических (учебно-методических) разработок по МП Q 6 (0) Характеристика научных руководителей магистрантов Q 7 (0) Использование современных технологий обучения Q 8 (0) Наличие на сайте требований к уровню подготовки магистра по направлению подготовки и данной МП Q 9 (0) Наличие на сайте учебного плана МП Q 10 (0) Наличие на сайте программ учебных дисциплин, НИРМ и практик Q 11 (0) Наличие на сайте информации об учебно-методическом обеспечении Q 12 (0) Наличие информации на сайте о кадровом обеспечении МП Q 13 (0) Наличие договоров с вузами о сотрудничестве Q 14 (0) Наличие согласованных учебных планов между вузами Q 15 (0) Формы выдаваемых документов по завершению обучения Q 16 (0) Наличие информации о трудоустройстве магистров Дата ___________________ Подпись эксперта ______________ Код МП:

7 Идентификатор показателя Q i (0) и его название Описание опорных точек шкал (k=1, 2, 3) ω i1 =1 – высокий уровень ω i2 =2 – достаточный уровень ω i3 =3 – недостаточный уровень, требуется улучшение Q 7 (0) Использование современных технологий обучения не менее 50% учебного времени используется на информационно-коммуникативные технологии (ИКТ), активные методы обучения (деловые игры, кейсы, круглые столы, конференции и т.п.) управление самостоятельной работой магистрантов осуществляется с использованием балльно- рейтинговой системы от 50 до 30% учебного времени отводится на современные технологии обучения; используется балльно-рейтинговая система оценки деятельности магистранта ИКТ и активные методы обучения составляют менее 30% учебного времени. Балльно- рейтинговая система не используется Q8(0) Наличие на сайте требований к уровню подготовки магистра по направлению подготовки и данной МП на портале (сайте) факультета имеются полные требования к уровню подготовки магистра приведены не все требования, или слабо структурированы, не явно выражены требования к уровню подготовки – отсутствуют Q 9 (0) Наличие на сайте учебного плана МП на портале (сайте) факультета приведен учебный план магистерской программы _____________ на портале (сайте) факультета учебный план магистерской программы отсутствует (оценка не предусмотрена) Q 10 (0) Наличие на сайте программ учебных дисциплин, НИРМ и практик на портале (сайте) факультета приведены все программы учебных дисциплин, НИРМ и практик МП приведена основная часть программ учебных дисциплин, НИРМ и практик на портале (сайте) факультета отсутствуют программы учебных дисциплин, НИРМ и практик Q 11 (0) Наличие на сайте информации об учебно- методическом обеспечении на портале (сайте) факультета присутствует полная информация об учебно- методическом обеспечении МП на портале (сайте) факультета приведена не полная информация об учебно-методическом обеспечении МП на портале (сайте) факультета отсутствует информация об учебно-методическом обеспечении МП Q 12 (0) Наличие информации на сайте о кадровом обеспечении МП на портале (сайте) факультета присутствует полная информация о кадровом обеспечении МП на портале (сайте) факультета приведена не полная информация о кадровом обеспечении МП на портале (сайте) факультета отсутствует информация о кадровом обеспечении МП ФРАГМЕНТ ОПИСАНИЯ ОПОРНЫХ ТОЧЕК ОРДИНАЛЬНЫХ ШКАЛ, ИСПОЛЬЗУЕМЫХ ЭКСПЕРТАМИ ДЛЯ ОЦЕНКИ КАЧЕСТВА МАГИСТЕРСКИХ ПРОГРАММ

8 Ведомость числовых показателей магистерской программы (МП ) БЛАНК 2 ___________________________________________________ (наименование МП, код направления по ОКСО, факультет, __________________________________________________ кафедра, номер приказа и дата открытия МП, ФИО, должность, __________________________________________________________ ученое звание и ученая степень руководителя МП) п/пНаименование числового показателяКод показ.Значение показателя 1.Количество магистрантов, побывавших на обучении в других вузах Q 17 (0) 2.Средняя продолжительность командировок (в неделях) Q 18 (0) 3.Количество преподавателей, проводящих занятия в других вузах Q 19 (0) 4.Средняя продолжительность командировок (в неделях) Q 20 (0) 5.Количество магистров, подготовленных руководителем МП всего Q 21 (0) 6. Количество магистров, подготовленных руководителем МП по данной МП (из числа Q 21 (0) Q 22 (0) 7.Количество учебников руководителя МП Q 23 (0) 8.Количество печатных листов учебников Q 24 (0) 9.Количество учебных пособий руководителя МП Q 25 (0) 10.Количество печатных листов учебных пособий Q 26 (0) 11.Количество монографий руководителя МП Q 27 (0) 12.Количество печатных листов монографий Q 28 (0) 13.Количество статей в изданиях ВАК руководителя МП Q 29 (0) 14.Количество печатных листов статей в изданиях ВАК Q 30 (0) 15.Количество статей в других изданиях руководителя МП Q 31 (0) 16.Количество печатных листов статей в других изданиях Q 32 (0) 17.Количество студентов на МП за последние 3 года всего Q 33 (0) 18. Количество студентов на МП из числа Q 33 (0) с базовой подготовкой (бакалавра, специалиста иного профиля ) Q 34 (0) 19.Количество студентов на МП из числа Q 33 (0) из других вузов Q 35 (0) 20.Количество студентов на МП из числа Q 33 (0) из иностранных государств Q 36 (0)

9 Рис. Граф структуры пирамидальной иерархии показателей качества магистерских программ

10 Покажем работу модели, на тестовом примере, включающем в себя 12 МП от 3-х гипотетичиских факультетов: Биологический факультет:Ботаника Микробиология Физиология растений Генетика Географический факультет:Ландшафтоведение Биогеография Биоэкология Климатология Математический факультет:Теоретическая механика Биомеханика Робототехника Компьютерная механика

11 Будем считать, что в систему введены исходные данные с бланков 1 и 2, а также экспертная информация о весах характеристик МП Очевидно, что в представлении экспертов разные показатели по разному влияют на качество МП. Поэтому эксперты должны иметь возможность вводить в подсистему свое видение о роли показателей в оценке качества МП. Это учитывается путем введения дополнительной ординарной и интервальной информации. В частности нечисловые ординальные (порядковые) данные о весовых коэффициентах задаются системой равенств и неравенств вида: и т.д.

12 С вводом дополнительной информации, как правило, увеличивается точность числовых оценок (стандартное отклонение уменьшается). Это закономерный, ожидаемый результат, т.к. ввод дополнительной информации о значимости отдельных исходных показателей позволяет уменьшить неопределенность при построении интегрального показателя качества МП. Дополнительная информация изменяет относительное положение МП в ранжированном ряде значений сводного показателя и зачастую значительно.

Диаграмма оценок показателя качества МП без учета дополнительной информации

Диаграмма оценок показателя качества МП с учетом дополнительной информации.

Сравнение диаграмм Числовая оценка показателя качества МП на обеих диаграммах обозначается в виде точки в середине вертикального отрезка, длина которого определяется двойной величиной оценки точности показателя качества МП. Все оцениваемые МП упорядочены в порядке убывания числовой оценки показателя качества МП. При сравнении вышеприведённых диаграмм видно, что с вводом дополнительной информации, во-первых, увеличилась точность числовых оценок, а во-вторых, изменилось относительное положение МП в ранжированном ряде оценок МП.

16 Климатология 0,8390,6280,733 Физиология растений 0,7410,6260,683 Биогеография 0,8070,5540,680 Компьютерная механика 0,7890,5670,678 Биомеханика 0,7740,5790,677 Биоэкология 0,7700,5760,673 Ботаника 0,7730,5500,661 Роботехника 0,7490,5590,654 Теоретическая механика 0,7470,5590,653 Генетика 0,6970,5000,598 Микробиология 0,7040,4860,595 Ландшафтоведение 0,6190,4060,512 Q1(3 ) 0,000 0,100 0,200 0,300 0,400 0,500 0,600 0,700 0,800 0,900 Климатология Физиология растений Биогеография Компьютерная ме... Биомеханика Биоэкология Ботаника Роботехника Теоретическая ме... Генетика Микробиология Ландшафтоведение По результатам работы ЛСК качества МП строятся таблицы, отсортированные по убыванию сводного показателя, и диаграммы типа «Биржевая» (показанные выше). РЕЗУЛЬТАТЫ ОЦЕНКИ МАГИСТЕРСКИХ ПРОГРАММ ЭСПЕРТАМИ

17 Микробиология 0,7230,5680,645 Роботехника 0,7240,4880,606 Генетика 0,6550,4900,572 Физиология растений 0,6150,4510,533 Биоэкология 0,6170,4430,530 Климатология 0,5600,4380,499 Ботаника 0,5830,3880,486 Ландшафтоведение 0,5150,3270,421 Биогеография 0,4540,3020,378 Теоретическая механика 0,4730,2800,376 Биомеханика 0,4220,2640,343 Компьютерная механика 0,4060,2670,337 КОЛИЧЕСТВЕННЫЕ ОЦЕНКИ МАГИСТЕРСКИХ ПРОГРАММ

18 Интегральные показатели качества МП Q1(4) ДиаграммаМАКСМИНСреднее Роботехника0,7110,5880,649 Теоретическая механика 0,6750,5500,613 Биогеография0,6820,5280,605 Биомеханика0,6680,5410,605 Микробиология0,6810,5210,601 Компьютерная механика 0,6560,5080,582 Климатология0,6480,5070,577 Биоэкология0,5870,4640,526 Физиология растений0,5620,4640,513 Ландшафтоведение0,5670,4440,506 Ботаника0,5650,4330,499 Генетика0,5560,4180,487

19 Из последней диаграммы можно сделать заключение, что по интегральным показателям с учетом точности полученных результатов доминирует группа из пяти первых МП(ср.оц.>0,6); в аутсайдерах – последние 2 МП (ср.оц.

20 Пример шкал абсолютных оценок и их взаимосвязь Российская оценкаОценка в рамках ЕСТS100-балльная шкала 5 (отлично)А (отлично)1 - 0,86 4 (хорошо) В (очень хорошо)0,85 - 0,75 С (хорошо)0,74 - 0,65 3 (удовлетворительно) D (удовлетворительно)0,64 - 0,50 E (посредственно)0,49 - 0,38 2(неудовлетворительн о) FX (неудовлетворительно с правом пересдачи) 0,37 - 0,2 F (неудовлетворительно, необходимо повторить курс) 0,19 - 0

Заключение Подход, положенный в основу построения Типовой модели качества МП СПбГУ, может быть использован при построении ЛСК других объектов учебного процесса: студентов (в т.ч. выпускников), преподавателей, кафедр, лабораторий, центров, управлений, факультетов, и др. и стать частью перспективной Системы контроля и обеспечения качества образовательного процесса СПбГУ. СПАСИБО ЗА ВНИМАНИЕ