Многомерное ранжирование как методология сбалансированной оценки исследовательской, образовательной и международной деятельности университетов Ольга Перфильева эксперт НФПК, директора Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» гг. Российско-британский семинар «Оценка эффективности деятельности вузов и их международное позиционирование» Санкт-Петербург, 28 февраля 2012 г.

2 Многообразие методологий ранжирования университетов

3 Одномерные ранжирования университетов Преобладают в системе международных подходов к оценке качества деятельности университетов Удовлетворяют запросам основных потребителей услуг высшего образования (студенты, родители, органы управления высшим образованием) Предоставляют удобный и дружелюбный для пользователей услуг высшего образования способ сравнения университетов на внутристрановом, международном и глобальном уровнях Являются инструментом влияния и конкурентоспособности университетов в национальном и международном пространстве высшего образования Являются источником для бенчмаркинга в сфере высшего образования

4 Одномерные ранжирования университетов Используют в основном индикаторы, оценивающие значение и влияние исследований Опираются на единый агрегированный показатель, который не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) Набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности Не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов Представляют собой упрощенную картину сложной реальности

5 Глобальные одномерные ранжирования несбалансированность показателей Смешение в сторону оценки академической репутации

6 Глобальные одномерные ранжирования несбалансированность показателей Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка по вопросам преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Соотношение присужденных докторских степеней к бакалавриату – 2,25% Репутационная оценка по вопросам научно- исследовательской деятельности – 18% Доход от исследований – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно- исследовательс кой деятельности, в совокупности с индикатором цитирования: 60%

7 Источник: QS TopUniversities. URL: rankings/2011 Источник: THE World Universities Rankings URL: /top-400.html

8 Глобальные одномерные ранжирования основные проблемы Проблема надежности: Опора на репутационные исследования определяет недоверие к процедурам проведения глобальных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Использование некоторых показателей вызывает сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации занижены и не обоснованы, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня» Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющих высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге

9 Развитие систем ранжирования университетов Эгалитаризм массификация Элитизм Высокое качество Обеспечение качества Подотчетность Ранжирование Отражать регионально е разнообрази е Отражать институцион альное многообрази е Ориентирова ться на потребителе й услуг Гибридные формы Отражать разнообрази е предметных областей Два подходаСовременные системыНаправления будущего развития Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, P.14.

10 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года CHE предлагает четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. ) CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

11 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings Ранжирование Университетов Целевая группа: студенты и университеты Индикаторы: 1.Обучение и преподавание 2.Инфраструктура 3.Интернацинализация 4.Ориентация на рынок труда 5.Репутационная оценка ВУЗа 6.Исследовательская деятельность 7.Город и университет Целевая группа: исследователи, университеты, ведущие исследовательскую деятельность Индикаторы: 1.Внешнее финансирование за три года. 2.Публикации 3.Изобретения/патент ы 4.Присуждение степеней Целевая группа: соискатели магистерской и докторской степени Индикаторы: 1.Библиометрический критерий отбора 2.Наличие выдающихся ученых (лауреаты Нобелевской премии, прими Филдса, премия Кёрбера) 3.Количество проектов по программе Мари Кюри 4.Студенческая мобильность 5.Преподавательская мобильность 6.Участие в программе Эрасмус Мундус 7.Получение грантов Европейского Совета Целевая группа: студенты программ профессионального бакалавриата, работодатели, учебные заведения Индикаторы: 1.Практико- ориентированные навыки 2.Соцальные компетенции 3.Практический опыт работы 4.Интернационализация Ранжирование исследовательских программ Ранжирование программ для магистров и докторов Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда

12 The СНЕ University Ranking The CHE University Ranking впервые опубликован в 1998 году Рейтинг включает информацию об учебных программах, качестве обучении, оборудовании и инфраструктуре, научных исследованиях и репутации вуза Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) Целевые группы: Абитуриенты, родители и студенты ВУЗы Рейтинг составляется по 37 предметам, что соответствует ¾ всех направлений Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT

13 The СНЕ University Ranking: Методология Рейтинг не представляется в единственном агрегированном виде, а имеет модули, которые могут настраиваться по запросам пользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching) Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) Сбор данных осуществляется посредством: анкетирования административного персонала университетов, преподавательского состава и студентов Библиометрических данных с использованием базы данных Science Citation Index Включает оценку условий обучения студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза Для определения группы учитываются особенности разброса оценок

14 The СНЕ University Ranking: Источник: CHE University Ranking 2011/12. URL:

15 Региональные/ национальные многомерные ранжирования The СНЕ Rankings: основные проблемы Проблема сбора и обработки данных: Собирается большое количество данных, что является трудностью как для университетов, так и для составителей рейтинга Проблема релевантности: ранжирования затрагивают не все предметные области Проблема географической представленности: часто в ранжированиях участвует ограниченное число стран (например, страны Евросоюза, или немецкоговорящие страны)

16 Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристика качества Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

17 Принципы и критерии качества современных международных систем ранжирования университетов Критерии оценки сильных и слабых сторон методологий рейтингования Берлинские принципы ранжирования высших учебных заведенийБерлинские принципы ранжирования высших учебных заведений Критерии оценки методологий рейтингования в соответствии с «Правилами аудита рейтингов (IREG Ranking Audit Rules)»Критерии оценки методологий рейтингования в соответствии с «Правилами аудита рейтингов (IREG Ranking Audit Rules)»

18 Критерии IREG и веса основных и стандартных критериев п/п КритерииВеса ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД 1.Цель ранжирования и (ключевые) целевые группы должны быть четко определены 2 2.Ранжирование должно отражать разнообразие институтов высшего образования 2 3.Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. 1 МЕТОДОЛОГИЯ 4.Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. 2 5.Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения 1 6.Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. 1

19 Критерии IREG и веса основных и стандартных критериев 7. Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований Базовая методика должна оставаться постоянной, насколько это возможно Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов 1

20 Критерии IREG и веса основных и стандартных критериев ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ 15.Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием 1 16.Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании 2 17.Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес 1 ОБЕСПЕЧЕНИЕ КАЧЕСТВА 18.При ранжировании необходимо обеспечить качество самих процедур ранжирования Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования 2 МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ180

21 Логическая рамка оценки методологий относительно критериев IREG Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

22 Степень соответствия методологий критериям IREG

23 Степень соответствия методологий глобальных рейтингов критериям IREG Надежность способа сбора данных Транспаре нтность рейтинга Интерактивность Надежность и релевантность показателей Shanghai THES US News Leiden Глобальные рейтинги

24 Степень соответствия методологий глобальных рейтингов критериям IREG Надежность способа сбора данных Транспаре нтность рейтинга Интерактивность Надежность и релевантность показателей QS Глобальный рейтинг QS

25 Степень соответствия методологий CHE критериям IREG Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей U-Multirank CHE University Многомерные ранжирования

26 Основные задачи разрабатываемой методологии ранжирования вузов Методология ранжирования должна: 1. служить инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ; 2. служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов; 3.содействовать повышению конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; 4.способствовать развитию системы высшего образования России; 5. вносить вклад в повышение качества деятельности вузов;

27 Основные принципы разрабатываемой методологии ранжирования вузов 6.Учитывать имеющийся опыт и достижения российских вузов в международных рейтингах, их сильные стороны построения; 7.Учитывать зарубежный и российский опыт ранжирований и рейтингования 8.Обеспечить прагматичный подход к выработке методологии ранжирования российских вузов, при которой данные по индикаторам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий ранжирование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах; 9.Обеспечить широкое экспертное и общественное обсуждение на разных этапах разработки и апробации 10.Создать национальную методологию ранжирования, которая будет признаваться как источник надежных данных для глобальных и региональных рейтингов.

28 Что сделано 1.Проведен сопоставительный анализ зарубежных и российских методологий ранжирования. 2.Проведена экспертная оценка зарубежных методологий ранжирования относительно критериев аудита качества построения ранжирований Международной экспертной группы IREG. 3.Выявлены количественные индикаторы оценки качества работы вузов на основании зарубежного и российского опыта построения ранжирований. 4.Проведена экспертная оценка количественных индикаторов с т.з. их значимости для задач развития ВО в РФ, надежности, доступности, релевантности и значимости для включения в модельную методологию ранжирования российских вузов. 5.Выявлены индикаторы пяти направлений деятельности вузов (научно- исследовательская деятельности, обучение/преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) для включения в модельную методологию, в числе которых: перечень индикаторов согласованных и одобренных экспертной группой; перечень дополнительных индикаторов, требующих дополнительной экспертной оценки и согласования.

29 Научно-исследовательская деятельность Индикаторы, согласованные и одобренные экспертной группой проекта 1. Доля затрат на исследования от общих расходов вуза в предыдущем финансовом году 2. Доля ППС с ученой степенью кандидата и доктора наук (эквивалент полной занятости) на текущий учебный год 3. Количество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ) 4. Количество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) 5. Количество цитирований на одну статью 6. Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области 7. Количество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) 8. Количество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ) 9. Доля доходов вуза от научных исследований - в том числе фундаментальных - в том числе прикладных в предыдущем финансовом году 10. Количество выигранных вузом грантов /сумма выигранных вузом грантов (РГНФ, РФФИ, Фонд Бортника) 11. Доля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда, от общего количества бакалавров очной формы обучения в предыдущем учебном году

30 Обучение/преподавание Индикаторы, согласованные и одобренные экспертной группой проекта: 1. Затраты на оборудование и инфраструктуру (для обеспечения обучения) в предыдущем учебном году 2. Доля образовательных программ, прошедших международную аккредитацию (аккредитацию должно осуществлять агентство с международно-признанной репутацией) 3. Доля выпускников, трудоустроившихся после окончания университета в течение 1 года по специальности/направлению обучения 4. Доля преподавателей (эквивалент полной занятости), являющихся действительными членами и членами-корреспондентами Академии наук РФ 5. Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году 6. Доля абитуриентов – победителей Всероссийской олимпиады школьников в предыдущем учебном году 7. Доля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от всей численности студентов вуза в предыдущем учебном году 8. Доля выпускников, поступивших на программы аспирантуры 9. Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата 10. Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности приема студентов магистратуры 11. Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина)

31 Международная деятельность Индикаторы, согласованные и одобренные экспертной группой проекта: 1. Доля иностранных студентов в общей численности студентов (эквивалент полной занятости) 2. Количество международных исследовательских грантов 3. Доля доходов из иностранных источников в общих доходах вуза (преподавание, научная деятельность, контракты с зарубежными предприятиями) в предыдущем финансовом году 4. Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году 5. Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года 6. Доля аспирантов прошедших стажировки в зарубежных университетах в течение предыдущего учебного года 7. Доля ППС (эквивалент полной занятости) приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года 8. Доля преподавателей (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов 9. Доля программ, разработанных совместно с зарубежными партнерами 10. Доля студентов, обучающихся по программам, разработанных совместно с зарубежными партнерами

32 Трансфер знаний Индикаторы, согласованные и одобренные экспертной группой проекта: 1. Доля внебюджетного финансирования в доходах вуза в том числе: - от образовательной деятельности - от научной деятельности в предыдущем финансовом году 2. Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности 3. Доход от продажи продуктов интеллектуальной собственности в течение предыдущего финансового года 4. Число образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года 5. Количество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение предыдущего учебного года

33 Взаимодействие с регионом/отраслью Индикаторы, согласованные и одобренные экспертной группой проекта 1. Доля доходов из местных/региональных источников/отрасли в предыдущем финансовом году 2. Доля студентов, участвующих в стажировках, в региональных организациях/отрасли в предыдущем учебном году 3. Количество контрактов на исследования, заключенные с региональными партнерами в предыдущем финансовом году

34 Характеристика выборочной совокупности для проведения апробации модельной методологии ранжирования Объем выборки – около 140 вузов 4 группы вузов: МГУ и СПбГУ Ведущие университеты (9 ФУ+29 НИУ+55 вузов по Программе МОН поддержки программ стратегического развития) 46 Вузов-участников проекта «Лучшие образовательные программы инновационной России», включая: - 13 – технические (11 отраслевые) - 7 – экономические/юридические - 6 – медицинские - 5 – классические - 4 – негосударственные - 4 – сельско-хозяйственные - 3 – педагогические - 2 – культуры и искусства - 2 –физкультуры и спорта Организационно-правовая форма: государственные, негосударственные

35 Дальнейшие шаги Согласовать перечень индикаторов для построения многомерного ранжирования российских вузов Придать веса индикаторам, включенным в модельную методологию ранжирования российских вузов Определить возможность использования выделенного набора индикаторов для других целей в будущем, с другими весами (например, корректировка весов в зависимости от категорий вузов) Определить список вузов – участников апробации модельной методологии ранжирования, выбранных в зависимости от категории

36 Спасибо за внимание! Перфильева Ольга Владимировна Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ