Критический обзор методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике Перфильева Ольга Владимировна (НИУ ВШЭ) Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования»

2 Глобальные рейтинги Критика не снижает влияния используют в основном индикаторы, оценивающие значение и влияние исследований единый агрегированный показатель не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности ориентированы на фундаментальные исследования не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов рейтинги представляют собой упрощенную картину сложной реальности

3 Методология сопоставительного анализа 3 уровня анализа 1 уровень: Сопоставление методологий рейтингования по общим параметрам, выделенным для анализа 2 уровень: Сопоставление методологий рейтингования с Берлинским принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов» (относительно критериев аудита рейтингов) 3 уровень: Соотнесение результатов сопоставительного анализа 1 и 2 уровней с возможностями, потребностями и задачами развития системы ВО в РФ (относительно задач развития национальной системы ВО)

4 Тип методологии Характерные отличияКакие из рассматриваемых методологий относятся РейтингУпорядочивает Присваивает оценки сравнивает и выстраивает университеты в иерархическом порядке от лучшего к худшему / от большего к меньшему в соответствии со значением агрегированного/ных показателя/лей Shanghai, THES, QS, US News, Leiden, Times, Guardian, Guardian Sp, Forbes, Financial Times, Bloomberg Business Week, The Economist Ранжирование (гибрид) Оценивает Сравнивает Указывает на разнообразие Не использует агрегированные показатели Но также предусматривает построение упорядоченных таблиц (иерархии) U-multirank, CHE University, CHE Excellence, CHE Emloyment, CHE Research КлассификацияГруппирует объекты на основании схожести характеристик Описывает Учитывает различные параметры деятельности Может производиться ранжирование внутри выделенных классов или групп U-Map, Carnegie Анализируемые методологии рейтингования (25)

5 The Academic Ranking of World Universities Автор Center for World-Class Universities (CWCU), Graduate School of Education (formerly the Institute of Higher Education) of Shanghai Jiao Tong University, China Публикуется с 2003 года Специальные рейтинги по областям знаний публикует с 2007 Области знаний: естественные науки и математика, инженерные специальности, медицина и фармакология, сельскохозяйственные специальности, социальные исследования Предметы: математика, физика, химия, компьютерные технологии, экономика и бизнес

6 Академическая производительность (Per capita) 10% Качество образования (Quality of Education) 10% Качество профессорско-преподавательского состава (Quality of Faculty) 40% Результаты исследований (Research Output) 40% The Academic Ranking of World Universities: доли индикаторов * Источник: Academic Ranking of World Universities

7 The Academic Ranking of World Universities: рейтинг 2011 Национальный рейтинг УниверситетГлобальный рейтинг 1МГУ77 2СПбГУ

8 Times Higher Education Supplement (THES) Публикуется с 2004 г. В сотрудничестве с Quacquarelli Symonds до 2009 В сотрудничестве с Thomson Reutors c 2010 Области знаний: инженерные и технические науки, науки о жизни, медицина и здравоохранение, физика, социальные науки, искусство и гуманитарные науки Условия: университеты соглашаются на участие в рейтинге, университеты проверяют собранные данные

9 Интернационализация 5 % Исследования: объем, доход, Репутация 30% Доход от инноваций 2,5% Уровень цитирования 32,5% Условия осуществления образовательного процесса 30 % Times Higher Education Supplement (THES) : доли индикаторов * Источник: Times Higher Education Supplement (THES).

10 Times Higher Education Supplement (THES) : рейтинги 2010 и 2011гг. В рейтинге 200 лучших университетов – российских университетов нет В рейтинге 2011 г. представлено 400 лучших университетов. Российские университеты - МГУ (276) и СПбГУ ( )

11 Worlds Best Universities Rankings - U.S. News and World Report Публикуется в сотрудничестве с Quacquarelli Symonds c 2008 г. Области знаний: инженерные и технические науки, науки о жизни и медицина, естественные науки и физика, социальные науки, искусство и гуманитарные науки

12 Worlds Best Universities Rankings - U.S. News and World Report: индикаторы и веса ИндикаторПояснение Вес индикатора Оценки коллег По результатам экспертных оценок качества работ коллег. Для рейтинга 2010 г. Было использовано15,050 полученных в период % Оценки работодателя По результатам опросов работодателей. Для рейтинга 2010 г. было получено 5007 ответов работодателей в период % Соотношение количества студентов и преподавателей Данные национальных министерств, статистических агентств и самих вузов 20% Количество цитирований на одного ППС Используется Scopus20% Зарубежные преподаватели и исследователи процент зарубежных преподавателей и исследователей (полная занятость) 5% Зарубежные студенты процент зарубежных студентов (учащихся на полных программах обучения) 5%

13 Worlds Best Universities Rankings - U.S. News and World Report: рейтинг 2010 УниверситетМГУСПбГУ Новосибирский ГУ Место Общий балл 66,146,731 Оценки коллег Оценки работодателя Соотношение количества студентов и преподавателей Зарубежные преподаватели и исследователи933 Зарубежные студенты Количество цитирований на одного ППС 533

14 Guardian Ranking, Universities league table Рейтинги Британских университетов Публикуются Education Guardian Формируются Intelligent Metrix, независимой консультационной компанией Данные официальной статистики Агентства по статистике высшего образования (the Higher Education Statistics Agency (Hesa) и данные обзоров мнений студентов, публикуемые Советом по финансированию высшего образования Англии (Hefce)

15 The СНЕ University Ranking CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года The CHE University Ranking впервые опубликован в 1998 году Рейтинг включает информацию об учебных программах, качестве обучении, оборудовании и инфраструктуре, научных исследованиях и репутации вуза Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) Целевые группы: Абитуриенты, родители и студенты ВУЗы Рейтинг составляется по 35 предметам, что соответствует ¾ всех направлений Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT

16 The СНЕ University Ranking: Методология Рейтинг не представляется в единственном агрегированном виде, а имеет модули, которые могут настраиваться по запросам пользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching) Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) Сбор данных осуществляется посредством: анкетирования административного персонала университетов, преподавательского состава и студентов Библиометрических данных с использованием базы данных Science Citation Index Включает оценку условий обучения студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза Для определения группы учитываются особенности разброса оценок

17 Место российских вузов в глобальных рейтингах QSShanghaiTHESLeidenUS News and QS В 2011 году список российских университетов был представлен: - МГУ место - СПбГУ место - Государственным техническим университетов им. Баумана место - Московским государственными институтом международных отношений (университетом) место - Новосибирским государственным университетом место - Томским государственным университетом место - Уральским федеральным университетом место - Национальным исследовательским университетом – Высшей школой экономики Томским политехническим университетом место - Российским университетом дружбы народов место В рейтинге 2010 года: МГУ – 74 место Санкт- Петербур гский универси тет – 301 – 400 место. Россия представлена в рейтинге двумя университетами – МГУ и СПбГУ В г. рейтинге МГУ занимал место, СПбГУ – место. В рейтинге 2010 года Россия пред став лена МГУ и СПб ГУ. МГУ на 70 мест е, СПГ У – на 332 мест е. МГУ – 93 место (в мировом рейтинге, из 400 университетов) Санкт Петербургский университет – 210 место (в мировом рейтинге, из 400 университетов) Новосибирский государственный университет – 375 место (в мировом рейтинге, из 400 университетов) МГУ – 38 место (в рейтинге европейских университетов, из 50 университетов)

18 2й уровень анализа: оценка относительно критериев аудита рейтингов IREG Шкала оценки 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

19

20 Изменение положения методологий с учетом скорректированного среднего

21 Степень соответствия методологий критериям IREG с учетом скорректированного среднего

22 Соответствие методологий критериям IREG: распределение внутри групп

23 Соответствие методологий критериям IREG: распределение внутри групп

24 Соответствие методологий критериям IREG: распределение внутри групп

25 Соответствие методологий критериям IREG: распределение внутри групп

26 Соответствие методологий критериям IREG: распределение внутри групп

27 Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University) o Ресурсоемкость o Недостаточность сопоставимых данных по деятельности различных университетов o Сложность применяемых индикаторов и процедур их сбора o Сложность обеспечения объективной оценки при использовании данных опросов o Сложности обработки больших объемов данных o Сложность соблюдения надежности и качества процедур сбора данных при больших объемах

28 3 уровень анализа: оценка относительно задач развития национальной системы высшего образования Анализ наиболее часто используемых количественных параметров для модельной методологии рейтингования Выявление схожих/повторяющихся/наиболее часто используемых и значимых параметров; Анализ с точки зрения недостатков и доступности при сборе Распределение количественных показателей по направлениям; Анализ весов каждого из них в различных методологиях; Анализ доступности и возможности сбора данных; Критическая оценка по критериям: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG

29 Выделение количественных параметров модельной методологии рейтингования осуществляется с целью определить схожие/повторяющиеся/наиболее часто используемые и значимые параметры; позволяет выделить объективные показатели, используемые во всех методологиях рейтингования, и проанализировать их с точки зрения недостатков и доступности при сборе

30 Алгоритм распределение количественных показателей по направлениям; сведение всех количественных показателей по направлениям воедино для того, чтобы проследить схожесть параметров и проанализировать вес каждого из них в различных методологиях; определение частоты применения того или иного количественного показателя в качестве композитного/агрегированного, то есть его значимость и способность влиять на итоговую оценку; анализ доступности и возможности сбора данных при работе с тем или иным показателем в разных методологиях; критический взгляд на применение того или иного показателя для разных методологий рейтингования.

31 индикаторы результатов индикаторы ресурсов Научная деятельность. Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 1Количество цитирований на одного ППС 2 Количество цитирований на одну статью 3 Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области 4 Количество часто цитируемых публикаций 5P Количество публикаций 6 Количество публикаций в Nature and Science 7Количество публикаций в SSCI 8 Количество публикаций на одного ППС 9 Количество публикаций в 40 обозначенных специализированных журналах 10 Количество профессиональных публикаций 11Доля дохода вуза от исследований 12 Процент доходов от научных исследований, полученных на конкурсной основе 13 MNCS2 – S (СPP/FCSm) – показатель цитирования, нормализованный относительно средней 14 Индикатор брутто P * CPP/FCSm 15 Соотношение числа постдоков к количеству завершенных докторских диссертаций 16 Количество международных наград и призов 17 Количество выпускников с докторской степенью за последние 3 года 18 Количество научных продуктов, отличных от публикаций, рецензируемых коллегами 19Доля затрат на исследования от общих расходов вуза 20 Соотношение числа постдоков к штатным ППС 21Преподаватели с докторской степенью на факультете в процентах

32 индикаторы результатов индикаторы ресурсов Обучение/преподавание Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 22 Соотношение количества ППС и студентов 23 Соотношение принятых студентов к количеству ППС 24 Cоотношение преподавателей – студентов 25 Затраты на студента 26 Затраты на обрудование и инфраструктуру (для обеспечения обучения) 27 Расходы на преподавание 28 Процент штатных преподавателей с докторской степенью 29 Количество междисциплинарных программ 30Количество выпускников – нобелевских лауреатов и лауреатов премии Филдса 31 ППС университета, которым были присуждены Нобелевская премия и премия Филдса 32Количество присуждаемых степеней PhD в расчете на одного ППС 33 Соотношение присужденных докторских степеней к количеству присужденных степеней бакалавра 34 Доход на одного ППС 35 Процент студентов, закончивших университет с дипломом первого или второго класса (диплом с отличием) 36 Процент студентов, завершивших обучение 37 Доля студентов, закончивших четырехлетний курс обучения 38 Доля выпускников от числа поступивших студентов 39 Доля студентов, перешедших на второй курс 40Количество студентов получивших национальные премии

33 индикаторы результатов индикаторы ресурсов Обучение/преподавание Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 41 Упоминание выпускников в Who is Who 42 Количество выпускников директоров компаний по спискам Forbes (200 мировых компаний лидеров) 43 Относительная доля нетрудоустроенных выпускников 44 Процент выпуска в рамках сроков обучения, стандартных для программы обучения 45 Доля иностранных студентов в общей численности студентов 46 Доля иностранных абитуриентов от общего количества абитуриентов 47 Индикатор международной представленности студентов (по количеству студентов из различных регионов мира) 48 Доля иностранных ППС в общей численности ППС 49 Доля иностранных сотрудников 50 Доля программ на иностранных языках 51 Процент студентов, обучающихся на совместных международных программах 52 Доля иностранных студентов, приехавших в университет по программам обмена 53 Доля студентов университета, участвующих в программах обмена 54 Количество иностранных членов совета вуза

34 индикаторы результатов индикаторы ресурсов Международная направленность. Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 55 Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год 56 Количество совместных международных исследовательских публикаций 57 Доля иностранных выпускников-докторантов 58 Количество полученных международных исследовательских грантов 59 Доход из иностранных источников финансирования (преподавание, научная деятельность, контракты с зарубежными предприятиями) 60 Доля выпускников, трудоустроившихся по специальности или поступивших на программы постдипломного образования после окончания университета в течение 6 месяцев 61 Трудоустройство выпускников по истечению 3 месяцев с момента окончания обучения 62 Процент выпускников нашедших работу в течение трех месяцев после окончания обучения 63 Процент выпускников, нашедших работу через центры трудоустройства выпускников 64 Зарплата выпускников на настоящий момент 65 Рост заработной платы выпускников до и после окончания MBA, как процент от размера зарплаты до получения диплома MBA. 66 Изменение в размере заработной платы до и после MBA

35 индикаторы результатов индикаторы ресурсов Обмен знаниями Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 67 Соотношение единиц персонала офиса трансфера технологий к количеству ППС 68 Количество ППС с опытом работа вне вуза 69 Доход вуза от взаимодействия с бизнесом и промышленностью 70 Доход от деятельности по обмену знаниями 71 Количество зарегистрированных патентов 72 Количество публикаций, сделанных совместно вузом и предприятиятиями 73 Количество предлагаемых курсов повышения квалификации в расчете на одного ППС 74 Количество малых инновационных предприятий на одного ППС 75 Количество совместных с предприятиями патентов 76 Количество контрактов, заключенных с предприятиями 77 Количество культурных мероприятий (выставок, конференций, концертов), организованных университетом

36 индикаторы результатов индикаторы ресурсов Взаимодействие с регионом. Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 78 Количество студентов из данного региона, обучающихся на программах бакалавриата 79 Доля доходов из местных/региональных источников 80 Процент выпускников, работающих в регионе 81 Количество контрактов на исследования, заключенные с региональными партнерами. 82 Количество совместных с регионом исследовательских публикаций 83 Процент студентов, участвующих в стажировках, в региональных организациях 84 Количество дипломных работ, разработанных совместно с регионом

37 Профиль студента Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответстви е критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 88Количество поступивших студентов 89Количество студентов старше 30 лет 90Количество студентов, обучающихся дистанционно 91Количество студентов, обучающихся вечерне/очно-заочно Гендерный баланс Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию 0...1….2….3 0…1…2…3 85Количество обучающихся женщин 86Кол-во женщин, преподающих на факультете 87Количество женщин в совете

38 Следующие шаги: Оценить наиболее значимые количественные индикаторы с точки зрения их важности и соответствия задачам развития ВО в РФ Оценить наиболее значимые количественные индикаторы относительно их надежности, доступности, релевантности, соответствия критериям IREG Обработать и проанализировать полученные оценки Сформировать перечень количественных параметров на основе полученных экспертных оценок Выделить ключевые элементы для модельной методологии рейтингования вузов (цель, объект, направления деятельности, параметры, индикаторы) Вынести предложения по ключевым элементам модельной методологии рейтингования вузов на экспертные и общественные обсуждения С учетом результатов экспертных и общественных обсуждений предложить проект модельной методологии рейтингования вузов, включая доли различных направлений деятельности, содержание согласованных индикаторов, методы их сбора и веса Апробировать проект модельной методологии рейтингования вузов Провести общественные и экспертные обсуждения результатов апробации Провести аудит апробированной методологии международной экспертной группой по определению рейтингов университетов IREG

39 Приглашение к участию Выделить наиболее значимые количественные индикаторы внутри групп параметров Оценить наиболее значимые количественные индикаторы с точки зрения их важности и соответствия задачам развития ВО в РФ Оценить наиболее значимые количественные индикаторы относительно их надежности, доступности, релевантности, соответствия критериям IREG ( с использованием логической рамки для оценки выделенных показателей)

40 Спасибо за внимание! Перфильева Ольга Владимировна Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ