Разработка модельной методологии рейтингования российских университетов: результаты первого этапа проекта Суслова Дарья Владимировна Национальный фонд подготовки кадров Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» гг.

2 Задачи проекта: 1. Проведение сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений. 2. Сравнительный анализ методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике. 3. Разработка методологии рейтингования образовательных учреждений профессионального образования. 4. Апробация методологии рейтингования образовательных учреждений профессионального образования. 5. Общественное обсуждение методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции, а также организация консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов

3 Глобальные рейтинги Критика не снижает влияния используют в основном индикаторы, оценивающие значение и влияние исследований единый агрегированный показатель не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности ориентированы на фундаментальные исследования не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов рейтинги представляют собой упрощенную картину сложной реальности

4 Основные принципы М етодология должна: 1. служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных или зарубежных вузов 2. инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ 3. вносить вклад в повышение качества деятельности и конкурентоспособности вузов

5 Основные принципы При формировании подходов к построению методологии рейтингования учитывать: 1. имеющийся опыт и достижения российских вузов в этом направлении, поскольку многие ведущие университеты успешно используют методологию некоторых рейтингов; 2. задачи повышения конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; 3. ожидаемое расширение числа российских вузов, участвующих в глобальных рейтингах; 4. необходимость прагматичного подхода к выработке методологии рейтингования российских вузов, при которой данные по параметрам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий рейтингование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах; 5. возможность создания национальной методологии рейтингования, которая будет являться источником надежных данных для глобальных и региональных рейтингов; 6. преимущества использования количественных индикаторов 7. сильные стороны построения глобальных рейтингов.

6 Тип методологии Характерные отличияКакие из рассматриваемых методологий относятся РейтингУпорядочивает Присваивает оценки сравнивает и выстраивает университеты в иерархическом порядке от лучшего к худшему / от большего к меньшему в соответствии со значением агрегированного/ных показателя/лей Shanghai, THES, QS, US News, Leiden, Times, Guardian, Guardian Sp, Time Good Education Guide, Forbes, Financial Times, Bloomberg Business Week, The Economist Ранжирование (гибрид) Оценивает Сравнивает Указывает на разнообразие Не использует агрегированные показатели Но также предусматривает построение упорядоченных таблиц (иерархии) U-multirank, CHE University, CHE Excellence, CHE Emloyment, CHE Research, Indicators for Mapping and Profiling Internationalization КлассификацияГруппирует объекты на основании схожести характеристик Описывает Учитывает различные параметры деятельности Может производиться ранжирование внутри выделенных классов или групп U-Map, Carnegie Анализируемые методологии рейтингования

7 Место российских вузов в глобальных рейтингах QSShanghaiTHESLeidenUS News and QS В 2011 году список российских университетов был представлен: - МГУ место - СПбГУ место - Государственным техническим университетов им. Баумана место - Московским государственными институтом международных отношений (университетом) место - Новосибирским государственным университетом место - Томским государственным университетом место - Уральским федеральным университетом место - Национальным исследовательским университетом – Высшей школой экономики Томским политехническим университетом место - Российским университетом дружбы народов место В рейтинге 2010 года: МГУ – 74 место Санкт Петербургский университет – 301 – 400 место. Россия представлена в рейтинге двумя университетами В г. рейтинге МГУ занимал место, СПбГУ – место. В рейтинге 2010 года Россия Представле на МГУ и СПбГУ. МГУ на 70 месте, СПГУ – на 332 месте. МГУ – 93 место (в мировом рейтинге, из 400 университетов) Санкт Петербургский университет – 210 место (в мировом рейтинге, из 400 университетов) Новосибирский государственный университет – 375 место (в мировом рейтинге, из 400 университетов) МГУ – 38 место (в рейтинге европейских университетов, из 50 университетов)

8 Методология сопоставительного анализа 3 уровня анализа 1 уровень: Сопоставление методологий рейтингования по общим параметрам, выделенным для анализа 2 уровень: Сопоставление методологий рейтингования с Берлинским принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов» (приняты в мае 2011 международной экспертной группой по определению рейтингов университетов IREG совместно с ЮНЕСКО, ОЭСР и ВБ) 3 уровень: Соотнесение результатов сопоставительного анализа 1 и 2 уровней с возможностями, потребностями и задачами развития системы ВО в РФ

9 1 уровень: оценка относительно общих параметров 1.Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов, или ориентирован на оценку отдельных характеристик). 2.Целевые группы 3.Предметные области рейтинга ( как структурируются предметные области). 7.Регионы охвата и/или распространения (в зависимости от типа рейтинга). 8. Уровни образования, которые затрагивает рейтинг (бакалавриат/специалитет, магистратура и аспирантура). 11.Методология построения рейтинга: 12.- ключевые принципы, лежащие в основе рейтингования; 13.- система показателей, индикаторы, веса; 14.- инструментарий (ключевые процедуры сбора данных, например, использование вторичных/готовых/ данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью); 15.- обработка полученных данных; 16.- трансформация полученных данных в рейтинг (квантификация полученных данных, измерение и придание полученному результату численного значения). 12.Результат рейтингования (на что выходит в итоге: один рейтинг или набор рейтингов, кластеры университетов, ранжированный список университетов). 13.Ключевые проблемы, связанные с использованием показателей (критика, дискуссионность). 14.Репутация рейтинга (степень доверия к рейтингу).

10 2й уровень анализа: критерии IREG и веса основных и стандартных критериев п/п КритерииВеса ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД 1.Цель ранжирования и (ключевые) целевые группы должны быть четко определены 2 2.Ранжирование должно отражать разнообразие институтов высшего образования 2 3.Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. 1 МЕТОДОЛОГИЯ 4.Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. 2 5.Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения 1 6.Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. 1

11 2й уровень анализа: критерии IREG и веса основных и стандартных критериев 7.Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными. 2 8.Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования. 2 9.Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований Базовая методика должна оставаться постоянной, насколько это возможно Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений. 1

12 2й уровень анализа: критерии IREG и веса основных и стандартных критериев ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ 15.Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием 1 16.Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании 2 17.Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес 1 ОБЕСПЕЧЕНИЕ КАЧЕСТВА 18.При ранжировании необходимо обеспечить качество самих процедур ранжирования Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования 2 МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ180

13 Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

14 Степень соответствия методологий критериям IREG с учетом скорректированного среднего

15 Берлинские принципы ранжирования высших учебных заведений (20 мая 2006 г.) Рейтинги и таблицы лиг должны: А) Цели и задачи ранжирования: 1. Быть одним из ряда многообразных подходов к оценке затрат на высшее образование, процессов и результатов сферы высшего образования. 2. Ясно представлять задачи и целевую аудиторию. 3. Признавать разнообразие учебных заведений и принимать во внимание различие их миссий и задач. 4. Обеспечвать ясность спектра источников, которые представляют информацию для ранжирования, и индикаторов, полученных на основе каждого из ресурсов. 5. Учитывать лингвистический, культурный, экономический и исторический контекст системы высшего образования, проходящей ранжирование.

16 Берлинские принципы ранжирования высших учебных заведений (20 мая 2006 г.) Рейтинги и таблицы лиг должны: В) Разработка индикаторов и их весов : 6. Обеспечивать прозрачность используемой методологии составления рейтинга. 7. Выбирать индикаторы соответственно их релевантности и валидности. 8. Отдавать предпочтение по возможности показателям достигнутых результатов, а не исходным ресурсам. 9. Четко определять методы оценки различных индикаторов и по возможности ограничить изменения в них.

17 Берлинские принципы ранжирования высших учебных заведений (20 мая 2006 г.) Рейтинги и таблицы лиг должны: С) Сбор и обработка данных : 10. Обращать должное внимание на этические стандарты и рекомендации надлежащей практики, сформулированные в данных Принципах. 11. Использовать по возможности проверенные и уточненные данные. 12. Использовать данные, собранные в соответствии с установленной процедурой, применимые к сбору информации в рамках научных исследований. 13. Применять меры по обеспечению качества к самим процессам ранжирования. 14. Применять организационные методы, повышающие достоверность ранжирования.

18 Берлинские принципы ранжирования высших учебных заведений (20 мая 2006 г.) Рейтинги и таблицы лиг должны: D) Презентация результатов ранжирования : 15. Обеспечить потребителей ясным пониманием всех факторов, задействованных при составлении рейтинга, и предложить им выбор формы презентации результатов рейтингов. 16. Результаты ранжирования должны быть составлены и опубликованы таким образом, чтобы исключить или минимизировать ошибки в представляемых данных, а также обеспечивать возможность исправления допущенных ошибок.

19 3 уровень анализа: оценка относительно задач развития национальной системы высшего образования 3 фактора: 1) Ограничения анализируемых методологий (ресурсоемкость, недостаточность сопоставимых данных по деятельности различных университетов, сложность применяемых индикаторов и процедур их сбора, сложность обеспечения объективной оценки при использовании данных опросов, сложности обработки больших объемов данных, сложность соблюдения надежности и качества процедур сбора данных при больших объемах) 2) Необходимость учета объективных условий, приоритетов и задач развития системы ВО в РФ (повышение конкурентоспособности вузов на международном рынке образовательных услуг, повышение экспорта образовательных услуг) 3) Преимущества методологий построения глобальных рейтингов

20 Анализ наиболее часто используемых количественных параметров для модельной методологии рейтингования Выявление схожих/повторяющихся/наиболее часто используемых и значимых параметров; Анализ с точки зрения недостатков и доступности при сборе Распределение количественных показателей по направлениям; Анализ весов каждого из них в различных методологиях; Анализ доступности и возможности сбора данных; Критическая оценка по критериям: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG

21 Логическая рамка для оценки применимости выделенных количественных показателей для российской методологии рейтингования вузов ПараметрИндикатор Значимость с т.з. задач развития системы ВО в РФ НадежностьДоступностьРелевантность Соответствие критериям IREG ВесВес Научная деятельность. Input indicators Научная деятельность. Output indicators Обучение/преподавание. Input indicators Обучение/преподавание. Output indicators Международная направленность. Input indicators Международная направленность. Output indicators Трудоустройство/заработная плата Обмен знаниями. Input indicators Обмен знаниями. Output indicators Взаимодействие с регионом. Input indicators Взаимодействие с регионом. Output indicators Гендерный баланс Профиль студента

22 Пример: список индикаторов результатов деятельности вузов (output indicators): Научная деятельность: Количество цитирований на одного ППС Количество цитирований на одну статью Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области Количество часто цитируемых публикаций Общее количество публикаций Количество публикаций в Nature and Science Количество публикаций в SSCI Количество публикаций на одного ППС Количество публикаций в 40 обозначенных специализированных журналах Количество профессиональных публикаций MNCS1 = S (СPP/FCSm) – показатель цитирования, нормализованный относительно средней Доля дохода вуза от исследований Процент доходов от научных исследований, полученных на конкурсной основе Соотношение числа защитившихся исследователей и профессоров к количеству завершенных докторских диссертаций Количество международных наград и призов Количество выпускников с докторской степенью за последние 3 года Количество научных продуктов, отличных от публикаций, рецензируемых коллегами

23 Список индикаторов результатов деятельности вузов (output indicators) продолжение: Обучение/преподавание: Количество выпускников – нобелевских лауреатов и лауреатов премии Филдса ППС университета, которым были присуждены Нобелевская премия и премия Филдса Количество присуждаемых степеней PhD в расчете на одного ППС Соотношение присужденных докторских степеней к количеству присужденных степеней бакалавра Доход на одного ППС Процент студентов, закончивших университет с дипломом первого или второго класса (диплом с отличием) Процент студентов, завершивших обучение Доля студентов, закончивших четырехлетний курс обучения Доля студентов, перешедших на второй курс Количество студентов получивших национальные премии Упоминание выпускников в Who is Who Количество выпускников директоров компаний по спискам Forbes (200 мировых компаний лидеров) Относительная доля нетрудоустроенных выпускников Процент выпуска в рамках сроков обучения, стандартных для программы обучения

24 Список индикаторов результатов деятельности вузов (output indicators) продолжение: Международная деятельность: Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год Количество совместных международных исследовательских публикаций Доля иностранных выпускников-докторантов Количество полученных международных исследовательских грантов Доход из иностранных источников финансирования (преподавание, научная деятельность, контракты с зарубежными предприятиями) Обмен знаниями: Доход вуза от взаимодействия с бизнесом и промышленностью Доход от деятельности по обмену знаниями Количество зарегистрированных патентов Количество совместных публикаций вузов и предприятий Количество предлагаемых курсов повышения квалификации в расчете на одного ППС Количество малых инновационных предприятий на одного ППС Количество совместных с предприятиями патентов Количество культурных мероприятий (выставок, конференций, концертов), организованных университетом

25 Список индикаторов результатов деятельности вузов (output indicators) продолжение: Взаимодействие с регионом: Доля доходов из местных/региональных источников Процент выпускников, работающих в регионе Количество контрактов на исследования, заключенные с региональными партнерами. Количество совместных с регионом исследовательских публикаций Процент студентов, участвующих в стажировках в региональных организациях Количество дипломных работ, разработанных совместно с регионом Трудоустройство: Процент трудоустроившихся студентов, в течение 6 месяцев после окончания университета Процент выпускников, нашедших работу через центры трудоустройства выпускников Зарплата выпускников на момент окончания университета Рост заработной платы выпускников до и после окончания программы обучения

26 Следующие шаги: Оценить наиболее значимые количественные индикаторы с точки зрения их важности и соответствия задачам развития ВО в РФ Оценить наиболее значимые количественные индикаторы относительно их надежности, доступности, релевантности, соответствия критериям IREG Обработать и проанализировать полученные оценки Сформировать перечень количественных параметров на основе полученных экспертных оценок Выделить ключевые элементы для модельной методологии рейтингования вузов (направления деятельности, параметры, индикаторы) Вынести предложения по ключевым элементам модельной методологии рейтингования вузов на экспертные и общественные обсуждения

27 Спасибо за внимание! Суслова Д.В.