Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования»: результаты 2011 года и следующие шаги Ларионова Марина Владимировна (НФПК) Перфильева Ольга Владимировна (НФПК) Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» гг.

2 I. О проекте Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» ( ) реализуется НФПК по заказу Министерства образования и науки РФ в рамках подмероприятия 10.1 «Разработка и апробация модели общественно- профессиональной аккредитации программ профобразования», мероприятия 10 «Создание условий для развития государственной и общественной оценки деятельности образовательных учреждений, общественно- профессиональной аккредитации образовательных программ» задачи 3 «Развитие системы оценки качества образования и востребованности образовательных услуг» Федеральной целевой программы развития образования на годы

3 Цель проекта Разработать и апробировать модельную методологию рейтингования образовательных учреждений профессионального образования в России на основе: методологии сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений экспертных оценок и обсуждений, широких общественных дискуссий апробации и оценки полученных результатов консультаций с Международной группой экспертов по определению рейтингов университетов IREG

4 Задачи проекта Анализ российских подходов (методологий и индикаторов) к оценке работы высших учебных заведений. Проведение сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений, их систематизация и выявление общих, неизменяемых параметров оценки деятельности вузов, а также переменных параметров, их сильных и слабых сторон. Сравнительный анализ методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике. Разработка методологии рейтингования образовательных учреждений профессионального образования. Апробация методологии рейтингования образовательных учреждений профессионального образования. Общественное обсуждение методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции, а также организация консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов. Доработка методологии рейтингования образовательных учреждений профессионального образования на основании результатов ее общественного обсуждения. Разработка рекомендаций по применению методологии рейтингования образовательных учреждений профессионального образования. Подготовка и проведение международной конференции по обсуждению методологии рейтингования образовательных учреждений профессионального образования и представления результатов проекта

5 Ключевые результаты проекта по годам Результаты сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике. Результаты сравнительного анализа методологий и параметров рейтингования, принятых в российской практике. Результаты сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике. Проект модельной методологии рейтингования образовательных учреждений профессионального образования. Результаты апробации методологии рейтингования образовательных учреждений профессионального образования. Результаты общественных обсуждений методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции. Результаты консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов. Доработанная методология рейтингования образовательных учреждений профессионального образования на основании результатов ее общественного обсуждения. Разработанная методология рейтингования образовательных учреждений профессионального образования в России Разработанные рекомендации по применению методологии рейтингования образовательных учреждений профессионального образования Результаты международной конференции по обсуждению методологии рейтингования образовательных учреждений профессионального образования

6 II. Общие подходы к методологии построения модельной методологии рейтингования высших учебных заведений Основные принципы методологии: 1. Методология должна служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов 2. инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ 3. вносить вклад в повышение качества деятельности и конкурентоспособности вузов 4. являться источником надежных данных для глобальных и региональных рейтингов

7 Основные принципы методологии (продолжение) При формировании подходов к построению методологии рейтингования следует учитывать: 1. имеющийся опыт и достижения российских вузов в этом направлении, поскольку многие ведущие университеты успешно используют методологию некоторых рейтингов; 2. задачи повышения конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; 3. ожидаемое расширение числа российских вузов, участвующих в глобальных рейтингах; 4. необходимость прагматичного подхода к выработке методологии рейтингования российских вузов, при которой данные по параметрам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий рейтингование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах; 5. возможность создания национальной методологии рейтингования, которая будет являться источником надежных данных для глобальных и региональных рейтингов; 6. преимущества использования количественных индикаторов 7. сильные стороны построения существующих рейтингов.

8 Методология сопоставительного анализа 3 уровня анализа 1 уровень: Сопоставление методологий рейтингования по общим параметрам, выделенным для анализа 2 уровень: Сопоставление методологий рейтингования с Берлинским принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов» (приняты в мае 2011 международной экспертной группой по определению рейтингов университетов IREG совместно с ЮНЕСКО, ОЭСР и ВБ) 3 уровень: Соотнесение результатов сопоставительного анализа 1 и 2 уровней с возможностями, потребностями и задачами развития системы ВО в РФ

9 1 уровень: оценка относительно общих параметров Принципы включения методологий рейтингования в анализ: o рейтинги, в которых принимают или планируют принимать участие российские университеты; o наиболее популярные международные рейтинги, участие в которых является «сигналом» конкурентоспособности университетов в международном образовательном пространстве; o международные и зарубежные рейтинги, методология которых доступна в открытом доступе, что должно обеспечить понимание прозрачности системы, релевантности индикаторов, и надежности полученных результатов.

10 Принципы включения методологий рейтингования в анализ (продолжение) возможность сопоставления с Берлинским принципам ранжирования высших учебных заведений, принятыми на конференции IREG-2 в Берлине в 2006 году; принятыми на конференции IREG-2 в Берлине в 2006 году возможность сопоставления с Критериями оценки методологий рейтингования «Правил аудита рейтингов» (IREG Ranking Audit Rules) возможность учета опыта разных стран; возможность включения в анализ различных по методологии подходов; возможность применения рейтинга для развития национальной системы высшего образования

11 Места российских вузов в глобальных рейтингах QSShanghaiTHELeidenUS News and World report Рейтинг 2011 (700 университетов) МГУ СПбГУ МГТУ им Баумана МГИМО Новосибирский государственный университет Томский государственный университет – Уральский федеральный университет – Высшая школа экономики – Томский политехнический государственный университет – Университет дружбы народов – Рейтинг 2011 (500 университетов) МГУ – 77 СПбГУ – 301 – 400 Рейтинг 2011 (400 университетов) MГУ – СПбГУ – Рейтинг 2011 (500 университетов) MГУ – 499 СПбГУ – 500 Рейтинг 2011 (400 университетов) МГУ – 112 СПбГУ – 251 МГТУ им Баумана – 379 MГИМО – 389 Новосибирский Государственный университет – 400

12 Типы анализируемых методологий (19)

13 Понятия и термины o Одномерное ранжирование отражает вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг. o Таблица лиг (рейтинг) – одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду. o Многомерное ранжирование не стремиться соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей. o Классификация – система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере van Vught F.A., Westerheijden D.F. Multidimensional Ranking: a new transparency tool for higher education and research // Higher Education Management and Policy Vol. 22/3.

14 Параметры анализа и оценки основных рейтингов 1. Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов, или ориентирован на оценку отдельных характеристик). 2. Целевые группы 3. Предметные области рейтинга ( как структурируются предметные области). 4. Регионы охвата и/или распространения (в зависимости от типа рейтинга). 5. Уровни образования, которые затрагивает рейтинг (бакалавриат/специалитет, магистратура и аспирантура). 6. Методология построения рейтинга: - ключевые принципы, лежащие в основе рейтингования; - система индикаторов, веса; - инструментарий (ключевые процедуры сбора данных, например, использование вторичных/готовых/ данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью); - обработка полученных данных; - трансформация полученных данных в рейтинг (квантификация полученных данных, измерение и придание полученному результату численного значения). 7. Результат рейтингования (на что выходит в итоге: один рейтинг или набор рейтингов, кластеры университетов, ранжированный список университетов). 8. Ключевые проблемы, связанные с использованием индикаторов (критика, дискуссионность). 9. Репутация рейтинга (степень доверия к рейтингу).

15 Глобальные одномерные ранжирования: несбалансированность показателей Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Доход на одного ППС – 2,25% Соотношение присужденных докторских степеней к бакалаврам – 2,25% Репутационная оценка научно- исследовательской деятельности – 18% Доход от исследований (взвешенный) – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно- исследовательс кой деятельности, в совокупности с индикатором цитирования: 60%

16 Глобальные одномерные ранжирования: несбалансированность показателей Смешение в сторону оценки академической репутации и качества преподавания: в совокупности 60%

17 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения

18 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения Национальный рейтинг Times

19 Национальные одномерные ранжирования: несбалансированность показателей? Рейтинг Times 2012 года: 1. University of Oxford 2. University of Cambridge 3. London School of Economics and Political Science 4. Imperial College, London 5. University College London Рейтинг Guardian 2012 года: 1. University of Cambridge 2. University of Oxford 3. St. Andrews University 4. London School of Economics and Political Science 5. University College London Среди лидеров рейтингов оказываются одни и те же университеты

20 Основные проблемы одномерных ранжирований Проблема надежности: Опора на репутационные оценки определяет недоверие к процедурам проведения глобальных, международных или общенациональных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Чаще используются индикаторы ресурсов, но не результатов деятельности вузов. Некоторые показатели вызывают сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации необоснованно занижены, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня». Процедура присвоения весов индикаторам часто критикуется экспертами за недостаточную научную обоснованность Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющим высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге Проблема информативности: одномерные ранжирования не оценивают всего многообразия вузов; из всех функций вузов чаще всего оцениваются только функции обучения/преподавания и научно-исследовательской деятельности. В результате потребитель получает ограниченную информацию о деятельности вузов

21 Развитие систем ранжирования университетов Эгалитаризм массификация Элитизм Высокое качество Обеспечение качества Подотчетность Рейтингование Отражать регионально е разнообрази е Отражать институцион альное многообрази е Ориентирова ться на потребителе й услуг Гибридные формы Отражать разнообрази е предметных областей Два подходаСовременные системыНаправления будущего развития Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, P.14.

22 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года CHE предлагает четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. ) CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

23 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings Ранжирование Университетов Целевая группа: студенты и университеты Индикаторы: 1.Обучение и преподавание 2.Инфраструктура 3.Интернацинализация 4.Ориентация на рынок труда 5.Репутационная оценка ВУЗа 6.Исследовательская деятельность 7.Город и университет Целевая группа: исследователи, университеты, ведущие исследовательскую деятельность Индикаторы: 1.Внешнее финансирование за три года. 2.Публикации 3.Изобретения/патент ы 4.Присуждение степеней Целевая группа: соискатели магистерской и докторской степени Индикаторы: 1.Библиометрический критерий 2.Наличие выдающихся ученых (лауреаты Нобелевской премии, прими Филдса, премия Кёрбера) 3.Количество проектов по программе Мари Кюри 4.Студенческая мобильность 5.Преподавательская мобильность 6.Участие в программе Эрасмус Мундус 7.Получение грантов Европейского Совета Целевая группа: студенты программ профессионального бакалавриата, работодатели, учебные заведения Индикаторы: 1.Практико- ориентированные навыки 2.Соцальные компетенции 3.Практический опыт работы 4.Интернационализация Ранжирование исследовательских программ Ранжирование программ для магистров и докторов Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда

24 The СНЕ University Ranking The CHE University Ranking впервые опубликован в 1998 году Рейтинг включает информацию об учебных программах, качестве обучении, оборудовании и инфраструктуре, научных исследованиях и репутации вуза Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) Целевые группы: Абитуриенты, родители и студенты ВУЗы Рейтинг составляется по 37 предметным областям, что соответствует ¾ всех направлений Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT

25 The СНЕ University Ranking: Методология Рейтинг не представляется в едином агрегированном виде, а имеет модули, которые могут настраиваться по запросам пользователя (Job market and career- orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching) Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) Сбор данных осуществляется посредством: анкетирования административного персонала университетов, преподавательского состава и студентов Библиометрических данных с использованием базы данных Science Citation Index Включает оценку условий обучения студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза Для определения группы учитываются особенности разброса оценок

26 The СНЕ University Ranking: Источник: CHE University Ranking 2011/12. URL:

27 Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристики качества Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

28 2й уровень: Критерии IREG и веса основных и стандартных критериев п/п КритерииВеса ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД 1.Цель ранжирования и (ключевые) целевые группы должны быть четко определены 2 2.Ранжирование должно отражать разнообразие институтов высшего образования 2 3.Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. 1 МЕТОДОЛОГИЯ 4.Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. 2 5.Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения 1 6.Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. 1

29 Критерии IREG и веса основных и стандартных критериев 7. Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований Базовая методика должна оставаться постоянной, насколько это возможно Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов 1

30 Критерии IREG и веса основных и стандартных критериев ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ 15.Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием 1 16.Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании 2 17.Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес 1 ОБЕСПЕЧЕНИЕ КАЧЕСТВА 18.При ранжировании необходимо обеспечить качество самих процедур ранжирования Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования 2 МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ180

31 Оценка методологий относительно критериев IREG Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

32

33 Оценка методологий относительно критериев IREG Изменение положения методологий с учетом скорректированного среднего

34 Степень соответствия методологий критериям IREG с учетом скорректированного среднего Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей Shanghai THE US News Leiden Глобальные рейтинги QS

35 Степень соответствия методологий критериям IREG с учетом скорректированного среднего Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей Guardian Guardian Sp Times 2 Forbes Национальные рейтинги

36 Степень соответствия методологий критериям IREG с учетом скорректированного среднего Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей U-Multirank CHE University Многомерные ранжирования

37 Степень соответствия методологий критериям IREG с учетом скорректированного среднего Надежность способа сбора данных Транспарентн ость рейтинга Интерактивность Надежность и релевантность показателей Carnegie U-Map Классификации

38 Степень соответствия методологий критериям IREG с учетом скорректированного среднего Специализированные рейтинги Надежность способа сбора данных Транспарентност ь рейтинга Интерактивность Надежность и релевантность показателей Economist Financial Times Business week

39 Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University) Ресурсоемкость Недостаточность сопоставимых данных по деятельности различных университетов Сложность применяемых индикаторов и процедур их сбора Сложность обеспечения объективной оценки при использовании данных опросов Сложности обработки больших объемов данных Сложность соблюдения надежности и качества процедур сбора данных при больших объемах Проблема охвата всех предметных областей

40 3 уровень: Оценка относительно задач развития национальной системы высшего образования Анализ наиболее часто используемых количественных индикаторов для модельной методологии ранжирования oВыявление схожих/повторяющихся/наиболее часто используемых и значимых индикаторов; oОценка на основе международного опыта использования индикаторов; oРаспределение количественных индикаторов по направлениям; oАнализ доступности и возможности сбора данных; oКритическая оценка по критериям: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG

41 Логическая рамка для оценки применимости выделенных индикаторов для российской методологии ранжирования вузов ПараметрИндикатор Значимость с т.з. задач развития системы ВО в РФ Надежность Доступнос ть Релевантност ь Соответствие критериям IREG Оценка значимости для включения в методологию Научная деятельность. Input indicators Научная деятельность. Output indicators Обучение/преподавание. Input indicators Обучение/преподавание. Output indicators Международная направленность. Input indicators Международная направленность. Output indicators Трудоустройство/заработная плата Обмен знаниями. Input indicators Обмен знаниями. Output indicators Взаимодействие с регионом. Input indicators Взаимодействие с регионом. Output indicators Гендерный баланс Профиль студента

42 Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки: Научная деятельность: Количество цитирований на одного ППС Количество цитирований на одну статью Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области Количество часто цитируемых публикаций Общее количество публикаций Количество публикаций в Nature and Science Количество публикаций в SSCI Количество публикаций на одного ППС Количество публикаций в 40 обозначенных специализированных журналах Количество профессиональных публикаций MNCS1 = S (СPP/FCSm) – показатель цитирования, нормализованный относительно средней Доля дохода вуза от исследований Процент доходов от научных исследований, полученных на конкурсной основе Соотношение числа защитившихся исследователей и профессоров к количеству завершенных докторских диссертаций Количество международных наград и призов Количество выпускников с докторской степенью за последние 3 года Количество научных продуктов, отличных от публикаций, рецензируемых коллегами

43 Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки (продолжение): Обучение/преподавание: Количество выпускников – нобелевских лауреатов и лауреатов премии Филдса ППС университета, которым были присуждены Нобелевская премия и премия Филдса Количество присуждаемых степеней PhD в расчете на одного ППС Соотношение присужденных докторских степеней к количеству присужденных степеней бакалавра Доход на одного ППС Процент студентов, закончивших университет с дипломом первого или второго класса (диплом с отличием) Процент студентов, завершивших обучение Доля студентов, закончивших четырехлетний курс обучения Доля студентов, перешедших на второй курс Количество студентов получивших национальные премии Упоминание выпускников в Who is Who Количество выпускников директоров компаний по спискам Forbes (200 мировых компаний лидеров) Относительная доля нетрудоустроенных выпускников Процент выпуска в рамках сроков обучения, стандартных для программы обучения

44 Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки (продолжение): Международная деятельность: Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год Количество совместных международных исследовательских публикаций Доля иностранных выпускников-докторантов Количество полученных международных исследовательских грантов Доход из иностранных источников финансирования (преподавание, научная деятельность, контракты с зарубежными предприятиями) Трансфер знаний: Доход вуза от взаимодействия с бизнесом и промышленностью Доход от деятельности по обмену знаниями Количество зарегистрированных патентов Количество совместных публикаций вузов и предприятий Количество предлагаемых курсов повышения квалификации в расчете на одного ППС Количество малых инновационных предприятий на одного ППС Количество совместных с предприятиями патентов Количество культурных мероприятий (выставок, конференций, концертов), организованных университетом

45 Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки (продолжение): Взаимодействие с регионом: Доля доходов из местных/региональных источников Процент выпускников, работающих в регионе Количество контрактов на исследования, заключенные с региональными партнерами. Количество совместных с регионом исследовательских публикаций Процент студентов, участвующих в стажировках в региональных организациях Количество дипломных работ, разработанных совместно с регионом Трудоустройство: Процент трудоустроившихся студентов, в течение 6 месяцев после окончания университета Процент выпускников, нашедших работу через центры трудоустройства выпускников Зарплата выпускников на момент окончания университета Рост заработной платы выпускников до и после окончания программы обучения

46 Процедура экспертной оценки индикаторов результатов деятельности вузов Цель: Оценить выявленные количественные индикаторы для модельной методологии ранжирования Определить ключевые количественные индикаторы для апробации модельной методологии ранжирования Процедура: Оценка относительно пяти критериев: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG 17 экспертов - представителей российских вузов, СМИ, кадровых агентств 3 раунда количественной и качественной оценки Результат: Перечень количественных индикаторов для модельной методологии Рекомендации по включению количественных индикаторов в модельную методологию ранжирования

47 4 группы индикаторов сформированы на основании экспертных оценок Группа A «Ядро» Индикаторы удовлетворяют критериям: значимости для развития системы высшего образования, релевантности для модельной методологии ранжирования надежности, доступности, релевантности Некоторые индикаторы были включены в Группу A на основании рекомендаций экспертов, несмотря на неполное соответствие всем обозначенным выше критериям Группа B Индикаторы удовлетворяют критериям: значимости для развития системы высшего образования релевантности для модельной методологии ранжирования Но не соответствуют критериям: надежности, доступности, релевантности Группа C Индикаторы не удовлетворяют критериям: значимости для развития системы высшего образования, релевантности для модельной методологии ранжирования надежности, доступности, релевантности Группа D Индикаторы, дополнительно предложены экспертами для включения в методологию ранжирования

48 Результаты экспертной оценки Индикаторы группы A Научно-исследовательская деятельность Индикатор Значимость с т.з. задач развития ВО в РФ НадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля затрат на исследования от общих расходов вуза2,382,132,502,632,50 Доля штатных ППС с учеными степенями (докторской или кандидатской)2,50 2,882,50 Количество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ)*2,631,752,632,25 Количество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Science)2,631,752,632,132,25 Количество цитирований на одну статью2,00 2,25 2,00 Нормализованный показатель цитирования с учетом предметной области2,25 2,38 Количество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science)2,382,002,752,502,38 Количество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ)*2,382,002,632,502,25 Доля доходов вуза от научных исследований2,502,132,252,502,63 Участие вуза в грантовых программах крупнейших российских грантодателей (РГНФ, РФФИ)*2,752,88 2,63

49 Результаты экспертной оценки Индикаторы группы A Научно-исследовательская деятельность

50 Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля студентов очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда 2,501,501,632,252,13 Результаты экспертной оценки Индикаторы группы В Научно-исследовательская деятельность

51 Результаты экспертной оценки Индикаторы группы A Обучение/преподавание Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Затраты на оборудование и инфраструктуру (для обеспечения обучения) 2,382,132,501,882,13 Доля образовательных программ, прошедших международную аккредитацию* 2,38 2,502,502,50

52 Результаты экспертной оценки Индикаторы группы В Обучение/преподавание

53 Результаты экспертной оценки Индикаторы группы D Обучение/преподавание Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда 1,501,001,131,381,50 Доля программ, на которые были приняты абитуриенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году 1,251,75 1,631,50 Доля абитуриентов – победителей Всероссийской олимпиады школьников 1,502,002,131,881,75 Доля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от общей численности студентов вуза 1,502,002,131,501,63 Доля выпускников, поступивших на программы аспирантуры 2,132,002,132,002,13 Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата 2,002,382,252,132,252,25 Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности студентов магистратуры 2,382,252,132,252,50 Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина) 1,632,00 1,50 Доля ППС (эквивалент полной занятости), приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года 1,881,751,882,002,25

54 Результаты экспертной оценки Индикаторы группы D Обучение/преподавание

55 Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля иностранных студентов в общей численности студентов2,502,002,382,632,38 Количество международных исследовательских грантов2,632,752,632,75 Доход из иностранных источников финансирования (преподавание, научная деятельность, контракты с зарубежными предприятиями)2,132,382,002,382,002,00 Результаты экспертной оценки Индикаторы группы A Международная деятельность

56 Результаты экспертной оценки Индикаторы группы В Международная деятельность Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля иностранных ППС в общей численности ППС 2,381,752,002,382,25 Доля СОП в общем количестве ОП 2,502,001,752,132,50

57 Результаты экспертной оценки Индикаторы группы D Международная деятельность ИндикаторНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году 2,001,751,631,751,88 Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года 2,00 2,13 2,38 Доля аспирантов, прошедших стажировки в зарубежных университетах в течение предыдущего учебного года 2,00 2,13 2,25 Доля ППС (эквивалент полной занятости), приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года 1,881,751,882,002,25 Доля ППС (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов 1,882,001,882,132,00 Доля программ, разработанных совместно с зарубежными партнерами 2,382,00 2,382,63 Доля студентов, обучающихся по программам, разработанным совместно с зарубежными партнерами 2,252,001,882,132,25

58 Результаты экспертной оценки Индикаторы группы D Международная деятельность

59 Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доход вуза от взаимодействия с бизнесом и промышленностью 2,382,002,132,632,50 Количество зарегистрированных патентов 2,502,382,252,632,38 Доля обучающихся по программам дополнительной подготовки и непрерывного образования от общей численности обучающихся 2,252,002,132,382,13 Результаты экспертной оценки Индикаторы группы A Трансфер знаний

60 Результаты экспертной оценки Индикаторы группы D Трансфер знаний Индикатор Значимость с т.з. задач развития ВО в РФ НадежностьДоступностьРелевантностьОценка значимости для модельной методологии Доход от продуктов интеллектуальной собственности 2,251,881,502,132,25 Число образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года 2,131,88 2,002,38 Количество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение 2,252,132,002,382,25

61 Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля доходов из местных/региональных источников 2,132,252,382,502,13 Доля студентов, участвующих в стажировках, в региональных организациях 2,132,002,252,382,002,00 Результаты экспертной оценки Индикаторы группы A Взаимодействие с регионом/отраслью

62 Результаты экспертной оценки Индикаторы группы В Взаимодействие с регионом/отраслью Индикатор Значимость с т.з. задач развития ВО в РФНадежностьДоступностьРелевантность Оценка значимости для модельной методологии Доля выпускников вуза, работающих (ищущих работу) в регионе 1,881,25 2,131,88 Количество контрактов на исследования, заключенные с региональными партнерами. 1,88 1,752,002,131,75

63 Перечень количественных индикаторов, полученных в результате экспертных оценок Научно-исследовательская деятельность oДоля затрат на исследования от общих расходов вуза в предыдущем финансовом году (группа A) oДоля ППС с ученой степенью кандидата или доктора наук (группа A) oКоличество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ) (группа A) oКоличество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Knowledge) (группа A) oКоличество цитирований на одну статью (группаA) oНормализованный показатель цитирования с учетом предметной области (группа A)

64 Перечень количественных индикаторов, полученных в результате экспертных оценок Научно-исследовательская деятельность oКоличество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) (группа A) oКоличество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ) (группа A) oДоля доходов вуза от научных исследований в предыдущем финансовом году (группа A), в том числе от: - фундаментальных исследований - прикладных исследований oКоличество выигранных вузом грантов /сумма выигранных вузом грантов (РГНФ, РФФИ, Фонд Бортника) в предыдущем финансовом году (группа A) oДоля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда, от общего количества бакалавров очной формы обучения в предыдущем учебном году (группа B)

65 Перечень количественных индикаторов, полученных в результате экспертных оценок Обучение/ преподавание oЗатраты на оборудование и инфраструктуру (для обеспечения обучения) в предыдущем учебном году (группа A) oДоля образовательных программ, прошедших международную аккредитацию (аккредитацию должно осуществлять агентство с международно-признанной репутацией) (группа A) oДоля программ, на которые были приняты студенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году (группа D) oДоля абитуриентов – победителей Всероссийской олимпиады школьников в предыдущем учебном году (группа D) oДоля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от всей численности студентов вуза в предыдущем финансовом году (группа D)

66 Перечень количественных индикаторов, полученных в результате экспертных оценок Обучение/ преподавание Доля выпускников, трудоустроившихся после окончания университета в течение 1 года по специальности/направлению обучения (группа B) Доля выпускников, поступивших на программы аспирантуры в предыдущем учебном году (группа D) Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата (группа D) Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности приема студентов магистратуры (группа D) Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина) (группа D) Доля преподавателей (эквивалент полной занятости), являющихся действительными членами и членами-корреспондентами Академии наук РФ (группа D)

67 Перечень количественных индикаторов, полученных в результате экспертных оценок Международная деятельность Доля иностранных студентов в общей численности студентов (эквивалент полной занятости) (группа A) Количество международных исследовательских грантов, полученных в предыдущем финансовом году (группа A) Доля доходов из иностранных источников в общих доходах вуза (преподавание, научная деятельность, контракты с зарубежными предприятиями) в предыдущем финансовом году (группа A) Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году (группа D) Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года (группа D) Доля аспирантов прошедших стажировки в зарубежных университетах в течение предыдущего учебного года (группа D)

68 Перечень количественных индикаторов, полученных в результате экспертных оценок Международная деятельность Доля ППС (эквивалент полной занятости) приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года (группа D) Доля преподавателей (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов (группа D) Доля программ, разработанных совместно с зарубежными партнерами (группа D) Доля студентов, обучающихся по программам, разработанных совместно с зарубежными партнерами (группа D)

69 Перечень количественных индикаторов, полученных в результате экспертных оценок Трансфер знаний oДоля внебюджетного финансирования в доходах вуза в предыдущем финансовом году (группа A), в том числе: - от образовательной деятельности - от научно-исследовательской деятельности oДоход от продажи продуктов интеллектуальной собственности (группа D) oКоличество поставленных на бухгалтерский учет объектов интеллектуальной собственности (группа A) oЧисло образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года (группа D) oКоличество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение предыдущего учебного года (группа D)

70 Перечень количественных индикаторов, полученных на основе экспертных оценок Взаимодействие с регионом/отраслью oДоля доходов из местных/региональных источников/отрасли в предыдущем финансовом году (группа A) oДоля студентов, участвующих в стажировках, в региональных организациях/отрасли в предыдущем учебном году (группа A) oКоличество контрактов на исследования, заключенные с региональными партнерами в предыдущем финансовом году (группа B)

71 III. Разработка инструментария для апробации модельной методологии ранжирования российский вузов Декомпозиция исходных индикаторов o Кодировка o Разделение на составляющие элементы o Определение субиндикаторов, общих для некоторых индикаторов o Формирование 5 семантических блоков из 72 (64+8) субиндикаторов o Формула построения исходного индикатора на основе значений отдельных субиндикаторов

72 Структура инструментария для апробации модельной методологии ранжирования российский вузов 5 семантических блоков o Профайл вуза o Студенты и аспиранты o ППС, НС и другой персонал o Образовательные программы o Библиометрия o Бюджет

73 Тестирование модельной методологии ранжирования российский вузов Цель: o моделирование процесса заполнения опросника o выявление специфики восприятия индикаторов разными группами вузов o корректировка формулировок индикаторов o получение информации о доступности данных по индикаторам в разных университетах o корректировка инструментария для апробации o доработка методологических комментариев к инструментарию Участники: вузы, входящие в экспертную группу проекта (УрФУ, СВФУ, СПбГПУ, СПбГУ, ТПУ, ТГУ, НИУ ВШЭ, МГПУ, РОСНОУ) Процедура: o Передача опросника вузам, представленным в экспертной группе проекта o Заполнение опросника вузами с привлечением соответствующих подразделений o Сбор и обработка материалов тестирования o Анализ полученных данных и комментариев экспертов Результат: Инструментарий, протестированный разными видовыми группами вузов, с точки зрения восприятия индикаторов и трудностей сбора необходимой информации

74 Построение выборочной совокупности для апробации модельной методологии ранжирования Цель: Сформировать выборку вузов, составляющую ~ 10% от общего количества вузов России При отборе вузов учитывается: разнообразие категорий и видовых групп вузов РФ Региональное разнообразие современные тенденции развития системы ВО в РФ мнение участников экспертной группы проекта Результат: 145 отобранных высших учебных заведений

75 Структура выборочной совокупности для апробации модельной методологии ранжирования Выборочную совокупность составили следующие группы вузов: o Ведущие вузы РФ (МГУ, СПбГУ), o Федеральные университеты (9 университетов), o Национальные исследовательские университеты (29 вузов), o Вузы-победители проекта конкурсной поддержки программ стратегического развития государственных образовательных учреждений высшего образования (54 вуза), o Вузы из категории университетов, предлагающих лучшие образовательные программы (данные каталога «Лучшие образовательные программы инновационной России ») (42 вуза). o Вузы, дополнительно рекомендованные экспертной группой проекта (10 вузов из числа негосударственных) o Вузы, выразившие желание принять участие в апробации (1 вуз)

76 Структура выборочной совокупности для апробации модельной методологии ранжирования Федеральный округКлассичес кие университ еты Инженерн о- техническ ие вузы Гуманитар но- педагогиче ские вузы Экономическ ие и юридические вузы Медици нские вузы Сельс кохоз яйств енные ИТОГО 1Дальневосточный6219 2Приволжский Северо-Западный Северо-Кавказский5117 5Сибирский Уральский3317 7Центральный Южный ИТОГО

77 IV. Следующие шаги: o Проанализировать результаты тестирования модельной методологии ранжирования o Скорректировать инструментарий для проведения апробации модельной методологии ранжирования o Апробировать проект модельной методологии рейтингования вузов o Провести общественные и экспертные обсуждения результатов апробации o Провести консультации по результатам апробации методологии с Международной экспертной группой по определению рейтингов университетов IREG

78 Спасибо за внимание! НФПК Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ