Проблемы разработки национальной методологии ранжирования для российских вузов Ларионова Марина Владимировна (НФПК) Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» гг.

2 Содержание I. Разработка модельной методологии рейтингования высших учебных заведений II. Разработка инструментария для апробации модельной методологии рейтингования высших учебных заведений III. Дилеммы модельной методологии рейтингования высших учебных заведений IV. Следующие шаги

3 I. Разработка модельной методологии рейтингования высших учебных заведений Основные принципы методологии: 1. Методология должна служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов; 2. Методология должна учитывать многообразие российской системы высшего образования и их функций; 3. Методология должна являться инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими услуг; 4. Методология должна учитывать разнообразие потребителей услуг российского высшего образования; 5. Методология должна вносить вклад в повышение качества деятельности и конкурентоспособности вузов; 6. Методология должна содействовать интеграции вузов в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; 7. Методология должна являться источником надежных данных для глобальных и региональных рейтингов.

4 Миссия и цели модельной методологии рейтингования Миссия: предоставление надежной и объективной информации о деятельности российских вузов на основе многомерного ранжирования для удовлетворения информационных потребностей различных групп пользователей услуг высшего образования с учетом разнообразия российской системы высшего профессионального образования Цели: Оценка высших учебных заведений по пяти выделенным функциям (направлениям деятельности) вузов Формирование базы данных о состоянии и развитии российской системы высшего профессионального образования с учетом его разнообразия с возможностью построения ранжирований и рейтингов вузов по отдельно заданным параметрам Разработка инструмента транспарентности и внешней оценки качества высших учебных заведений в России Содействие развитию российской системы высшего образования через создание информационной и аналитической основы для бенчмаркинга (выявления лучших практик) и стимулирования спроса на услуги высшего образования в стране

5 Оценочные плоскости модельной методологии рейтингования Научно-исследовательская деятельность Обучение/преподавание Международная деятельность Трансфер знаний Взаимодействие с регионом группы вузов группы пользователей

6 Методология сопоставительного анализа 3 уровня анализа 1 уровень: Сопоставление методологий рейтингования по общим параметрам, выделенным для анализа 2 уровень: Сопоставление методологий рейтингования с Берлинским принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов» (приняты в мае 2011 международной экспертной группой по определению рейтингов университетов IREG совместно с ЮНЕСКО, ОЭСР и ВБ) 3 уровень: Соотнесение результатов сопоставительного анализа 1 и 2 уровней с возможностями, потребностями и задачами развития системы ВО в РФ

7 Типы анализируемых методологий (19)

8 Понятия и термины Одномерное ранжирование отражает вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг. Таблица лиг (рейтинг) – одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду. Многомерное ранжирование не стремиться соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей. Классификация – система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере van Vught F.A., Westerheijden D.F. Multidimensional Ranking: a new transparency tool for higher education and research // Higher Education Management and Policy Vol. 22/3.

9 Параметры анализа и оценки основных рейтингов 1. Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов, или ориентирован на оценку отдельных характеристик). 2. Целевые группы 3. Предметные области рейтинга ( как структурируются предметные области). 4. Регионы охвата и/или распространения (в зависимости от типа рейтинга). 5. Уровни образования, которые затрагивает рейтинг (бакалавриат/специалитет, магистратура и аспирантура). 6. Методология построения рейтинга: - ключевые принципы, лежащие в основе рейтингования; - система индикаторов, веса; - инструментарий (ключевые процедуры сбора данных, например, использование вторичных/готовых/ данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью); - обработка полученных данных; - трансформация полученных данных в рейтинг (квантификация полученных данных, измерение и придание полученному результату численного значения). 7. Результат рейтингования (на что выходит в итоге: один рейтинг или набор рейтингов, кластеры университетов, ранжированный список университетов). 8. Ключевые проблемы, связанные с использованием индикаторов (критика, дискуссионность). 9. Репутация рейтинга (степень доверия к рейтингу).

10 Глобальные одномерные ранжирования: несбалансированность показателей Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Доход на одного ППС – 2,25% Соотношение присужденных докторских степеней к бакалаврам – 2,25% Репутационная оценка научно- исследовательской деятельности – 18% Доход от исследований (взвешенный) – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно- исследовательс кой деятельности, в совокупности с индикатором цитирования: 60%

11 Глобальные одномерные ранжирования: несбалансированность показателей Смещение в сторону оценки академической репутации и уровня цитирования: в совокупности 60%

12 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения

13 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения Национальный рейтинг Times

14 Основные проблемы одномерных ранжирований Проблема надежности: Опора на репутационные оценки определяет недоверие к процедурам проведения глобальных, международных или общенациональных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Чаще используются индикаторы ресурсов, но не результатов деятельности вузов. Некоторые показатели вызывают сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации необоснованно занижены, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня». Процедура присвоения весов индикаторам часто критикуется экспертами за недостаточную научную обоснованность Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющим высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге Проблема информативности: одномерные ранжирования не оценивают всего многообразия вузов; из всех функций вузов чаще всего оцениваются только функции обучения/преподавания и научно-исследовательской деятельности. В результате потребитель получает ограниченную информацию о деятельности вузов

15 Развитие систем ранжирования университетов Эгалитаризм массификация Элитизм Высокое качество Обеспечение качества Подотчетность Рейтингование Отражать регионально е разнообрази е Отражать институцион альное многообрази е Ориентирова ться на потребителе й услуг Гибридные формы Отражать разнообрази е предметных областей Два подходаСовременные системыНаправления будущего развития Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, P.14.

16 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года CHE предлагает четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. ) CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

17 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings Ранжирование Университетов Целевая группа: студенты и университеты Индикаторы: 1.Обучение и преподавание 2.Инфраструктура 3.Интернацинализация 4.Ориентация на рынок труда 5.Репутационная оценка ВУЗа 6.Исследовательская деятельность 7.Город и университет Целевая группа: исследователи, университеты, ведущие исследовательскую деятельность Индикаторы: 1.Внешнее финансирование за три года. 2.Публикации 3.Изобретения/патент ы 4.Присуждение степеней Целевая группа: соискатели магистерской и докторской степени Индикаторы: 1.Библиометрический критерий 2.Наличие выдающихся ученых (лауреаты Нобелевской премии, прими Филдса, премия Кёрбера) 3.Количество проектов по программе Мари Кюри 4.Студенческая мобильность 5.Преподавательская мобильность 6.Участие в программе Эрасмус Мундус 7.Получение грантов Европейского Совета Целевая группа: студенты программ профессионального бакалавриата, работодатели, учебные заведения Индикаторы: 1.Практико- ориентированные навыки 2.Соцальные компетенции 3.Практический опыт работы 4.Интернационализация Ранжирование исследовательских программ Ранжирование программ для магистров и докторов Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда

18 Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристики качества Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

19 2й уровень: Критерии IREG и веса основных и стандартных критериев п/п КритерииВеса ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД 1.Цель ранжирования и (ключевые) целевые группы должны быть четко определены 2 2.Ранжирование должно отражать разнообразие институтов высшего образования 2 3.Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. 1 МЕТОДОЛОГИЯ 4.Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. 2 5.Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения 1 6.Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. 1

20 Критерии IREG и веса основных и стандартных критериев 7. Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований Базовая методика должна оставаться постоянной, насколько это возможно Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов 1

21 Критерии IREG и веса основных и стандартных критериев ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ 15.Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием 1 16.Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании 2 17.Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес 1 ОБЕСПЕЧЕНИЕ КАЧЕСТВА 18.При ранжировании необходимо обеспечить качество самих процедур ранжирования Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования 2 МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ180

22 Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

23 Оценка методологий относительно критериев IREG

24 Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University) Ресурсоемкость Недостаточность сопоставимых данных по деятельности различных университетов Сложность применяемых индикаторов и процедур их сбора Сложность обеспечения объективной оценки при использовании данных опросов Сложности обработки больших объемов данных Сложность соблюдения надежности и качества процедур сбора данных при больших объемах Проблема охвата всех предметных областей

25 3 уровень: Оценка относительно задач развития национальной системы высшего образования Анализ наиболее часто используемых количественных индикаторов для модельной методологии ранжирования oВыявление схожих/повторяющихся/наиболее часто используемых и значимых индикаторов; oОценка на основе международного опыта использования индикаторов; oРаспределение количественных индикаторов по направлениям: научно-исследовательская деятельность – 17 обучение и преподавание -14 международная деятельность – 5 трансфер знаний – 8 взаимодействие с регионом – 6 трудоустройство выпускников - 4 oАнализ доступности и возможности сбора данных; oКритическая оценка по критериям: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG

26 Процедура экспертной оценки индикаторов результатов деятельности вузов Цель: Оценить выявленные количественные индикаторы для модельной методологии ранжирования Определить ключевые количественные индикаторы для апробации модельной методологии ранжирования Процедура: Оценка относительно пяти критериев: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG 17 экспертов - представителей российских вузов, СМИ, кадровых агентств 3 раунда количественной и качественной оценки Результат: Перечень количественных индикаторов для модельной методологии Рекомендации по включению количественных индикаторов в модельную методологию ранжирования

27 Логическая рамка для оценки применимости выделенных индикаторов для российской методологии ранжирования вузов ПараметрИндикатор Значимость с т.з. задач развития системы ВО в РФ Надежность Доступнос ть Релевантност ь Соответствие критериям IREG Оценка значимости для включения в методологию Научная деятельность. Input indicators Научная деятельность. Output indicators Обучение/преподавание. Input indicators Обучение/преподавание. Output indicators Международная направленность. Input indicators Международная направленность. Output indicators Трудоустройство/заработная плата Обмен знаниями. Input indicators Обмен знаниями. Output indicators Взаимодействие с регионом. Input indicators Взаимодействие с регионом. Output indicators Гендерный баланс Профиль студента

28 4 группы индикаторов сформированы на основании экспертных оценок Группа A «Ядро» Индикаторы удовлетворяют критериям: значимости для развития системы высшего образования, релевантности для модельной методологии ранжирования надежности, доступности, релевантности Некоторые индикаторы были включены в Группу A на основании рекомендаций экспертов, несмотря на неполное соответствие всем обозначенным выше критериям Группа B Индикаторы удовлетворяют критериям: значимости для развития системы высшего образования релевантности для модельной методологии ранжирования Но не соответствуют критериям: надежности, доступности, релевантности Группа C Индикаторы не удовлетворяют критериям: значимости для развития системы высшего образования, релевантности для модельной методологии ранжирования надежности, доступности, релевантности Группа D Индикаторы, дополнительно предложены экспертами для включения в методологию ранжирования

29 Перечень количественных индикаторов, полученных в результате экспертных оценок Научно-исследовательская деятельность 1.Доля затрат на исследования от общих расходов вуза в предыдущем финансовом году (группа A) 2.Доля ППС с ученой степенью кандидата или доктора наук (группа A) 3.Количество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ) (группа A) 4.Количество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Knowledge) (группа A) 5.Количество цитирований на одну статью (группаA) 6.Нормализованный показатель цитирования с учетом предметной области (группа A)

30 Перечень количественных индикаторов, полученных в результате экспертных оценок Научно-исследовательская деятельность (продолжение) 7. Количество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) (группа A) 8. Количество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ) (группа A) 9. Доля доходов вуза от научных исследований в предыдущем финансовом году (группа A), в том числе от: фундаментальных исследований прикладных исследований 10. Количество выигранных вузом грантов /сумма выигранных вузом грантов (РГНФ, РФФИ, Фонд Бортника) в предыдущем финансовом году (группа A) 11. Доля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда, от общего количества бакалавров очной формы обучения в предыдущем учебном году (группа B)

31 Перечень количественных индикаторов, полученных в результате экспертных оценок Обучение/ преподавание 1.Затраты на оборудование и инфраструктуру (для обеспечения обучения) в предыдущем учебном году (группа A) 2.Доля образовательных программ, прошедших международную аккредитацию (аккредитацию должно осуществлять агентство с международно-признанной репутацией) (группа A) 3.Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году (группа D) 4.Доля абитуриентов – победителей Всероссийской олимпиады школьников в предыдущем учебном году (группа D) 5.Доля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от всей численности студентов вуза в предыдущем финансовом году (группа D)

32 Перечень количественных индикаторов, полученных в результате экспертных оценок Обучение/ преподавание 6. Доля выпускников, трудоустроившихся после окончания университета в течение 1 года по специальности/направлению обучения (группа B) 7. Доля выпускников, поступивших на программы аспирантуры в предыдущем учебном году (группа D) 8. Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата (группа D) 9. Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности приема студентов магистратуры (группа D) 10. Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина) (группа D) 11. Доля преподавателей (эквивалент полной занятости), являющихся действительными членами и членами-корреспондентами Академии наук РФ (группа D)

33 Перечень количественных индикаторов, полученных в результате экспертных оценок Международная деятельность 1. Доля иностранных студентов в общей численности студентов (эквивалент полной занятости) (группа A) 2. Количество международных исследовательских грантов, полученных в предыдущем финансовом году (группа A) 3. Доля доходов из иностранных источников в общих доходах вуза (преподавание, научная деятельность, контракты с зарубежными предприятиями) в предыдущем финансовом году (группа A) 4. Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году (группа D) 5. Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года (группа D) 6. Доля аспирантов прошедших стажировки в зарубежных университетах в течение предыдущего учебного года (группа D)

34 Перечень количественных индикаторов, полученных в результате экспертных оценок Международная деятельность 7. Доля ППС (эквивалент полной занятости) приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года (группа D) 8. Доля преподавателей (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов (группа D) 9. Доля программ, разработанных совместно с зарубежными партнерами (группа D) 10. Доля студентов, обучающихся по программам, разработанных совместно с зарубежными партнерами (группа D)

35 Перечень количественных индикаторов, полученных в результате экспертных оценок Трансфер знаний 1.Доля внебюджетного финансирования в доходах вуза в предыдущем финансовом году (группа A), в том числе: - от образовательной деятельности - от научно-исследовательской деятельности 1.Доход от продажи продуктов интеллектуальной собственности (группа D) 2.Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности (группа A) 3.Число образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года (группа D) 4.Количество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение предыдущего учебного года (группа D)

36 Перечень количественных индикаторов, полученных на основе экспертных оценок Взаимодействие с регионом/отраслью 1.Доля доходов из местных/региональных источников/отрасли в предыдущем финансовом году (группа A) 2.Доля студентов, участвующих в стажировках, в региональных организациях/отрасли в предыдущем учебном году (группа A) 3.Количество контрактов на исследования, заключенные с региональными партнерами в предыдущем финансовом году (группа B)

37 II. Разработка инструментария для апробации модельной методологии рейтингования высших учебных заведений o Кодировка (40 исходных индикаторов до and 65 после процедуры тестирования) o Декомпозиция исходных индикаторов (86 субиндикаторов) o Определение субиндикаторов, общих для некоторых индикаторов o Формирование 6 семантических блоков из 86 (74+12) субиндикаторов o Формула построения исходного индикатора на основе значений отдельных субиндикаторов

38 Структура инструментария для апробации модельной методологии рейтингования 6 семантических блоков o Профайл вуза o Студенты и аспиранты o ППС, НС и другой персонал o Образовательные программы o Библиометрия o Бюджет

39 Тестирование модельной методологии рейтингования российский вузов Цель: o моделирование процесса заполнения опросника o выявление специфики восприятия индикаторов разными группами вузов o корректировка формулировок индикаторов o получение информации о доступности данных по индикаторам в разных университетах o корректировка инструментария для апробации o доработка методологических комментариев к инструментарию Участники: вузы, входящие в экспертную группу проекта (УрФУ, СВФУ, СПбГПУ, СПбГУ, ТПУ, ТГУ, НИУ ВШЭ, МГПУ, РОСНОУ) Процедура: o Передача опросника вузам, представленным в экспертной группе проекта o Заполнение опросника вузами с привлечением соответствующих подразделений o Сбор и обработка материалов тестирования o Анализ полученных данных и комментариев экспертов Результат: Инструментарий, протестированный разными видовыми группами вузов, с точки зрения восприятия индикаторов и трудностей сбора необходимой информации

40 Построение выборочной совокупности для апробации модельной методологии рейтингования Цель: Сформировать выборку вузов, составляющую ~ 10% от общего количества вузов России При отборе вузов учитывается: разнообразие категорий и видовых групп вузов РФ Региональное разнообразие современные тенденции развития системы ВО в РФ мнение участников экспертной группы проекта Результат: 148 отобранных высших учебных заведений

41 Структура выборочной совокупности для апробации модельной методологии рейтингования Выборочную совокупность составили следующие группы вузов: o Ведущие вузы РФ (МГУ, СПбГУ), o Федеральные университеты (9 университетов), o Национальные исследовательские университеты (29 вузов), o Вузы-победители проекта конкурсной поддержки программ стратегического развития государственных образовательных учреждений высшего образования (54 вуза), o Вузы из категории университетов, предлагающих лучшие образовательные программы (данные каталога «Лучшие образовательные программы инновационной России ») (42 вуза). o Вузы, дополнительно рекомендованные экспертной группой проекта (10 вузов из числа негосударственных) o Вузы, выразившие желание принять участие в апробации (3 вуз)

42 Структура выборочной совокупности для апробации модельной методологии рейтингования Федеральный округ \ Тип вузов Классиче ские Инженер но- техничес кие Гуманита рно- педагоги ческие Экономи ческие и юридиче ские Медици нские Сельскох озяйстве нные ИТОГО 1Дальневосточный6219 2Приволжский Северо-Западный Северо-Кавказский Сибирский Уральский3317 7Центральный Южный ИТОГО

43 IV. Дилеммы модельной методологии рейтингования российских вузов 1. Дифференцированность российской системы высшего образования 2. Неравнозначная релевантность индикаторов для разных типов вузов 3. Агрегирование и взвешивание индикаторов 4. Общие принципы методологии 5. Формат представления результатов

44 Дифференцированность российской системы высшего образования Возможные подходы: oВключить все видовые группы вузов, несмотря на их разнообразие; oограничить охват методологии ранжирования и не учитывать вузы культуры и искусства, физической культуры и спорта, негосударственные и муниципальные вузы; При анализе данных возможно: oсравнивать вузы между собой внутри отдельных видовых групп: по отдельным направлениям, по заданным индикаторам; с помощью агрегированного показателя; oсравнивать все вузы по отдельным направлениям деятельности; oсравнивать вузы по всем направлениям с помощью одного агрегированного показателя; oсравнивать вузы по заданным индикаторам

45 Релевантность индикаторов Основная проблема для методологии: Не все индикаторы в полной мере одинаково релевантны для разных видовых групп российских вузов При дальнейшей доработке методологии ранжирования возможно: oиспользовать весь набор выработанных индикаторов для всех видовых групп вузов; oвыделить «ядро» индикаторов, релевантных для всех российских вузов, одновременно выделить индикаторы, специфичные для отдельных групп вузов; При анализе данных возможно: oсравнивать все вузы по всему набору индикаторов oсравнивать все вузы по отдельному набору индикаторов (общих и специфичных) oсравнивать отдельные группы вузов по всему набору индикаторов; oсравнивать отдельные группы вузов по отдельному набору индикаторов (tailored)

46 Агрегирование и взвешивание индикаторов Основные проблемы для методологии: oБольшое количество исходных индикаторов, дифференциация вузов ведет широкому разбросу оценок и осложняют процедуру взвешивания. При дальнейшей доработке методологии ранжирования возможно: oувеличить число экспертов, привлекаемых к взвешиванию, до получения статистически значимых результатов экспертных оценок oусложнить процедуру взвешивания для выработки отдельных систем весов как для отдельных групп вузов, так и для отдельных направлений оценки качества oпроизводить процедуру агрегирования только для однородных или близких друг другу индикаторов в каждом отдельном направлении оценки При анализе данных возможно: oпроводить сравнение по агрегированным индикаторам для отдельных направлений оценки oпроводить сравнение по агрегированным индикаторам для отдельных групп вузов

47 Общие принципы методологии Основная проблема для методологии: o Опора на количественные индикаторы ограничивает методологию в части получения данных об удовлетворенности студентов/ сотрудников вузов/ работодателей качеством работы российских вузов При дальнейшей доработке методологии ранжирования возможно: o отказаться от использования репутационных исследований o дополнить методологию репутационными исследованиями для студентов, сотрудников и преподавателей, работодателей

48 Формат представления данных Основная проблема для методологии: o Для обеспечения требований качества к методологии рейтингования необходимо обеспечить транспарентность и интерактивность результатов методологии При дальнейшей доработке методологии ранжирования необходимо определить в какой форме будут представлены результаты методологии: o В электронном формате в виде отдельного сайта национальной методологии рейтингования высших учебных заведений o В печатном формате на страницах одного из печатных отечественных СМИ o В виде сочетания электронного и печатного форматов

49 V. Следующие шаги: o Апробация проекта модельной методологии рейтингования вузов o Проведение общественных и экспертных обсуждений результатов апробации o Проведение консультаций по результатам апробации методологии с российскими заинтересованными сторонами и Международной экспертной группой по определению рейтингов университетов IREG

50 Спасибо за внимание! НФПК Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ