Показатели оценки эффективности научной деятельности ведущих российских университетов Д.В. Суслова Национальный фонд подготовки кадров Семинар «Оценка эффективности деятельности вузов и их международное позиционирование» 28 февраля, 2012 г. Санкт-Петербург

Общая характеристика 29 национальных исследовательских университетов Сроки реализации программ развития: 2009 (2010) – 2018 (2019 гг.) Общий объем государственного финансирования (первые 5 лет): 45,5 млрд. руб.(1,4 млрд. долл.)

Институционализированная оценка качества научно- исследовательской деятельности университетов (в рамках их программ развития) ПараметрыРоссияДругие страны Ответственная организация Минобрнауки РФ Организация-оператор (НФПК) Ассоциация вузов (Норвегия) Отдельные университеты (Нидерланды) Правительство (Австралия) Объект оценки Подразделения вузов, включенные в реализацию программ развития Области национальных исследований (Норвегия) Университеты (Австралия) Основная цель Мониторинг программ развития Распределение ресурсов (Великобритания) Улучшение качества (Нидерланды) Метод Количественные индикаторыЭкспертная оценка (Великобритания, Норвегия) Индикаторы (Австралия) Периодичность 1 раз в годЕжегодно (Норвегия) Каждые 3 года самоанализ, каждые 6 лет внешняя оценка (Нидерланды) Результат Отчет вузов Решение о продлении финансирования Рейтинг, ранжирование (Великобритания, Нидерланды) Распределение финансирования (Австралия, Норвегия

Показатели эффективности научно- исследовательской деятельности НИУ 2.1. количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями в расчете на одного НПР 2.2 Доля доходов от научно-исследовательских и опытно- конструкторских работ (НИОКР) в общих доходах НИУ 2. 3 Отношение доходов от реализованной научно-технической продукции, включая права на результаты интеллектуальной собственности, к расходам федерального бюджета на НИОКР 2.4. Количество поставленных на бухучет объектов интеллектуальной собственности 2.5. Доля опытно-конструкторских работ по ПНР НИУ в общем объеме НИОКР НИУ 2.6 Количество научных лабораторий, оснащенных высокотехнологичным оборудованием

Показатели эффективности научно- исследовательской деятельности НИУ (факт 2009 г. и план 2018 г.) (1)

Показатели эффективности научно- исследовательской деятельности НИУ (факт 2009 г. и план 2018 г.) (2)

Показатели эффективности научно- исследовательской деятельности НИУ (факт 2009 г. и план 2018 г.) (3)

Показатели эффективности научно- исследовательской деятельности НИУ (факт 2009 г. и план 2018 г.) (4)

Показатели эффективности научно- исследовательской деятельности НИУ (факт 2009 г. и план 2018 г.) (5)

Показатели эффективности научно- исследовательской деятельности НИУ (факт 2009 г. и план 2018 г.) (6)

Критерии качества влияние исследований (impact of research) качество и академический результат устойчивость исследований (sustainability of research) производительность (продуктивность) и исследовательская инфраструктура значение (важность) (importance of research) соответствие национальным задачам развития потенциал (potential of research) для решения приоритетных социально-экономических задач инновационные и социальные достижения

Индикаторы по различным качествам исследовательской деятельности (1) ИндикаторОписаниеВозможностиОграничения Производительность (продуктивность) исследовательской деятельности Публикации и другие результаты Присутствует в показателе 2.1 Количество Возможность выборочного учета в соответствии с целью Стимулирует публикации как условия исследовательского развития Различия по дисциплинам Акцент на количественных данных Количество публикаций (и других результатов) на одного исследователя 2.1. количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями в расчете на одного НПР Количество в расчете на эквивалент штатного исследователя («академическог о исследователя») Обеспечивает возможность межинституционального сравнения Сопоставительно е определение понятия «академического исследователя»

Индикаторы по различным качествам исследовательской деятельности (2) ИндикаторОписаниеВозможностиОграничения Качество и академический результат Количество и процент публикаций в высоко цитируемых журналах Используется отдельными университетами Количество публикаций, impact factor Наиболее принят для точных наук. Данные должны быть выверенными Различия по областям знаний существенные, особенно для гуманитарных наук Цитирование Используется отдельными университетами Индексы цитирования (web of science, scorpus, Google scholar) Наиболее принят для точных наук. Данные должны быть выверенными Не всегда полностью совпадает с качеством исследований, особенно для гуманитарных и социальных наук Доклады на национальных и международных конференциях Используется отдельными университетами Количество докладов Используется как «знак качества, признания». Проверяется по программам конференций Отсутствие сопоставительной базы, возможности сопоставления для различных дисциплин

Индикаторы по различным качествам исследовательской деятельности (3) ИндикаторОписаниеВозможностиОграничения Качество и академический результат Количество престижных наград Не используется Количество престижных национальных и международных наград в целом, или в расчете на одного исследователя Используется как «знак качества, признания». Легко проверяется Отсутствие сопоставительной базы, возможности сопоставления для различных дисциплин Временные международные «назначения» Не используется Количество временно занимаемых позиций в других академических (не академических) институтах (организациях) Используется как «знак качества, признания». Легко проверяется Отсутствие возможности сопоставления для различных дисциплин Участие в редакторских советах и экспертных советах национальных и международных журналов Не используется Количество временно занимаемых позиций в редакторских советах и экспертных советах национальных и международных журналов Используется как «знак качества, признания». Легко проверяется Отсутствие возможности сопоставления для различных дисциплин

Индикаторы по различным качествам исследовательской деятельности (4) ИндикаторОписаниеВозможностиОграничения Инновационные и социальные достижения Доход от исследований 2.2 Доля доходов от научно- исследовательских и опытно-конструкторских работ (НИОКР) в общих доходах НИУ Внешнее привлеченное финансирование Сопоставимость и проверяемость данных Готовность производителя платить за разработку является полезным индикатором ожидаемого вклада университета в инновационность и экономику Значительные различия по дисциплинам. Сложность сбора и анализа данных Процент выигранных грантов Присутствует в показателе 2.2. Под индикатор дохода от исследований Сопоставимость и проверяемость данных Значительные различия по дисциплинам. Сложность сбора и анализа данных Уровень дохода на эквивалент одного штатного исследователя Не используется Индикатор обеспечивает возможность меж университетского сравнения Является важной мерой исследовательской активности Сопоставимость зависит от миссии института, дисциплины и социального контекста Занятость защитившихся аспирантов Не используется Индикатор вклада в формирование качества рынка труда Используется для оценки качества выпускников и вклада исследовательской деятельности в процессы обучения Занятость чувствительна к другим факторам экономики. Карьерные возможности значительно отличаются по дисциплинам

Индикаторы по различным качествам исследовательской деятельности (5) ИндикаторОписаниеВозможностиОграничения Инновационные и социальные достижения Коммерциализация интеллектуальной собственности 2. 3 Отношение доходов от реализованной научно-технической продукции, включая права на результаты интеллектуальной собственности, к расходам федерального бюджета на НИОКР 2.4. Количество поставленных на бухучет объектов интеллектуальной собственности Индикатор дохода от патентов, лицензий и новых бизнесов Сфера представляет все большее значение для политики. Индикатор является важным связующим звеном между ИС, коммерциализацией и экономическим результатом Патентование – очень слабый индикатор коммерциализации. Чувствительность к национальной специфике и дисциплине Признание пользователя Присутствует в показателе 2.2 Доля доходов от научно-исследовательских и опытно- конструктурских работ (НИОКР) в общих доходах НИУ Заказы, контракты на различного рода деятельность Готовность пользователя платить за разработку является полезным индикатором ожидаемого вклада университета (разработки) в инновационность и экономику Значительные различия по дисциплинам. Сложность сбора и анализа данных Процент финансирования от контрактов Присутствует в показателе 2.2 Доля доходов от научно-исследовательских и опытно- конструктурских работ (НИОКР) в общих доходах НИУ Является мерой доходности признания Сфера представляет все большее значение для политики. Индикатор является важным связующим звеном исследованиями и их социальными и экономическими результатами Значительные различия по дисциплинам. Сложность сбора и анализа данных

Индикаторы по различным качествам исследовательской деятельности (6) ИндикаторОписаниеВозможностиОграничения Устойчивость и масштаб Нагрузка по аспирантам Присутствует в показателе 3.3 Эффективность работы аспирантуры и докторантуры Соотношение количества аспирантов к эквиваленту штатного исследователя Ключевой индикатор интенсивности исследований, масштаба исследовательской деятельности Значительные различия по дисциплинам Включение молодых исследователей в команды Не используется Количество или процент молодых исследователей, включенных в проекты и команды Индикатор интенсивности исследований, масштаба исследовательской деятельности Значительные различия по дисциплинам Количество партнерств Не используется Количество партнерств с национальными и международными (зарубежными) университетами и организациями Интенсивности исследований, масштаба исследовательской деятельности, уровня интернационализации Сложно измеримый показатель Количество завершенных диссертационных работ Присутствует в показателе 3.3 Эффективность работы аспирантуры и докторантуры Количество защищенных работ Данные легко проверяются, хотя существует временной лаг Количество защищенных работ может различаться по дисциплинам. Для разных дисциплин магистерские и аспирантские работы могут иметь разное значение

Индикаторы по различным качествам исследовательской деятельности (7) ИндикаторОписаниеВозможностиОграничения Исследовательская инфраструктура Исследовательская активность академических сотрудников Не используется Количество активных исследователей в общем числе академических работников. Определяется через установление ряда показателей деятельности Важный индикатор исследовательского потенциала Отсутствие определения «исследовательская активность академического сотрудника» Процент исследовательски- активных академических сотрудников к общему числу академических сотрудников Не используется Соотношение исследовательски- активных академических сотрудников и общего числа академических сотрудников Индикатор интенсивности исследований Отсутствие определения «исследовательская активность академического сотрудника»

Индикаторы по различным качествам исследовательской деятельности (8) ИндикаторОписаниеВозможностиОграничения Исследовательская инфраструктура Общие инвестиции в исследования и разработки Не используется Объем общих инвестиций в исследования и разработки, из всех источников, включая зарплаты и накладные расходы Является важным показателем прогноза качества исследовательской деятельности университета Сложно получить точные, сопоставимые данные Исследовательская инфраструктура 2.6 количество научных лабораторий, оснащенных высокотехнологичным оборудованием Количество лабораторий, книг и электронных ресурсов, их уровень доступности Данные представляются на уровне университетов Сложно получить точные, сопоставимые данные Индикатор «благоволит» старым университетам Исследовательская этика Не используется Процессы, обеспечивающие продвижение и использование этических принципов в исследовательской практике Важный индикатор качества исследовательской деятельности, строгости, целостности, требовательности к результатам. Наибольшее значение имеет внешняя оценка (peer review) Документы по использованию этических принципов в исследовательской практике, в том числе, с точки зрения источников финансирования, имеют очень противоречивый характер

Модель оценки, опирающаяся на количественные индикаторы ПреимуществаНедостатки Создает стимулы повышения продуктивности исследований Создает стимулы для привлечения высококвалифицированного персонала Стимулирует качественное научное руководство подготовкой квалификационных работ Относительно легко собираются данные Формализуется и обеспечивает прозрачность Низкие издержки Индикаторы очень приблизительно отражают качество исследований, и концентрируются на количественных, а не качественных характеристиках Могут провоцировать «замещение» целей Создают преимущества для отдельных дисциплин и институтов (те, которые получают больше средств, получают в дальнейшем преимущества) Не создают значительных стимулов для сотрудничества

Вместо заключения Система оценки: Может ли складывающаяся в рамках проекта «Развитие сети национальных исследовательских университетов» система индикаторов и мониторинга эффективности стать основой национальной системы оценки качества исследовательской деятельности? Какие подходы и индикаторы могут быть использованы для содействия интеграции российских вузов в международное исследовательское пространство в последующих циклах реализации проектов? Как система оценки может помочь российским вузам стать университетами мирового уровня (войти в Top 200 в мировых рейтингах)? Национальные исследовательские университеты: Насколько целесообразно выделение отдельной категории вузов – НИУ? Чем отличаются НИУ от остальных российских вузов? Эффективность государственных инвестиций, в т.ч. с точки зрения достижения устойчивости результатов Способны ли НИУ стать международными образовательными центрами?

Спасибо за внимание! Суслова Дарья Владимировна