Оценивание результатов деятельности организаций в государственном секторе науки 19 сентября 2008 Л. Гохберг ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ – ВЫСШАЯ ШКОЛА ЭКОНОМИКИ Институт статистических исследований и экономики знаний

2 Содержание Тенденции развития российской науки Ресурсы VS результаты Потребность в системе оценивания Новые вызовы Недостатки и ограничения существующих инструментов Международная практика Распространенность и применение методов оценивания Внедрение единой системы оценивания в России Основные принципы Методология Пилотное обследование

3 Результативность науки и технологий: динамика государственного финансирования Ассигнования на гражданскую науку из средств федерального бюджета (в постоянных ценах 1991 г.) Ассигнования на гражданскую науку из средств федерального бюджета (в постоянных ценах 1991 г.)

4 Результативность науки и технологий: утрата конкурентных позиций Публикации в ведущих научных журналах мира 2.03%, 11-е место (1995 –7-е место, 1980 – 3-е место) Китай – 5.86%, 5-е место (1995 – 1.6%, 14-е место) Объем экспорта технологий Россия – 0.63 млрд. $ Венгрия – 1.6 млрд. $ Финляндия – 3.3 млрд. $ США – 75.4 млрд. $ Доля на мировом рынке высокотехнологичной продукции Россия – 0.3% Сингапур, Корея, Тайвань – по 4-8% Уровень инновационной активности в промышленности Россия – 9.4% (1992 – 16.3%) ЕС: 21% (Венгрия) – 73% (Германия)

5 Потребность в системе оценивания Рост затрат государства на НИОКР – больший акцент на результативность Поиск более эффективных механизмов финансирования: бюджетирование по результатам Оценивание результатов деятельности государственных научных организаций Инструмент обратной связи между результатами и ресурсами Фактор гибкого перераспределения ресурсов между государственными научными организациями

6 Цели и ограничения системы оценивания в госсекторе науки Цель – повышение эффективности государственного финансирования научных исследований и разработок Ограниченность сферы оценивания ФЦП Научные фонды Опыт РАН, аккредитация образовательных программ вузов Конкурс инновационных образовательных программ Несбалансированность существующих методов и процедур оценивания Преобладание субъективного экспертного оценивания при недостатке объективных количественных методов Проблема доступа к первичным данным Закрытость внутренней системы отчетности ведомственных научных организаций Финансовая отчетность государственных научных организаций не содержит индикаторов результативности

7 Практика оценивания научных организаций в развитых странах США: Национальные лаборатории, Национальный институт здоровья, Научно- исследовательские центры в сфере обороны, здравоохранения, энергетики… Германия: Научные сообщества Макса Планка, Лейбница, Гельмгольца, Фраунгофера… Франция: CNRS, Национальные институты научных исследований -сельского хозяйства (INRA), -здравоохранения (INSERM), -рака (INCA), IFRIMER… Великобритания:Советы по финансированию высшего образования, б. Департамент науки и технологий… ЯпонияИнститут академических степеней и оценивания университетов ФинляндияSITRA, TEKES, Академия Финляндии НидерландыКомиссии по оценке научных исследований при Министерстве образования, культуры и науки Италия: CNR Норвегия, Дания, Корея, Испания, Швеция, Австрия,…

8 Практика оценивания научных организаций в развитых странах: Последствия Примеры решений по отношению к неэффективным научным организациям Германия, Сообщество имени Лейбница: регулярные обследования институтов (каждые 3 года) с применением статистических индикаторов и инспектирования При выявлении признаков неэффективности экспертная комиссия предлагает комплекс рекомендаций по их устранению. Если в установленный срок рекомендации не реализуются, институт лишается статуса члена сообщества, что ведет к его финансовой изоляции и банкротству. США, правительственные научные центры (FFRDC): ежегодные обследования центров с применением статистических индикаторов и финансовой отчетности При неудовлетворительном качестве работ центр закрывается, государственное имущество ликвидируется, интеллектуальная собственность распределяется между агентством и базовой организацией (университетом, фирмой) согласно контрактам. Франция, Национальный центр исследований (CNRS): ежегодный анализ состояния лабораторий и качества выполнения проектов При неудовлетворительной оценке качества работы лаборатория лишается статуса члена CNRS и доступа к его проектам. Репутационные и финансовые последствия. Япония, Институт академических степеней и оценивания университетов: ежегодные обследования аккредитованных университетов При низкой научно-исследовательской активности национальный университет может быть лишен аккредитации, что не исключает, однако, продолжения его работы в другом статусе (например, технической школы, колледжа и т.д.).

9 Внедрение единой системы оценивания: Основные требования Сферы применения Формирование планов НИР и определение объемов финансирования Оптимизация сети научных организаций госсектора Инструмент бенчмаркинга для негосударственных научных организаций Порядок проведения оценивания Разработка методики (типовой и ведомственных) Организация регулярных статистических обследований и экспертиз Формирование оценочных комиссий Получение содержательных отчетов о результативности деятельности каждой научной организации, включая рекомендации по дальнейшей организации работы и финансированию Формирование единой базы данных по результатам оценивания научных организаций

10 Внедрение единой системы оценивания: Формирование оценочных комиссий Принципы работы комиссии Независимость Открытость критериев и методик оценивания Вовлечение заинтересованных сторон Минимальная дополнительная нагрузка на оцениваемые организации Состав комиссии Представительство заинтересованных сторон (органы исполнительной власти, бизнес, научное сообщество, некоммерческие организации) Формирование групп экспертов на основе принципов компетентности авторитета независимости (отсутствия личной заинтересованности в результатах оценивания)

11 Внедрение единой системы оценивания: Форма результатов оценивания Заключение комиссии Характеристика результативности организации по основным критериям Рекомендации по дальнейшему развитию научной организации Категории научных организаций по результатам оценивания 1.Организации, утратившие научный профиль и перспективы развития преобразование или ликвидация 2.Организации, нуждающиеся в реорганизации реорганизация с целью улучшения деятельности 3.Организации, демонстрирующие стабильность и удовлетворительную результативность поддержка развития 4.Организации-лидеры поддержка развития (возможно: присвоение особого статуса)

12 Пилотное обследование результатов деятельности государственных научных организаций Ресурсы Персонал численность потоки обучение Основные средства земля здания/сооружения оборудование (возраст, качество) уникальное оборудование площади Персонал численность потоки обучение Основные средства земля здания/сооружения оборудование (возраст, качество) уникальное оборудование площади Финансовая устойчивость доходы (по видам деятельности) затраты задолженности чистые доходы оплата труда Финансовая устойчивость доходы (по видам деятельности) затраты задолженности чистые доходы оплата труда Результативность Результаты НИР (внутренние и международные) публикации патенты контракты и гранты Результаты НИР (внутренние и международные) публикации патенты контракты и гранты Коммерциализация технологий Инновационные партнерства Интеграция с образованием Аспирантура и докторантура Коммерциализация технологий Инновационные партнерства Интеграция с образованием Аспирантура и докторантура Организация Организационная структура Экспериментальная база Инновационная инфраструктура Система подготовки и переподготовки кадров Спин-оф компании Организационная структура Экспериментальная база Инновационная инфраструктура Система подготовки и переподготовки кадров Спин-оф компании Выборка – 119 государственных научных организаций (ГНЦ, государственные отраслевые академии и т.д.) Пилотный проект по экспертному оцениванию (ФТИ им. А.Ф. Иоффе) Структура показателей:

13 Методология Комплексные индикаторы Ориентиры Индивидуальные отчеты Кластеры Ранжирование: по группам индикаторов общее Национальные: среднее, максимум Международные Первичные данные

14 Основные критерии оценивания КритерииИ н д и к а т о р ы Качество и результаты НИР Связи с реальным сектором экономики Базовые ресурсы Финансовая устойчивость Структурный потенциал Финансирование НИР со стороны предприятий Участие в инновационных проектах Поступления от трансфера технологий Состояние кадрового потенциала Качество материально-технической базы Обеспеченность площадями Рентабельность НИР Соотношение доходов и расходов Объемы задолженностей Размер оплаты труда Элементы инновационной инфраструктурыОбразовательные подразделенияПубликацииПатентыЗавершенные проекты Конкурсное финансирование Вовлеченность в национальное и мировое научное сообщество

15 Дифференциация организаций по уровню конкурсного финансирования НИР

16 Дифференциация организаций по уровню научной специализации

17 Дифференциация организаций по уровню публикационной активности ПубликацииНаучные монографииУчебные пособия Публика- ции в междуна- родном соавтор- стве В рефери- руемых изданиях SCI/SSCIВсегоПо приоритет- ным направ- лениям Опубли- кованные за границей Среднее Выше среднегоНа уровне среднего Ниже среднегоПубликации отсутствуют

18 Пример ранжирования по группам индикаторов ПубликацииПатентыСовместные проекты с реальным сектором Ранг по группе индикаторов Среднее Выше среднегоНа уровне среднегоНиже среднего Результативность НИР

19 Пример сводного ранжирования Результатив ность НИР Ресурсы Финансовая устойчивость Организа- ционный потенциал Продуктив- ность Сводный ранг Выше среднегоНа уровне среднего и ниже

20 Макроуровень: выделение типичных кластеров государственных научных организаций 16% 22% 24% 38% Кластер 2 («Фундаментальный профиль») Высокое качество и результативность НИР Высокий организационный потенциал Низкая финансовая устойчивость Низкая продуктивность Кластер 2 («Фундаментальный профиль») Высокое качество и результативность НИР Высокий организационный потенциал Низкая финансовая устойчивость Низкая продуктивность Кластер 3 («Ведомственный профиль») Низкое качество и результативность НИР Высокая ресурсообеспеченность Низкий организационный потенциал Низкая финансовая устойчивость Высокая продуктивность Кластер 3 («Ведомственный профиль») Низкое качество и результативность НИР Высокая ресурсообеспеченность Низкий организационный потенциал Низкая финансовая устойчивость Высокая продуктивность Кластер 1 («Национальные лидеры») Высокое качество и результативность НИР Высокая ресурсообеспеченность Высокий организационный потенциал Высокая финансовая устойчивость Высокая продуктивность Кластер 1 («Национальные лидеры») Высокое качество и результативность НИР Высокая ресурсообеспеченность Высокий организационный потенциал Высокая финансовая устойчивость Высокая продуктивность Кластер 4 («Аутсайдеры») Низкое качество и результативность НИР Низкая ресурсообеспеченность Низкий организационный потенциал Низкая финансовая устойчивость Низкая продуктивность Кластер 4 («Аутсайдеры») Низкое качество и результативность НИР Низкая ресурсообеспеченность Низкий организационный потенциал Низкая финансовая устойчивость Низкая продуктивность

21 Применение результатов: индивидуальные отчеты Научная организация ******** Один из самых низких уровней результативности НИР: 12.9 публикаций на 100 исследователей; нет публикаций по SCI/SSCI; 0.2 патента на 100 исследователей; отсутствуют международные контракты. Отсутствуют связи с реальным сектором (контракты с частными предприятиями, инновационные проекты, соглашения по трансферу технологий и т.д.). Низкая ресурсообеспеченность. Все оборудование имеет возраст более 5 лет; нет уникального оборудования; 62% площадей требуют капитального ремонта; только 13.1% научного персонала имеют ученые степени. Удовлетворительная финансовая устойчивость. Относительно высокий средний уровень оплаты труда (33582 руб.). Основная доля финансирования НИР поступает из федерального бюджета (79%). Конкурсное финансирование и гранты отсутствуют. Нет признаков организационного развития. Нет центров трансфера технологий, образовательных подразделений, технопарков, инкубаторов, маркетинговых подразделений и т.д. Крайне низкая продуктивность (26.7 тыс. руб. на одного научного работника), малая доля НИР в общей выручке (3.5%). Высокий уровень производственной активности: тыс. руб. в расчете на одного научного работника. Научная организация ************* Удовлетворительный уровень результативности НИР. Высокий уровень активности по грантам (49.1 % финансирования НИР). Имеются международные контракты (28.4%). 71 сотрудник обладает правами на интеллектуальную собственность. Слабая связь с реальным сектором (0.9% финансирования НИР). Нет инновационных проектов, деятельности по трансферу технологий и т.д. Удовлетворительный уровень ресурсообеспеченности; в наличии 5 опытных цехов, площади не требуют капитального ремонта. Высокий уровень финансовой устойчивости. Дифференцированное финансирование НИР: 47.9% - бюджетные источники; 24.8% - международные источники; 26.4% - источники реального сектора. Размер оплаты труда на уровне среднего (в среднем руб.). Высокий уровень организационного потенциала. В наличии технопарки и образовательные подразделения. Высокий уровень продуктивности (340.3 тыс. руб. в расчете на одного научного работника).

22 Благодарю за внимание!