Research Institutes CRIS as a Source of Data for Assessing Research Results Sergey Parinov, CEMI RAS Socionet project

How we can develop CRIS to provide … complex, detailed and accurate data for better assessing research results and researchers by: – Higher Attestation Commission (VAK) experts – Research Foundations, e.g. Russian Foundation for Basic Research to evaluate proposals – Managers of research organizations to make right motivations of scientists CRIS has to be a part of research e-infrastructure

What we can develop in CRIS and in research e-infrastructure: Tools for electronic depositing of research results to give experts full and accessible set of research results Tools and services for linking relative research materials and maintaining networks of such relations to give experts complexity of data Tools and services for better research results usage and its monitoring to give experts more accurate and realistic data for research assessments

Full and accessible data on research results CRIS provides a tool for electronic depositing by researchers of all their research results (as articles) Research e-infrastructure provides an integration mechanism to build an unified information space from local CRISs data Interactions between local CRISs and integration mechanism can based on OAI-PMH protocol and CERIF data format Current problem: lack of motivation for researchers

Electronic depositing tools There are many systems, which support OAI-PMH protocol (Eprints, Dspace, Socionet Personal Zone, etc.) and few of them supporting CERIF format (e.g. SPZ) Using Socionet Personal Zone (spz.socionet.ru) services a researcher can: – Deposit his/her single materials in thematic series of Socionet Open Archive – Create and maintain any number of different types own series (preprints, postprints, personal and institution profiles, news, comments, projects, thesis, etc.) collecting any number of materials/articles

Institutional Repository (IR) Tools Using Socionet Personal Zone a research institute can integrate all types series created by different people from their staff as IR with OAI-PMH/CERIF features Many people from the institute can create and maintain their thematic collections of research materials and institutes admin can integrate it as IR By this way research institutes of Social Science Section of RAS built 21 IR, and as a result Russia moved to 14 position in an international rating

IRs in Russia (October 2008) ОА_Вологодский научно-координационный центр ЦЭМИ РАНОА_Вологодский научно-координационный центр ЦЭМИ РАН (дата: ) Ригин Василий Александрович ОА_Центр египтологических исследований РАНОА_Центр египтологических исследований РАН (дата: ) Давыдова Алла Борисовна ОА_Институт экономики и организации промышленного производства СО РАНОА_Институт экономики и организации промышленного производства СО РАН (дата: ) Колобова Елена Анатольевна ОА_Отделение международных экономических и политических исследований (Филиал Института экономики РАН)ОА_Отделение международных экономических и политических исследований (Филиал Института экономики РАН) (дата: ) Соколова Татьяна Владимировна ОА_Институт Европы РАНОА_Институт Европы РАН (дата: ) Слесаренко Мария Альбертовна ОА_Институт философии Российской Академии НаукОА_Институт философии Российской Академии Наук (дата: ) Гаджикурбанова Полина Аслановна ОА_Институт государства и права РАНОА_Институт государства и права РАН (дата: ) Лазуткина Ирина Николаевна ОА_Институт мировой экономики и международных отношений Российской Академии НаукОА_Институт мировой экономики и международных отношений Российской Академии Наук (дата: ) Хилькевич Евгения Владимировна ОА_Институт проблем региональной экономикиОА_Институт проблем региональной экономики (дата: ) Жук Надежда Петровна ОА_Институт социально-экономических исследований Уфимского научного центра РАНОА_Институт социально-экономических исследований Уфимского научного центра РАН (дата: ) Климова Нина Ивановна ОА_Сочинский научно-исследовательский центр Российской академии наукОА_Сочинский научно-исследовательский центр Российской академии наук (дата: ) Кизилова Ольга Викторовна ОА_Институт народнохозяйственного прогнозированияОА_Институт народнохозяйственного прогнозирования (дата: ) Ковалев Владимир Петрович ОА_Институт экономики Российской Академии наукОА_Институт экономики Российской Академии наук (дата: ) Романюк Эвелина Игоревна ОА_Институт аграрных проблем Российской академии наукОА_Институт аграрных проблем Российской академии наук (дата: ) Осовин М.Н. ОА_Институт экономических проблем Кольского Научного Центра РАНОА_Институт экономических проблем Кольского Научного Центра РАН (дата: ) Емельянова Елена Евгеньевна ОА_Санкт-Петербургский экономико-математический институт РАНОА_Санкт-Петербургский экономико-математический институт РАН (дата: ) Гузий Л.И. ОА_Социологический институт Российской академии наук (статус государственного учреждения)ОА_Социологический институт Российской академии наук (статус государственного учреждения) (дата: ) Русакова Инна Викторовна ОА_Институт США и Канады Российской Академии НаукОА_Институт США и Канады Российской Академии Наук (дата: ) Соколова М.Е. ОА_Отделение международных экономических и политических исследований (Филиал Института экономики РАН)ОА_Отделение международных экономических и политических исследований (Филиал Института экономики РАН) (дата: ) Соколова Т.В. ОА_Центральный экономико-математический институт Российской академии наукОА_Центральный экономико-математический институт Российской академии наук (дата: ) Ляпичева Н.Г. ОА_Институт проблем рынка РАНОА_Институт проблем рынка РАН (дата: ) Когаловский М.Р.

Russia in IRs international rating (September 2008) Страна кол-во ОА 1.United States225United States 2.United Kingdom108United Kingdom 3.Germany86Germany 4.Brazil55Brazil 5.Japan46Japan 6.Canada44Canada 7.France40France 8.Sweden35Sweden 9.Australia34Australia 10.Spain32Spain 11.Italy31Italy 12.India28India 13.Netherlands23Netherlands 14.Russian Federation20 Source:

Leading Russian Research Institutes by IRs characteristics Institute NameNumber of materials in IR Number of series in IR 1. Институт экономики и организации промышленного производства СО РАН Центральный экономико-математический институт РАН Институт философии РАН Институт проблем рынка РАН Институт народнохозяйственного прогнозирования РАН Вологодский научно-координационный центр ЦЭМИ РАН Институт экономических проблем Кольского Научного Центра РАН Институт экономики РАН Отделение международных экономических и политических исследований (Филиал Института экономики РАН) Институт США и Канады РАН Институт аграрных проблем РАН Институт социально-политических исследований РАН 594

Example of series structure of IR (for IEIE SB RAS) Series TitleNumber of materials Авторефераты диссертаций, принятых к защите 1 Авторефераты защищенных диссертаций 23 Журнал "Регион: экономика и социология" 449 Каталог изданий ИЭОПП СО РАН 246 Монографии, сборники, учебники сотрудников ИЭОПП СО РАН по региональной тематике с 1990 г. 139 Новости ИЭОПП СО РАН 15 Организационные профили ИЭОПП СО РАН 7 Отчеты о научной и научно-организационной деятельности института в целом, подразделений и исследователей ИЭОПП СО РАН 7 Препринты сотрудников ИЭОПП СО РАН по региональной тематике с 1990 г. 183 Публикации Григория Ханина 41 Публикации сотрудников ИЭОПП СО РАН по региональной тематике с 1990 г. 611 Сотрудники ИЭОПП СО РАН 17 Труды сотрудников ИЭиОПП 9767

Example OAI-PMH{CERIF} support for IR at Socionet

Complexity of data on research results CRIS provides a tool to make thematic links between relative materials located at any part of unified information space Research e-infrastructure provides a service to support such links and tools to maintain networks of such relations Basic information objects for linking are: – a research article or a material – personal profile of a researcher – institution profile

Example of types of linking for a research article

Links as a graph

Example of types of links for a personal profile

Example of types of links for an institution profile

Needed development Adding to CERIF a set of specifications for global thematic links between information objects: – how to provide global unified ID for objects from local CRIS – open format for specifying links between objects – open list of links types

Accurate and realistic data for research results usage assessment CRIS provides a tool to use (cite) research results in advanced and improved form located in any other CRIS Research e-infrastructure provides a service to support such advanced citations A focus on building a new advanced model to make electronic citations in deposited research articles/materials

Electronic citation tool To make citation as a one of thematic links between fragments of articles located in any CRIS Each citation link includes a set of quality attributes of usage type and a field for notes Making a citation an author specifies linked fragments of texts, selects usage type and can fill in a note

Quality attributes of electronic citation Making a citation an author should select one or many of quality attributes to specify how (s)he uses the cited research result. Suggested usage types: «grounds for receiving my results», which means direct scientific use of cited result by the author; «proof of cited result», i.e. the result of the author proves the cited one; «cited result proves result, obtained by the author previously», i.e. the author states his/her priority with regard to independently obtained cited result; «similar or related result», meaning that the author in a certain sense repeated the cited result; «illustration of my conclusions», implying certain logical link between the result of the author and the cited one; «object for criticism», means that the author doubts the cited result.

Electronic citation output: new data for research assessment who and how uses certain research results as the basis for own scientific argument; these cases mean direct utilization of results and increase indicator of its using; which results prove or are proved by other results, which should enhance the indicator of the proved results credibility; which results repeat the existing ones, which should increase the degree of both results credibility; which results use as general illustrations than means a case of weak usage of results; who criticizes which results

Needed development Adding to CERIF a citation type of links with a set of quality attributes and a note field Provide an open list of quality attributes for citation links