Жучков Алексей Васильевич Институт химической физики РАН Автономная некоммерческая организация «Телекоммуникационный центр «Наука и общество» 119991 Москва, - презентация

1 Жучков Алексей Васильевич Институт химической физики РАН Автономная некоммерческая организация «Телекоммуникационный центр «Наука и общество» Москва, ул. Косыгина, 4. Тел: (095) БИБЛИОГРИД – ОСНОВНЫЕ ЭЛЕМЕНТЫ КОНЦЕПЦИИ И РЕАЛИЗАЦИИ

2 ЮМОС СЕГОДНЯ Коммуникационная и техническая поддержка Внешняя коннективность Вычислительные ресурсы Хранилища информации Поддержка виртуальных организаций Поддержка инфраструктуры открытых ключей Поддержка ПО Globus Toolkit Базовые сервисы Новые грид-сервисы для науки и образования

3 ГРИД = + Коммуникации + Виртуальные организации + Middleware технологии (GT) - Коммерческий грид (DCGrid,…,Oracle10g) - Общественный грид Концепция метакомпьютинга

4 WSFR - симбиоз с Web VO, в т.ч. динамические Участники взаимодействия получают полный контроль над ресурсами Не P2P платформа - виртуализация ресурсов Дополнительная функциональность Проблемы безопасности Аутентификация, в т ч серверов Авторизация Конфиденциальность и целостность данных Биллинг, в т ч контента Аудит Строгое выполнение обязательств Распределенная платформа Диспетчеризация, а не распараллеливание Гетерогенность ресурсов Высокая размерность задачи Есть круг задач, которые grid позволяет эффективно решать (с приемлемыми затратами) Доверительные отношения разного вида Отсутствие единого диспетчера (его цель - выполнять задачи VO) Не клиент - серверная платформа OGSA – сервис – агентная архитектура Отсутствие единого центра управления Для отказоустойчивости и приемлемой производительности тиражирование данных и миграция служб или процессов с одного ресурса на др. Некоторые особенности грид-технологий Виртуализация (доступ не к серверам а к сервисам) Сервисы по требованию (фабрики)

5 Грид - решение: Community Authorization Service (CAS) - Сообщество договаривается о доступе к ресурсам - Ресурсы привлекают третьих лиц для проведения авторизации в CAS Виртуальные организации Безопасность = Аутентификация + Авторизация + Биллинг - CAS обеспечивает регистрацию пользователя - Пользователь, желающий получить доступ к ресурсам, запрашивает у CAS разрешающий мандат Сертификационный центрЮМОС Сертификационный центр ЮМОС является доверенной стороной выдаёт и отзывает сертификаты, построенные на базе асимметричной криптографии поддерживает репозитории для действительных сертификатов поддерживает списки отозванных сертификатов X.509 сертификаты

6 Более 90 организаций, объединённых в грид-сегмент на базе ЮМОС 1999-… годы Управление знаниями (Knowledge Grid) Обработка данных (Data Grid) Вычисления (Computing Grid) VO RGRID : Вакцины нового поколения и медицинские диагностические системы будущего ELSEVIER

7 Windows Cluster Bioinformatics Centre EIMB RAS ITEP IOC RAS TC Science & Society Linux Cluster SINP MSU Gateway to FREENET Gateway to RUHEP … IITP RAS M9 – International Gateway … …… … ……… ICP/IBCP RAS EBI Databanks Institute of Chemical Physics Linux Cluster Institute of Immunology Linux Cluster Gateway to RUNNET Institute of Virusology NRCS/IBMC RAMS Объединение вычислительных ресурсов FINNIGAN LTQ FT BRUKER apex-Qe

8 Viruses Database Institute of Virusology DNA-Vaccines Institute of Vaccines and Wheys RAMS Synthetic Vaccines Institute of Bioorganic Chemistry RAS Immune Medicines & Clinical Tests Fed. Research Center Institute of Immunology & more than 15 other databases … DNA Anti-AIDS Vaccines Biomedical Centre (S.-Petersburg) Membrane Diagnostic Systems Institute of Biochemistry RAS Virusology & Biotechnology Fed. Research Center Vector (Novosibirsk) Corporative Knowledge Network CONTROL Institute of Chemical Physics RAS Объединение информационных ресурсов

9 Вычислительные сервисы (результаты) 1) 2) Моделирование радиационного повреждения ДНК 3,000 3) Сервис сравнительного анализа нуклеотидных и белковых последовательностей Отсутствие эффективной организации управления данными реально сдерживает развитие целого ряда технологий распределенных вычислений, при этом управление данными не может сводиться только к организации системы управления репликами. ?)

10 VO BiblioGrid ЮМОС НЭБ ИНИОН ГПНТБ БЕН РГБ ГИВЦ Роскультуры ВГБИЛ Библ.совет РАН Провайдеры контента Педагогич. Библ. Мед. Библ. Сельхоз. Библ. Библ.институтов и Университетов в т.ч. подключённые через другие сети Библ.по искусству Создать техологическую интеграционную среду, базирующуюся на распределенных федеративных принципах Обеспечить технологическое единство с евросредой Осуществлять «повсеместный» поиск в гетерогенной среде (БД,в т.ч.не публичные) Создавать новые грид-сервисы для ЭБ (распределённые репозитории и методанные, мониторинг и биллинг, безопасность) Показать принципиальную возможность создания ЭБ в грид-среде

11 базовые сервисы виртуальные организацииинфоромационные объекты репозиторий Элементы концепции сервисы

12 Registry DAISGR Container Factory GDSF Grid Data Servise GDS Consumer OR 3d. Results of query delivered to cosumer as XML 2b. Factory creates GDS to manage access Database (Xindince, MySQL, Oracle, DB2) 3b. GDS interacts with database 3c. Results of query returned to client as XML 3a. Client queries GDS with SQL, Xpath, Xquery etc. 2c. Factory returns handle of GDS to client 2a. Request to Factory for access to database 1b. Registry responds with Factory handle 1a. Request to Registry for sourses of data about x SAC GRID area User OGSA-DAI Work Process OGSA-DAI

13 Registry & Users Account List Container Factory Library Proxy Service Library Proxy Service Logging Service OR 3d. Results of query delivered to cosumer as XML-HTML 2b. Factory creates LPS to manage access DL 3b. LPS interacts with database 3c. Results of query returned to client as XML-HTML 3a. Client queries LPS with XML-HTML 2c. Factory returns handle of GDS to client 2a. Request to Factory for access to database for user 1b. Registry responds with Factory handle 1a. Request to Registry for sourses of data SAC Globus Environment (Linux) User GUI Proxy Service activator Globus (Windows) Work Process Library Bibliogrid Proxy Service

14 Registry DAISGR Registry SpecMetoDataServ Container Factory SMDS Spec MetoData Service Logging And Billing Service 3d. Results of query delivered to cosumer as XML 2b. Factory creates servise DL of XML MetaData 3b. SMDS interacts with DL 3c. Results of query returned to client as XML 2a. Request to Factory for access to database for user 1b. Registry responds with Factory handle 1a. Request to Registry for sourses of data or metadata Globus Environment (Linux) User GUI Application Globus (Windows) Factory GDSF Grid Data Servise GDS Database (Xindince, MySQL, Oracle, DB2) 3b. GDS interacts with database 3a. Client queries SMDS, GDS with SQL, Xpath, Xquery etc. 2c. Factory returns handle of SMDS or GDS to client Work Process MetaData Service

15 Сервис репозитория ИО в стандарте METS (Metadata Encoding and Transmission Standard) Стандарт для кодирования описательных, административных и структурных метаданных для ИО в составе ЭБ, основывающийся на языке XML schema, в рамках инициативы федерации электронных библиотек (Digital Library Federation). Поддерживается подразделением Библиотеки Конгресса Network Development and MARC Standards Office. Высокоуровневые грид-сервисы Library Bibliogrid Proxy Service + ZING G-ONTOLOGY Грид – технология семантического связывания разнородных ИО, основанная на стандартах построения онтологий и языке OWL (Web Ontology Language) GDQS (The Grid Distributed Query Service) высокоуровневый интеграционный сервис от OGSA-DAI, поддерживающий OQL в качестве сквозного языка запросов. (New Z39.50) семантические модели понятийной сети и модели вычислительных процессов описание собственных и внешних информационных ресурсов и часть ресурсов (регламент получения и обновления информации; формат данных и способ доступа к ним; состав ИО, описанный в терминах модели и способ ее хранения в источнике; способы идентификации ИО в источнике; первоисточник информации об объекте или отдельных его атрибутах и др.) описание компонентов самого метахранилища каталог Grid/Web-сервисов [WSDL (Web Services Description Language)]

16 G-Ontology - a package of user-friendly tools for ontology-based work in VO Concepts & Links handling options Concepts and Links are easy to create, look through, operate and modify Description of concepts List of concepts

17 Ontology a Ontology b G-Ontology - facilitate collaborative work in the VO Library of ontologies corporative ontology Ontology c Ontology d Ontology a Ontology b

18 G-Ontology - an effective tool for ontology-based work in Virtual Organization with heterogeneous sources Multilingual support Appropriate database window opens according to selected concept flexible syntaxes for Concept-Data sources links

19 G-Ontology for ontology-based work in with diverse data

20 Заключение ECDL2005 ЭБ необходимы в Grid среде, среде VO, ориентированной прежде всего на высокопроизводительные вычисления, где ЭБ рассматриваются прежде всего как среда обработки данных Виртуально, распределенно, гетерогенно, федеративно Использование большого числа готовых решений базового middleware для построения ЭБ Работы в рамках данного проекта можно рассматривать и как создание и развитие среды программирования для создания ЭБ (GT 4.01) Сотрудничество БИБЛИОГРИД - прекрасный полигон для выбора, создания и опробации информационных сервисов (Grid\Web), в том числе работающих в БД и коллекциях, не имеющих публичного доступа

21 Жучков Алексей Васильевич Институт химической физики РАН Автономная некоммерческая организация «Телекоммуникационный центр «Наука и общество» Москва, ул. Косыгина, 4. Тел: (095) БИБЛИОГРИД – ОСНОВНЫЕ ЭЛЕМЕНТЫ КОНЦЕПЦИИ И РЕАЛИЗАЦИИ