Грид технологии Лекция 7 Архитектура Globus Toolkit Радченко Глеб Игоревич, каф. СП, ЮУрГУ

Содержание 1. Обеспечение безопасности в GT4 2. Компоненты управления данными 3. Управление выполнением задач 4. Информационные службы 2

Обеспечение безопасности в GT4 1

Data MgmtSecurity Common Runtime Execution Mgmt Info Services GridFTP Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Allocation & Management Index Community Authorization Data Replication Community Scheduling Framework Delegation Replica Location Trigger Java Runtime C Runtime Python Runtime WebMDS Workspace Management Grid Telecontrol Protocol Globus Toolkit v4 Credential Mgmt 4

Безопасность GT Контроль доступа к разделенным ресурсам Обеспечение управления доступом, например разделение политик доступа для рабочих групп Поддержка многопользовательских объединений Объединение посредством взаимно - доверяемых служб Поддержка динамического определения доверяемых областей пользователями и ВО Персональная ( или ВО ) коллекция ресурсов, которые работают вместе на базе доверия пользователя ( ВО ). 5

6 Безопасность GT4 Пользователи Права Вычислительный центр Доступ Службы (работают на стороне пользователя) Права Local policy on VO identity or attribute authority CAs или VOMs выпускают сертификаты SAML или X.509 SSL/WS-Security c сертификатами доступа Authz Callout: SAML, XACML KCA MyProxy ВО Права

Безопасность GT4 Аутентификация на основе открытого ключа Расширяемая инфраструктура авторизации на основе стандартов Web- служб Идентификатор авторизации SAML Интегрированный механизм обработки политик язык XACML и т. п. Службы управления сертификатами MyProxy Служба Групповой Авторизации Отдельная служба делегирования 7

Использование стандартов безопасности GT4 Самый быстрый по умолчанию Поддерживается но медленный Поддерживается но не безопасный 8

Интеграция GT и XACML eXtensible Access Control Markup Language расширяемый язык разметки контроля доступа стандарт OASIS, открытая реализация XACML: сложный язык работы с политиками GT предоставляет среду исполнения XACML Включена в каждом клиенте и сервере GT … которая может быть прозрачно вызвана из среды исполнения или пользовательского приложения. 9

Инфраструктура авторизации GT 10

Другие службы безопасности MyProxy Упрощенное управление сертификатами Интеграция с Web- порталами (Tomcat) Поддержка единого входа KCA & kx.509 Интеграция с доменами Kerberos SimpleCA Генерация сертификатов Online 11

Компоненты управления данными 2

13 Data MgmtSecurity Common Runtime Execution Mgmt Info Services GridFTP Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Allocation & Management Index Community Authorization Data Replication Community Scheduling Framework Delegation Replica Location Trigger Java Runtime C Runtime Python Runtime WebMDS Workspace Management Grid Telecontrol Protocol Globus Toolkit v4 Credential Mgmt

GT4 Data Management Хранение / перемещение больших объемов данных с / на узлы GridFTP, Reliable File Transfer (RFT) Отдельно, и интегрировано с GRAM Определение местонахождения необходимой информации Replica Location Service (RLS) Реплики данных для увеличения производительности Distributed Replication Service (DRS) Обеспечение доступа к различным источникам данных Файловые системы параллельные файловые системы, иерархические системы хранения : GridFTP Базы данных : OGSA DAI 14

GridFTP в GT4 Поддержка IPv6 Расширенный ввод / вывод (XIO) для различных транспортных протоколов Разделение на полосы (Striping) скорости передачи данных порядка мульти -Gb/sec 27 Gbit/s на 30 Gbit/s канале Подключаемый Front-end: канал, контролируемый WS Back-end: HPSS, кластерная файловая система Передача : UDP, NetBLT transport 15

16 Reliable File Transfer: надежный протокол передачи RFT Service RFT Client SOAP Messages Notifications (Optional) Data Channel Protocol Interpreter Master DSI Data Channel Slave DSI IPC Receiver IPC Link Master DSI Protocol Interpreter Data Channel IPC Receiver Slave DSI Data Channel IPC Link GridFTP Server l Передача: запустил и забыл l Интерфейс Web-служб l Интегрированная система восстановления 16

Replica Location Service Позволяет определить положение файлов посредством карты имен : логических в физические Распределенный индекс имен Управление ~40 миллионами файлов на ~10 сайтах Index Local DB Update send (secs) Bloom filter (secs) Bloom filter (bits) 10K

OGSA-DAI Предоставляет сервисно - ориентированный доступ к структурированным ресурсам данных как часть системы Globus Определяет интерфейсы доступа к различным типам хранилищ данных ( начиная с реляционных и XML) 18

OGSA-DAI: инфраструктура для разработки приложений Поддерживает доступ к данным Реляционные : MySQL, Oracle, DB2, SQL Server, Postgres XML: Xindice, eXist Файлы – CSV, BinX, EMBL, OMIM, SWISSPROT,… Поддерживает передачу данных SOAP над HTTP FTP; GridFTP Inter-service Поддерживает трансформацию данных XSLT ZIP; GZIP Поддерживает безопасность X.509 certificate based security 19

20 MySQL OGSA-DAI service Engine SQLQuery JDBC Ресурсы данных Действия DB2 Инфраструктура OGSA-DAI GZipGridFTPXPath XMLDB XIndice readFile File SWISS PROT XSLT SQL Server Базы данных Application Client Toolkit 20

MySQL OGSA-DAI service Engine SQLQuery JDBC SQL JDBC SQL JDBC SQL JDBC SQL JDBC Multiple SQL GDS SQLQuery Пример расширения 21

OGSA-DAI: другие свойства Инфраструктура для создания клиентов Библиотека Client Toolkit library Инфраструктура для разработки функциональности Возможность расширения существующих или создания собственных действий Возможность объединения действий Высоко - расширяемая Возможность « затачивать » продукт Разработка собственных служб, клиентских приложений и собственной функциональности ( в зависимости от данных ) 22

Управление выполнением задач 3

24 Data MgmtSecurity Common Runtime Execution Mgmt Info Services GridFTP Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Allocation & Management Index Community Authorization Data Replication Community Scheduling Framework Delegation Replica Location Trigger Java Runtime C Runtime Python Runtime WebMDS Workspace Management Grid Telecontrol Protocol Credential Mgmt

Управление исполнением (GRAM) Общий интерфейс для планировщиков на основе WS Unix, Condor, LSF, PBS, SGE, … Обобщенно : интерфейс для управления процессами Формирование среды исполнения Загрузка данных Мониторинг и управление жизненным циклом Завершение работы, очистка 25

GRAM services GT4 Java Container GRAM services Delegation RFT File Transfer request GridFTP Remote storage element(s) Local scheduler User job Compute element GridFTP sudo GRAM adapter FTP control Local job control Delegate FTP data Client Job functions Delegate Service host(s) and compute element(s) Архитектура GT4 WS GRAM SEG Job events 26

GRAM services GT4 Java Container GRAM services Delegation RFT File Transfer request GridFTP Remote storage element(s) Local scheduler User job Compute element GridFTP sudo GRAM adapter FTP control Local job control Delegate FTP data Client Job functions Delegate Service host(s) and compute element(s) Архитектура GT4 WS GRAM SEG Job events Сертификат может быть передан приложению 27

GRAM services GT4 Java Container GRAM services Delegation RFT File Transfer request GridFTP Remote storage element(s) Local scheduler User job Compute element GridFTP sudo GRAM adapter FTP control Local job control Delegate FTP data Client Job functions Delegate Service host(s) and compute element(s) Архитектура GT4 WS GRAM SEG Job events Сертификат может быть передан для авторизации в RFT 28

GRAM services GT4 Java Container GRAM services Delegation RFT File Transfer request GridFTP Remote storage element(s) Local scheduler User job Compute element GridFTP sudo GRAM adapter FTP control Local job control Delegate FTP data Client Job functions Delegate Service host(s) and compute element(s) Архитектура GT4 WS GRAM SEG Job events Сертификат может быть использован для аутентификации В GridFTP 29

Производительность WS GRAM Время постановки базового задания GRAM Pre-WS GRAM: < 1 секунды WS GRAM: 2 секунды Максимальное количество заданий Pre-WS GRAM: 300 заданий WS GRAM: 32,000 заданий ( максимум папок в директории ) 30

Workspace Service: Служба рабочего пространства Политика Клиент Окружение Задача Согласование доступа Инициация задачи Мониторинг задачи Контроль задачи Интерфейс Поставщик ресурса 31

32 Задачи могут быть вложенные Политика Клиент Среда Интерфейс Поставщик ресурсов Клиент 32

Например Физическая машина Обеспечить аппаратные ресурсы Гипервизор/OS Установить гипервизор/OS VM Установить виртуальную машину Инициация, управление и мониторинг на всех уровнях JVM Установить контейнер JVM Установить службу 33

Динамическое развертывание служб Сообщество А Сообщество Z … Групповые механизмы планирования Распределение данных Групповой менеджмент Научные службы... Требования: Управление группами Устойчивость Гарантированные ресурсы Изолированность (принцип «невмешательства») 34

Затраты на использование виртуальных машин GRAM job GRAM job in paused VM Job in booted VM 35

Информационные службы 4

37 Data MgmtSecurity Common Runtime Execution Mgmt Info Services GridFTP Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Allocation & Management Index Community Authorization Data Replication Community Scheduling Framework Delegation Replica Location Trigger Java Runtime C Runtime Python Runtime WebMDS Workspace Management Grid Telecontrol Protocol Credential Mgmt

Мониторинг и обнаружение Должны поддерживаться стандартные механизмы мониторинга и обнаружения служб WSRF/WSN предоставляют такие механизмы Общая инфраструктура для сбора информации : MDS-Index: кешируемые Xpath запросы MDS-Trigger: выполнение действия по условию Глубокая интеграция с контейнерами и службами Globus: каждая служба GT4 может быть обнаружена GRAM, RFT, GridFTP, CAS, … 38

GT4 Container Мониторинг и обнаружение служб GT4 GRAMUser MDS- Index GT4 Cont. RFT MDS- Index GT4 Container MDS- Index GridFTP adapter Регистрация и доступ WSRF/WSN Особые протоколы для не-WS сущностей Клиенты (WebMDS) Автомат. регистрация в контейнере WS-ServiceGroup 39

Производительность сервера индекса По мере роста индекса MDS4, замедляется время обработки запроса, хотя и менее чем линейно Время ответа увеличивается в связи с увеличивающимся объемом передаваемых данных Ответ перестраивается под каждый запрос 40

Поставщики информации Поставщики информации (information providers) GT4 собирают информацию с определенной системы и предоставляют в виде свойств ресурса WSRF Количество поставщиков информации постоянно растет Ganglia, CluMon, Nagios SGE, LSF, OpenPBS, PBSPro, Torque Множество попыток разработки новых поставщиков Например мониторинг сетей, систем хранения, сенсоров 41

Выводы GT4 42 Службы Java на Apache Axis плюс библиотеки и обработчики GT Your Java Service Ваша служба (Python) Ваша служба (Java) RFT GRAM Delegation Index Trigger Archiver pyGlobus WS Core Ваша служба (С) C WS Core RLS Pre-WS MDS CAS Pre-WS GRAM SimpleCAMyProxy OGSA-DAI GTCP GridFTP Службы на C, использующие библиотеки GT СЕРВЕР КЛИЕНТ Совместимые с WS-I сообщения SOAP Your Java Client Your C Client Your Python Client Ваш клиент (Java) Ваш клиент (С) Ваш клиент (Python) X.509 сертификаты = общая аутентификация Хостинг на Python, библиотеки GT Your Java Client Your C Client Your Python Client Ваш клиент (Java) Ваш клиент (С) Ваш клиент (Python)

Ссылки и литература Я. Фостер, К. Кессельман, Д. М. Ник, С. Тьюке ФИЗИОЛОГИЯ ГРИД. Открытая архитектура грид - служб для интеграции распределённых систем. [ /publ_file/] Borja Sotomayor. The Globus Toolkit 4 Programmers Tutorial. November tutorial/download/progtutorial-pdf_0.2.1.tar.gz] tutorial/download/progtutorial-pdf_0.2.1.tar.gz Globus Toolkit Release Manuals [ unix.globus.org/toolkit/docs/4.2/4.2.1/] 43

Презентации 44

Ваши вопросы ? Спасибо за внимание ! Страница курса : Радченко Глеб Игоревич, каф. СП, ЮУрГУ