Требования к грид-инфраструктуре Аутентификация(пользователя/хоста/сервиса) Авторизация & политики доступа Поддержка виртуальных организаций Обнаружение ресурсов Выбор ресурсов по характеристикам Резервирование ресурсов Запуск и контроль заданий Распределенные алгоритмы Удаленный доступ к данным Высокоскоростная передача данных Производительность Монитогринг Аккаунтинг

Основные структурные компоненты грид-системы ресурсные центры, включающие –вычислительные ресурсы; –ресурсы хранения данных; набор базовых грид-сервисов; пользовательский интерфейс

Обобщенная схема структуры грида Picture from: Введение в грид-технологии, Препринт НИИЯФ МГУ

User Interface, UI Предназначен для обеспечения доступа пользователя к ресурсам грида осуществляет запуск заданий на выполнение; пересылает данные с одного ресурса хранения данных на другой; контролирует процесс выполнения задания; получает результат выполнения задания Типичные реализации: CLI, WebUI

Resource Сentre Может включать два типа ресурсов: Вычислительный ресурс, на котором выполняется обработка данных (ComputingElement,СE и WorkerNodes,WN); Ресурс хранения данных (Storage Element, SE), который обеспечивает хранение и транспортировку данных между аналогичными ресурсами и/или данным ресурсом и пользователем.

Базовые грид-службы (services) Oбеспечивают работу всей грид-системы в целом подсистема управления загрузкой (Workload Management System, WMS), –служба распределения заданий (Resource Broker, RB); подсистема управления данными (Data Management System, DM) –базовые службы: служба файлового каталога, служба каталога метаданных; подсистема информационного обслуживания и мониторинга (Information System, IS) –служба регистрации и учета ресурсов грида, подсистема безопасности и контроля прав доступа (Grid Security Infrastructure, GSI) –служба выдачи и поддержки сертификатов (Certificate Authority, CA), –служба регистрации виртуальных организаций и пользователей, –служба управления виртуальными организациями и выдачи proxy-сертификатов (Virtual Organization Membership Service, VOMS), –служба продления действия прокси-сертификата (MyProxy Service, MP); подсистема протоколирования (Logging and Bookkeeping, LB) –служба отслеживания статуса выполняемых заданий, подсистема учета (Accounting Subsystem, AS) –служба учета использования грид-ресурсов.

Middleware structure Applications have access both to Higher- level Grid Services and to Foundation Grid Middleware Higher-Level Grid Services are supposed to help the users building their computing infrastructure but should not be mandatory Foundation Grid Middleware will be deployed on the infrastructure –Must be complete and robust –Should allow interoperation with other major grid infrastructures –Should not assume the use of Higher-Level Grid Services Foundation Grid Middleware Security model and infrastructure Computing (CE) and Storage Elements (SE) Accounting Information and Monitoring Higher-Level Grid Services Workload Management Replica Management Visualization Workflow Grid Economies... Applications Overview paper

Workload ManagementData Management Security Information & Monitoring Access Grid Middleware Services (gLite) API Computing Element Workload Management Metadata Catalog Storage Element Data Movement File & Replica Catalog Authorization Authentication Information & Monitoring Application Monitoring Auditing Job Provenance Package Manager CLI Accounting Site Proxy Overview paper

Middleware: Globus ToolKit. Является базисом для построения грид и приложений Последняя версия пакета - Globus Toolkit включает средства разработки служб в соответствии с группой стандартов WS, среду их функционирования, а также базовый набор служб: управления заданиями(Execution Management), управления распределенными данными (Data Management), информационного обслуживания (Information Services), безопасности (Grid Security Infrastructure (GSI).

Globus Toolkit Services (GT2) Security (GSI – Grid Security Infrastructure ) –PKI-based Security (Authentication) Service Job submission and management (GRAM – Grid Resource Allocation and Management protocol ) –Uniform Job Submission Information services (MDS – Meta Directory Service ) –LDAP-based Information Service Remote file management (GASS – Grid Access Data Services ) –Remote Storage Access Service Remote Data Catalogue and Management Tools

Globus Toolkit (GT2)

Grid protocols (GSI, GRAM, …) enable resource sharing within virtual orgs; toolkit provides reference implementation ( = Globus Toolkit services) User Gatekeeper (factory) Reliable remote invocation GRAM (Grid Resource Allocation & Management) Reporter (registry + discovery) User process #2 Proxy #2 Create process Register Working Globus Toolkit l Protocols (and APIs) enable other tools and services for membership, discovery, data mgmt, workflow, … Other service (e.g. GridFTP) Other GSI- authenticated remote service requests GIIS: Grid Information Index Server (discovery) MDS-2 (Monitor./Discov. Svc.) Soft state registration; enquiry User process #1 Proxy Authenticate & create proxy credential GSI (Grid Security Infrastruc- ture) Picture from I.Foster,C.Kesselman THE ANATOMY OF THE GRID, 2001

GRAM LSFCondorNQE Application RSL Simple ground RSL Information Service Local resource managers RSL specialization Broker Ground RSL Co-allocator Queries & Info Resource Management Architecture RSL – Resource Specification Language

A Model Architecture for Data Grids Metadata Catalog Replica Catalog Tape Library Disk Cache Attribute Specification Logical Collection and Logical File Name Disk ArrayDisk Cache Application Replica Selection Multiple Locations NWS Selected Replica GridFTP Control Channel Performance Information & Predictions Replica Location 1Replica Location 2Replica Location 3 MDS GridFTP Data Channel

Key Concepts for GT4 Open Grid Services Architecture (OGSA) Web Services Resource Framework: –WSRF is the core of GT4 Web Services: –OGSA, WSRF, and GT4 are based on standard Web Services technologies such as SOAP and WSDL. –Ned to be familiar with the Web Services architecture and languages. The GT4 Architecture: –Based on WS-Resources and Web Services, and grid computing Java & XML: –to use GT4, you need to be able to program in Java, and to understand basic XML. Globus OGSA Web Services

Non-WS Components Pre-WS Authentication Authorization GridFTP C Common Libraries Globus Toolkit version 2 (GT2) Grid Resource Alloc. Mgmt (GRAM) Monitoring & Discovery (MDS) Web Services Components Data Mgmt Security Common Runtime Execution Mgmt Info Services

Web Services Components Non-WS Components Pre-WS Authentication Authorization GridFTP C Common Libraries WS Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Alloc. Mgmt (WS GRAM) MDS3 Java WS Core Community Authorization Replica Location eXtensible IO (XIO) Globus Toolkit version 3 (GT3) Grid Resource Alloc. Mgmt (GRAM) Monitoring & Discovery (MDS) Data Mgmt Security Common Runtime Execution Mgmt Info Services

Web Services Components Non-WS Components Pre-WS Authentication Authorization GridFTP Pre-WS Grid Resource Alloc. & Mgmt Pre-WS Monitoring & Discovery C Common Libraries Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Allocation & Management Index Java WS Core Community Authorization Replica Location eXtensible IO (XIO) Credential Mgmt Community Scheduling Framework Delegation Globus Toolkit version 4 (GT4) Data Replication Trigger C WS Core Python WS Core WebMDS Workspace Management Grid Telecontrol Protocol Contrib/ Preview Core Depre- cated Data Mgmt Security Common Runtime Execution Mgmt Info Services

Open Grid Services Architecture (OGSA) Standard interfaces & behaviors for distributed system management Service orientation: Grid Services, in analogy to Web Services –Web services: persistent –Grid services: transient (issues: e.g., how are they discovered?) –Extending WSDL to GSDL (work with W3C) Standard service specifications –Resource management –Data management –Workflow –Security –etc. Gives interoperability and true modularity of Grid structures

Grid Services Architecture(OGSA) Applications Grid Services Layer InformationResource mgmt SecurityData accessFault detection... Grid Fabric Layer TransportMulticast InstrumentationControl interfacesQoS mechanisms... High-energy physics data analysis Regional climate studies Collaborative engineering Parameter studies On-line instrumentation Application Toolkit Layer Distributed computing Data- intensive Collab. design Remote vizualization Remote control

Common features of computational Grid systems GFD.30The Open Grid Services Architecture, Version 1.0

Web-сервисы Используют спецификации: XML - язык разметки для того, чтобы обмениваться структурированными данными; SOAP (Simple Object Access Protocol)– основанный на XML протокол для спецификации содержания сообщений,служебной информации («конверт сообщения») и информации необходимой для правильной обработки сообщений; WSDL (Web Services Description Language) –основанный на XML, используемый для описания атрибутов, интерфейсов и других свойств веб-сервиса. Документ WSDL используется потенциальным клиентом, чтобы узнать о сервисе и способах обращения к нему. Веб-сервисы (или веб-службы) – это распределенные программные компоненты, идентифицируемые своим сетевым адресом, интерфейс которых описан на WSDL (язык описания веб-сервисов)

WS Components/Arch HTTP Server - Apache HTTP Server Application Server - Tomcat SOAP Engine - Apache AXIS Web Service - Any (you write this) Software stack used by GT4 WSRF Implementation Application rpcrouter SOAP HTTP TCP/IP Infrastructure (Data link) Application (servlet) Web server SOAP HTTP TCP/IP Infrastructure (Data link)

OGSA: definition of Grid Servise OGSA определяет грид-сервис как веб-сервис, который предоставляет набор интерфейсов, определенных на языке WSDL, и следует специфическим конвенциям для их создания и композиции сложных распределенных систем. Интерфейсы определяют способы обнаружения, динамического создания службы, управления жизненным циклом, уведомления, управление Конвенции определяют способ именования и возможность модернизации грид-служб Грид-сервис это (возможно временная) служба на базе грид-протоколов, описанная посредством WSDL

Grid Infrastructure:Open Standards Web services (WSDL, SOAP, WS-Security, WS-ReliableMessaging, …) WS-Resource Framework & WS-Notification (Resource identity, lifetime, inspection, subscription, …) WS-Agreement (Agreement negotiation) WS Distributed Management (Lifecycle, monitoring, …) Applications of the framework (Compute, network, storage provisioning, job reservation & submission, data management, application service QoS, …)