Vadim Petukhov (IHEP, Protvino) What are Grids? (Что такое Grid?) NA3 Induction Courses, Дубна, 28 июня, 2004 г.

The Grid: Объединенные сетью центры обработки данных и соответствующее программное обеспечение middleware как элемент связующий ресурсы Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Научные инструменты и эксперименты поставляют огромные массивы данных The Grid Vision (Взгляд на GRID) NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Основные понятия GRID- вычислений GRID и распределенные вычисления -однотипные ресурсы, локальные или специализированные компьютерные сети; однородные задачи - разнородные ресурсы, динамическое подключение и удаление ресурсов; большие коллективы Факторы способствовавшие появлению GRID - Интернет, высокоскоростные сети, Петабайты данных (1PB=10**15 B) Понятие Виртуальной Организации (VO) - много организаций объединяются для решения проблем в режиме скоординированного распределения своих ресурсов GRID и WWW - в случае www организуется доступ к распределенным информационным ресурсам (незначительных вычислительные) -GRID – инфраструктура для доступа к распределенным значительным вычислительным ресурсам и данным NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Сравнение уровневых моделей GRID и Internet (По материалам: I. Foster, C. Kesselman, S. Tuecke The Anatomy of the GRID: Enabling Scalable Virtual Organizations.)

Fabric ( Ресурсы) Вычислительные ресурсы: Включают механизмы запуска программ, мониторинга, управления завершением программ; функции определения типа Hardware и Software; состояния загрузки процессоров, очередей и т.п. Ресурсы файловой памяти: Механизмы приема/передачи файлов (включая возможности компрессии); средства резервирования и освобождения файлового пространства; функции определения типа Hardware и Software; мониторинг доступного пространства и скоростей обмена. Сетевые ресурсы: Механизмы определения и назначения ресурсов (включая запросы на приоритеты и резервацию). Хранилище кодов: Специализированный ресурс для работы с различными версиями исходных и объектных кодов. Каталоги: Специализированный ресурс для работы с порядком доступа и обновлением каталогов (например, реляционные базы данных). NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Коммуникационные протоколы для обмена данными между ресурсами (транспортировка, маршрутизация, работа с именами). Интернет (IP и ICMP), Транспорт (TCP, UDP), Прикладные (DNS, OSPF, RSVP, и т.д.). Средства аутентикации пользователей и ресурсов должны поддерживать: - одноразовая проверка подлинности; - делегирование прав (условных и безусловных) - взаимодействие с локальными средствами безопасности (в т.ч. Unix, Kerberos и т.п.) - доверительные отношения пользователей (А+Б=АБ) Гибкость политики безопасности (контроль за защитными механизмами с возможностью в критических случаях снимать или ограничивать делегированные права). Connectivity (Быстрое и безопасное соединение) NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Resource (Распределение одиночных ресурсов) Этот уровень обслуживает только локальные ресурсы. Глобальными ресурсами занят другой уровень. Средства (протоколы) для операций с доступом к индивидуальным ресурсам: - информационные протоколы определения состояния ресурсов (конфигурация, текущая загрузка, политика – например, стоимость) - управляющие протоколы определяющие условия доступа к ресурсам, включая качество обслуживания, резервирование, формы оплаты и т.д. NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Collective (Координация глобальных ресурсов) Большое разнообразие протоколов необходимо для: Обслуживание директорий (определение участниками доступных ресурсов VO и/или их свойств) Службы приписки, планировки и выделения ресурсов Службы мониторинга и диагностики ресурсов Службы репликации данных (обеспечение наивысшей производительности при доступе к данным – время реакции, надежность, стоимость) Средства контроля и корректировки загрузки ресурсов Службы определения и выбора оптимальных версий Software для различных вычислительных платформ Серверы авторизации (проведение политики выделения ресурсов и политики безопасности) Службы подсчета потребленных ресурсов (в т.ч. для оплаты) Службы поддержки больших коллабораций NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Applications (Приложения) Прикладной уровень для каждого класса задач имеет свои особенности и предполагает взаимодействие с другими уровнями модели с использованием либо стандартных либо собственных средств и сервисов (например, на основе наборов SDKs и интерфейсов APIs) NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Virtual Data Toolkit – NA3 Induction Courses, Дубна, 28 июня, 2004 г. Grid Middleware components from several projects Packaged and tested together Foundation of EGEE/ LCG Globus Toolkit Condor Chimera EDG & LCG tools NCSA Tools Other Tools

Globus Toolkit – NA3 Induction Courses, Дубна, 28 июня, 2004 г. Grid Security Infrastructure (GSL) X.509 authentication with delegates and single sign-on Grid Resource Allocation Mgmt (GRAM) Remote allocation, reservation, monitoring, control of compute resources GridFTP protocol (FTP extensions) High-performance data access & transport Grid Resource Information Service (GRIS) + Monitoring and Discovery Service (MDS) Access to structure & state information XIO TCP, UDP, IP multicast, and file I/O Others…

UK – OGSA-DAI, RealityGrid, GeoDise, Comb-e-Chem, DiscoveryNet, DAME, AstroGrid, GridPP, MyGrid, GOLD, eDiamond, Integrative Biology, … Netherlands – VLAM, PolderGrid Germany – UNICORE, Grid proposal France – Grid funding approved Italy – INFN Grid Eire – Grid proposals Switzerland - Network/Grid proposal Hungary – DemoGrid, Grid proposal Norway, Sweden - NorduGrid DataGrid (CERN,...) EuroGrid (Unicore) DataTag (CERN,…) Astrophysical Virtual Observatory GRIP (Globus/Unicore) GRIA (Industrial applications) GridLab (Cactus Toolkit) CrossGrid (Infrastructure Components) EGSO (Solar Physics) NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Полезные ссылки: European DataGrid (EDG) LHC Computing GRID (LCG)cern.ch/lcg CrossGRID DataTAG GridLab EUROGRID EGEE public.eu-egee.org RDIG NA3 Induction Courses, Дубна, 28 июня, 2004 г.

Gilders Law (32X in 4 yrs) Storage Law (16X in 4yrs) Moores Law (5X in 4yrs) Triumph of Light – Scientific American. George Stix, January 2001 Performance per Dollar Spent Optical Fibre (bits per second) Chip capacity (# transistors) Data Storage (bits per sq. inch) Number of Years Doubling Time (months) NA3 Induction Courses, Дубна, 28 июня, 2004 г.