СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 ARC NorduGrid Макаров Алексей СПбГУ Физический Факультет Кафедра вычислительной. - презентация

1 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 ARC NorduGrid Макаров Алексей СПбГУ Физический Факультет Кафедра вычислительной физики

2 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone : часть NORDUNet2 программы, цель – создавать и развивать грид ПО (Middleware) и приложения в северных странах Middleware: EDG Приложения: HEP (ATLAS), теоретическая физика Участники: академические группы из 4 северных стран Дания: Research Center COM, DIKU, NBI Финляндия: HIP Норвегия: U. of Bergen, U. of Oslo Швеция: KTH, Stockholm U., Lund U., Uppsala U. (ATLAS groups) С конца 2002 исследовательское сообщество институтов Открытое для всех С конца 2003 вся деятельность посвящена только ПО middleware Разработка собственного грид ПО middleware: Advanced Resource Connector (ARC) 6 основных разработчиков, множество сопутствующих студенческих проектов Предоставление ПО middleware для исследовательских групп и национальных грид-проектов История NorduGrid

3 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 История NorduGrid 2000 Сентябрь: GT выпущен 2001 Январь: стартует проект EDG 2001 Ноябрь: Анонсирован GT Февраль: идея OGSA 2002 Апрель: GT-2.0 выпущен с GRAM-1.5, MDS-2.0 (отсутствуют важные части функциональности, проблемы стабильности работы) 2001 Июнь: Первая встреча разработчиков NorduGrid 2001 Сентябрь : тестовая версия грид с GT-1.1.4, переключение на GT-2.0 pre-alpha 2002 Февраль : решение разрабатывать альтернативное ПО, используя библиотеки Globus libraries. План, архитектура, философия NorduGrid 2002 Май: третий семинар NorduGrid, Helsinki демонстрация первого выпуска ПО The middleware is available

4 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Advanced Resource Connector ПО состоит из модулей, каждый из которых отвечает за некоторую часть функциональности У каждого ресурса есть front-end ПО Аутентификация пользователей, интерпретирование задач, взаимодействие с LRMS, публикация информации, перемещение данных Каждый пользователь имеет легковесного независимого брокера Обнаружение ресурсов, установка соответствий, подписание задач и работа с ними, слежение за ходом работы задач Топология грид достигается за счет иерархического многокоренного набора сервисов индексации Мониторинг полностью основывается на информационной системе

5 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты

6 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Вычислительные ресурсы: Linux класетры или рабочие станции Дополнение не Linux ресурсами возможно через Linux front-ends Front-end: Специальный GridFTP сервер для передачи данных Принимает запрос задачи и подготавливает задачу для LRMS Производит практически все перемещения данных (загрузка, выгрузка), кэширование входных файлов, взаимодействует с каталогом реплик Производит все манипуляции с задачей по запросу клиента Публикует информацию о ресурсах и задачах

7 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Клиент: легковесный пользовательский интерфейс со встроенным брокером ресурсов Набор утилит командной строки Минимализм и простота Брокер обеспечивает: поиск ресурсов, сравнение ресурсов, подписание задачи, управление задачей

8 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Взаимодействие брокера с сервисами грид Над стрелками указаны используемые протоколы

9 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Информационная система: базируется на измененном OpenLDAP: использует GRIS и GIIS back-ends Поддерживает жесткую структуру иерархии Много-корневая система Эффективно поддерживает псевдо-сетевую архитектуру, сходную с сетями разделения файлов (file sharing) Информация храниться только на ресурсе; обновление не реже одного раза в 30 секунд

10 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Данные информационной системы через Ldap Browser

11 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Компоненты Элемент хранения данных: любой тип системы хранения с дисковым front-end Собственная реализация GridFTP сервера с добовляемыми модулями Обычный доступ к файловой системе Доступ базирующийся на Grid Access Control Lists (GACL) Smart" Storage Element – базирующийся на WS сервис со встроенной поддержкой сервисов репликаций (Globus RC, RLS) Системы хранения на магнитных лентах не поддерживаются

12 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Функциональность Предоставляет надежную реализацию основных грид сервисов: Стандартная безопасность: единая подпись, Grid ACLs (GACL), VOs (VOMS) Подписание задач: непосредственное или через брокер и сравнение Информационный сервис: сбор ресурсов, представление, поиск и мониторинг ресурсов Реализует основные возможности работы с данными Автоматическая загрузка/выгрузка данных Сервисы индексации данных (RLS, Fireman) Мониторинг и управление задачами Сервис регистрации прошедших задач Построен на основе стандартных решений и протоколов Globus Toolkit® pre-WS API and libraries (no services!) OpenLDAP, OpenSSL, SASL, SOAP, GridFTP, GSI

13 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Особенности oЛегковесный oНе навязчивый: Владельцы ресурсов имеют полный контроль над своими ресурсами Не требует специфических настроек ОС Кластер не обязательно должен быть целиком предназначен для грид oКлиентская часть легко устанавливается начинающим пользователем oПростая система мониторинга Специализация: ориентирован на пакетные задачи Параллельные задачи возможны, но только внутри кластера Интерактивные задачи не поддерживаются

14 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 o Grid Manager Подготовка и запуск задач Обработка задач после их выполнения o GridFtp Передача данных o Grid Infosys Модуль информационной системы Собирает информацию о ресурсах, задачах и пользователях Связывает модули NorduGrid между собой Состоит из трех основных частей Локальные информационные сервисы Сервисы индексации Процессы регистрации Advanced Resource Connector

15 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 o Грид-монитор Позволяет просматривать данные, собираемые информационной системой Данные представлены в виде регулярно обновляемой веб-страницы o Клиентский модуль Включает все минимально необходимые программы для работы в грид Язык описания задачи – Extended Resource Specification Language Брокер: Поиск доступных ресурсов Выбор подходящего ресурса Передача задачи на ресурс Advanced Resource Connector

16 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Пример общего грид-монитора

17 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Пример грид-монитора с nordic.nw.ru

18 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008

19 Сертификаты Сертификат хоста Подтверждает подлинность компьютера. Необходим на каждый front-end сервер Сертификат пользователя Подтверждает личность пользователя Необходимым любому пользователю для работы в грид

20 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Установка ПО на front-end сервер Внешнее ПО Grid Packaging Tools (GPT) Пакеты Globus Toolkit 4 OpenSSL, OpenLDAP, Cyrus SASL, Globus Replica Catalog, Globus RLS VOMS Virtual Organization Membership Service Библиотеки libxml2, Python, MySQL ПО ARC NorduGrid

21 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Конфигурационный файл arc.conf Единый конфигурационный файл для всех сервисов ARC.Имеет блочную структуру, каждый юлок отвечает за конфигурацию сервиса или части сервиса. [common] pbs_bin_path="/usr/local/bin" pbs_log_path="/var/spool/torque/server_logs" hostname="ap8.gridzone.ru" lrms="pbs" globus_tcp_port_range="9000,9300" globus_udp_port_range="9000,9300" x509_user_key="/etc/grid-security/hostkey.pem" x509_user_cert="/etc/grid-security/hostcert.pem" x509_cert_dir="/etc/grid-security/certificates" gridmap="/etc/grid-security/grid-mapfile" [group] name="grid" file="/etc/grid-security/local_users"

22 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 $netstat -nap Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp : :* LISTEN 23482/slapd tcp : :* LISTEN 19436/pbs_server tcp : :* LISTEN 19498/gridftpd tcp : :* LISTEN 19438/pbs_sched tcp : :* LISTEN 25976/httpsd tcp : :* LISTEN 25976/httpsd udp : :* 19436/pbs_server Запуск ARC grid-manager, gridftpd, httpsd, grid-infosys

23 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008

24 Оборудование GigEthernet сегмент LAN: CiscoCatalyst 2960G Front-end сервер (ap8.gridzone.ru): Intel Pentium 4 Dual Core 3.2GHz 2 x 1024MB DDR2 ECC Вычислительные узлы (w3,w4,w7,w8): 2 x Intel Xeon Dual Core 3.0GHz 2 x 2048MB DDR ECC REG OS: ScientificLinux 4.4

25 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Site configuration ap8.gridzone.ru Grid Manager Grid Infosys GridFTP SSE Grid Monitor LocalCA External Dependences ARC Middleware SimpleCA GPT Globus Toolkit® packages VOMS Python, MySQL, libxml2 libraries PBS Server PBS Scheduler Ganglia Cluster 32 CPU PBS Client MPICH-2.0 Gcc Ganglia client Local Resource Management System and Cluster Tools installing independently from ARC. ARC Middleware installing on front-end server only.

26 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Основные команды ngtest – тестирование ресурса с помощью встроенных тестов ngsub – подписание задачи на выполнение ngstat – получить статус задачи ngcat – получить данные из выходного потока выполняющейся задачи ngget – получить результаты работы задачи ngkill – отменить задачу ngclean – удалить из грид все данные относящиеся к задаче ngrenew – обновление прокси-сертификата ngls – просмотреть список Ваших файлов, хранящихся на ресурсе ngcp – копирование файлов в грид ngrm – удаление файлов с ресурса ngacl – изменить параметры доступа к файлу

27 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Работа с файлами Копирование файла при помощи сервиса GridFtp $ ngcp file:///home/alex1/data.alex gsiftp://ap8.gridzone.ru:2811/topdir/data.alex Убедимся, что файл скопировался $ ngls gsiftp://ap8.gridzone.ru:2811/topdir hello.xrsl data.alex cpi Удалим файл $ ngrm gsiftp://ap8.gridzone.ru:2811/topdir/data.alex Removing gsiftp://ap8.gridzone.ru:2811/topdir/data.alex Скопируем файл с использованием сервиса SSE $ ngcp file:///home/alex1/data.alex se://ap8.gridzone.ru:8000/se?pi Удалим файл $ ngrm se://ap8.gridzone.ru:8000/se?pi Removing se://ap8.gridzone.ru:8000/se?pi

28 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Запуск задачи $ ngsub -c ap8.gridzone.ru -f ncpi.xrls Задача запущена с ярлыком: gsiftp://ap8.gridzone.ru:2811/jobs/ $ ngstat -a Задача: gsiftp://ap8.gridzone.ru:2811/jobs/ Имя: ncpi Состояние: FINISHED $ ngget gsiftp://ap8.gridzone.ru:2811/jobs/ Результат сохранён в /home/alex1/ncpi/ Обработано задач:1, успешно получено: 1

29 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Пример xrsl файла &(* основной исполняемый файл задачи *) (executable=/bin/echo) (* аргументы для основного исполняемого файла *) (arguments="Hello World" ) (* стандартный выходной поток будет перенаправлен в *) (stdout="hello.txt") (* стандартный поток ошибок будет перенаправлен в *) (stderr="hello.err") (* зададим задаче имя для более удобного мониторинга *) (jobname="My Hello Grid") (* дать указания кластеру, что Ваша задача должна быть помещена в очередь с соответствующим временем жизни *) (cputime=5) (* использовать только кластеры, имеющие соответствующее ПО *) (middleware>="nordugrid-arc-0.6.0") ="nordugrid-arc-0.6.0")">

30 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Ссылки - документация по ARC "ARC User Interface: User's Manual" – updated for 0.5 and 0.6 ARC series "The NorduGrid ARC User Guide" "XRSL (Extended Resource Specification Language)". O.Smirnova локальный грид-монитор – «логгер»

31 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Job states GM.pdf

32 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 task flow nordarch.pdf, 2002

33 СПбГУ-Физический Факультет-Кафедра Вычислительной Физики-Gridzone-2008 Grid Manager architecture From P. Eerola, B. K´onya, O. Smirnova, The NorduGrid architecture and tools, 2003