Enabling Grids for E-sciencE www.eu-egee.org Работа в ГРИД с использованием ГРИД-порталов (на примере GILDA) Олешко Сергей Петербургский институт ядерной. - презентация

1 Enabling Grids for E-sciencE Работа в ГРИД с использованием ГРИД-порталов (на примере GILDA) Олешко Сергей Петербургский институт ядерной физики РАН

2 Enabling Grids for E-sciencE 2 Содержание Введение Что такое ГРИД портал? GENIUS и GILDA GILDA GRID Demonstrator GILDA GRID Tutor Доступ с кластеру ПИЯФ через Web

3 Enabling Grids for E-sciencE 3 Взгляд на ГРИД

4 Enabling Grids for E-sciencE ГРИД службы клиент Иногда интегрирован в некоторый дополнительный сервис ППО ГРИД – это множество программных ГРИД служб ГРИД службы более-менее стандартизованы, т.е. имеют стандартизованные интерфейсы и используют стандартные технологии Они могут быть доступны множеству клиентов

5 Enabling Grids for E-sciencE 5 Типичные ГРИД службы (gLite)

6 Enabling Grids for E-sciencE 6 Проблемы для пользователя ГРИД службы используют шифрование: – Вы должны получить сертификат от центра сертификации – Вы должны быть зарегистрированы в Виртуальной Организации (ГРИД службы доступны только для членов ВО.) – Вы должны сгенерировать временный сертификат ГРИД клиенты – это достаточно низкоуровневые программные средства – Интерфейс командной строки – Платформозависимость (как правило Linux) – Много параметров

7 Enabling Grids for E-sciencE 7 Выход – ГРИД портал Диски, процессора, … Операционная система Компоненты ППО и сетевые протоколы, … ГРИД службы Клиенты ГРИД служб Приложения ГРИД портал

8 Enabling Grids for E-sciencE 8 ГРИД портал – почему и как Он может быть доступен отовсюду и при помощи чего угодно (ПК, ноутбук, КПК, мобильный телефон). Он может использовать один и тот же пользовательский интерфейс для доступа к различным службам. Он должен обеспечивать избыточную безопасность на всех уровнях: 1) безопасность передачи данных по web, 2) безопасность пользовательских параметров доступа, 3) безопасность пользовательской аутентификации, 4) безопасность на уровне виртуальной организации. ГРИД службы должны быть доступны по одному нажатию на кнопку мышки. Пользовательский интерфейс должен быть понятен и дружественен к пользователю.

9 Enabling Grids for E-sciencE 9 ГРИД портал GENIUS GENIUS – полная версия: Grid Demonstrator – открытая для всех 24/7 версия: demo.ct.infn.it/ Grid Tutor – версия, адаптированая для обучения и тренинга: Существует несколько версий портала: Grid Enabled web eNvironment for site Independent User job Submission

10 Enabling Grids for E-sciencE 10 GENIUS: как он работает 3-звенная модель Portal Development Kit Web сервер Портал User interface Браузер ГРИД службы M/W + GSI https + java/xml

11 Enabling Grids for E-sciencE 11 Проблемы безопасности Проблема: Web сервер, а значит и весь портал запускается с наинизшим уровнем привилегий. Каким же образом он сможет запускать задания для пользователя? Наилучший выход – расширение системы делегирования GSI (Grid Security Infrastructure) таким образом, чтобы пользователь мог делегировать права на запуск заданий порталу. Сервис MyProxy обеспечивает такое расширение следующим образом: – временно сохраняет пользовательские имя/пароль. – запускает прокси от имени пользователя. – поддерживает отдельный пароль для портала.

12 Enabling Grids for E-sciencE 12 Проект GILDA (

13 Enabling Grids for E-sciencE 13 Компоненты GILDA GILDA Testbed - набор сайтов с установленным ППО LCG/gLite. Grid Demonstrator - веб-интерфейс GENIUS, позволяющий работать с определенным набором приложений. GILDA CA - центр сертификации, выдающий 14- дневные сертификаты для работы с GILDA. GILDA VO - виртуальная организация, объединяющая всех пользователей GILDA. Grid Tutor - веб-интерфейс GENIUS, используемый для демонстрации возможностей технологии Грид. Monitoring System - система мониторинга для GILDA Testbed.

14 Enabling Grids for E-sciencE 14 GILDA Test-bed ( 20 сайтов на 3 континентах !

15 Enabling Grids for E-sciencE 15 GILDA Grid Demonstrator (

16 Enabling Grids for E-sciencE 16 Вход в GILDA Grid Demonstrator + Не требуется сертификат Доступ через браузер Предопределённые имя/пароль (не требуется предварительная регистрация) - Работа только с заранее подготовленными задачами и сервисами неполной функциональности (демо-режим) Ограниченное время действия MyProxy сертификата

17 Enabling Grids for E-sciencE 17 Возможности GILDA GRID Demonstrator Просмотр файлов в HOME директории демо-пользователя Просмотр переменных окружения Навигация в пределах директории виртуальной организации GILDA (просмотр и скачивание файлов) Ссылка на web интерфейс проекта BLAST (биоинформатика)

18 Enabling Grids for E-sciencE 18 Сервисы ВО GILDA GRID Demonstrator

19 Enabling Grids for E-sciencE 19 Запуск задания(1)

20 Enabling Grids for E-sciencE 20 Запуск задания(2)

21 Enabling Grids for E-sciencE 21 Запуск задания(3)

22 Enabling Grids for E-sciencE 22 Запуск задания(3)

23 Enabling Grids for E-sciencE 23 Подключение к GILDA

24 Enabling Grids for E-sciencE 24 Инструкции

25 Enabling Grids for E-sciencE 25 Важные советы пользоваться рекомендуется браузером Mozilla или Netscape при запрашивании ввода пароля или ключевых фраз (и т.п.) рекомендуется вводить одинаковые значения во избежание недоразумений работать с GILDA рекомендуется со статического IP

26 Enabling Grids for E-sciencE 26 Центр сертификации GILDA

27 Enabling Grids for E-sciencE 27 Загрузка GILDA CA сертификата

28 Enabling Grids for E-sciencE 28 Получение персонального сертификата (1/4)

29 Enabling Grids for E-sciencE 29 Получение персонального сертификата (2/4)

30 Enabling Grids for E-sciencE 30 Получение персонального сертификата (3/4) Dear User, you can download your GILDA Personal Certificate going, *with the same browser you used to submit the request*, to the URL: Your certificate is valid for $CERTIFICATE_DAYS_VALUE days. After that you can go to: and register to the GILDA VOMS (usually, registration takes a working day). Then, you can go to the GILDA Grid Demonstrator at the URL: or, if you are participating to a tutorial or an induction course, to the GILDA Grid Tutor at the URL: (for LCG) or (for gLite) Remember that: 1) whenever you are prompted for the Operating System, use the username and the password you have chosen when you requested the GILDA Personal Certificate as username and as password; 2) whenever you are prompted for the GRID username and password and the passphrase of your GILDA Personal Certificate as password. Best Regards The GILDA CA Manager GILDA Certification Authority Tel: Fax: Via S. Sofia, 64 I Catania ITALY Просто нажать на ссылку для получения сертификата From: GILDA-CA To: Subject: GILDA Personal Certificate for

31 Enabling Grids for E-sciencE 31 Получение персонального сертификата (4/4) После загрузки сертификата в браузер появится web страница с сообщением, что новый сертификат доступен в списке сертификатов браузера. Все действия должны производиться в одном и том же браузере!! Срок действия персонального сертификата 14 дней! После этого сертификат можно экспортировать и сохранить в безопасном месте. Процедура экспорта зависит от типа используемого браузера. Тип файла экспортированного сертификата зависит от браузера (*.p12 для Mozilla/Netscape/FireFox и *.pfx для Internet Explorer). Экспортированный сертификат в дальнейшем должен будет преобразован в *.pem формат, распознаваемый системой безопасности gLite.

32 Enabling Grids for E-sciencE 32 Регистрация в VOMS (1/5) Dear User, you can download your GILDA Personal Certificate going, *with the same browser you used to submit the request*, to the URL: Your certificate is valid for 365 days. After that you can go to: and register to the GILDA VO (usually, registration takes a working day). Then, you can go to the GILDA Grid Demonstrator at the URL: or, if you are participating to a tutorial or an induction course, to the GILDA Grid Tutor at the URL: or Remember that: 1) whenever you are prompted for the Operating System, use the username and the password you have chosen when you requested the GILDA Personal Certificate as username and as password; 2) whenever you are prompted for the GRID username and password and the passphrase of your GILDA Personal Certificate as password. Best Regards The GILDA CA Manager … Вторая ссылка в полученном . Просто нажать на ссылку для того чтобы зарегистрироваться в VOMS

33 Enabling Grids for E-sciencE 33 Регистрация в VOMS (2/5) Для доступа к этой странице сертификат уже должен быть загружен в браузер!!

34 Enabling Grids for E-sciencE 34 Регистрация в VOMS (3/5) Нажать ссылку для подтверждения

35 Enabling Grids for E-sciencE 35 Регистрация в VOMS (4/5)

36 Enabling Grids for E-sciencE 36 Регистрация в VOMS (5/5) Вы включены в члены ВО GILDA!!

37 Enabling Grids for E-sciencE 37 Подготовка UI (1/2) Сохранить персональный сертификат из браузера в файл *.p12 Написать письмо -> с просьбой открыть FireWall для вашего IP (указать его). Иначе вы не сможете зайти на их Зайти с помощью SSH на свой UI, машина с адресом: glite-tutor.ct.infn.it. Логин и пароль - те, которые вы указывали при регистрации. Скопировать туда (в свою корневую директорию) свой сертификат *.p12 Создать на UI директорию (mkdir.globus) и экспортировать туда сертификат командой (openssl pkcs12 -nocerts -in mysert.p12 –out.globus/userkey.pem) Выполнить команды: openssl pkcs12 -clcerts -nokeys -in mysert.p12 -out.globus/usersert.pem cd.globus/ chmode 400 userkey.pem chmode 644 usercert.pem

38 Enabling Grids for E-sciencE 38 Подготовка UI (2/2) Активизировать proxy: grid-proxy-init myproxy-init --voms gilda * - срок действия активизированных полномочий 24 часа! При этом необходимо ввести пароль, который будет необходим для работы через браузер. Теперь можно работать в полнофункциональной Grid инфраструктуре GILDA, как через браузер: так и через SSH, host: glite-tutor.ct.infn.it.

39 Enabling Grids for E-sciencE 39 GILDA GRID Tutor

40 Enabling Grids for E-sciencE 40 Работа с файлами Имя и пароль, введённые при заполнении формы для получения сертификата GILDA Для работы в ГРИД используется и вводится пароль для MyProxy

41 Enabling Grids for E-sciencE 41 Работа с файлами Удалённый работа с файлами на UI машине

42 Enabling Grids for E-sciencE 42 Работа с файлами

43 Enabling Grids for E-sciencE 43 Работа с файлами

44 Enabling Grids for E-sciencE 44 Работа с файлами Несколько действий в одном сервисе

45 Enabling Grids for E-sciencE 45 Работа с файлами Изменение прав доступа к файлу

46 Enabling Grids for E-sciencE 46 Аутентификация через Myproxy myproxy-get-delegation

47 Enabling Grids for E-sciencE 47 Аутентификация через Myproxy UI Local WS MyProxy Server GENIUS Server (UI) myproxy-init any grid service myproxy-get-delegation output the Grid execution WEB Browser Для запуска задач в ГРИД необходимо указывать VOMS Extensions ( --voms )

48 Enabling Grids for E-sciencE 48 Безопасность Прозрачная поддержка VOMS

49 Enabling Grids for E-sciencE 49 Настройки ГРИД

50 Enabling Grids for E-sciencE 50 MyProxy Добавление в список дополнительного MyProxy сервера

51 Enabling Grids for E-sciencE 51 Выбор ВО

52 Enabling Grids for E-sciencE 52 Редактор.jdl файлов

53 Enabling Grids for E-sciencE 53 Запуск заданий (выбор.jdl файла) Параметры показаны на горизонтальной панели, которая появляется после успешного входа

54 Enabling Grids for E-sciencE 54 Запуск заданий (файл выбран)

55 Enabling Grids for E-sciencE 55 Запуск заданий (выбор CE)

56 Enabling Grids for E-sciencE 56 Запуск заданий (log запуска)

57 Enabling Grids for E-sciencE 57 Просмотр очереди заданий

58 Enabling Grids for E-sciencE 58 Получение результатов Дополнительное подтверждение!

59 Enabling Grids for E-sciencE 59 Получение результатов После операции get-output выходные файлы временно сохраняются в области спулинга, готовые к передаче пользователю

60 Enabling Grids for E-sciencE 60 Получение результатов Передача файлов может происходить в различных формах!

61 Enabling Grids for E-sciencE 61 Просмотр результатов

62 Enabling Grids for E-sciencE 62 Примеры других ГРИД порталов OGCE - Open Grid Computing Environments Collaboratory PACI HotPage Grid Computing Portal Sakai project CCT HPC Portal TeraGrid User Portal GridSphere Project P-GRADE Portal

63 Enabling Grids for E-sciencE 63

64 Enabling Grids for E-sciencE 64 Web интерфейс для кластера ПИЯФ Пользователь должен иметь account на UI кластера (cluster.pnpi.nw.ru) Пользователь должен иметь сертификат, подписанный в CA RDIG В пользовательской $HOME директории должна быть создана директория.globus и должен быть экспортирован сертификат (usersert.pem) и персональный закрытый ключ (userkey.pem) Сертификат должен быть импортирован в браузер Пользователь должен быть членом одной из ВО, поддерживаемых на cluster.pnpi.nw.ru

65 Enabling Grids for E-sciencE 65 Web интерфейс для кластера ПИЯФ

66 Enabling Grids for E-sciencE 66 Работа с proxy

67 Enabling Grids for E-sciencE 67 Подготовка задания (1/3)

68 Enabling Grids for E-sciencE 68 Подготовка задания(2/3)

69 Enabling Grids for E-sciencE 69 Подготовка задания(3/3)

70 Enabling Grids for E-sciencE 70 Выбор ресурса (1/3)

71 Enabling Grids for E-sciencE 71 Выбор ресурса (2/3)

72 Enabling Grids for E-sciencE 72 Выбор ресурса (3/3)

73 Enabling Grids for E-sciencE 73 Запуск задания

74 Enabling Grids for E-sciencE 74 Просмотр статуса (1/2)

75 Enabling Grids for E-sciencE 75 Просмотр статуса (2/2)

76 Enabling Grids for E-sciencE 76 Получение результатов (1/2)

77 Enabling Grids for E-sciencE 77 Получение результатов (2/2)