Организация ресурсного центра Grid А.Кирьянов, ПИЯФ. - презентация

1 Организация ресурсного центра Grid А.Кирьянов, ПИЯФ

2 С чего начать ? Быстрая сеть – необходимо иметь хорошую связь с другими центрами. Достаточное количество ресурсов – необходимо иметь в распоряжении хотя бы несколько ПК. Программное обеспечение – операционная система Scientific Linux (или Scientific Linux CERN) + ПО gLite (бывшее LCG-2). Работает (пока) только на i386. Есть релиз под amd64.

3 Откуда взять ПО ? ОС: – – –Попросить диски у знакомых или у меня (3 CD) Всё остальное – через механизм APT (Automatic Porting Tool)

4 Настройка APT Два новых источника пакетов – один для gLite, второй для сертификатов CA. /etc/apt/sources.list.d/glite.list # gLite RPMs rpm rhel30 externals Release3.0 updates /etc/apt/sources.list.d/eugridpma-ca.list # EUGridPMA CA RPMs rpm distribution/igtf/current/apt accredited Есть зеркало в ПИЯФ:

5 Распределение узлов (идеальный вариант) Вычислительные узлы (WN) Узлы хранения данных (DPM) Пользовательский интерфейс (UI) Управляющий узел (CE, SE)

6 Что можно сократить Не обязательно сразу устанавливать систему хранения данных или можно совместить её с управляющим узлом. Вычислительных узлов может быть всего несколько. Пользовательский интерфейс можно не устанавливать совсем.

7 Шаги установки ПО 1.Добиться загрузки ОС на всех узлах (либо установить, либо грузить по сети) 2.Установить YAIM (набор скриптов для настройки и установки gLite): apt-get install glite-yaim 3.Отредактировать файлы site-info.def и wn- list.conf в каталоге /opt/glite/yaim/examples 4.Запустить установку из /opt/glite/yaim/scripts: install_node 5.Запустить конфигурацию оттуда же: configure_node

8 Основные типы узлов lcgCE – старый управляющий узел для вычислений gliteCE – новый управляющий узел для вычислений SE_dpm_mysql – управляющий узел для системы хранения данных SE_dpm_disk – узел хранения данных WN – вычислительный узел UI – пользовательский интерфейс

9 Установка gLite Выполняется автоматически через yaim Возможна установка вручную – для всех типов узлов определены мета- пакеты: apt-get install lcg-CE apt-get install glite-CE apt-get install glite-SE_dpm_mysql apt-get install glite-WN apt-get install glite-UI

10 Куда смотреть после установки ? Проверить настройки torque (команда qmgr). Проверить запуск задач через qsub. Посмотреть состояние очереди через qstat. Проверить, работает ли информационная система (на управляющем узле команда ldapsearch –x –h :2170 –b o=grid) Проверить, создался ли grid-mapfile в каталоге /etc/grid-security

11 Нужные процессы на узлах CE: –globus-gatekeeper или edg-gatekeeper – интерфейс GRAM (принимает задания снаружи) –in.ftpd или edg-gridftpd (на порту 2811) – интерфейс GridFTP (принимает файлы снаружи) –grid-info-soft-register, bdii-update, bdii-fwd, всевозможные slapd – куски информационной системы –edg-wl-logd, edg-wl-interlogd – части сервиса L&B –pbs_server, pbs_sched или maui – локальная batch-система. –многочисленные globus-job-manager – мониторы задач (по одному на задачу) SE: –dpm, dpnsdaemon – интерфейс DPM (только на главном узле) –srmv1, srmv2, rfiod, dpm.ftpd – интерфейсы SRM/RFIO/GridFTP WN: –только pbs_mom

12 Возникающие проблемы Нет данных (неполные данные) в информационной системе: проблема в настройке или в инфо-провайдерах, путь для поиска проблем: /opt/lcg/var/gip/ Задачи принимаются, но не исполняются: проблема в torque или в maui, внятная документация доступна на сайте Не работают команды передачи данных: проблема в настройках DPM, смотреть журналы /var/log/{dpm, dpm-gsiftp, dpns, frio, srmv1, srmv2}/*.log

13 Возможные изменения стандартной конфигурации Версия torque старая (1.0.1), в ней нет встроенного планировщика, так что используется внешний (maui 3.2) –Для небольших центров maui слишком сложна в настройке, она далеко не всегда работает очевидным образом… Можно установить torque 2.0 со встроенным планировщиком (эквивалент старого OpenPBS) manager.php Выключить всё, что имеет в названии rgma, apel, fmon – это части системы мониторинга и аккаунтинга, они могут пригодиться только официальным сайтам EGEE

14 Безопасность Настроить firewall, список нужных портов можно посмотреть в документе: bin/lcgdeploy.cgi/lcg2/docs/lcg-port-table.pdf Проверять, обновляются ли CRL для сертификатов в /etc/grid- security/certificates