EGEE is a project funded by the European Union under contract IST Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko (JINR ) NA3 Induction Courses for school on Modern Cosmology and Astrophysics JINR, Dubna, October 7, 2005

Talk Outline The preliminaries on the LCG-2 ; examples of various application areas; RDIG EGEE participation in NA4; the sequence of actions how to start a work in the LCG-2 environment

Job Submission Рекомендуемые ccылки Astrophysics in GRID (EGEE) & Application Websites : PLANCK Status Report at the 4 th EGEE conference =35&confId=0513 MAGIC Status Report at the 4 th EGEE conference =35&materialId=slides&confId=0513 The MAGIC telescope ESA Science & Technology: Planck

MAGIC Telescope

Planck is an ESA satellite aimed at providing a final mapping of the cosmological anisotropies of temperature and to foray deeply into their polarisation properties. Launch is planned for Two instruments are onboard, the LFI and HFI. The HFI (High Frequency Instrument) is built by a French-led international consortium which will provide maps of the sky at 100, 143, 217, 353, 545 and 857 GHz. The first 3 channels will be the most sensitive to cosmological information (the peak of emission of a black body at 2.728K is around 100Ghz, i.e. 3mm), while the higher frequency channels will be very precious to trace the emission of some contaminating foregrounds (like the emissions from dust in galaxies, including our own, or the effect from clusters).international consortium The LFI (Low Frequency Instrument) is built by an Italian-led international consortium. It will provide maps of the sky at 33, 44 and 70 GHz, which will be very precious to trace the emission of some other contaminating foregrounds (like the synchrotron emission of our Galaxie, or that of radio sources). The HFI is a very powerful instrument by itself. But Planck has been conceived as a whole, such that the combination of the data from the two instruments should allow mining essentially all the cosmological information contained in the CMB (Cosmic Microwave Background), by minimizing astrophysical limitations. Parenthetically, it shows that spin-off science from Planck (concerning the CMB "contaminants") will be extremely interesting per se. Global information on Planck may be found in the Planck web site at ESA (see also the science team pages). Planck web site at ESA science team pages PLANCK Satellite

Проект LCG и среда LCG-2 Проект LCG – the LHC Computing Grid Project ( ) – был организован для создания компьютерной инфраструктуры, необходимой для моделирования, обработки и анализа данных cтроящихся на LHC экспериментов. Cреда LCG-2 – инфраструктура, промежуточное математическое обеспечение (middleware) которой может рассматриваться как логическое продолжение и развитие достижений таких grid – проектов, как Сondor, Globus, DataGrid, DataTag, GriPhyn, iVDGL и EGEE (Enabling Grids for E-sciencE). Под middleware понимается совокупность Grid-сервисов, независимых от ресурсов и приложений и обеспечивающих аутентификацию, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей.

CMS ATLAS LHCb ALICE При ожидаемой скорости записи сырых данных потребуются ресурсы для хранения данных порядка десятков и сотен ПБ. Для обработки данных потребуются сотни тысяч персональных компьютеров ( максимальной на текущий момент производительности) Эксперименты на LHC

Обработка данных и вычисления в физике высоких энергий интерактивный физический анализ Пакетная обработка данных Пакетная обработка данных детектор суммарные данные по событиям «сырые» данные Реконструкция событий Реконструкция событий моделирование физических событий моделирование физических событий объекты для физического анализа (выделенные по физическим каналам) Отбор событий и первичная реконструкция Отбор событий и первичная реконструкция обработанные данные Триггер 1-го уровня

Иерархия данных RAW, ESD, AOD, TAG RAW ~2 MB/event ESD(/DST) Первичная стадия реконструкции на уровне создания базовых кластеров и трек-сегментов Геометрическая реконструкция событий: траектории частиц, импульсы и энергии ~100 kB/event AOD ~10 kB/event TAG ~1 kB/event События, удовлетворяющие условиям триггера; записываются системами сбора данных (DAQ) Реконструированная информация Информация для анализа Указатель события (классификационная информация для быстрого выбора нужного события) Event Summary Data Analysis Object Data Съем цифровых отсчетов с детекторов На 2 порядка уменьшается объем данных по сравнению с исходным потоком Физическая реконструкция: установление соответствия частиц и треков, уточнение характеристик струй, поиск распадных вершин L1 L2+L3

Специфика приложений ФВЭ Требования по данным Колоссальные объемы данных (десятки и сотни Петабайт) Данные типа WORM (писать единожды, читать многократно) Структуризация данных с последующим извлечением информации из данных (data mining) Продолжительное время хранения данных, а также необходимость создания копий данных в разных странах мира Требования к обработке данных Обработка данных подразделяется на 2 типа – регулярное производство данных и «нерегулярный» анализ данных Производство (моделирование ) данных происходит систематически; при этом производятся наборы данных порядка ~ 10**9 физических событий. Анализ физических данных (на наборах данных порядка 10**7 событий) проводится произвольным образом и в индивидуальном порядке многими сотнями отдельных пользователей Высокий уровень параллелизма обработки на уровне событий, который может быть описан ориентированным графом с указанием последовательности обработки Поскольку интерактивная работа очень важна при анализе данных, необходимо предусмотреть возможность спасения сессий с сохранением информации об источнике данных («проверяемость», provenance) Необходимость глобального доступа к базам данных экспериментов для получения значений констант, условий работы и т.д.

специфика биомедицинских приложений Сложные требования по данным Гетерогенные форматы данных Частая обновляемость данных Сложные наборы данных (медицинские записи) Ограничения на безопасность и конфиденциальность Необходимость длительного хранения данных Cложные требования по обработке данных Биоинформатика (геномика, протеомика, …): распределенные базы данных Медицинские(просмотр снимков, эпидемиология...): распределенные базы графических данных Использование параллельных алгоритмов для обработки медицинских графических данных и для моделирования Интерактивные приложения Ограничения на безопасность и конфиденциальность

Группа NA4: Идентификация и поддержка приложений в среде проекта EGEE Результатом работы группы NA4 будут являться программные приложения – прикладные пакеты, развернутые в инфраструктуре EGEE и доступные для работы в grid-среде соответствующим сообществам пользователей Для развертывания этих приложений может понадобиться специальное ПО для обеспечения интерфейса к grid. Необходимо собрать существующую документацию из проекта EDG и других проектов (LCG, ARDA, GridLab, Healthgrid, …) для выработки общего решения Процесс развертывания приложений в инфрастуктуру EGEE будет происходить в рамках виртуальных организаций, объединяющих соответствующих пользователей Инфраструктура EGEE будет расширяться; с появлением новых пользователей им будет оказываться поддержка и будет организовываться обучение; также будут создаваться новые виртуальные организации Основные составляющие работы:

Участие RDIG-EGEE в NA4 Приложения ФВЭ: Институт теоретической и экспериментальной физики (Москва) (отв.по LHCb) Институт физики высоких энергий (Протвино) (отв.по ATLAS) Курчатовский институт (Москва) Научно-исследовательский институт ядерной физики (Москва) (отв. по CMS) С.-Петербургский институт ядерной физики (Гатчина) Объединенный институт ядерных исследований (Дубна) (отв. по ALICE и CMS) Биологические приложения Институт математических проблем биологии (Пущино) Приложения Fusion&Plasma Science Курчатовский институт (Москва)

RDIG EGEE membership in VOs January, members from 11 institutes % from a total number ( 749 ) of EGEE VOs members March, members from 12 institutes % from a total number ( 967 ) of EGEE VOs members June, members from 13 institutes % from a total number ( 1097 ) of EGEE VOs members September, members from 13 institutes % from a total number ( 1324 ) of EGEE VOs members The target fixed in the EGEE Technical Annex for the EGEE project by the End Year 2: > 3000 VOs users !

RDIG EGEE membership in VOs (September, 2005) ALICE VO – 6 (of 43 alice VO members) ATLAS VO – 13 (of 391 atlas VO members) 8 – IHEP, 1 – SINP MSU, 1 – MEPHI, 1 – ITEP, PNPI –1, INP -1 CMS VO – 21 (of 343 cms VO members) 8 - SINP MSU, 6 – JINR, 3 – Kharkov, 2 – ITEP, 2 – INR LHCb VO – 5 (of 58 lhcb VO members) 3 – ITEP, 2 - PNPI dteam VO – 29 (of 421 dteam VO members) 11 –JINR, 4 – SINP, 4 – ITEP, 3 – IHEP, 2 – RRC KI, 1 – INR, 1 – IPM, 1 –IMPB, 1 – PNPI, 1- NOVSU Biomed VO – 7 (of 68 biomed VO members) all IMPB in total: % from a total number ( 1324 ) of EGEE VOs members 13 institutes: JINR – 18, ITEP – 14, IHEP-9, SINP MSU – 9, IMPB – 5, Kharkov – 3, INR – 3, PNPI – 2, IPM – 1, INP –1, MEPHI –1, RRC KI – 1, NOVSU institute - CGDS (eEarth) The target fixed in the EGEE Technical Annex for the EGEE project by the End Year 2: > 3000 VOs users ! RGStest VO - 11 PHOTON VO – 12 ( PHOTON & SELEX experiments) RDTEAM VO - 3 eEarth VO - 11 all CGDS AMS VO - 3 in total: 29 RDIG VOs

New VOs inside the RDIG-EGEE infrastructure: aims & current status aims: 1) to serve the national scientific projects 2) to test new application areas before including them into the global EGEE infrastructure current status: creation of the formal procedures and the proper administrative structures in RDIG-EGEE for VOs creation & registration: – documents and rules; the Council on RDIG-EGEE extension has been formed 5 internal VOs now; near plan: Fusion science; chemical physics institutes

PHOTON VO: PHOTON & SELEX Projects (12 members; leading organization - ITEP) eEarth VO: geophysics sciences - 11 members; leading organization: Geophysics Center RAS RGStest & RDTEAM VOs - Russian Data Intensive Grid (13 members) Photon, eEarth, RGStest RDIG Virtual Organizations

eEarth VO (in Russian) – for geophysics and cosmic research tasks; participating institutes: Scmidt Institute of Physics of the Earth of Russian Academy of Sciences (IPE RAS) ( and Centre of Geophysical Data Studies and Telematics Applications (CGDS) ( CGDS operates a powerful local area network (LAN) (8 servers and 32 workstations operating under Windows NT 4.0, Windows XP/2000/98, Linux Red Hat 5.2 and Solaris 2.5-7) with high speed (1 GBps) fiber optic Internet connection to Moscow Internet backbone through campus network of Moscow Lomonosov State University eEarth VO will provide: an access to world-wide distributed data; computing resources for remote distributed computations; monitoring of common computing resources loading to optimize the resources usage. Grid-technologies will be useful for a number of geophysical tasks, especially for interactive cartography and data vizualisation. Data Resources: SPIDR Mirror site in Moscow Integrated Distributed Environmental Archive System (IDEAS) Satellite Archive Browse and Retrieval Rapid Earthquake Determination Service Geophysical Survey RAS, Obninsk eEarth VO in the RDIG-EGEE 11 members

Процесс регистрации для работы в среде LCG

Последовательность действий для осуществления возможности работать в среде LCG-2 - Ознакомиться с Правилами использования ресурсов LCG - Получить персональный цифровой сертификат - Загрузить персональный сертификат в браузер - Зарегистрироваться в соответствующей виртуальной организации Вся нижеследующая последовательность действий описана на странице

Последовательность действий для осуществления возможности работать в среде LCG-2 (2) Для получения персонального цифрового сертификата необходимо в среде операционной системы с работающим ПО Globus запустить команду grid-cert-request или специальный скрипт, предоставлямый национальным Сертификацинным Центром, а затем в возникшем при исполнении этой команды (или скрипта) режиме диалога ввести требуемую информацию - в том числе, задать свой пароль, который в дальнейшем будет необходим для работы в grid-среде. После выполнения этой команды в домашнем каталоге создается новый каталог.globus c тремя файлами: usercert.pem – цифровой сертификат пользователя (первоначальный размер этого файла равен 0); usercert_request.pem – запрос на цифровой сертификат; userkey.pem - цифровой ключ пользователя. Запрос на получение сертификата следует направить по адресу требования Сертификационного центра (как правило - ответственному по сертификации в Вашей организации). Далее произойдет регистрация Вашего сертификата в Сертификационном центре (на данный момент в России – это Курчатовский институт ( ). По завершению процесса регистрации Вы получите по электронной почте свой цифровой сертификат, который следует сохранить в файле usercert.pem

Последовательность действий для осуществления возможности работать в среде LCG-2 (3) Загрузить персональный сертификат в браузер Поскольку в браузерах используется другой формат представления сертификата, прежде всего необходимо конвертировать цифровой сертификат из формата pem в формат PKCS12. Для этого в среде с работающим пакетом openssl следует выполнить команду вида: openssl pkcs12 -export -inkey userkey.pem -in usercert.pem -out my_cert.p12 –name "My \ certificate" где userkey.pem – путь к файлу, содержащему цифровой ключ (этот файл должен иметь разрешение на чтение только для владельца файла, т.е. только для Вас!); usercert.pem - путь к файлу, содержащему сертификат; my_cert.p12- путь к создаваемому файлу в формате PKCS12 ; «My certificate» - необязательное имя (оно может в дальнейшем быть использовно при выборе сертификата в браузере, если в браузер загружено несколько сертификатов) Подробные инструкции по загрузке сертификата, конвертированного в формат PKCS12 в различные типы браузеров (Mozilla, Netscape, Internet Explorer, Opera и Konqueror) содержатся на странице

Последовательность действий для осуществления возможности работать в среде LCG-2 (4) Зарегистрироваться в соответствующей виртуальной организации virtual organization (VO) – виртуальная организация - объединение пользователей, организаций и ресурсов (компьютеров, ПО и данных) в новый административный домен в рамках grid- инфраструктуры Пользователь для вступления в соответствующую направлению его деятельности виртуальную организацию должен заполнить и отправить регистрационную форму, после чего получает письмо по электронной почте, подтверждающее факт получения регистрационной формы пользователя; затем, следуя указаниям в этом письме, подтверждает факт его получения; и, наконец, администратор виртуальной организации информирует собственно о факте регистрации в виртуальной организации. Теперь, став членом виртуальной организации, Вы можете войти в сеанс на любую доступную Вам User Interface - машину - и начать работу в среде своей виртуальной организации!!! – documents and rules on RDIG-EGEE internal VOs О внутренних виртуальных организациях RDIG-EGEE см.

UI (User Interface) – cервис, обеспечивающий доступ к ресурсам Grid; c UI-компьютера пользователь может запускать или прерывать свои задачи, получать информацию о статусе выполняемых задач, находить ресурсы, необходимые для исполнения конкретной задачи, получать учетную информацию о своей задаче: а также копировать, реплицировать или уничтожать файлы в инфрастуктуре Grid. CE (Computing Element) – очередь в системе пакетной обработки инфраструктуры Grid WN (Working Node) – вычислительный узел фермы в инфраструктуре Grid SE (Storage Element) –cервис, обеспечивающий унифицированный доступ к ресурсам памяти инфраструктуры Grid (ресурсами памяти при этом могут быть как простые дисковые серверы, так и дисковые массивы или системы массовой памяти (MSS)). Job Submission Что такое UI, CE, WN, SE?

Запуск задачи пользователя осуществляется через систему управления загрузкой (WMS, Workload Management System) Задачей WMS является планирование и управление ресурсами в распределенной среде Grid. При этом пользователю предоставляются следующие возможности : - запускать и исполнять свои задачи - получать информацию о статусе состояния своей задачи - получать результат выполнения задачи Назначение WMS - как оптимизировать использование ресурсов, так и способствовать скорейшему выполнению задачи пользователя Система управления загрузкой (WMS) в LCG-2

Составляющие части WMS В настоящее время WMS состоит из следующих частей: 1.User Interface (UI) : сервис, обеспечивающий для пользователя доступ к WMS 2.Resource Broker (RB) : сервис поиска наилучших ресурсов в среде GRID для запуска конкретной задачи 3.Job Submission Service (JSS) : сервис, обеспечивающий надежность запуска задачи 4.Information Index (BDII) : сервер, который собирает информацию о ресурсах Grid; эта информация используется Resource Brokerом для классификации и выбора ресурсов 5.Сервисы Logging и Bookkeeping (LB) : хранят информацию о задаче пользователя

Подготовка задачи Пользователь должен продумать Достаточно полное описание задачи, т.е. Собственно программу Необходимые для расчетов данные Требования к ОС и специализированному м/о Осознавать, что программа уйдет в некоторое неведомое пространство и при этом программа должна быть портабельной и не иметь в себе ссылок на локальное окружение и не обязательно программа должна располагаться в $HOME! Описать входные данные (если имеются) Дать указания касательно выходных данных

JDL – расширяемый язык, предназначенный для описания задач пользователя с помощью задания значений для атрибутов и появившияся еще при создании системы распределенных вычислений CONDOR Пользователь для запуска свой задачи в инфраструктуре grid должен сформировать файл ( job_definition.jdl ) Некоторые из атрибутов описываются пользователем, а некотрые атрибуты автоматически формируются UI до запуска задания в инфрастуктуру grid Job Submission Job Description Language (JDL) Язык описания задачи

Job Submission Атрибуты описания задачи Executable (обязательный) имя исполняемой команды (программы) Arguments (необязательный) аргументы, которые необходимы для исполнения команды, указанной в Executable StdInput, StdOutput, StdErr (необязательный) стандартные ввод/вывод/ошибки задачи Environment (необязательный) список установок среды InputSandbox (необязательный) список файлов на локальном диске на UI, необходимых для выполнения задачи перечисленные файлы помещаются на удаленный CE OutputSandbox (необязательный) Список файлов, которые будут сформированы в результате выполнения задания и которые необходимо получить пользователю после выполнения задачи

Job Submission Атрибуты ресурсов Resource Attributes Requirements Требования задачи на вычислительные ресурсы Если не определяются пользователем, то используется значение, заданное в конфигурации UI

Job Submission Атрибуты описания данных Data Attributes InputData (необязательный) относится к данным, используемым как входные к задаче: эти данные публикуются в Replica Catalog и запоминаются в SEs) PFNs и/или LFNs DataAccessProtocol (обязательный, если определен атрибут InputData) Протокол или список протоколов, требумых для доступа к InputData на данном SE OutputSE (необязательный) имя SE-хоста RB использует его для выбора CE, совместимого в требованиями задачи и наидолее близко расположенного к SE OutputData (необязательный) Выходные данные, которые должны быть сформированы в конце выполнения задачи

Пример простейшего описания задачи (myjob1.jdl) Мы определили программу для запуска и ее аргументы файлы, куда будет записан стандартный вывод как поступить с выходными файлами Как написать описание задачи (Job Description) Executable = "/bin/echo"; OutputSandbox = {"stdout", "stderror"}; stdoutput = "stdout"; stderror = "stderror"; Arguments = "Hi!"; VirtualOrganisation = "cms";

Пример запуска задачи Выполняем команду grid-proxy-init вводим в процессе выполнения данной команды свой пароль на гридовский сертификат получаем в результате Globus proxy – временный сертификат, дающий право доступа к сервисам и ресурсам Grid Выполняем команду: edg-job-submit myjob1.jdl и получаем в результате уникальный идентификатор задачи (Job Identifier), JobId По выполнению команды: edg-job-status JobId получаем статусную информацию о ходе выполнения задачи После завершения выполнения задачи можно выполнить команду edg-job-get-output JobId в результате чего получаем имя временнго каталога на машине UI, где находятся результаты выполнения задачи.

1) Получение proxy-сертификата: grid-proxy-init Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena Enter GRID pass phrase for this identity: Creating proxy Done Your proxy is valid until: Fri Sep 2 04:40: ) Запуск задачи: edg-job-submit myjob1.jdl Selected Virtual Organisation name (from JDL): cms Connecting to host gdrb03.cern.ch, port 7772 Logging to host gdrb03.cern.ch, port 9002 ********************************************************************************************* JOB SUBMIT OUTCOME The job has been successfully submitted to the Network Server. Use edg-job-status command to check job current status. Your job identifier (edg_jobId) is: - ********************************************************************************************* Запуск задачи (1) JobId

3) Если не указываем имя своей виртуальной в файле запуска (myjob1.jdl), то получаем диагностику вида: **** Error: UI_NO_VOMS **** Unable to determine a valid user's VO Имя своей виртуальной организации можно указывать не в jdl-файле, а непосредственно в команде edg-job-submit : edg-job-submit --vo CMS myjob1.jdl 4) Запуск задачи с опцией --nomsg : edg-job-submit --nomsg myjob1.jdl Job Submission Запуск задачи (2) Получаем только сообщение о JobId

Результатом выполнения команды edg-job-status будет: ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Scheduled Status Reason: Job successfully submitted to Globus Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms reached on: Thu Sep 1 15:07: ************************************************************* Когда задача находится в процессе выполнения, в ответ на edg-job-status получаем: ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Running Status Reason: Job successfully submitted to Globus Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms reached on: Thu Sep 1 15:10: ************************************************************* Job Submission Получение информации о статусе задачи (1)

После успешного завершения задания в ответ на edg-job-status получим: ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms reached on: Thu Sep 1 15:11: ************************************************************* Теперь мы можем ознакомиться с результатами Job Submission Получение информации о статусе задачи (2)

на выполнение команды edg-job-get-output получаем на экране следующую информацию: Retrieving files from host: gdrb03.cern.ch ( for ) ********************************************************************************* JOB GET OUTPUT OUTCOME Output sandbox files for the job: have been successfully retrieved and stored in the directory: /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg ********************************************************************************* Получение результатов (1)

Отправляемся в указанный каталог ( /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg ) сd tmp/etikhone_26kIm7cU1F9eY0VVhfkItg ls –lag total 484 drwxr-xr-x 2 zh 4096 Sep 1 17:13./ drwxrwxrwt 6262 root Sep 1 17:15../ -rw-r--r-- 1 zh 0 Sep 1 17:13 stderror -rw-r--r-- 1 zh 4 Sep 1 17:13 stdout Обнаруживаем там 2 файла: stderror (пустой, т.е. ошибок при выполнении задачи не было) и sdtout, содержащий собственно результат выполнения нашей задачи (в данном случае текст Hi! ) Получение результатов (2)

Job Submission Некоторые полезные команды UI edg-job-list-match Получение списка ресурсов, соответствующих описанию задачи (запуск задачи при этом не требуется) edg-job-cancel прекращение выполнения задачи edg-job-get-logging-info получение информации о прохождении задачи полезно при отладке программы grid-proxy-destroy закрытие временного сертификата (как выход из сеанса работы в инфрастурктуре grid)

В ОИЯИ UI - cервис доступен с lxpub03.jinr.ru В CERN при вхождении на lxplus.cern.ch следует выполнить скрипт grid_env.csh командой или в результате чего установятся переменные окружения, необходимые для доступа к сервису UI. Примечание: при получении proxy-сертификата командой grid-proxy-init без параметров, proxy-сертификат обычно выдается на 12 часов. Можно указывать временной интервал, на который необходимо получение proxy-сертификата. Для этого следует использовать опцию –valid HH:MM, например: grid-proxy-init -valid 150:00 Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena Enter GRID pass phrase for this identity: Creating proxy DoneYour proxy is valid until: Fri Sep 9 17:14: date Sat Sep 3 11:14:08 CEST 2005 Job Submission UI в ОИЯИ и в CERN source /afs/cern.ch/project/gd/LCG-share/sl3/etc/profile.d/grid_env.csh source /afs/cern.ch/cms/LCG/LCG-2/UI/cms_ui_env.csh

Job Submission Рекомендуемые документы The LCG-2 User Guide LCG-2 User Scenario ClassAd language LCG-2 Frequently Asked Questions