03.11.2012GRID-2012 ОИЯИ, Дубна 1 Интеграция программного обеспечения удаленного мониторинга экспериментов на LHC и инструментального программного комплекса. - презентация

1 GRID-2012 ОИЯИ, Дубна 1 Интеграция программного обеспечения удаленного мониторинга экспериментов на LHC и инструментального программного комплекса NEST ESA как основа облачной платформы уровня Tier 3 в ГРИД-инфраструктуре экспериментов на LHC для разработки приложений радиолокационного космического мониторинга В.В. Кореньков, В.М. Котов, Н.А. Русакович, А.В. Яковлев Объединенный институт ядерных исследований (Дубна)

2 GRID-2012 ОИЯИ, Дубна 2 Европейское Космическое Агентство (ESA) начиная с 90-х годов прошлого столетия поставляет пользователям данные космических аппаратов, имеющих РСА (Envisat, Radarsat, TerraSar, Cosmo-Skymed), и уже собран большой архив радарных данных. В настоящее время и в России в рамках Федеральной космической программы ведется разработка космических аппаратов («Метеор-М 3», «Аркон-2М»), оснащенных многофункциональной РСА с активной фазированной антенной решеткой, характеристики которой соответствуют характеристикам современных РСА.

3 GRID-2012 ОИЯИ, Дубна 3 Сбор, предварительная обработка и анализ данных, полученных при дистанционном зондировании Земли (ДЗЗ) с помощью космических радиолокаторов с синтезированной апертурой (РСА) (Synthetic Aperture Radar - SAR), связаны с накоплением и обработкой информации, объемы которой в сотни тысяч раз превышают средний уровень потребностей и достигают десятков Tb в год. Традиционные подходы к разработке инфраструктуры и обработки таких объемов данных не годятся, необходимы новые подходы к обработке и анализу данных для современных РСА, в том числе и реализация интерактивного взаимодействия в режиме удаленного доступа для многоуровневой, распределенной географически вычислительной системе обработки данных больших объемов.

4 GRID-2012 ОИЯИ, Дубна 4 Аналогичная проблема стояла и в области экспериментальной физики высоких энергий еще в 90-е годы прошлого столетия при создании системы сбора и обработки данных экспериментов на Большом адронном коллайдере (БАК). На сегодня не существует технологии, обеспечивающей необходимую функциональность и эффективность обработки таких потоков и объемов экспериментальных данных в одной системе. Поэтому система сбора и обработки эксперимента ATLAS на БАК была разделена на два уровня: online - сбор и предварительная обработка и offline - полная обработка и анализ. Опыт разработки и реализации системы сбора и обработки данных экспериментов на БАК может быть использован при создании систем обработки данных в системах ДЗЗ, и в частности для данных, полученных с помощью космических аппаратов с РСА.

5 GRID-2012 ОИЯИ, Дубна 5 Современная архитектура наземной географически распределенной системы обработки данных SAR (Synthetic Aperture Radar), предлагаемая Европейским космическим агентством, имеет уровень предварительной обработки входных данных, которая осуществляется перед выполнением полного цикла обработки информации с SAR в пакетном режиме. ESA в 2007 г. заключило договор с канадской фирмой Array Systems Computing на разработку инструментального программного обеспечения и с 2010 г. поставляет комплект программного обеспечения NEST (Next ESA SAR Toolbox), включающего в себя функциональность всех предыдущих версий инструментального ПО BEST, BEAM и др. Концепция

6 GRID-2012 ОИЯИ, Дубна 6 ReadersWriters Предвари- тельная обработка данных BEAM DIMAP Данные подгото- вленные для дальнейшей обработки GeoTIFF HDF 4 & 5 NetCDF JPEG2000 Инструментарий для визуализации и анализа данных Инструментарий обработки данных Алгоритмы обработки Data Conversion, Band Arithmetic, Image Filtering, Data Analysis, Orthorectification, Co-Registration, Reprojection, Mosaicking, Calibration, Interferometry, Oil Split Detection, Wind Field Estimation, Object Detection ENVISAT ASAR Источники данных ERS 1& 2 AMI Radarsat 1 & 2 ALOS PALSAR Cosmo-Skymed TerraSar-X Sentinel 1

7 GRID-2012 ОИЯИ, Дубна 7 По условиям технического задания ESA инструментарий NEST предназначен для помощи в подготовке элементов системы обработки данных SAR, но не является SAR процессором или готовой системой обработки SAR данных в полном технологическом цикле. Вместе с тем, статус пакета NEST как программы с открытым исходным кодом позволяет использовать его в составе облачной платформы для разработки приложений радиолокационного космического мониторинга.

8 GRID-2012 ОИЯИ, Дубна 8 G-POD Начиная с 2002 г. в ESA успешно реализуется проект G-POD (ESA Grid Processing on Demand). G-POD является вычислительной Грид- инфраструктурой, предназначенной для разработки новых приложений по обработке данных ДЗЗ. G-POD обеспечивает необходимую гибкость для создания новых приложений по обработке пространственных данных, в сочетании с быстрым доступом к вычислительным ресурсам, необходимым для разработки и к инструментальному ПО.

9 GRID-2012 ОИЯИ, Дубна 9 Архитектура G-POD

10 GRID-2012 ОИЯИ, Дубна 10 Web-портал G-POD представляет собой гибкую, безопасную, и распределенную платформу, пользуясь которой пользователь может легко управлять своими задачами. В ходе всех стадий от создания приложений для новой задачи и до публикации результатов, через стадии выбора данных и мониторинга выполнения задач, разработчик (пользователь) имеет дружественный и интуитивно понятный интерфейс. Идеология и архитектура G-POD предполагает использование ресурсов локального вычислительного кластера, а при необходимости использование облачных вычислительных ресурсов.

11 GRID-2012 ОИЯИ, Дубна 11 G-POD: Использование локальных и облачных вычислительных ресурсов

12 GRID-2012 ОИЯИ, Дубна 12 Принимая во внимание свободно распространяемое инструментальное ПО NEST ESA для обработки радиолокационных данных космического мониторинга, а также учитывая опыт и результат разработки и реализации системы сбора и обработки данных экспериментов на БАК, предлагается разработать платформу уровня Tier 3 (PaaS & IaaS) для разработки, тестирования, и поддержки приложений по обработке данных с космических локаторов РСА, реализующей полный технологический цикл обработки радарных данных. В качестве основы для разработки прототипа подобной PaaS предлагается использовать ПО системы сбора и обработки данных эксперимента ATLAS.

13 GRID-2012 ОИЯИ, Дубна 13 В соответствии с концепцией «Открытой инновационной лаборатории» эксперимента ATLAS-LAB (ATLAB), на рабочем совещании ЦЕРН-ОИЯИ «Brainstorming workshop on applications from ATLAS using EU-funding for R&D- upgrades» в г. Дубне г в ходе обсуждения доклада ОИЯИ «Real Time remote access system for ATLAS» было поддержано предложение о возможности прикладного использования ПО ATLAS TDAQ в области космического мониторинга, проводимого при поддержки ESA совместно с ЦЕРН.

14 GRID-2012 ОИЯИ, Дубна 14 Структура программного обеспечения ATLAS TDAQ и системы HLT, а также структура инструментального ПО NEST ESA использует объектно-ориентированный подход проектирования и соответствует стандарту PSS05 ESA. Объединение NEST и сервисов системы сбора и обработки данных экспериментов на БАК в единую систему, как основу платформы уровня Tier 3, обеспечит интеграцию NEST в общую систему Грид-обработки данных экспериментов БАК, а значит и возможность отладки в последующем и offline режима обработки данных космического мониторинга в географически распределенной вычислительной системе Грид- обработки с участием ESA и ЦЕРН.

15 GRID-2012 ОИЯИ, Дубна 15 Модель инструментальной платформы имеет клиент-серверную архитектуру. Серверное ПО развернуто на локальном вычислительном кластере уровня Tier 3, который интегрирован в общую систему Грид-обработки экспериментов на БАК. В качестве клиента предполагается использовать ПО NEST. Данный вариант предполагает сохранение ПО NEST в качестве самостоятельного программного обеспечения, способного реализовывать все возможности, заложенные в него при разработке. При этом ПО NEST получит дополнительный инструментарий, который позволит проводить обработку SAR данных на вычислительной ферме. Модель инструментальной платформы

16 GRID-2012 ОИЯИ, Дубна 16 ГРИД Вычислительный кластер (Tier 3) ПО NEST WEB Алгоритмы обработки ПО NEST Web- портал TDAQ Online SoftwareHigh Level TriggerКомпоненты PaaS Локальное хранилище данных ГРИД хранилища данных Модель инструментальной платформы

17 GRID-2012 ОИЯИ, Дубна 17 В качестве базового ядра предлагаемой системы предполагается использовать набор компонентов из Системы сбора и обработки данных в реальном времени эксперимента ATLAS LHC (ATLAS TDAQ Online Software и High Level Trigger), кроме того предполагается разработать новые компоненты, необходимые для реализации функционала инструментальной платформы NEST. Компоненты должны будут использовать существующие возможности сервис-ориентированной архитектуры TDAQ и High Level Trigger. В качестве алгоритмов обработки SAR данных используются операторы из пакета Graph Processing Tools (GPF Operator) ПО NEST, необходимые для предварительной обработки. Вычислительный кластер интегрирован в Грид- инфраструктуру экспериментов на БАК, поэтому предполагается обмен данными и результатами обработки между локальным хранилищем данных и удаленными Грид-хранилищами.

18 GRID-2012 ОИЯИ, Дубна 18 Вычислительный кластер (Tier 3) ПО NEST WEB Алгоритмы обработки NEST Операторы (PT) Сервис конфигурации задания Job Config Сервис управления заданием Job Control Диспетчер Web- портал Компоненты TDAQ Online Software Компоненты High Level Trigger Архитектура инструментальной платформы

19 GRID-2012 ОИЯИ, Дубна 19 Клиентское ПОКлиентское ПО ПО NEST будет адаптировано для взаимодействия с удаленной вычислительной фермой. Клиентское ПО позволит пользователю составлять задание на удаленную обработку SAR данных. Для этого предполагается разработать интерфейс на основе Graph Builder User Interface из компонента Graph Processing Tools (GPT) NEST. Используя данный интерфейс, пользователь, взаимодействуя с серверной частью, получит возможность задавать источники данных, выбирать из набора алгоритмов NEST алгоритмы обработки данных, параметры, последовательность шагов обработки и т.п. После чего составленное задание будет принято к выполнению на удаленной ферме. Кроме того, клиентское ПО должно предоставлять пользователю возможность мониторинга процессов удаленной обработки, а, при необходимости возможность вмешиваться в процесс обработки. Архитектура инструментальной платформы

20 GRID-2012 ОИЯИ, Дубна 20 Web-порталWeb-портал Web-портал является для удаленного пользователя точкой доступа к ресурсам вычислительной фермы. Через web-портал пользователь взаимодействует с остальными компонентами серверного ПО, составляет задания, наблюдает за ходом обработки, получает результат обработки задания. Также на web- портале осуществляется авторизация и аутентификация пользователя. Для этого используются соответствующие сервисы системы сбора и обработки данных экспериментов на БАК. Архитектура инструментальной платформы

21 GRID-2012 ОИЯИ, Дубна 21 Сервис конфигурации задания (Job Config)Сервис конфигурации задания (Job Config) Сервис Job Config отвечает за составление задания на обработку SAR данных. Для этого используются соответствующие компоненты из подсистемы Config ПО TDAQ ATLAS. Для корректного описания задания на обработку SAR данных используется понятие TDAQ- partition. TDAQ-partition – в рамках TDAQ ATLAS это подмножество компонентов системы сбора и обработки данных (TDAQ–system), выделенное для выполнения определенной задачи сбора и обработки данных. TDAQ-partition в виде иерархической структуры содержит описание поддетекторов ATLAS, источников данных, аппаратных и программных ресурсов, алгоритмов обработки, параметров и т.п. TDAQ-partition представляет собой полный и законченный набор компонентов TDAQ, полный в том смысле, что данное сочетание компонентов позволяет создать систему, способную полноценно выполнять конкретную задачу сбора и обработки данных. Удаленный пользователь, при помощи клиентского интерфейса составляет требуемую ему Конфигурацию задания на обработку SAR данных, и это задание сохраняется на сервере в виде TDAQ-partition. Одно задание на обработку SAR данных соответствует одному partition в терминологии TDAQ ATLAS. Архитектура инструментальной платформы

22 GRID-2012 ОИЯИ, Дубна 22 Сервис управления заданием (Job Control)Сервис управления заданием (Job Control) Сервис Job Control отвечает за выполнение задания на обработку SAR данных. Для этого используются соответствующие компоненты из подсистемы Control ПО TDAQ ATLAS. Job Control запускает сеанс обработки данных в соответствии с полученным заданием (TDAQ-partition). При этом каждое конкретное задание соответствует отдельному TDAQ- partition. Кроме этого Job Control осуществляет взаимодействие между сервисами системы обработки SAR данных. В случае, если при выполнении сеанса обработки требуется вмешательство пользователя, сервис Job Control переадресовывает запрос на такое вмешательство пользователю, а получив команды от пользователя, сервис Job Control переадресовывает их соответствующим сервисам. Архитектура инструментальной платформы

23 GRID-2012 ОИЯИ, Дубна 23 ДиспетчерДиспетчер Диспетчер является компонентом, который отвечает за управление всеми заданиями (partition) в целом. Для системы обработки SAR данных предполагается наличие большого количества пользователей, при этом каждый пользователь может оперировать большим количеством заданий (partition). И соответственно, требуется механизм для управления таким количеством заданий. Сервис Job Control, созданный в соответствии с архитектурой сервисов подсистемы Control TDAQ, отвечает за выполнение одного конкретного задания (partition), а Диспетчер отвечает за все задания. Архитектура инструментальной платформы

24 GRID-2012 ОИЯИ, Дубна 24 Диспетчер Пользователь 1Пользователь 2 Job Control Пользователь 1 Задание 1 Partition 1.1 Job Control Пользователь 1 Задание 2 Partition 1.2 Job Control Пользователь 2 Задание 1 Partition 2.1 Job Control Пользователь 2 Задание 2 Partition 2.2

25 GRID-2012 ОИЯИ, Дубна 25 Алгоритмы обработки данных (операторы)Алгоритмы обработки данных (операторы) В качестве алгоритмов обработки SAR данных используются операторы из пакета Graph Processing Tools (GPF Operator) ПО NEST. Для того чтобы операторы NEST корректно работали с сервисами TDAQ ATLAS, они должны быть представлены в виде программных ресурсов (SW resource) TDAQ. Для этого каждый GPF Operator необходимо обернуть в программную оболочку. В этом случае сервисы TDAQ будут вызывать стандартные операторы в рамках TDAQ-partition – в терминологии TDAQ - Process Tasks (PT), а фактически будут выполняться операторы из пакета GPF NEST. Архитектура инструментальной платформы

26 GRID-2012 ОИЯИ, Дубна 26 Предлагаемая концепция обеспечивает применение современных методов при разработке приложений для сервис-ориентированной архитектуры распределенных вычислительных систем и предоставляет возможность интеграции приложений в уже существующие ИТ-системы. Разрабатываемая система представляет уникальные возможности по использованию её как программную платформу Tier 3 для разработки системы моделирования в реальных условиях работы вычислительного комплекса в распределённой среде ГРИД. Принципиально новым в таком подходе является использование в процессе моделирования реальных интерфейсов и сервисов для взаимодействия с моделируемыми ресурсами, и это означает, что разработчики распределённой системы обработки данных получают возможность интеграции разрабатываемых ими приложений в реальную среду ГРИД без необходимости внесения изменений сразу в исходный код. Такой подход к моделированию при выполнении научных исследований по развитию сервис-ориентированной архитектуры (SOA) становится ключевой технологией для освоения созданного в интернете «облака», особенно при использовании виртуализации на уровне приложений. Заключение

27 GRID-2012 ОИЯИ, Дубна 27 Успешное выполнение данной работы было бы невозможно без поддержки и помощи: Livio Mapelli CERN Serguei Kolos, CERN, Petersburg Nuclear Physics Institute (PNPI); Igor Soloviev, CERN, Petersburg Nuclear Physics Institute (PNPI), и сотрудников ATLAS DAQ Group CERN Physics Dept Благодарность

28 GRID-2012 ОИЯИ, Дубна 28 Thank you !!

29 GRID-2012 ОИЯИ, Дубна 29 Backup slides

30 GRID-2012 ОИЯИ, Дубна 30

31 GRID-2012 ОИЯИ, Дубна 31