Enabling Grids for E-sciencE Проект EGEE – новый этап развития GRID технологий в Европе С.Б. Олешко (ПИЯФ РАН)

Enabling Grids for E-sciencE 2 Основные цели проекта EGEE Основная цель проекта EGEE - объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований. Предоставить исследователям круглосуточный доступ к вычислительным ресурсам независимо от их географического положения. Пользоваться инфраструктурой смогут сообщества исследователей, которые готовы объединить свои собственные вычислительные мощности и согласны с принципами общего доступа. Проект поддерживают финансирующие учреждения ЕС, но предназначен он для работы во всем мире. Значительные средства поступают от США, России и других участников проекта, не входящих в ЕС.

Enabling Grids for E-sciencE 3 Основные задачи проекта EGEE Сохранить научно-технические результаты предыдущих Грид- проектов Не отстать от США и Японии во внедрении Грид технологий в Европе Сохранить технические и кадровые ресурсы от предыдущей EU программы (FP5) Обеспечить развитие от R&D GRID ПО и тестовых структур к индустриальному ПО и созданию высокопроизводительной продукционной Грид инфраструктуры Гармонизировать национальные и интернациональные активности в развитии Грид технологии в рамках этого проекта

Enabling Grids for E-sciencE 4 Партнёрские федерации EGEE 11 федераций, 27 стран, 70 организаций

Enabling Grids for E-sciencE 5 Ключевые направления проекта Формирование согласованной, устойчивой и защищённой вычислительной сети; Совершенствование программных средств промежуточного программного обеспечения с целью обеспечения надежного обслуживания пользователей; Привлечение новых пользователей из других сфер деятельности и обеспечение им высокого стандарта обучения и поддержки.

Enabling Grids for E-sciencE 6 Временные рамки проекта Бюджет ЕС - 32M на 2 годаАпрель 2004: проект стартовал

Enabling Grids for E-sciencE 7 EGEE и другие GRID - проекты Инфраструктура EGEE будет построена на исследовательской сети Европейского союза (ЕС) GEANT и в ней будет использован опыт, накопленный в таких проектах, как DataGrid, Datatag, Crossgrid, поддержанных ЕС; в национальных проектах, например, e-Science (Британия), INFN Grid (Италия), Nordugrid (Северная Европа ) и американском Trillium. Она обеспечит возможность совместной работы с другими системами во всём мире, включая США и Азию, что будет способствовать установлению всемирной GRID- инфраструктуры.

Enabling Grids for E-sciencE 8 Виды деятельности в EGEE 24% исследовательские разработки JRA1 – перепроектирование и интеграция промежуточного ПО JRA2 – обеспечение качества JRA3 – безопасность JRA4 – разработка сетевых сервисов 28% сервисы SA1 – поддержка, эксплуатация и управление европейскими Грид-системами SA2 – обеспечение сетевых ресурсов 48% поддержка и развитие существующих сетей и гридов NA1 – руководство проектом NA2 – распространение информации и расширение круга пользователей NA3 – обучение и включение в число пользователей NA4 – идентификация и поддержка приложений NA5 – политика и международное сотрудничество

Enabling Grids for E-sciencE 9 Использование результатов Масштаб применения результатов EGEE: академические (также открыто для индустриальных и социоэкономических сообществ) Главный критерий успеха проекта - количество пользователей и количество областей применения: 5000 пользователей (3000 после 2-ух лет), как минимум - 5 областей применения

Enabling Grids for E-sciencE 10 Пилотные приложения Для координации внедрения и официальной оценки эксплуатационных качеств и функциональности создаваемой инфраструктуры были выбраны две пилотные области: –вычислительный грид для большого адронного коллайдера БАК ( LHC - Large Hadron Collider Computing Grid) в ЦЕРН, где вычислительная модель основывается исключительно на Грид-инфраструктуре для хранения и анализа петабайтов данных –биомедицинские гриды, где несколько сообществ должны решать одинаково трудные задачи, чтобы справиться с колоссальным потоком биоинформационных и медицинских данных.

Enabling Grids for E-sciencE 11 Роль ЦЕРНа в проекте EGEE Эксперименты на LHC предполагают беспрецедентное использование компьютеров LHC Computing GRID (LCG проект) и GRID технологии являются ответственностью CERN По этим принципам CERN является головным партнером в EGEE проекте

Enabling Grids for E-sciencE 12 Эксперименты LHC

Enabling Grids for E-sciencE 13 Эксперименты на LHC CMS ATLAS LHCb ALICE При ожидаемой скорости записи сырых данных потребуются ресурсы для хранения данных порядка десятков и сотен ПБ. Для обработки данных потребуются сотни тысяч персональных компьютеров ( максимальной на текущий момент производительности)

Enabling Grids for E-sciencE 14 Данные LHC Ожидаемый объём данных – 10 петабайт (1 петабайт =~10 15 байт) в год. Это примерно в 1000 раз больше, чем объём информации, которая содержится в книгах, напечатанных во всём мире за год и ~10% всей информации, которую производит человечество за год. Для обработки и анализа данных потребуется ~ PC ежедневно.

Enabling Grids for E-sciencE 15 Управление ГРИД EGEE Операционный центр управления (OMС) -ЦЕРН - о бщая координация Центры базовой инфраструктуры (CIC) - 5 центров -Великобритания, Франция, ЦЕРН, Италия, Россия -обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы; -реализация и контроль за выполнением правил, выработанных OMS -обеспечение поддержки узлов 2- го уровня Региональные операционные центры (ROC) ~ 11 центров -поддержка пользователей и администраторов ресурсов -координация региональных ресурсов

Enabling Grids for E-sciencE 16 Ресурсные центры CIC RC ROC RC ROC RC ROC RC ROC OMC RC = Resource Centre

Enabling Grids for E-sciencE 17 Участие России в проекте EGEE В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации Россия (Russia).

Enabling Grids for E-sciencE 18 Участники РДИГ ИФВЭ (Институт физики высоких энергий, Протвино) ИМПБ (Институт математических проблем биологии, Пущино) ИТЭФ (Институт теоретической и экспериментальной физики, Москва) ОИЯИ (Объединенный институт ядерных исследований, Дубна) ИПМ (Институт прикладной математики, Москва) ПИЯФ (Петербургский институт ядерной физики, Гатчина) ИАЭ (Институт атомной энергии, Москва) НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ, Москва)

Enabling Grids for E-sciencE 19 Вклад РДИГ в EGEE РДИГ является операционной и функциональной частью EGEE (CIC, ROC, RCs) Виды деятельности: –SA1 - Поддержка, эксплуатация и управление европейскими ГРИД-системами –SA2 - Обеспечение доступа к сетевым ресурсам –NA2 - Распространение информации и расширение круга пользователей –NA3 - Обучение и включение в число пользователей –NA4 - Идентификация и поддержка приложений

Enabling Grids for E-sciencE 20 Первые итоги проекта (ресурсы) Country providing resources Country anticipating joining EGEE/LCG In EGEE-0 (LCG-2): > 100 sites > 10,000 CPUs > 5 PB storage

Enabling Grids for E-sciencE 21 Первые итоги проекта (приложения) Кроме приложений LHC другие эксперименты ФВЭ (D0, CDF, Zeus, Babar) активно работают в ГРИД Расширилось количество биомедицинских приложений Добавились новые ВО(виртуальные организации) – науки о Земле, вычислительная химия, астрофизика, геофизика, астрономия Общее число зарегистрированных членов ВО – 500 Появилось множество региональных ВО, которые поддерживаются инфраструктурой EGEE Готовится к выходу первая версия gLite – ППО для EGEE

Enabling Grids for E-sciencE 22 Первые итоги проекта (мониторинг)

Enabling Grids for E-sciencE 23 Первые итоги проекта для России Первая реальная ГРИД-инфраструктура в России Первый ГРИД-проект всероссийского уровня, поддержанный Правительством России Научные и образовательные учреждения из различных областей (науки о Земле, химия, космос, …) проявили заинтересованность в участии в проекте Для участников – опыт работы в большом общеевропейском проекте по эгидой ЕС

Enabling Grids for E-sciencE 24 Интернет ресурсы GLOBAL GRID FORUM: European GRID FORUM: EU DATAGRID: DATATAG: GLOBUS: GriPhyn: CrossGRID: LCG: EGEE: EGEE-RDIG: PNPI EGEE: Grid club: