T.Strizh (LIT, JINR) 1 ГРИД-технологии и облачные вычисления Кореньков В.В. (ЛИТ ОИЯИ, университет «Дубна») Конференция INTRUS, Дубна,

T.Strizh (LIT, JINR) « Грид - это система, которая: · координирует использование ресурсов при отсутствии централизованного управления этими ресурсами · использует стандартные, открытые, универсальные протоколы и интерфейсы. · обеспечивает высококачественное обслуживание » (Ian Foster: "What is the grid? ", 2002 г.) Концепция Грид Cоздание компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе управляющего и оптимизирующего программного обеспечения (middleware) нового поколения. Междисциплинарный характер грид: развиваемые технологии применяются в физике высоких энергий, космофизике, микробиологии, экологии, метеорологии, различных инженерных и бизнес приложениях. Виртуальные организации (VO)

T.Strizh (LIT, JINR) 3 Distributed Computing Distributed Computing || synchronous processing|| synchronous processing High-Throughput Computing High-Throughput Computing || asynchronous processing|| asynchronous processing On-Demand Computing On-Demand Computing || dynamic resources|| dynamic resources Data-Intensive Computing Data-Intensive Computing || databases|| databases Collaborative Computing Collaborative Computing || scientists|| scientists Ian Foster and Carl Kesselman, editors, The Grid: Blueprint for a New Computing Infrastructure, Morgan Kaufmann, 1999, Five Emerging Models of Networked Computing From The Grid

T.Strizh (LIT, JINR) Грид широко применяется Физика высоких энергий (LHC, CERN) UK Science Grid TeraGrid HealthGrid (GEMSS, MammoGrid, Pharma Grid, BioGrid, Infogenmed) Молекулярная биологии для моделирования структуры белка, анализа последовательностей ДНК Бизнес нефтяная отрасль, геологоразведка В банковском деле В автомобильной промышленности Grid позволяет ускорить и удешевить расчет виртуальных крэштестов Airbus и Boeing используют технологию для постоянного контроля состояния двигателей и других агрегатов и узлов самолета показания датчиков, непрерывно собирающих информацию, через спутник передаются на землю, где анализируются в сетях Grid IBM активно использует технологию Grid для внутренних нужд (моделирование при создании микропроцессоров следующих поколений

T.Strizh (LIT, JINR) Large Hadron Collider Start-up of the Large Hadron Collider (LHC), one of the largest and truly global scientific projects ever, is the most exciting turning point in particle physics. LHC ring: 27 km circumference CMS ALICE LHCb ATLAS

T.Strizh (LIT, JINR) 6 Параметры детектора АТЛАС Энергия центра масс 14 TeV Частота столкновений пучков 40 MHz Светимость : начальная: см -2 с -1 низкая: 2*10 33 см -2 с -1 целевая: см -2 с -1 Вес 7000 тонн, Диаметр 22м, Длина 46м Количество регистрирующих каналов

T.Strizh (LIT, JINR) November 21, 2013November 21, 2013November 21, USA15 SDX1 Gigabit Ethernet Event data requests Delete commands Requested event data Regions Of Interest Network switches Second- level trigger pROS ~ 500 stores LVL2 output LVL2 farm UX15 Read- Out Drivers ( RODs ) First- level trigger Dedicated links VME Data of events accepted by first-level trigger Read-Out Subsystems ( ROSs ) USA Read- Out Links RoI Builder ~150 PCs Event data 100 kHz, 1600 fragments of ~ 1 kByte each Timing Trigger Control (TTC) DataFlow Manager Event Filter (EF) ~1800 Network switches Event data pulled: partial 100 kHz, full ~ 3 kHz SDX1 dual-CPU nodes CERN computer centre Event rate ~ 200 Hz Data storage 6 Local Storage SubFarm Outputs (SFOs) ~100 Event Builder SubFarm Inputs (SFIs) Trigger / DAQ architecture LVL2 Super- visor

T.Strizh (LIT, JINR) GB/sec (ions) Потоки данных от физических установок БАК до вычислительного центра ЦЕРН (Tier 0 at CERN)

T.Strizh (LIT, JINR) Взаимодействие уровней Tier 0 – Tier 1 – Tier 2 9 Tier-0 (CERN): Прием данных Начальная реконструкция данных Распределение данных Tier-1 (11 centres): Постоянное хранение данных Реконструкция и обработка Анализ Tier-2 (>200 centres): Моделирование Физический анализ

T.Strizh (LIT, JINR) Комната управления СMS (CERN)

T.Strizh (LIT, JINR) 11 Global Community

T.Strizh (LIT, JINR) 12 Some history 1999 – Monarc Project 1999 – Monarc Project Early discussions on how to organise distributed computing for LHCEarly discussions on how to organise distributed computing for LHC EU DataGrid project EU DataGrid project middleware & testbed for an operational gridmiddleware & testbed for an operational grid – LHC Computing Grid – LCG – LHC Computing Grid – LCG deploying the results of DataGrid to provide adeploying the results of DataGrid to provide a production facility for LHC experiments – EU EGEE project phase – EU EGEE project phase 1 starts from the LCG gridstarts from the LCG grid shared production infrastructureshared production infrastructure expanding to other communities and sciencesexpanding to other communities and sciences – EU EGEE-II – EU EGEE-II Building on phase 1Building on phase 1 Expanding applications and communities …Expanding applications and communities … – EU EGEE-III – EU EGEE-III 2010-…- EGI-NGI 2010-…- EGI-NGI CERN

T.Strizh (LIT, JINR) 13 EGEE (Enabling Grids for E-sciencE) The aim of the project is to create a global Pan-European computing infrastructure of a Grid type. - Integrate regional Grid efforts - Represent leading grid activities in Europe 10 Federations, 27 Countries, 70 Organizations

T.Strizh (LIT, JINR) sites 55 countries 150,000 CPUs 26 PetaBytes (Disk) 40 PetaBytes (Tape) >15,000 users >300 Vos 12 mln jobs/month Астрономия и астрофизика Безопасность населения Вычислительная химия Вычислительные науки/Программирование Физика конденсированного состояния Науки о Земле Синтез Физика высоких энергий Науки о жизни

T.Strizh (LIT, JINR) 15 NERSC BU UNM SDSC UTA OU FNAL ANL WISC BNL VANDERBILT PSU UVA CALTECH PURDUE IU BUFFALO TTU CORNELL ALBANY UMICH IUPUI STANFORD CU UWM UNL UFL KU UNI WSU MSU LTU LSU CLEMSON UMISS UIUC UCR UCLA LEHIGH NSF ORNL HARVARD UIC SMU UCHICAGO MIT RENCI LBL GEORGETOWN UIOWA UDAVIS ND UCSB FIT UMD T RIT The Map of OSG Sites (in the US) Ruth Pordes, FNAL

T.Strizh (LIT, JINR) 16 WLCG depends on two major science grid infrastructures EGEE - Enabling Grids for E-Science OSG - US Open Science Grid EGEE & OSG

T.Strizh (LIT, JINR) 17 Collaborating e-Infrastructures Potential for linking ~90 countries by 2010

T.Strizh (LIT, JINR) 18 European e-Infrastructure The EGEE project - Bob Jones - EGEE' September Need to prepare permanent, common Grid infrastructure Ensure the long-term sustainability of the European e-infrastructure independent of short project funding cycles Coordinate the integration and interaction between National Grid Infrastructures (NGIs) Operate the European level of the production Grid infrastructure for a wide range of scientific disciplines to link NGIs

T.Strizh (LIT, JINR) 19 What future holds ARC consortium (NorduGrid, NDGF, KnowARC et al), together with gLite and UNICORE, contribute to creation of the Universal Middleware Distribution (UMD) for the European Grid Initiative (EGI) ARC consortium (NorduGrid, NDGF, KnowARC et al), together with gLite and UNICORE, contribute to creation of the Universal Middleware Distribution (UMD) for the European Grid Initiative (EGI) Sites and VOs that use ARC will get an access to the European e-Science infrastructure, just like those that use gLite or UNICORESites and VOs that use ARC will get an access to the European e-Science infrastructure, just like those that use gLite or UNICORE What about Clouds? What about Clouds? Technically, very similar to Grids: distributed, service- orientedTechnically, very similar to Grids: distributed, service- oriented However, Clouds business model is closer to that of HPCHowever, Clouds business model is closer to that of HPC Single administrative domain, carefully selected resources Single administrative domain, carefully selected resources

T.Strizh (LIT, JINR) 20 The Future of Grids From e-Infrastructures to Knowledge Infrastructures From e-Infrastructures to Knowledge Infrastructures Network infrastructure connects computing and data resources and allows their seamless usage via Grid infrastructures Network infrastructure connects computing and data resources and allows their seamless usage via Grid infrastructures Federated resources and new technologies enable new application fields: Federated resources and new technologies enable new application fields: Distributed digital librariesDistributed digital libraries Distributed data miningDistributed data mining Digital preservation of cultural heritageDigital preservation of cultural heritage Data curationData curation Knowledge Infrastructure Knowledge Infrastructure Major Opportunity for Academic and Businesses alike NETWORK. INFRASTRUCTURE GRID. INFRASTRUCTURE KNOWLEDGE. INFRASTRUCTURE 20

T.Strizh (LIT, JINR) Mirco Mazzucato DUBNA Grids, clouds, supercomputers, etc. Ian Bird 21 Grids Collaborative environment Distributed resources (political/sociological) Commodity hardware (also supercomputers) (HEP) data management Complex interfaces (bug not feature) Supercomputers Expensive Low latency interconnects Applications peer reviewed Parallel/coupled applications Traditional interfaces (login) Also SC grids (DEISA, Teragrid) Clouds Proprietary (implementation) Economies of scale in management Commodity hardware Virtualisation for service provision and encapsulating application environment Details of physical resources hidden Simple interfaces (too simple?) Volunteer computing Simple mechanism to access millions CPUs Difficult if (much) data involved Control of environment check Community building – people involved in Science Potential for huge amounts of real work Many different problems: Amenable to different solutions No right answer Many different problems: Amenable to different solutions No right answer Grids, clouds, supercomputers..

T.Strizh (LIT, JINR) Концепция «Облачных вычислений» Все есть сервис (XaaS) AaaS: приложения как сервис PaaS: платформа как сервис SaaS: программное обеспечение как сервис DaaS: данные как сервис IaaS: инфраструктура как сервис HaaS: оборудование как сервис Воплощение давней мечты о компьютерном обслуживании на уровне обычной коммунальной услуги: масштабируемость оплата по реальному использованию (pay-as-you-go)

T.Strizh (LIT, JINR) Software-as-a-Service (SaaS) Platform-as-a-Service (PaaS) Infrastructure-as-a-Service (IaaS) Everything as a Service (XaaS)

T.Strizh (LIT, JINR) Virtual Laboratory layer. Application Layer Grid Layer MACS Lab DNA-Array Radiology Application

T.Strizh (LIT, JINR) World Community Grid - IBM ( PCs Leiden Classical Grid - Education on Grid ( PCs SZTAKI - Hungarian initiative ( PCs AlmereGrid ( PCs PS3GRID (Based on Playstations) ( Some Desktop Grids

T.Strizh (LIT, JINR) Суперкомпьютер МГУ Ломоносов

T.Strizh (LIT, JINR) 420 Тфлопс 350 Тфлопс 83% T-Blade2, T-Blade 1.1, PowerXCell 8i Intel Xeon 5570, 2.93 GHz 56,5 ТБайт QDR Infiniband 1,35 ПБайт Clusrtx T-Platforms Edition 252 м МВт Пиковая производительность Реальная производительность Эффективность Число вычислительных узлов Число процессоров Число процессорных ядер Типы вычислительных узлов Основной процессор Оперативная память Коммуникационная сеть Система хранения данных Операционная система Занимаемая площадь Энергопотребление вычислителя Суперкомпьютер МГУ Ломоносов

T.Strizh (LIT, JINR) Japan Courtesy of Satoshi Matsuoka, Tokyo Institute of Technology, Japan, ISC-2010

T.Strizh (LIT, JINR) В настоящее время RDIG –инфраструктура состоит из 17 ресурсных центров, в которых доступно около 5000 CPU и 3200 TB дискового пространства. The RDIG infrastructure RDIG Resource Centres: – ITEP – JINR-LCG2 – RRC-KI – RU-Moscow-KIAM – RU-Phys-SPbSU – RU-Protvino-IHEP – RU-SPbSU – Ru-Troitsk-INR – ru-IMPB-LCG2 – ru-Moscow-FIAN – ru-Moscow-GCRAS – ru-Moscow-MEPHI – ru-PNPI-LCG2 – ru-Moscow-SINP - BY-NCPHEP - Kharkov-KIPT

T.Strizh (LIT, JINR) Структурные элементы грид-инфраструктуры в России ROC – региональный операционный центр в России Обеспечение функционирования базовых грид сервисов 24х7Обеспечение функционирования базовых грид сервисов 24х7 Мониторинг и реагирование на черезвычайные ситуацииМониторинг и реагирование на черезвычайные ситуации Учет ресурсов и выполненных работ (accounting)Учет ресурсов и выполненных работ (accounting) Управление и поддержка виртуальных организацийУправление и поддержка виртуальных организаций Поддержка безопасности инфраструктуры, CAПоддержка безопасности инфраструктуры, CA Сертификация (валидация) грид ПОСертификация (валидация) грид ПО Поддержка пользователейПоддержка пользователей Операционная поддержка ресурсных центровОперационная поддержка ресурсных центров VO – виртуальные организации: физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, HONE …физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, HONE … биомедбиомед FusionFusion российские VOs: e-Earth (геофизика),российские VOs: e-Earth (геофизика), химфизика (Черноголовка, МГУ ++),химфизика (Черноголовка, МГУ ++), нанотехнологии и наноиндустрия

T.Strizh (LIT, JINR) 31 T he national association of research and educational е-Infrastructures «e-ARENA» has been established in August 2009 as a legal body for coordinating efforts of different organizations in Russian Federation in creating and developing the e-infrastructures, including networking and grids, to serve science and higher education. The e-Arena Association is recognized by the Ministry of Communications as a legal body for coordination of the e-infrastructure efforts at national level. In scope of the EGI stream the Russian NGI include five organizations, actively participated in the EGEE/EGEE-II/EGEE-III projects: RRC KI (Moscow), SINP MSU (Moscow), JINR (Dubna), PNPI RAS (Gatchina) and ITEP (Moscow). Russian NGI is e-ARENA

T.Strizh (LIT, JINR) Центральный информационно-вычислительный комплекс ЦИВК ОИЯИ Производительность ЦИВК ОИЯИ составляет 2800 kSI2K Емкость дискового хранилища составляет 1068 TB (>1PB) Scheme of the CICC network connections

T.Strizh (LIT, JINR) 33 Протокол между ЦЕРН, Россией и ОИЯИ об участии в проекте LCG был подписан в 2003 году. MoU об участии в проеке Worldwide LHC Computing Grid (WLCG) был подписан в 2007 году. Задачи ОИЯИ в проектах WLCG/EGEE Поддержка и развитие WLCG/EGEE инфраструктуры; Участие в тестировании и сертификации нового промежуточного ПО (middleware testing/evaluation), Участие в Data and Service Challenges, Развитие систем grid мониторинга и учета ресурсов; Развитие системы FTS-monitoring; Развитие информационной системы MCDB; Участие в проекте ARDA; Развитие приложений в области физики высоких энергий; Организация обучения пользователей и системных администраторов Поддержка стран-участниц ОИЯИ в развитии грид-технологий ОИЯИ в проектах WLCG/EGEE

T.Strizh (LIT, JINR) 34 USER- INTERFACE AND VISUALIZATION SERVICE DEVELOPMENT FOR VIRTUAL ORGANIZATION SUPPORT IN HIGH ENERGY PHYSICS S. Mitsyn (LIT) Grid Monitoring: Grid Monitoring: Deals with decentralized structures involving a large amount of data. Its proper representation is an essential part of the monitoring process. Google Earth offers a quite informative and visually attractive representation which mapping Grid infrastructure objects, processes and events on a geographic map. LHC Project Support

T.Strizh (LIT, JINR) JINR CMS Remote Operation Centre Monitoring of detector systems Data Monitoring / Express Analysis Shift Operations (except for run control) Communications of JINR shifter with personal at CMS Control Room (SX5) and CMS Meyrin centre Communications between JINR experts and CMS shifters Coordination of data processing and data management Training and Information 35 Founded in 2009 as a part of GRID-based JINR Tier-2

T.Strizh (LIT, JINR) 3636 Статистика использования CPU time по странам (июнь октябрь 2010)

T.Strizh (LIT, JINR) 37 Статистика по CPU time среди грид-сайтов в России (июнь октябрь 2010)

T.Strizh (LIT, JINR) GRID-site CPU time Num CPU (Core) FZK-LCG 60,203, RAL-LCG2 41,402, IN2P3-CC 37,511, GRIF 29,278, NIKHEF-ELPROD 27,358, INFN-T1 25,491, IN2P3-CC-T2 21,650, DESY-HH 21,153, TRIUMF-LCG2 19,404, PIC 18,913, SARA-MATRIX 18,857, UKI-GLASGOW 18,653, JINR 17,208, Production Normalised CPU time per EGEE site for VO LHC (June 2009– September 2010)

T.Strizh (LIT, JINR) 39 gLite user trainings for students of Dubna University and University Centre of JINR, grid site administrators trainings for JINR member-states, testbed for grid developers, testbed for middleware evaluation, GILDA cooperation Grid training and education – distributed training infrastructure:

T.Strizh (LIT, JINR) 40 Participation in GridNNN project Grid support for Russian national nanotechnology network Grid support for Russian national nanotechnology network To provide for science and industry an effective access to the distributed computational, informational and networking facilities To provide for science and industry an effective access to the distributed computational, informational and networking facilities Expecting breakthrough in nanotechnologies Expecting breakthrough in nanotechnologies Supported by the special federal program Supported by the special federal program Main points Main points based on a network of supercomputers (about 15-30) based on a network of supercomputers (about 15-30) has two grid operations centers (main and backup) has two grid operations centers (main and backup) is a set of grid services with unified interface is a set of grid services with unified interface partially based on Globus Toolkit 4 partially based on Globus Toolkit 4

T.Strizh (LIT, JINR) 41 GridNNN infrastructure 10 resource centers at the moment in different regions of Russia RRC KI, «Chebyshev» (MSU), IPCP RAS, CC FEB RAS, ICMM RAS, JINR, SINP MSU, PNPI, KNC RAS, SPbSU RRC KI, «Chebyshev» (MSU), IPCP RAS, CC FEB RAS, ICMM RAS, JINR, SINP MSU, PNPI, KNC RAS, SPbSU

T.Strizh (LIT, JINR) 42 4-rd International Conference "Distributed Computing and Grid-technologies in Science and Education 28 June – 3 July,

T.Strizh (LIT, JINR) 43 Useful References: Grid Café: Grid Café: OPEN GRID FORUM: OPEN GRID FORUM: GLOBUS: GLOBUS: TERAGRID: TERAGRID: Open Science Grid: Open Science Grid: LCG: LCG: EGEE: EGEE: EGEE-RDIG: EGEE-RDIG: EGI: EGI: International Science Grid this Week: International Science Grid this Week:

T.Strizh (LIT, JINR) The blind men and the elephant in the room Cyberinfrastructure Grids Shared Infrastructure/ Shared Services SaaS SOA Virtualization Web 2.0 Automation