Что такое Grid? Вадим Петухов (ИФВЭ, Протвино) Вадим Петухов (ИФВЭ, Протвино) - презентация

1 Что такое Grid? Вадим Петухов (ИФВЭ, Протвино) Вадим Петухов (ИФВЭ, Протвино)

2 План выступления Ранние определения GRID Понятие о Виртуальной Организации Область зарождения и применения GRID Перспективы для развития Минимальная архитектура для участия в GRID Проект EGEE и участие в нем России

3 We will probably see the spread of ´computer utilities, which, like present electric and telephone utilities, will service individual homes and offices across the country. Leonard Kleinrock (1969) Мы, вероятно, увидим распространение «компьютерных услуг», которые, подобно электричеству и телефону, придут в дома и офисы по всей стране. A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities. I. Foster, C. Kesselmann (1998), The Grid: Blueprint for a New Computing Infrastructures. Вычислительный Grid - это аппаратно-программная инфраструктура, которая обеспечивает надежный, устойчивый, повсеместный и недорогой доступ к высокопроизводительным вычислительным ресурсам. Первые определения GRID

4 Идеалистическое представление о GRID GRIDMIDDLEWAREGRIDMIDDLEWARE Visualizing Supercomputer, PC-Cluster Data Storage, Sensors, Experiments Internet, Networks Desktop Mobile Access

5 Скоординированное разделение ресурсов - Виртуальная Организация The sharing that we are concerned with is not primarily file exchange but rather direct access to computers, software, data, and other resources, as is required by a range of collaborative problem-solving and resource brokering strategies emerging in industry, science, and engineering. The sharing is, necessarily, highly controlled, with resources providers and consumers defining clearly and carefully just what is shared, who is allowed to share, and the conditions under which sharing occurs. A set of individuals and/or institutions defined by such sharing rules what we call a virtual organization. I. Foster, C. Kesselmann, S. Tuecke (2000), The Anatomy of the Grid. Разделение (ресурсов), о котором мы говорим, - это не просто обмен файлами, а еще и прямой доступ к компьютерам, программному обеспечению, данным и другим ресурсам, как это требуется для совместного решения задач и стратегий выделения ресурсов. принятых в промышленности, науке и инженерии. Разделение должно тщательно контролироваться поставщиками и потребителями ресурсов, быть ясно и тщательно определено, что распределяется, кому разрешается пользоваться и на каких условиях. Отдельные пользователи и/или институты, подчиняющиеся таким правилам, образуют то, что мы называем Виртуальной Организацией.

6 The LHC Computing Model Tier2 Centre ~1 TIPS Online System Offline Farm ~20 TIPS CERN Computer Centre >20 TIPS RAL Regional Centre US Regional Centre French Regional Centre Italian Regional Centre Institute Institute ~0.25TIPS Workstations ~100 MBytes/sec Mbits/sec One bunch crossing per 25 ns 100 triggers per second Each event is ~1 Mbyte Physicists work on analysis channels Each institute has ~10 physicists working on one or more channels Data for these channels should be cached by the institute server Physics data cache ~PBytes/sec ~ Gbits/sec or Air Freight Tier2 Centre ~1 TIPS ~Gbits/sec Tier 0 Tier 1 Tier 3 1 TIPS = 25,000 SpecInt95 1 PC (2000) = ~15 SpecInt95 ScotGRID++ ~1 TIPS Tier 2 The LHC Computing Model Рисунок Harvey Newman, Caltech

7 The LHC Computing Model Tier2 SINP ~1 TIPS Online System Offline Farm ~20 TIPS CERN Computer Centre >20 TIPS CERN Regional Centre LAB Physics LAB ~0.25TIPS Workstations ~100 MBytes/sec Mbits/sec One bunch crossing per 25 ns 100 triggers per second Each event is ~1 Mbyte Physicists work on analysis channels Each institute has ~10 physicists working on one or more channels Data for these channels should be cached by the institute server Physics data cache ~PBytes/sec Tier2 ITEP ~1 TIPS RDIG JINR ~1 TIPS ~Gbits/sec Tier 0 Tier 3 1 TIPS = 25,000 SpecInt95 1 PC (2000) = ~15 SpecInt95 1 PC (2007) = 250 SpecInt95 RDIG IHEP ~1 TIPS Tier 2 The LHC Computing Model The LHC Computing Model (RDIG) Tier 1

8 Gilders Law (32X in 4 yrs) Storage Law (16X in 4yrs) Moores Law (5X in 4yrs) Triumph of Light – Scientific American. George Stix, January 2001 Performance per Dollar Spent Optical Fibre (bits per second) Chip capacity (# transistors) Data Storage (bits per sq. inch) Number of Years Doubling Time (months)

9 Перспективы развития ресурсов для GRID С 1986 по 2000 годы производительность вычислений при тех же затратах выросла в 500 раз. Ожидается, что до 2010 года производительность вырастет в , Сейчас в мире около 500 млн. РС. Из них не более 30% имеют выход в Интернет Средний коэффициент использования вычислительного ресурса не превышает 5%!

10 Network Ресурсы необходимые для участия в виртуальной организации

11 Упрощенное взаимодействие сервисов/ Серверов ) Web Browser Web Server Web Сервис Минимальная конфигурация для участия в GRID Initial screen Proxy information

12 The LHC Computing Model Tier2 SINP ~1 TIPS Online System Offline Farm ~20 TIPS CERN Computer Centre >20 TIPS CERN Regional Centre LAB Physics LAB ~0.25TIPS Workstations ~100 MBytes/sec Mbits/sec One bunch crossing per 25 ns 100 triggers per second Each event is ~1 Mbyte Physicists work on analysis channels Each institute has ~10 physicists working on one or more channels Data for these channels should be cached by the institute server Physics data cache ~PBytes/sec Tier2 ITEP ~1 TIPS RDIG JINR ~1 TIPS ~Gbits/sec Tier 0 Tier 3 1 TIPS = 25,000 SpecInt95 1 PC (2000) = ~15 SpecInt95 1 PC (2007) = 250 SpecInt95 RDIG IHEP ~1 TIPS Tier 2 The LHC Computing Model The LHC Computing Model (RDIG) Tier 1

13 EGEE: Partners Leverage national resources in a more effective way for broader European benefit 70 leading institutions in 27 countries organised into regional federations

14 Состояние ресурсов участников Проекта EGEE

15 EGEE Activities JRA1: Middleware Engineering and Integration JRA2: Quality Assurance JRA3: Security JRA4: Network Services Development SA1: Grid Operations, Support and Management SA2: Network Resource Provision NA1: Management NA2: Dissemination and Outreach NA3: User Training and Education NA4: Application Identification and Support NA5: Policy and International Cooperation 24% Joint Research28% Networking 48% Services Emphasis in EGEE is on operating a production grid and supporting the end- users Starts 1 st April 2004 for 2 years (1st phase) with EU funding of ~32M

16 EGEE activities relative sizes Networking (NA1-5): 30% Emphasis in EGEE is on operating a production grid and supporting the end-users Mware/security/QA (JRA1-4): 22% Grid operations (SA1,2): 48%

17 Grid Operations Management Structure

18 Активности России в EGEE ( Общая координация - Ильин В.А. НИИЯФ МГУ) NA2 - Dissemination and Outreach (Руководит Т. Стриж, ОИЯИ) Operate the dissemination Web site, support mail lists and Web base collaborative tools, organize presentations, visits, 2 project conferences and showcases per year, publication of dissemination material. NA3 – User Training and Induction (Руководит Е. Слабоспицкая, ИФВЭ) Produce training and course material. Deliver on-site courses and support distributed courses in the project. NA4 – Application Identification and support (Рук. Е. Тихоненко, ОИЯИ) Support HEP and Bio pilot applications. Identify early users. Introduction of new user communities. Definition of common application interfaces and tools. Creation of an Industry Forum. SA1 – European Grid Support, Operation and Management (Руководят А. Крюков, НИИЯФ МГУ и Ю. Лазин, ИФВЭ) Core infrastructure services. Grid monitoring and control. Middleware deployment and resource induction. Resource and user support. Grid management. SA2 – Network Resource Provision (Рук. В.Добрецов, КИ) Definition in collaboration with RN Geant,...

19 Развитие Проекта EGEE

20 Developing Grid Standards Increased functionality, standardization Custom solutions Open Grid Services Arch Real standards Multiple implementations Web services, etc. Managed shared virtual systems Research Globus Toolkit Defacto standard Single implementation Internet standards 2010 Slide courtesy of Ian Foster, Argonne National Labs

21 Полезные ссылки: European DataGrid (EDG) LHC Computing GRID (LCG) cern.ch/lcg GridLab EGEE public.eu-egee.org RDIG GRIDCLUB GRID в ИФВЭ

22 СПАСИБО ЗА ВНИМАНИЕ. ВАШИ ВОПРОСЫ ?