NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Что такое Grid? - презентация

1 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Что такое Grid?

2 Национальный Научный Фонд США (NSF) инициировал новую программу развития информационных технологий Partnerships for Advanced Computational Infrastructure (PACI) NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Первое упоминание о ГРИД 2 есть сетевая компонента и множество узлов компьютерных ресурсов (электростанций) Впервые возникла концепция Грид-инфраструктуры, как некая аналогия электроэнергетической инфраструктуры

3 Отдельный компьютер (РС) Прикладное ПО Что такое Grid? Ресурсы РС Диски, процессор, память … 3 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Операционная система РС

4 Локальная сеть Прикладное ПО Операционная система каждого узла Ресурсы узла Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Что такое Grid? 4 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы РС Отдельный компьютер Прикладное ПО Операционная система

5 Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Промежуточное ПО для соединения с другими локальными сетями… Операционная система каждого узла Ресурсы узла Следующий шаг - Грид Что такое Grid? Локальная сеть Прикладное ПО Операционная система каждого узла Ресурсы узла Промежуточное ПО для соединения с другими ресурсами Ресурсы РС Отдельный компьютер Прикладное ПО Операционная система 5 Прикладное ПО

6 Предпосылки Что такое Grid? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Сравнение отдельных характеристик 6 Управление ресурсами Распределение ресурсов Аппаратные компоненты Средства коммуникации Конфигурация Для чего служит Обслуживание деятельности пользователей Грид Многоуровневая компьютерная инфраструктура Интернет, региональная или корпоративная сеть Компьютерные ресурсы Грид Децентрализованное с учетом приоритета локального управления Решение отдельных задач различной сложности Сервер Локальная сеть Однотипные компьютерные модули Централизованное Распределенное Обслуживание корпоративной деятельности, запросов анонимных клиентов Специализированный комплекс компьютеров, одноуровневая компьютерная инфраструктура… Локальная, корпоративная или региональная сеть Компьютерные ресурсы организации Централизованное Распределенное Кластер ГРИД Распределенные вычисления

7 (Ian Forster: What is Grid, 2002 г.) Грид « Грид – это система, которая: Что такое Grid? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 7 координирует использование ресурсов при отсутствии централизованного управления этими ресурсами использует стандартные, открытые, универсальные протоколы и интерфейсы обеспечивает высококачественное обслуживание»

8 Что такое Grid? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 8 Грид В прагматическом понимании Грид – это концепции и технологии интеграции расположенных в разных местах телекоммуникационной сети (т.е. распределенных) компьютерных систем для обеспечения более эффективного использования ресурсов и решения прикладных задач принципиально нового уровня сложности.

9 Грид С точки зрения распределенной обработки данных Грид – это Что такое Grid? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) распределенные гетерогенные ресурсы виртуальная исполнительная среда динамически интегрировать и предоставляющие услуги для использования этой среды концепции, концепции, технологии, технологии, методы и средства, методы и средства, позволяющие 9 т.е различающиеся платформами сетевыми протоколами администрированием…

10 Предпосылки обеспечивать доступ к ресурсам так, чтобы различия между платформами сетевыми протоколами административными границами стали совершенно прозрачными Что такое Grid? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 10 Идеальная Грид-инфраструктура должна

11 Желание расширить границы научного открытия вычислительным анализом и моделированием (e-Science) Зачем? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Необходимость решения сложных научных, производственных, инженерных и бизнес-задач 11 Наука все больше делается через распределенные глобальные коллаборации с использованием internet ГРИД предоставляет доступ к: – Очень большим наборам данных – Огромным (тера…) вычислительным ресурсам – Высокопроизводительной визуализации – Высокоскоростным сетям

12 Производительность микропроцессоро в н е изменно увелич ивается Можно купить много-гигафлопную систему менее чем за 800 Почему это можно сделать Традиционные технологии интернет хорошо развиты NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Н аличие во многих организациях вычислительных ресурсов – суперкомпьютеров или кластеров персональных компьютеров Стремительное развитие и д оступность сетевой транспортной среды и технологий высокоскоростнойпередачи данныхВ Европе сеть GEANT связывает 32 страны со скоростью до 10 Gbps ( и выше ) В UK прошли от 100 Mbps -> 10 Gbps. С 2000 г 1 Gbps обычно доступны для настольных систем 12

13 У величение производительностимикропроцессоро в e-Science д оступность сетевой транспортной среды Уже существует масса Грид-систем… Технологии Интернет NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Необходимость решения сложных задач Н аличие вычислителных ресурсов 13

14 Уже существует масса Грид-систем… NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Некоторые Грид проекты 14 NASA Information Power Grid DOE Science Grid NSF National Virtual Observatory NSF GriPhyN DOE Particle Physics Data Grid NSF TeraGrid DOE ASCI Grid DOE Earth Systems Grid DARPA CoABS Grid NEESGrid DOH BIRN NSF iVDGL DataGrid (CERN,...) EuroGrid (Unicore) DataTag (CERN,…) Astrophysical Virtual Observatory GRIP (Globus/Unicore) GRIA (Industrial applications) GridLab (Cactus Toolkit) CrossGrid (Infrastructure Components) EGSO (Solar Physics) UK UK – OGSA-DAI, RealityGrid, GeoDise, Comb-e-Chem, DiscoveryNet, DAME, AstroGrid, GridPP, MyGrid, GOLD, eDiamond, Integrative Biology, … Netherlands Netherlands – VLAM, PolderGrid Germany Germany – UNICORE, Grid proposal France France – Grid funding approved Italy Italy – INFN Grid -Switzerland -Switzerland - Network/Grid proposal Hungary Hungary – DemoGrid, Grid proposal NorwaySweden Norway, Sweden – NorduGrid

15 Уже существует масса Грид-систем… NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 15 Грид в России Международный институт теории прогнозов Телекоммуникационный центр "Наука и общество" Биологи : Институт молекулярной биологии РАН Институт биологии гена РАН Институт биомедицинской химии РАМН Физики : Институт теоретической и экспериментальной физики НИИ ядерной физики МГУ Институт Космических исследований РАН Объединённый институт ядерных исследований (Дубна) Институт физики высоких энергий (Протвино) Петербургский Институт Ядерной Физики (Гатчина) Химики : Институт химической физики РАН Институт органической химии РАН Медики : Институт иммунологии МЗ Институт вирусологии РАМН Институт биохимии РАМН Институт вакцин и сывороток РАМН Научный центр хирургии РАМН

16 Информационные ресурсы особый вид ресурсов памяти, служат для хранения и предоставления метаданных и информации о других ресурсах ГРИД Терминология ГРИД - системы работают со следующими типами ресурсов: NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы Виртуальные организации Middleware Безопасность Приложение 16 Вычислительные ресурсы - компьютеры, кластеры Основная характеристика – производительность Ресурсы хранения данных диски и дисковые массивы, ленты, системы массового хранения Основная характеристика – объем Сетевые ресурсы связующее звено между распределенными ресурсами ГРИД Основная характеристика – скорость передачи данных Программное обеспечение

17 О распределении ресурсов в Грид NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы Виртуальные организации Middleware Безопасность Приложение 1717 Основные задачи Грид – системы эффективное распределение ресурсов координация ресурсов определяетопределяет наиболее подходящие ресурсы для каждой конкретной задачи резервируетрезервирует их для ее выполнения брокер ресурсов Для решения этих задач используется планировщик ( брокер ресурсов ) Во время выполнения задачи запросить освободить она может запросить у планировщика дополнительные ресурсы или освободить избыточные. После завершения задачи вычислительные ресурсы все отведенные для нее вычислительные ресурсы освобождаются, ресурсы памяти а ресурсы памяти могут быть использованы для хранения результатов работы.

18 О распределении ресурсов в Грид NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы Виртуальные организации Middleware Безопасность Приложение 18 Важное свойство Грид – системы физическом пользователю не нужно знать о физическом расположении расположении ресурсов, отведенных его задаче Для пользователя создается иллюзия работы в едином информационном пространстве с огромными вычислительными мощностями и объемом памяти

19 О распределении ресурсов в Грид NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы Виртуальные организации Middleware Безопасность Приложение 19 Очень важная проблема Грид – системы обеспечение надежного функционирования надежного функционирования и восстановления при сбоях систему мониторинга, которая следит за состоянии отдельных ресурсов. Контроль над ошибками возлагается на систему мониторинга, которая следит за состоянии отдельных ресурсов. Если ошибка произошла по вине:задачи задача останавливается, а диагностика направляется ее владельцу ресурса планировщик перераспределит ресурсы и перезапустит задачу

20 О распределении ресурсов в Грид NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы Виртуальные организации Middleware Безопасность Приложение 20 Сбой ресурсов – не единственная причина отказа в Грид – системах, Планировщик, используя систему мониторинга, предотвращает перегрузки и простои ресурсов Перегруженный ресурс может стать причиной отказа значительного количества других ресурсов «Единственная точка сбоя» При отказе любого ресурса планировщик произведет перераспределение ресурсов и перезапустит задачу отказ любого ресурса не должен приводить к сбою в работе всей системы

21 Виртуальные организации Инфраструктура ГРИД основана на предоставлении ресурсов в общее пользование использовании публично доступных ресурсов NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Мотивы кооперации - разные ВО В существующих Грид - системах ВО – коллаборация специалистов из некоторой прикладной области, которые объединяются для достижения общей цели Ресурсы Виртуальные организации Middleware Безопасность Приложение Виртуальные Организации в Виртуальные Организации кооперируются как потребители, так и владельцы ресурсов 21

22 Можно определить ГРИД-систему как пространственно распределенную операционную среду с гибким, безопасным и скоординированным разделением ресурсов для выполнения приложений в рамках Виртуальной Организации Виртуальной Организации. Виртуальные организации Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ГРИД-система – это среда коллективного компьютинга, в которой: каждый ресурс имеет своего владельца, доступ к ресурсам открыт в разделяемом по времени и по пространству режиме множеству входящих в ВО пользователей 23

23 Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) знает кто что делает, и кому не будет позволено делать это снова… Виртуальная Организация располагает определенным количеством ресурсов, которые предоставлены зарегистрированными в ВО владельцами контролирует доступ к описанным ресурсам устанавливает самостоятельно правила работы для своих участников может образовываться динамически и иметь ограниченное время существования обычно включает географически распределенных пользователей 24

24 Виртуальные организации – другой аспект NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы брокер ресурсов принимает задание от пользователя согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и направляет задание на подходящий сайт. 25

25 Виртуальные организации – другой аспект NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы Брокер Ресурсов ВО 1 ВО 2 ВО n VOMS 26

26 Виртуальная организация Виртуальная организация представляет собой новую форму проблемно – ориентированной кооперациипредприятий, научных центров, образовательных учреждений, а так же отдельных пользователей а так же отдельных пользователей, совместного использования осуществляемую на основе совместного использования принадлежащих иминтеллектуальных,программных, информационных и аппаратных ресурсов аппаратных ресурсов. Виртуальные организации – резюме NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 27

27 Распределенность на множестве административных доменов и автономизация 2.Гетерогенность 3.Масштабируемость 4.Динамичность или адаптивность Важные свойства ГРИД – инфраструктуры NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

28 1.Высокопроизводительный компьютинг 2.Компьютинг с высокой пропускной способностью 3.Компьютинг по запросу (on-demand) 4.Компьютинг больших массивов данных (data-intensive) 5.Компьютинг поддержки сотрудничества (виртуальных организаций) ГРИД – направление отрасли информационных технологий, технологий, NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) поддерживающее следующие приложения

29 Высокопроизводительный компьютинг агрегатирование компьютерных ресурсов для решения очень больших задач, которые не могут быть выполнены на какой-то одной компьютерной установке. Примеры: интерактивное моделирование военных действий, моделирование сложных физических процессов астрофизика, газовая динамика, прогнозирование погоды … 1 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Высокопроизводительный компьютинг 2.Компьютинг с высокой пропускной способностью 3.Компьютинг по запросу (on-demand) 4.Компьютинг больших массивов данных (data-intensive) 5.Компьютинг поддержки сотрудничества (виртуальных организаций)

30 Компьютинг с высокой пропускной способностью утилизация свободного процессорного времени в пуле доступных компьютеров для обслуживания большого потока слабосвязанных или независимых задач. Примеры: использование множества распределенных рабочих станций для решения сложных задач криптографии, проектирования и анализа.. 2 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Высокопроизводительный компьютинг 2.Компьютинг с высокой пропускной способностью 3.Компьютинг по запросу (on-demand) 4.Компьютинг больших массивов данных (data-intensive) 5.Компьютинг поддержки сотрудничества (виртуальных организаций)

31 Компьютинг по запросу (on-demand) обеспечение возможности быстрого и краткосрочного доступа к ресурсам, которые не могут быть все размещены локально по техническим или экономическим условиям, т.е. обеспечение разделения дефицитных ресурсов : Компьютеры Программное обеспечение Репозитарии данных Датчики… Примеры: выделение ресурсов, планирование, управление программным проектом, обеспечение безопасности, расчетно - платежные процедуры... 3 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Высокопроизводительный компьютинг 2.Компьютинг с высокой пропускной способностью 3.Компьютинг по запросу (on-demand) 4.Компьютинг больших массивов данных (data-intensive) 5.Компьютинг поддержки сотрудничества (виртуальных организаций)

32 Компьютинг больших массивов данных (data-intensive) обеспечение процесса синтеза новой информации из данных, накапливаемых в географически распределенных репозитариях, электронных библиотеках, базах данных... 4 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Высокопроизводительный компьютинг 2.Компьютинг с высокой пропускной способностью 3.Компьютинг по запросу (on-demand) 4.Компьютинг больших массивов данных (data-intensive) 5.Компьютинг поддержки сотрудничества (виртуальных организаций)

33 Компьютинг поддержки сотрудничества (виртуальных организаций) Поддержка кооперативной деятельности реальных участников виртуальных организаций, предоставляющие свои ресурсы для выполнения совместных проектов 5 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Высокопроизводительный компьютинг 2.Компьютинг с высокой пропускной способностью 3.Компьютинг по запросу (on-demand) 4.Компьютинг больших массивов данных (data-intensive) 5.Компьютинг поддержки сотрудничества (виртуальных организаций)

34 Распределенность на множестве административных доменов и автономизация Ресурсы географически распределены и принадлежат различным организациям, их подразделениям или даже отдельным пользователям, и поэтому: Не допускается какое-либо вмешательство в техническую политику административного сайта или автономии Нельзя подвергать риску уже используемую службу безопасности пользователей или удаленных сайтов Нельзя заменять уже используемые операционные системы, сетевые протоколы, или службы Необходимо обеспечить возможность удаленным сайтам легко подключаться или отключаться от инфраструктуры Необходимо обеспечить надежность и устойчивость к отказам в узлах виртуальной организации Важные свойства ГРИД – 1 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Распределенность 2.Гетерогенность 2.Масштабируемость 3.Динамичность

35 Гетерогенность Нельзя устанавливать ограничений на парадигмы программирования, языки, инструментарии или библиотеки, выбираемые пользователем Необходимо обеспечивать интероперабельность гетерогенных компонент Необходимо использовать стандарты и существующие технологии, и давать средства взаимодействия с наследуемыми приложениями Важные свойства ГРИД – 2 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Распределенность 2.Гетерогенность 3.Масштабируемость 4.Динамичность или

36 Важные свойства ГРИД – 3 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Распределенность 2.Гетерогенность 3.Масштабируемость 4.Динамичность Масштабируемость ГРИД – система должна сохранять работоспособность при значительном увеличении или уменьшении ее состава (рост ГРИД порождает проблему снижения производительности, поэтому приложения, требующие большого числа географически распределеных ресурсов, должны проектироваться с учетом латентности инфраструктуры)

37 Динамичность или адаптивность Управление ресурсами и приложениями должно быть организовано с учетом того факта, что в грид-инфраструктуре отказ скорее правило, чем исключение. Необходимо обеспечить надежность и устойчивость к отказам в узлах виртуальной организации Важные свойства ГРИД – 4 NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 1.Распределенность 2.Гетерогенность 3.Масштабируемость 4.Динамичность

38 Предпосылки Определяет системные компоненты, цели и функции этих компонент Отражает способы взаимодействия Отражает способы взаимодействия компонент друг с другом. Представляет собой архитектуру взаимодействующих протоколов сервисов интерфейсов, определяющих базовые механизмы, посредством которых пользователи устанавливают соединения с Грид-системой, совместно используют вычислительные ресурсы для решения разного рода задач. Архитектура грид Архитектура грид : NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

39 Предпосылки Задает требования для основных компонент Не предоставляет строгий набор спецификаций для них Оставляет возможность их развития в рамках принятой концепции Архитектура протоколов грид : NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

40 Предпосылки Уровни архитектуры протоколов Грид NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Уровни протоколов ГРИД ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый ПрикладнойПрикладной Уровни протоколов Интернет ТранспортныйТранспортный СетевойСетевой КанальныйКанальный и их соответствие уровням архитектуры протоколов Интернет

41 Предпосылки Базовый уровень- Fabric Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Описывает службы, непосредственно работающие с ресурсами. Ресурсы ГРИД Сетевые ресурсы Информационные ресурсы Ресурсы памяти Вычислительные ресурсы

42 Определяет коммуникационные протоколы и протоколы аутентификации Предпосылки Уровень связи – Connectivity Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Коммуникационные протоколы обеспечивают обмен данными между компонентами базового уровнями Протоколы аутентификации предоставляют криптографические механизмы для идентификации и проверки подлинности пользователей и ресурсов

43 Построен над протоколами коммуникации и аутентификации уровня связи архитектуры ГРИД Предпосылки Ресурсный уровень – Resource Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Реализует протоколы, обеспечивающие: Согласование политик безопасности использования ресурса Процедуру инициации ресурса Мониторинг состояния ресурса Контроль над ресурсом Учет использования ресурса

44 Предпосылки Ресурсный уровень – Resource Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Различают два основных класса протоколов этого уровня: Информационные протоколы Получают информацию о структуре и состоянии ресурса - Конфигурация - Текущая загрузка - Политика использования… Протоколы управления согласование доступа к разделяемым ресурсам

45 Предпосылки Коллективный уровень – Collective Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Отвечает за глобальную интеграцию различных наборов ресурсов (в отличие от ресурсного уровня, сфокусированного на работе с отдельными ресурсами). На этом уровне различают общие протоколы: протоколы обнаружения и выделения ресурсов системы мониторинга и авторизации сообществ… специфические протоколы для различных приложений ГРИД: протокол архивации распределенных данных протоколы управления задачами сохранения…

46 Предпосылки Коллективный уровень – Collective Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Компоненты этого уровня предлагают большое разнообразие методов совместного использования ресурсов. Сервисы каталогов позволяют ВО обнаруживать свободные ресурсы, выполнять запросы по именам и типам ресурсов Сервисы совместного выделения, планирования и распределения ресурсов обеспечивают выделение ресурсов для определенной цели, планирование выполняемых на ресурсах задач Сервисы мониторинга и диагностики отслеживают аварии, атаки и перегрузку Сервисы дублирования (репликации) данных координируют использование ресурсов памяти в рамках ВО Сервисы управления рабочей загрузкой применяются для описания и управления многошаговыми, асинхронными, многокомпонентными заданиями Службы авторизации сообществ способствуют улучшению правил доступа к разделяемым ресурсам Службы учета и оплаты обеспечивают сбор информации об использовании ресурсов Сервисы координации поддерживают обмен информацией в сообществе

47 Предпосылки Прикладной уровень – Application Layer NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ПрикладнойПрикладной КоллективныйКоллективный РесурсныйРесурсный СвязывающийСвязывающий БазовыйБазовый Описывает пользовательские приложения, работающие в среде виртуальной организации Приложения функционируют, используя сервисы (службы), определенные на нижележащих уровнях. На каждом уровне имеются: определенные протоколы, обеспечивающие доступ к необходимым службам прикладные программные интерфейсы (Application Programming Interface – API), соответствующие данным протоколам

48 Предпосылки Обеспечивать доступ к ресурсам так, чтобы различия между платформами сетевыми протоколами административными границами стали совершенно прозрачными По существу промежуточное программное обеспечение ГРИД (middleware) превращает гетерогенную базу грид-инфраструктуры в единую гомогенную. Идеальная Грид-инфраструктура должна: NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

49 Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

50 Обеспечивает общие услуги Grid Информация Управление Заданиями Управление Данными Безопасность Регистрация Мониторинг Middleware Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

51 GSI предоставляет такие сервисы, как Аутентификация и авторизация Аутентификация: Кто я? - эквивалент ID card …. Авторизация: Что я могу делать? Есть у меня доступ к запрашиваемым ресурсам? - Запреты, обязанности … Конфиденциальность передачи информации Единый вход в ГРИД-систему пользователю нужно лишь один раз пройти процедуру аутентификации, а далее система сама позаботится о том, чтобы аутентифицировать его на всех ресурсах, которыми он собирается воспользоваться GSI основана на надежной и широко используемой инфраструктуре криптографии с открытым ключём (Public Key Infrastructure – PKI) В качестве идентификаторов пользователей и ресурсов в GSI используются цифровые сертификаты Х.509. Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение Инфраструктура безопасности ГРИД (GRID Security Infrastructure – GSI) обеспечивает безопасную работу в незащищенных сетях общего доступа (Интернет). NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

52 В процедуре выдачи / получения сертификатов задействованы 3 стороны: 1.Центр сертификации (Certificate Authority – CA) Специальная организация с полномочиями выдавать цифровые сертификаты. Отношения между СА и клиентами регулируются специальным документом. 2.Подписчик Человек или ресурс, который пользуется сертификационными услугами СА. СА включает в сертификат данные, предоставляемые подписчиком (имя, организация…) и ставит на нем свою цифровую подпись 3.Пользователь Человек или ресурс, полагающийся на информацию из сертификата при получении его от подписчика. Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Использование персональных сертификатов составляет основу системы безопасности Грид. Сертификат - это открытый ключ пары ключей шифрования "открытый ключ - закрытый ключ (закрытый ключ доступен только Вам), вместе с некоторой персональной информацией, такой как Ваше имя, адрес электронной почты и т. д. с цифровой подписью сертификационного центра (CA).

53 Для входа в ГРИД-систему пользователь должен: 1.Быть легальным пользователем вычислительных ресурсов в своей организации 2.Иметь персональный цифровой сертификат, подписанный СА 3.Быть зарегестрированным хотя бы в одной виртуальной организации Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

54 Аутентификация и авторизация Ресурсы Виртуальные организации Middleware Безопасность Приложение NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) UI JDL 1 Аутентификация авторизация 2 3 учёт использования ресурсов Пользователь CA ВО Ресурсы

55 Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложения NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Прикладной уровень для каждого класса задач имеет свои особенности и взаимодействует с другими уровнями с использованием стандартных или собственных средств и сервисов (например, на основе наборов SDKs и интерфейсов APIs) В ГРИД компьютинге "приложение" в основном имеет отношение к "слою" компонентов ГРИД. Приложение – это имя, используемое для обозначения программного обеспечения, которое выполняет вычислительную работу, управляет данными (доступ, загрузка, чтение...).

56 Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложения NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Типы приложений Типы приложений Интенсивные вычисления Интерактивная симуляция моделирование климата Крупномасштабная симуляция формирование галактики, гравитационные волны, военные действия Инженерия моделирование, структурный анализ Вычисления с большими объемами данных Анализ экспериментальных данных физика высоких энергий Изображения, сенсорный анализ астрономия, климат Онлайновые инструменты микроскопы, рентгентовские приборы Удаленная визуализация климатические станции, биология

57 –Физика высоких энергий симуляция, реконструкция, анализ, … –Медицина / Здравоохранение отображение, диагностика и лечение –Биоинформатика геном человека, … –Нанотехнологии разработка новых материалов на молекулярном уровнe, … –Инженерия авиационная безопасность, … –Природные ресурсы и Окружающая среда прогноз погоды, … –Искусство –Материаловедение Примеры Ресурсы Виртуальные организации Middleware Безопасность Приложения NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

58 Эксперименты на LHC CERN Физика высоких энергий - Эксперименты на LHC CERN Ресурсы Виртуальные организации Middleware Безопасность Приложения NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ~6-8 Петабайт / год ~10 8 событий/год ~10 3 пользователей CMS LHCb ATLAS ALICE

59 Биомедицина Ресурсы Виртуальные организации Middleware Безопасность Приложения NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) –Филогенетика –Статистическа генетика –Паразитология –Маммология –…

60 Искусство Ресурсы Виртуальные организации Middleware Безопасность Приложения NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Сканер Thomson Музей виртуального искусства El Pais (MUVA)

61 Пользовательский интерфейс (UI) Служба информации (IS) Вычислительный элемент (CE) Терминология принимает задание от пользователя согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и направляет задание на подходящий сайт. обеспечивает единообразный доступ к любым накопителям данных. Может управлять дисковыми массивами, массовой памятью и т.п. Скрывает детали и обеспечивает единообразный доступ к данным. выполняет фактические вычисления, на нем установлено программное обеспечение для выполнения заданий конечных пользователей. Поддерживает базу данных о местах хранения оригинальных файлов и всех их копий. NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Элемент хранения (SE) Каталог реплик (RC,RLS) Брокер ресурсов (RB)

62 Резюме

63 Гетерогенные ресурсы Потенциальная недоступность ресурсов Географическая распределенность Различные политики управления ресурсами Соединение гетерогенных многоуровневых сетей Что характеризует Grid систему? NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Собственность организаций и индивидуумов Различные требования безопасности

64 Объединенные сетью центры обработки данных и соответствующее программное обеспечение middleware как элемент, связывающий ресурсы Взгляд на GRID Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Научные инструменты и эксперименты поставляют огромные массивы данных NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

65 Ускоритель CERN UK Science Grid Национальный маммографический проект в Великобритании Молекулярная биологии для моделирования структуры белка, анализа последовательностей ДНК …. Бизнес нефтяная отрасль, геологоразведка В банковском деле В автомобильной промышленности Grid позволяет ускорить и удешевить расчет виртуальных крэш-тестов Airbus и Boeing используют технологию для постоянного контроля состояния двигателей и других агрегатов и узлов самолета - показания датчиков, непрерывно собирающих информацию, через спутник передаются на землю, где анализируются в сетях Grid В телекоммуникационной отрасли потенциальной областью использования Grid являются онлайновые игровые системы, такие, как Butterfly.net IBM активно использует технологию Grid для внутренних нужд (моделирование при создании микропроцессоров следующих поколений, таких, как Power5 и Power6 Сегодня Grid широко применяется NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

66 Полезные ссылки NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) - Интернет-портал по грид- технологиям - грид-портал ОИЯИ - проект EGEE-II - RDIG консорциум - мониторинг RDIG - НИИЯФ МГУ - ПИЯФ РАН

67 Спасибо за внимание! NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)