Oracle Tech DayНоябрь 2004 г. Создание крупнейшей в мире научной сети распределенных вычислений Джейми Шиерс Руководитель группы баз данных Европейский. - презентация

1 Oracle Tech DayНоябрь 2004 г. Создание крупнейшей в мире научной сети распределенных вычислений Джейми Шиерс Руководитель группы баз данных Европейский центр ядерных исследований (CERN) Швейцария

2 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Программа Потребность в создании глобальной сети распределенных вычислений (grid) Общее описание крупнейшей в мире научной grid-инфраструктуры Роль группы Database Group в создании научной сети распределенных вычислений Роль лаборатории CERN openlab for DataGrid Applications Роль корпоративных grid-инфраструктур Обобщение и выводы

3 Oracle Tech DayНоябрь 2004 г. Потребности Большой адронный коллайдер (LHC) в центре CERN

4 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Европейский центр ядерных исследований Европейская лаборатория физики элементарных частиц Фундаментальные исследования в области физики элементарных частиц Проектирование, создание и эксплуатация большого ускорителя Финансируется 20 европейскими странами –Страны-участники + другие государства (США, Канада, Россия, Индия…) Бюджет 1 млн. швейцарских франков - эксплуатация + новые ускорители 2000 сотрудников пользователей (исследователей) по всему миру Новый ускоритель – большой адронный коллайдер (Large Hadron Collidor, LHC)

5 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры аэропорт Вычислительный центр Женева 27 км

6 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры

7 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Установка LHC Два движущихся по кругу встречных пучка протонов Энергия столкновения ТэВ 27 км магнитов с полем 8,4 Тесла Сверхтекучий гелий, охлажденный до 1,9°K Крупнейшая в мире система сверхпроводящих магнитов!

8 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Эксперимент Atlas Сотрудничество в рамках эксперимента ATLAS: –~2000 физиков из… –~150 университетов и лабораторий из ~35 стран –распределенные ресурсы –удаленная разработка Детектор ATLAS: –длина 26 м –высота 20 м –вес тонн –имеет 200 миллионов каналов считывания данных Один из 4 экспериментов проекта LHC –ALICE, ATLAS, CMS, LHCb

9 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Избирательность: 1 из особь из тысячи мировых популяций - 1 иголка в 20 миллионах стогах сена LHC: распад бозона Хиггса на 4 мюона

10 10 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры моделирование реконструкция анализ интерактивный физический анализ пакетный физический анализ пакетный физический анализ детектор Сводные данные событий сырые данные повторная обработка событий повторная обработка событий моделирование событий моделирование событий объекты для анализа (извлеченные по физическим показателям) Перемещение данных и их обработка для физического анализа Фильтр событий (отбор и реконструкция) Фильтр событий (отбор и реконструкция) Обрабо танные данные CERN

11 11 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Иерархия данных RAW Оцифровка показателей детекторов 10 9 событий/год * 2 МБ =2 ПБ/год ~2 МБ/событие ESD Информация для распознавания образов: кластеры, траектории ~100 КБ/событие AOD Физическая информация: поперечный импульс, соединения частиц, потоков, (лучшие) характеристики частиц ~10 КБ/событие TAG ~1 КБ/событие Значимая информация для быстрого отбора событий События, зарегистрированные системой сбора данных (DAQ), после прохождения триггеров Информация после реконструкции Информация для анализа Информация для классификации

12 12 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Данные событий Сложные модели данных –~500 структурных типов Ссылки для описания взаимоотношений между объектами событий –однонаправленные Требуется обеспечение прозрачной навигации Необходим полный анализ выбранных событий –требуется выполнение специальных алгоритмов –интерактивный режим работы Неосуществимо при отсутствии управления Событ. Сырые Рекон. Физ. Скор.Энерг. Коорд Треки Событ. Канд. RAWESDAOD версии Событ. Мои треки Физ. Индивидуальные Событ. AOD Общие данные

13 13 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Данные установки LHC 40 миллионов столкновений в секунду После фильтрации столкновений в секунду 1-10 Мегабайт оцифрованных данных для каждого столкновения = скорость записи 0,1-1 Гигабайт/сек столкновений, регистрируемых каждый год = ~15 Петабайт данных в год CMSLHCbATLASALICE 1 Мегабайт (1 МБ) Цифровая фотография 1 Гигабайт (1 ГБ) = 1000 МБ Фильм в формате DVD 1 Терабайт (1 ТБ) = 1000 ГБ Книжное производство во всем мире в год 1 Петабайт (1 ПБ) = 1000 ТБ Годовой объем данных одного эксперимента LHC 1 Экзабайт (1 ЭБ) = 1000 ПБ Годовой объем информации, производимой во всем мире

14 14 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Программа Потребность в создании глобальной сети распределенных вычислений (grid) Общее описание крупнейшей в мире научной grid-инфраструктуры Роль группы Database Group в создании научной сети распределенных вычислений Роль лаборатории CERN openlab for DataGrid Applications Роль корпоративных grid-инфраструктур Обобщение и выводы

15 Oracle Tech DayНоябрь 2004 г. Решение Инфраструктура распределенных вычислений LCG (Large Hadron Collider Grid)

16 16 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Цели проекта LCG Подготовка, развертывание и эксплуатация вычислительной среды для анализа данных экспериментов, поступающих с детекторов ускорителя LHC Создание среды разработки приложений, общих инструментов и структур Создание и использование вычислительных сервисов для ускорителя LHC Сеть распределенных вычислений Grid – это лишь инструмент для достижения этих целей

17 17 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Состояние проекта LCG-2/EGEE-0 на 24 сентября 2004 года Всего: 78 площадок, около 9000 процессоров, 6,5 Петабайт данных Всего: 78 площадок, около 9000 процессоров, 6,5 Петабайт данных Cyprus

18 18 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Совместная работа вычислительных центров Построение сети Grid виртуальный вычислительный центр LHC Grid Виртуальная организация ATLAS Виртуальная организация CMS

19 19 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Иерархия данных RAW Оцифровка показателей детекторов 10 9 событий/год * 2 МБ =2 ПБ/год ~2 МБ/событие ESD Информация для распознавания образов: кластеры, траектории ~100 КБ/событие AOD Физическая информация: поперечный импульс, соединения частиц, потоки, (лучшие) характеристики частиц ~10 КБ/событие TAG ~1 КБ/событие Значимая информация для быстрого отбора событий События, зарегистрированные системой сбора данных (DAQ), после прохождения через триггеры Информация после реконструкции Информация для анализа Информация для классификации

20 20 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Данные событий Сложные модели данных –~500 типов структур Ссылки для описания взаимоотношений между объектами событий –однонаправленные Требуется обеспечение прозрачной навигации Необходим полный анализ выбранных событий –требуется выполнение специальных алгоритмов –интерактивный режим работы Неосуществимо при отсутствии управления Событ. Сырые Рекон. Физ. Скор.Энерг. Коорд. Треки Событ. Канд. RAWESDAOD версии Событ. Мои треки Физ. Индивидуальные Событ. AOD Общие данные

21 21 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры RAL IN2P3 BNL FZK CNAF PIC ICEPP FNAL Tier-1 небольшие центры Tier-2 настольные, портативные ПК USC NIKHEF Краков CIEMAT Рим Тайбей TRIUMF CSCS Legnaro UB IFCA IC МГУ Прага Будапешт Кембридж IFIC Вычислительная модель LHC Уровень 0 (Tier-0) – CERN Фильтр сырые данные Реконструкция сводные данные (ESD) Фиксация сырых и ESD-данных Передача сырых и ESD-данных на Уровень 1 Уровень 1 (Tier-1) Анализ больших объемов данных Повторная обработка сырых данных ESD Национальная, региональная поддержка Уровень 2 (Tier–2) Анализ конечными пользователями – в пакетном и интерактивном режимах

22 22 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры RAL IN2P3 BNL FZK CNAF USC PIC ICEPP FNAL NIKHEF Краков Тайбей CIEMAT TRIUMF Рим CSCS Legnaro UB IFCA IC МГУ Прага Будапешт Кембридж Передача данных ~70 Гбит/сек IC Обработка млн. SI2000** Диск, Петабайт Память большого объема, Петабайт CERN 205 Главные центры обработки данных (Tier 1) Другие крупные центры (Tier 2) Всего ** Современный быстрый процессор - ~1000 SI2000 Текущие оценки вычислительных ресурсов, которые требуются в главных центрах LHC Данные за первый полный год

23 23 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Проект Data Challenges в 2004 году Крупномасштабное тестирование вычислительных моделей экспериментов, вычислительных цепочек, готовности grid- технологий и операционной инфраструктуры Главные проблемы в этом году – - данные - файловый каталог, - управление репликацией данных, - доступ к базам данных, - интеграция большого объема хранимых данных Планируется участие второго центра обработки и поддержки в г. Тайбей Центр grid-вычислений при лаборатории RAL Центр поддержки пользователей при научном центре FZK

24 Oracle Tech DayНоябрь 2004 г. Информация о тестовых экспериментах в рамках проекта Data Challenges

25 25 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Проект Data Challenges – эксперимент ALICE Фаза I 120 тыс. событий столкновений двух ядер свинца в 56 тыс.задач 1,3 млн. файлов (26 Терабайт) в системе Castor в CERN Общая загрузка процессоров: 285 MSI – 2000 часов (ПК с процессором с тактовой частотой 2,8 ГГц, работающий 35 лет) ~25% обработано в LCG-2 Фаза II (в процессе реализации) 1 миллион задач, обработка 10 ТБ данных, передача 200 ТБ данных, загрузка процессоров 500 MSI часов ~15% в LCG-2

26 26 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Проект Data Challenges – эксперимент ATLAS Фаза I 7,7 миллионов событий в ходе полностью смоделированных (в пакете Geant 4) задач 22 Терабайта данных Общая загрузка процессоров: 972 MSI – 2000 часов Более 40% обработано в LCG-2 (использовались LCG-2, GRID3, NorduGrid)

27 27 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Проект Data Challenges – эксперимент CMS Около 30 млн. событий Достигнут показатель 25 циклов в секунду (только один раз за целый день) каталог реплик, система Castor, системы управления, хранение T1… Не предоставление необходимых процессорных мощностей, а демонстрация работы всей цепочки Планируемый объем вычислений в 2003/04 гг. 70 млн. событий Монте-Карло (30 млн. с использованием пакета Geant-4) Традиционные и grid-вычисления (CMS/LCG-0, LCG-1, Grid3)

28 28 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры только DIRAC LCG работает 1, /день LCG приоста- новлена /день LCG возоб- новлена Проект Data Challenges – эксперимент LHCb Фаза I 186 млн. событий, 61 Терабайт данных Общая загрузка процессоров: 424 года работы процессора (43 центра LCG-2 и 20 центров DIRAC) До 5600 одновременно выполняемых заданий в LCG-2 Это в 5-6 раз превышает возможности центра CERN

29 29 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Проект Data challenges – Обобщение Такой большой объем данных был впервые обработан в рамках grid-инфраструктуры? –Значительный объем работ был проведен в каждом центре – плодотворное сотрудничество –Программное обеспечение промежуточного слоя теперь работает действительно стабильно –Однако осталась одна самая существенная проблема – недостаточно устойчивые операции Почти 500 ТБ (1/2 Петабайта…) хранимых данных

30 30 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры 7000 блоков в 2008 г.

31 31 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Резюме по инфраструктуре LCG Инфраструктура LHC Computing Grid – это реальная система, которую производит продукцию Переход от единственной всемирной Grid кфедерации Grid-систем См. также журнал «Economist» от 7 октября 2004 г.

32 32 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Программа Потребность в создании глобальной сети распределенных вычислений (grid) Общее описание крупнейшей в мире научной grid-инфраструктуры Роль группы Database Group в создании научной сети распределенных вычислений Роль лаборатории CERN openlab for DataGrid Applications Роль корпоративных grid-инфраструктур Обобщение и выводы

33 Oracle Tech DayНоябрь 2004 г. Роль группы Database Group

34 34 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Database Group в CERN Обеспечивает поддержку решений на базе Oracle,используемых в различных аспектах деятельности лаборатории: –Внутренние приложения электронного бизнеса Кроме всего прочего используется Oracle HR –Инфраструктура технических средств лаборатории Проектирование, конструирование и функционирование ускорителя и детектора частиц –Сервисы, связанные с физическими процессами Будут использованы в режиме реального времени для мониторинга и калибровки детектора Хранение некоторой части научных данных CERN является клиентом Oracle более 20 лет! –http://cern.ch/db/

35 35 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры DB Group – физическая деятельность Разработка и поддержка физических приложений –POOL Persistency Framework для хранения физических данных –Conditions DB для саморегулирования режима в массивном детекторе частиц Эта деятельность является частью LCG Applications Area… Общие сервисы СУБД и сервера приложений –В настоящее время объем БД составляет ТБ –Системы преимущественно базируются на аппаратных средствах Intel и ОС Linux Основная инфраструктура Grid Services –Включает каталог файлов LCG File Catalog –Используется для планирования работ (там, где находятся данные) и… –Позволяет получить доступ к данным

36 36 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Физические изыскания - перспективы Реинжениринг всех сервисов СУБД для физической науки на базе Oracle 10g RAC Цели: –Изолирование – сервисы 10g и / или физическое разделение –Масштабируемость - как для вычислительной мощности для обработки БД, так и для устройств хранения –Надежность – автоматический обход сбоя в случае проблем –Управляемость – упрощение процессов администрирования Вернемся к этому вопросу позже, в разделе Enterprise Grids …

37 37 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры CERN и Oracle Имеют общее видение относительно перспектив высокопроизводительных вычислений –Широкое применение обычных двухпроцессорных ПК под управлением Linux; –Ориентация на Grid computing. CERN оказывает влияние на развитие продуктов Oracle Характеристики Oracle 10g: –Поддержка чисел с плавающей запятой и двойной точности в соответствии со стандартом IEEE; –Поддержка сверхбольших БД (ULDB); –Межплатформенная переносимость таблиц.

38 38 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Программа Потребность в создании глобальной сети распределенных вычислений (grid) Общее описание крупнейшей в мире научной grid-инфраструктуры Роль группы Database Group в создании научной сети распределенных вычислений Роль лаборатории CERN openlab for DataGrid Applications Роль корпоративных grid-инфраструктур Обобщение и выводы

39 39 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры

40 40 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Открытая лаборатория CERN Открытая лаборатория CERN openlab for DataGrid Applications – это инфраструктура для оценки и интеграции передовых технологий или сервисов в партнерстве с отраслью, с ориентацией на создание потенциальных решений для LCG Открытая лаборатория приглашает участников отрасли присоединиться и внести свою лепту в создание систем, ресурсов и сервисов и выполнить совместное с CERN широкомасштабное высокопроизводительное тестирование их решений в расширенной интегрированной среде Основное внимание союза CERN – Oracle уделяется: –Областям, которые будут приносить ощутимые преимущества в краткосрочной перспективе –Стратегическим вопросам в долгосрочной перспективе Решения не ограничены рамками физической науки, но охватывают широкие интересы!

41 41 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Открытая лаборатория - достижения DataGuard –Обычно рассматривается как решение аварийной защиты (а аварии действительно случаются) –Также подходит для управления запланированными вмешательствами Основная причина для вмешательства в нашу Grid – необходимость установки «заплаток» ОС Не приводит к сбою критичных компонентов Grid! (что повлияет на всю Grid!) Streams –Часто рассматривается как своего рода методика репликации (что правда) –Имеет большой потенциал в квазипрозрачном управлении модернизациями –Открытая лаборатория продемонстрировала прозрачную модернизацию: При переходе от одной версии Oracle к другой (напр., с 9i к 10g) При переходе с одной платформы на другую (напр., с Solaris на Intel) Мы в достаточной степени уверены в этой методике, которую мы будем использовать для выпуска важных сервисов, например, сетевой БД, в сочетании с RAC

42 42 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры моделирование реконструкция анализ интерактивный физический анализ пакетный физический анализ пакетный физический анализ детектор Сводные данные событий Сырые данные Повторная обработка событий моделирование событий моделирование событий Объекты для анализа (извлеченным по физическим показателям) Перемещение данных и их обработка для физического анализа Фильтр событий (отбор и реконструкция) Фильтр событий (отбор и реконструкция) Обрабо танные данные CERN

43 43 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры моделирование реконструкция анализ интерактивный физический анализ пакетный физический анализ пакетный физический анализ детектор Сводные данные событий Сырые данные Повторная обработка событий моделирование событий моделирование событий Объекты для анализа (извлеченным по физическим показателям) Фильтр событий (отбор и реконструкция) Фильтр событий (отбор и реконструкция) Обрабо танные данные CERN Физический анализ

44 44 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры RAWRAW ESDESD AODAOD TAG Случ. Последов. 1 ПБ/год (1 ПБ/с до сокращения!) 100 ТБ/год 10 ТБ/год 1 ТБ/год Данные Пользователи Уровень 0 Уровень 1

45 45 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Открытая лаборатория – фокус на будущее Сверхбольшие базы научных данных для анализа конечными пользователями –Область, которая не очень хорошо освоена в рамках текущей инфраструктуры LCG –Использование «родных» (native) чисел с плавающей запятой; низкая селективность при серверных запросах –Совместная работа с другими открытыми лабораториями! Мониторинг и развертывание в мировом масштабе –Обширное использование Enterprise Grid Control для развертывания основных сервисов СУБД и iAS –Мониторинг, планирование ресурсов, реализация «заплаток», резервирование/восстановление и т.д. Дальнейшая разработка квазинепрерывных сервисов с использованием Oracle Streams, 10g DataGuard + 10g RAC и т.д. Все – с фокусом на ранний ввод в эксплуатацию успешных решений!

46 46 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры

47 47 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Программа Потребность в создании глобальной сети распределенных вычислений (grid) Общее описание крупнейшей в мире научной grid-инфраструктуры Роль группы Database Group в создании научной сети распределенных вычислений Роль лаборатории CERN openlab for DataGrid Applications Роль корпоративных grid-инфраструктур Обобщение и выводы

48 Oracle Tech DayНоябрь 2004 г. Корпоративные grid-инфраструктуры Роль корпоративных grid-инфраструктур в создании научных распределенных информационно-вычислительных сред

49 49 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Grid – сервисы на базе компонентов Grid-система, такая как LCG, построена на совокупности большого количества составляющих ее сервисов и приложений Традиционный подход: –Сопоставление вручную сервиса и специфических потребностей –Жесткие ограничения по масштабируемости и наращиванию ресурсов –Обслуживание – ночной кошмар! Альтернативный подход: –Построение сервисов стандартным образом вне зависимости от конструктивных блоков –Слой поверх Enterprise Grid –Масштабируемый; переконфигурируемый; управляемый.

50 50 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Физические базы данных CERN В настоящее время выполняется их реинжениринг на базе Enterprise Grid –Парк из 24 ПК (сейчас) будет расширен до 36 / 48 к концу 2005 г. По два процессора, 4 ГБ памяти, зеркалированный системный диск, RHEL 3.0 –Резервированная (двойная) 64-портовая SAN-инфраструктура –Около 50 ТБ для зеркалирования устройств хранения SAN Основаны на Oracle 10g RAC и сервисах 10g –Аппаратные средства заказаны – установка ожидается до Рождественских каникул 2004 г. –Следите за событиями!

51 Oracle Tech DayНоябрь 2004 г. Обобщение и выводы

52 52 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Grid: о чем это вообще? Grid-системы - это совместное использование и объединение в пул различных ресурсов Все мы знаем, что когда мы можем выполнить и когда мы выполняем работу совместно, мы достигаем гораздо большего –CERN – классический пример этого в мировом масштабе! Два других примера (по данным конференции CHEP 04, проходившей в отеле Interlaken (Швейцария)) 1.Отказоустойчивость Защита ценных данных Непрерывность даже в случае крупных сбоев 2.Целесообразность Доступ к дополнительным ресурсам Взаимодействие с распределенными сообществами

53 53 Джейми ШиерсНоябрь 2004 г.Научные и корпоративные grid-инфраструктуры Grid – технология, которая перевернула мир? Пресс-доска конференции OracleWorld в Сан-Франциско в сентябре 2003 года: [ Работа над LHC Computing началась примерно в 1992 году ] Что бы случилось, если бы нас сопровождало нечто, в корне изменяющее все? Как Web. Мы бы просто взяли это в расчет. Мы верим в то, что то явление нас сопровождает, и что то явление - grid. Мы активно участвовали в том, чтобы это случилось, и это краеугольный камень нашей компьютерной модели.

54 Oracle Tech DayНоябрь 2004 г. Grid нельзя остановить...