А.Минаенко 17 мая 2005 ИФВЭ, Протвино Модель компьютинга эксперимента АТЛАС. - презентация

1 А.Минаенко 17 мая 2005 ИФВЭ, Протвино Модель компьютинга эксперимента АТЛАС

2 Основные особенности Модель обработки данных АТЛАСа (и других экспериментов на БАК) характеризуется высокой степенью децентрализации компьютерных ресурсов и совместным их использованием. Такая модель обусловлена как техническими, так и политическими причинами Объединение ресурсов в единую вычислительную среду осуществляется на основе Gridа АТЛАС использует в настоящее время 3 Gridа: LCG, NorduGrid, Grid3, каждый из которых включает как инфраструктуру (сети, вычислительные кластеры), так и соответствующее матобеспечение - middleware Функционально вычислительные кластеры классифицируются в соответствии с иерархической трёхуровневой системой: Tier-0, Tier-1 и Tier-2 (Tier-3)

3 Условия набора данных –Энергия взаимодействий 14 ТэВ –Светимость0.5*10 33 см -1 сек -1 в 2007 г. – 2.0*10 33 см -1 сек -1 в 2008 и 2009 гг. – см -1 сек -1 в 2010 г. и далее –Частота взаимодействий Гц при проектной светимости –Скорость записи данных событий в секунду независимо от светимости –Число записанных событий в 2007 г. –2*10 9 в 2008 г. и далее

4 Типы данных и их характеристики RAWСырые данные, как они записаны первоначально SIMДанные моделирования, аналогичные RAW ESDРезультат полной реконструкции сырых данных AODФормат, содержащий характеристики восстановленных физических объектов и используемый для физического анализа TAGКраткие суммарные характеристики событий, используемые для их отбора DPDУпрощённые форматы, создаваемые исследовательскими группами для специфических выборок событий, используемых в анализах данных групп

5 Основные параметры Параметр Единица измерения Величина на одно событие RAW объём данныхМБ1.6 ESD объём данныхМБ0.5 AOD объём данныхКБ100 TAG объём данныхКБ1 SIM RAW объём данныхМБ2.0 SIM ESD объём данныхМБ0.5 Реконструкция (CPU) kSI2k*sec15 Моделирование (CPU)kSI2k*sec100 Анализ (CPU)kSI2k*sec0.5 1 kSI2k = Pentium IV 2.5 GHz Параметры приведены для данных, полученных при светимостях 2008, 2009 гг. При проектной светимости объём данных (RAW, ESD) возрастает на 50%, а процессорное время на реконструкцию (анализ) – на 75% из-за наложения дополнительных фоновых событий.

6 Рост объёмов данных в RAW ESD AOD SIM SIM ESD

7 Основные задачи Tier-0 Хранение одной копии RAW данных на лентах Копирование в режиме реального времени всех сырых данных в Tier-1s Хранение на дисках калибровочных данных Быстрое первоначальное определение параметров калибровок/выравнивания и первоначальная реконструкция событий (создание ESD) Распределение ESD во внешние Tier-1s

8 Основные задачи Tier-1 АТЛАС планирует использовать 10 Tier-1s Хранение 1/10 RAW данных на лентах Обеспечение повторной реконструкции своей доли данных и доступа к реконструированным ESD, AOD, TAG Хранение 20% последних версий ESD и AOD на дисках и 10% предыдущей версии на лентах Обеспечение организованного доступа групп физического анализа к ESD Осуществление поддержки 3-4 прикреплённых Tier-2s Хранение SIM данных, произведенных в прикреплённых Tier-2s Повторная реконструкция осуществляется примерно 2 раза в год

9 Основные задачи Tier-2 АТЛАС планирует использовать 30 Tier-2s (по 20 пользователей) Возможно использование распределённого Tier-2 Хранение 1/4 AOD и всех TAG данных на дисках Хранение на дисках небольшой выборки ESD Обеспечение возможности (CPU, дисковое пространство) физического анализа и MC симуляции данных для отдельных пользователей (20/Tier-2) Обеспечение централизованной MC симуляции данных Распределённый анализ физических данных также осуществляется с использованием Grid middleware Возможна обработка калибровочных данных

10 Tier2 Centre ~200kSI2k Event Builder Event Filter ~7.5MSI2k T0 ~5MSI2k UK Regional Centre (RAL) US Regional Centre French Regional Centre Dutch Regional Centre SheffieldManchest er Liverpool Lancaster ~0.25TIPS Workstations 10 GB/sec 320 MB/sec MB/s links Some data for calibration and monitoring to institutes Calibrations flow back Each Tier 2 has ~20 physicists working on one or more channels Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data Tier 2 do bulk of simulation Physics data cache ~Pb/sec ~ 75MB/s/T1 for ATLAS Tier2 Centre ~200kSI2k 622Mb/s links Tier 0 Tier 1 Deskto p PC (2004) = ~1 kSpecInt2k Northern Tier ~200kSI2k Tier 2 ~200 Tb/year/T2 ~2MSI2k/T1 ~2 Pb/year/T1 ~5 Pb/year No simulation 622Mb/s links The System 10 Tier-1s reprocess house simulation Group Analysis