Текущее состояние и перспективы развития ЦИВК ОИЯИ Кореньков В.В Конференция пользователей ЦИВК ОИЯИ 6 февраля, 2008

Статус внешних коомуникаций ОИЯИ

Upgrade of Dubna-Moscow data link up to 10 Gbps in 2008 and up to 40 Gbps in Проект развития канала связи Дубна-Москва

Внешний сетевой трафик ОИЯИ Incoming Outgo ing Total: incoming in 2007 – TB, outgoing ; Most of traffic: CERN (88.8%), DESY, INFN, SARA, IN2P3 47 local sub-networks; Local traffic – 77.6 TB Created in 2007: direct point-to-point data channel between JINR LAN and CERN as part of the JINR program of participating in LCG in CERN; Dubna-City Internet eXchange.

Структура опорной сети ОИЯИ Comprises 5880 computers and nodes, Users Modem pool users Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500; High-speed transport (1Gbps) (Min. 100 Mbps to each PC); Controlled-access (Cisco PIX-525 firewall) at network entrance; Partially isolated local traffic (8 divisions have own subnetworks with Cisco Catalyst 3550 as gateways); General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc. Plans: Step-by-step modernization of the JINR Backbone – transfer to 10 Gbps Development and modernization of the control system of the JINR highway network

Структура ЦИВК ОИЯИ 670 kSi2K 100 TB Disk Contract prepared in Dec 2007: SuperBlade – 2 BOX 40 CPU Xenon GHz Quad Core ~400 kSi2K Total expected in March, kSi2K

53 servers 7 interactive nodes 60 4-core computing nodes, Xeon 5150, 8GB RAM. 6 2-core computing nodes, Athlon, 2GB RAM, Mirynet. Site name: JINR-LCG2 Internal CICC network – 1Gbit/sec Operating system - Scientific Linux 4.4, Scientific Linux CERN 4.5; Middleware version GLITE-3.1 File Systems – AFS (the Andrew File System) for user Software and home directories is a world-wide distributed file system. AFS permits to share easily files in an heterogeneous distributed environment (UNIXes, NT) with a unique authentication scheme (Kerberos). dCache- for data. User registration system – Kerberos 5 ( AFS use Kerberos 5 for authentication ) Состав ЦИВК ОИЯИ

Интегрированная схема функционирования ЦИВК ОИЯИ

ЦИВК ОИЯИ в качестве Грид-сайта глобальной инфраструктуры WLCG/EGEE JINR provides the following services in the WLCG environment: Basic services - Berkley DB Information Index (top level BDII); site BDII; Computing Element (CE); Proxy Server (PX); Resource Broker (RB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); RGMA-based monitoring system collector server (MON-box); LCG File Catalog (LFC); Storage Element (SE), dCache 82 TB; Special Services - VO boxes for ALICE and for CMS; ROCMON; PPS and testing infrastructure - Pre-production gLite version; Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss packages for LHCb.

BATCH jobs at CICC 2007 year: June - December TOTAL BLTP DLNP Foton VBLHE LPP FLNR LIT CPU time (kSi2k*hours) Jobs number Laboratory

Grid Virtual Organizations at JINR CICC: June-December Others (ops, dteam, hone) TOTAL FUSION BIOMED LHCb CMS ATLAS ALICE CPU time (kSi2k*hours) Jobs number Grid VO

dCache in JINR Internet / GRID lxfs07 lxpub0 1 lxfs07 wn… lxfs07 lxfs71 RAI D 82 TB Admin Doors local WNs JINR Backbone Protocols gFTP, SRM, XROOT DCAPPNFS lxfs07 rda02 Pools

dCache: Files, VO, Discs ATLAS CMS FREE! Total 82 ТВ Files other

Проекты в области развития grid-технологий проект EU DataGRID WLCG: проект грид для Большого Адронного Коллайдера (Worldwide LHC Computing GRID) EGEE: развертывание грид-систем для e-науки (The Enabling Grids for E-sciencE) RDIG: Российский грид для интенсивных операций с данными ЦБГС: Создание прототипа центра базовых grid-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе Проект СКИФ-ГРИД Грид мониторинг для эффективного функционирования виртуальных организаций (совместный с ЦЕРН) Проект Наногрид Дубна-Грид: создание городской грид-инфраструктуры ЦБГС

Проект EGEE - Enabling Grids for E-sciencE направлен на создание международной инфраструктуры, основанной на технологиях грид. Проект выполняется консорциумом из 70 институтов в 27 странах, объединенных в региональные гриды. EGEE (Enabling Grids for E-sciencE)

Russian Data Intensive GRID (RDIG) Consortium EGEE Federation ИФВЭ (Институт физики высоких энергий, Протвино) ИМПБ (Институт математических проблем биологии, Пущино). ИТЭФ (Институт теоретической и экспериментальной физики) ОИЯИ (Объединенный институт ядерных исследований, Дубна) ИПМ (Институт прикладной математики) ПИЯФ (Петербургский институт ядерной физики, Гатчина) РНЦ «Курчатовский институт» НИИЯФ МГУ (Научно- исследовательский институт ядерной физики МГУ)

Структурные элементы ROC – региональный операционный центр в России –Обеспечение функционирования базовых грид сервисов 24х7 –Мониторинг и реагирование на черезвычайные ситуации –Ведение учета ресурсов и выполненных работ (accounting) –Управление и поддержка виртуальных организаций –Поддержка безопасности инфраструктуры, CA –Сертификация (валидация) грид ПО –Поддержка пользователей –Операционная поддержка ресурсных центров RC – ресурсные центры (CPU, Disk, Tape) VO – виртуальные организации: –физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, HONE … –биомед –Fusion –российские VOs: e-Earth (геофизика), –химфизика (Черноголовка, МГУ ++), нанотехнологии и наноиндустрия

EGEE-II

Основные направления EGEE-II >200 ВО из различных областей науки –Астрономия и астрофизика –Безопасность населения –Вычислительная химия –Вычислительные науки/Программирование –Физика конденсированного состояния –Науки о Земле –Синтез –Физика высоких энергий –Науки о жизни – k заданий/день Приложения перешли со стадии тестирования на стадию рутинного и ежедневного использования с эффективностью ~80-90%

Collaborating e-Infrastructures Potential for linking ~80 countries by 2008

LCG/EGEE Grid infrastructure Grid Monitoring

В настоящее время RDIG –инфраструктура состоит из 15 ресурсных центров, в которых доступно около 1500 CPU и 500 TB дискового пространства.. RDIG инфраструктура RDIG Resource Centres: – ITEP – JINR-LCG2 – Kharkov-KIPT – RRC-KI – RU-Moscow-KIAM – RU-Phys-SPbSU – RU-Protvino-IHEP – RU-SPbSU – Ru-Troitsk-INR – ru-IMPB-LCG2 – ru-Moscow-FIAN – ru-Moscow-GCRAS – ru-Moscow-MEPHI – ru-PNPI-LCG2 – ru-Moscow-SINP

RDIG monitoring&accounting Monitored values CPUs - total /working / down/ free / busy Jobs - running / waiting Storage space - used / available Network - Available bandwidth Accounting values Number of submitted jobs Used CPU time Totally sum in seconds Normalized (with WNs productivity) Average time per job Waiting time Totally sum in seconds Average ratio waiting/used CPU time per job Physical memory Average per job

Jun 07 Jul 07 Aug 07 Sep 07 Oct 07 Nov 07 Dec Jun 07 Jul 07 Aug 07 Sep 07 Oct 07 Nov 07 Dec07 Total JINR 103, , , , , , ,850 1,834, % JINR 103, , , , , , ,850 1,834, % Russia and JINR Normalized CPU time per SITE (June December 2007)

Network bandwidth and reliability of data transfers The following LHC computing centers serve as Tier1 centers for RDIG: FZK (Karlsruhe) – for ALICE, SARA (Amsterdam) – for ATLAS, CERN – for CMS (CERN-PROD) and LHCb. The quality of the JINR – Tier1s connectivity is under close monitoring

Average data movement from CERN to JINR FTS Monitoring: CERN-JINR transfers Best transfer-test results for CERN - JINR Average throughput 20 MB/s during the whole 04.08

Эффективность RDIG-сайтов

EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and LHCb) Normalised CPU time by SITE June December 2007 IN2P3-CC IN2P3-CC CERN-PROD CERN-PROD FZK-LCG FZK-LCG TRIUMF-LCG TRIUMF-LCG INFN-T INFN-T IN2P3-LPC IN2P3-LPC INFN-PISA INFN-PISA UKI-NORTHGRID-MAN-HEP UKI-NORTHGRID-MAN-HEP GRIF GRIF RAL-LCG RAL-LCG JINR-LCG JINR-LCG Statistics obtained from the EGEE Accounting Portal:

EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and LHCb) Normalised CPU time by SITE November January , ,223268,371278,157 JINR-LCG2 875, ,363316,014339,839 INFN-PISA 883, ,428478,403 NDGF-T1 1,173, ,292436,611466,991 IN2P3-CC 1,622, ,881598,155504,751 CERN-PROD 1,728, ,708663,382696,033 IN2P3-CC-T2 1,884, ,550645,248598,618 FZK-LCG2 1,893, ,190910,196358,604 INFN-T1 2,720, ,568729,0331,229,198 TRIUMF-LCG2 TotalJan 08Dec 07Nov 07SITE 1,994, ,646667,043732,944 USCMS-FNAL-WC1-CE 1,086, ,525407,331504,109 GLOW 2,037, ,666866,135521,627 BNL_ATLAS_1

Планы развития ЦИВК ОИЯИ Active Tapes (Tbytes) Disk(Tbytes) CPU(kSI2K) (1070)

Тор 500 Site Computer Processors Year Rmax Rpeak1 Site Computer Processors Year Rmax Rpeak1 DOE/NNSA/LLNLDOE/NNSA/LLNL BlueGene/L BlueGene/L DOE/NNSA/LLNLBlueGene/L United States IBM United States IBM Juelich (FZJ)Juelich (FZJ) Blue Gene/P Germany IBM Blue Gene/P Juelich (FZJ)Blue Gene/P New Mexico (NMCAC) New Mexico (NMCAC) United States SGI SGI New Mexico (NMCAC)SGI CRL CRL India Hewlett-Packard CRL Government Agency Government Agency Sweden Hewlett-Packard Government Agency NNSA/Sandia NNSA/Sandia United States Cray Inc NNSA/Sandia Oak Ridge National Laboratory Oak Ridge National Laboratory United States Cray XT4/XT Cray XT4/XT3 Oak Ridge National Laboratory Cray XT4/XT3 IBM Thomas J. Watson Research Center IBM Thomas J. Watson Research Center United States Blue Gene/L IBM Blue Gene/L IBM Thomas J. Watson Research Center Blue Gene/L NERSC/LBNL NERSC/LBNL United States Cray XT Cray XT4 NERSC/LBNL Cray XT4 Stony Brook/BNL, Stony Brook/BNL, United States Blue Gene/L IBM Blue Gene/L Stony Brook/BNL, Blue Gene/L

Россия в TOP 500 В данной редакции списка Россия представлена 7 системами, что является максимальным количеством за время существования Top500. На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, установленный в МСЦ РАН, TFlop/s. На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском государственном авиационном техническом университете, TFlop/s. IBM BladeCenter HS21 Cluster с производительностью TFlop/s, установленный в Сибирском федеральном университете (Красноярск), оказался на 183 месте. На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный в Томском Государственном Университете, с производительностью 9.01 TFlop/s. На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, в Вятском государственном университете (Киров), TFlop/s. Со 187 на 408 место в новой редакции списка опустился российский суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, TFlop/s. Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Cluster, к "Industrial Company", с производительностью TFlop/s.

Объявление о начале выпуска системы – 26 июня 2007 г. Поставка в МГУ – 24 декабря 2007 г. (запуск- апрель 2008 г) Уникальные характеристики: масштабируемость, высокая надежность, низкое энергопотребление Blue MSU 2 стойки, ех ядерных узлов, общая пиковая производительность 27.2 Tflop/s (43 место в текущем списке TOP500) 4 TB общий объем ОЗУ Blue Gene/P в MГУ

Полезные ссылки и информация LCG: //lcg.web.cern.ch/LCG/ EGEE: // EGEE-RDIG: // GRIDCLUB: // Параллельные вычисления //parallel.ru Инструкции, документация, сайты, информационные бюллетени, публикации, обзоры, курсы и т.д. Новые возможности для пользователей ЦИВК ОИЯИ Использование ГРИД-инфраструктуры для различных ВО Развитие системы суперкомпьютеров в России Новые возможности для проектов и групп пользователей: