Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Суперкомпьютерный комплекс МГУ: на передовом рубеже А.С.Антонов, в.н.с., - презентация

1 Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Суперкомпьютерный комплекс МГУ: на передовом рубеже А.С.Антонов, в.н.с., к.ф.-м.н., Вл.В.Воеводин, зам. директора, член-корр. РАН НИВЦ МГУ имени М.В.Ломоносова Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Суперкомпьютерный комплекс МГУ: на передовом рубеже А.С.Антонов, в.н.с., к.ф.-м.н., Вл.В.Воеводин, зам. директора, член-корр. РАН НИВЦ МГУ имени М.В.Ломоносова 16 ноября 2012 г., Таруса

2

3 Суперкомпьютерный комплекс МГУ имени М.В.Ломоносова Суперкомпьютер «Ломоносов» с пиковой производительностью 1.7 PFlop/s Суперкомпьютер «Чебышёв» с пиковой производительностью 60 TFlop/s Суперкомпьютер IBM Blue Gene/P с пиковой производительностью 27 TFlop/s Суперкомпьютер «GraphIT!» c пиковой производительностью 26 TFlop/s Суперкомпьютер РВС-5 (1280 ПЛИС Xilinx Virtex-5)

4 Суперкомпьютер «Ломоносов», 2012 год Пиковая производительность Производительность (Linpack) Эффективность Вычислительных узлов (Intel) Вычислительных узлов (ГПУ) Вычислительных узлов (PowerXCell) Процессоры Intel Xeon 5570, 5670 NVIDIA Tesla X2070 Число процессорных ядер (x86) Число процессорных ядер (ГПУ) Оперативная память Коммуникационная сеть Система хранения данных Операционная система Занимаемая площадь (вычислитель) Энергопотребление (вычислитель) TFlop/s TFlop/s 53% ТБайт QDR Infiniband / 10 GE 1.75 ПБайт, Lustre, NFS, … Clusrtx T-Platforms Edition 252 м МВт

5 Суперкомпьютер «Ломоносов»

6

7

8

9

10

11

12

13

14

15

16 Всего в системе 10 т гликоля и 40 т воды

17 Суперкомпьютер «Ломоносов»

18

19

20 Вес оборудования машзала – 57 т, СБЭ – 92 т

21 Суперкомпьютер «Ломоносов» Общая длина кабелей более 80 км

22 Суперкомпьютер «Ломоносов»

23 Суперкомпьютеры МГУ в списке Top50 самых мощных суперкомпьютеров СНГ «Ломоносов» - 1, «Чебышёв» - 11, Blue Gene/P – 29, «GraphIT!» – 47.

24 Суперкомпьютер «Ломоносов» в списке Top500 самых мощных суперкомпьютеров мира «Нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее!» (Льюис Кэрролл, «Алиса в зазеркалье») Дата Производительность, Linpack Пиковая производительность Место Ноябрь 2009 г TFlop/s TFlop/s12 Июнь 2010 г TFlop/s TFlop/s13 Ноябрь 2010 г TFlop/s TFlop/s17 Июнь 2011 г TFlop/s TFlop/s13 Ноябрь 2011 г TFlop/s TFlop/s18 Июнь 2012 г TFlop/s TFlop/s22 Ноябрь 2012 г TFlop/s TFlop/s26

25 Суперкомпьютерный комплекс МГУ имени М.В.Ломоносова Пользователи всего из подразделений МГУ из институтов РАН из других организаций Организации подразделения МГУ институты РАН другие

26 Причина масштабности – это большое число: аппаратных и программных компонент; пользователей; приложений. Эффективность. Что необходимо уметь исследовать и контролировать: организация работы СКЦ и сопровождение суперкомпьютера; прохождение потока задач пользователей; приложения пользователей; сохранность и работоспособность оборудования. Суперкомпьютерный комплекс МГУ имени М.В.Ломоносова

27 Пользователи – более 600: первичная регистрация; техническая поддержка; массовое заведение групп пользователей (практикумы, школы, академия, ФПК…). Проекты – более 400: пользователи, квоты, лицензии, приоритеты; ежегодная отчетная кампания: экспертиза отчетов, критерии и оценка результатов работы.

28 Суперкомпьютерный комплекс МГУ имени М.В.Ломоносова Прикладные пакеты, системы, инструменты, средства – более 60, и это число постоянно растёт: установка, профессиональная проверка функционирования и функциональности; лицензии: тип, круг пользователей срок действия, необходимость обновления, планирование бюджета; статистика использования.

29 Программное обеспечение «Ломоносова» (прикладные пакеты, библиотеки, инструменты…) Intel ICC/IFORT, GCC, PathScale, PGI, MPIs, Intel VTune Performance Analyzer, Intel Cluster Tools, RogueWave TotalView, RogueWave ThreadSpotter, Allinea DDT, ScaLAPACK, ATLAS, IMKL, AMCL, BLAS, LAPACK, FFTW, cuBLAS, cuFFT, MAGMA, cuSPARSE, CUSP, and cuRAND… VASP, WIEN2k, CRYSTAL, Gaussian, MOLPRO, Turbomole, Accelrys Material Studio, MesoProp, MOLCAS, Gromacs, FireFly, LAMMPS, NAMD, GAMESS, Quantum ESPRESSO, ABINIT, Autodock, CP2K, NWChem, PRIRODA, SIESTA, Amber, CPMD, DL POLY, VMD, GULP, Aztec, Geant, OpenFOAM, PARMETIS, FDMNES, GSL, METIS, Msieve, Octave, OpenMX, PETSc, SMEAGOL, VisIt, VTK, WRF…

30 Суперкомпьютерный комплекс МГУ имени М.В.Ломоносова Разделы счетного поля «Ломоносова» – более 10: лимиты, приоритеты, пользователи; квотирование пользователей/проектов (процессорочасы, дисковое пространство). Планирование монопольного счёта. Прикладные пакеты, системы, инструменты, средства – более 60, и это число постоянно растёт: установка, профессиональная проверка функционирования и функциональности; лицензии: тип, круг пользователей срок действия, необходимость обновления, планирование бюджета; статистика использования.

31 Суперкомпьютерный комплекс МГУ имени М.В.Ломоносова Техническая поддержка – более компонентов: мониторинг работоспособности оборудования; отключение и сдача неисправного оборудования в ремонт; гарантийное / постгарантийное обслуживание, сроки, планирование бюджета; отслеживание срока возврата из ремонта; приём, тестирование, возврат в эксплуатацию; статистика параметров работоспособности. Техническое обслуживание: сроки, периодичность, окна для профилактических работ. Мониторинг функционирования всего стека ПО. Мониторинг функционирования ключевых компонент аппаратуры.

32 Прохождение потока задач пользователей (суперкомпьютер «Ломоносов»)

33 Средняя длина очереди заданий (суперкомпьютеры «Чебышёв» и «Ломоносов»)

34 Число выполненных заданий за 7 дней (суперкомпьютеры «Чебышёв» и «Ломоносов»)

35 Среднее время ожидания задач в очереди (суперкомпьютеры «Чебышёв» и «Ломоносов»)

36 Среднее время ожидания задач в различных очередях (суперкомпьютер «Чебышев») требуется вмешательство !

37 Пользователи и масштаб задач (суперкомпьютеры «Чебышёв» и «Ломоносов»)

38 Доступ к системам Суперкомпьютерного комплекса МГУ имени М.В.Ломоносова

39 Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Суперкомпьютерный комплекс МГУ: на передовом рубеже А.С.Антонов, в.н.с., к.ф.-м.н., Вл.В.Воеводин, зам. директора, член-корр. РАН НИВЦ МГУ имени М.В.Ломоносова Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Суперкомпьютерный комплекс МГУ: на передовом рубеже А.С.Антонов, в.н.с., к.ф.-м.н., Вл.В.Воеводин, зам. директора, член-корр. РАН НИВЦ МГУ имени М.В.Ломоносова 16 ноября 2012 г., Таруса