Параллельные вычисления на ЦИВК ОИЯИ Э.Б. Душанов, Х.Т. Холмуродов, В.В. Кореньков Лаборатория информационных технологий ОИЯИ Лаборатория радиационной биологии ОИЯИ

Суперкомпьютер ЦИВК ОИЯИ В Лаборатории Информационных технологий Объединённого института ядерных исследований был создан и быстро развивается Центральный информационно-вычислительный комплекс (ЦИВК) ОИЯИ, являющийся частью создаваемой российской GRID- инфраструктуры. В 2007 году ОИЯИ приобрёл новый суперкомпьютерный кластер, который был установлен и запущен в ЦИВК и используется, в основном, для задач моделирования и анализа данных в области физики частиц, ядерной физики и физики конденсированных сред экспериментов LHC (CERN), а также других экспериментов с участием ОИЯИ 1. 1 Выч. & инф. ресурсы, ЦИВК,

Суперкомпьютер ЦИВК ОИЯИ Суперкомпьютер ЦИВК представляет собой кластер из 3 стоек, в каждой стойке 20 узлов («компьютеров»), состоящих из двух двуядерных процессоров. Производители: одна стойка от HP ( ), две от «Т-платформы» ( ) блок с 20 прцессорами от SuperMicro ( Кластер IIКластер I

Данные кластеров Процессор Тактовая частота процессора Кэш-память второго уровня (на каждом процессоре) Ядер в процессоре Процессоров на узле Объем памяти на узле Узлов в кластере Общее количество процессоров Общее количество ядер Суммарный объем ОП Операционная система Теоретическая производительность Сеть MPI Intel 2xXeon MHz 4 MB 2 8 GB GB Scientific Linux GFlops Gigabit Ethernet Version Intel Xeon MHz 4 MB GB GB Scientific Linux GFlops GE, InfiniBand OpenMPI Кластер IКластер II

High-Performance Linpack benchmark представляет собой решение системы линейных уравнений методом LU-разложения с известным количеством арифметических операций и вычисление времени выполнения этой задачи. Производительность вычисляется по формуле: где N OP – количество арифметических операций, а T - время решения СЛАУ. Количество операций при этом: где N – порядок решаемой СЛАУ 1. HPL на сегодняшний день является самым популярным и признанным тестом производительности параллельных систем, по результатам которого составляются престижные TOP500 – список пятисот наиболее производительных систем в мире и TOP50 – пятьдесят наиболее производительных систем в пределах стран СНГ. High-Performance Linpack benchmark 1 Воеводин В.В., Воеводин Вл.В., Паралельные вычисления.- СПб.: БХВ-Петербург, 2002

Результаты тестирования (кл. I) Достигнутая нами максимальная производительность на тесте HPL составила 1124 GFlops, что примерно в два раза меньше (~50%) пиковой производительности GFlops

Результаты тестирования (кл.II) Достигнутая нами максимальная производительность на тесте HPL составила 687 GFlops, что примерно в 1,4 раза меньше (~ 70%) пиковой производительности 960 GFlops

МД моделирования с помощью ЦИВК Современное состояние компьютерных молекулярных исследований представляет собой методы молекулярного моделирования и квантовой химии или гибрида этих двух методов, открывающих новые возможности. Методы молекулярного моделирования больших систем (обычная или гибридная молекулярная динамика (МД), Монте-Карло, ab initio и т.д, получили интенсивное развитие в течение последних 5-10 лет. С созданием новых параллельно/векторных суперкомпьютеров и специализированных вычислительных кластеров методы молекулярного моделирования становятся реальным инструментом изучения в биоинженерии, нанотехнологии и материаловедении. Они позволяют исследовать детальную картину процессов на атомно-молекулярном масштабе и выявлять технологически интересные явления с большой долей вероятности, производя вычисления над системами от сотен тысяч до миллиарда частиц. Молекулярное моделирование служит практическим инструментом в разработке новых материалов и в дизайне новых лекарств.

Исследование производительности DL_POLY Проведен сравнительный анализ производительности пакета многоцелевого использования для молекулярно-динамических моделирований DL_POLY 1 на вычислительном кластере ЦИВК ЛИТ ОИЯИ для различных сетевых систем. Сравнения кодов DL_POLY проводились для двух видов кластерных архитектур, на основе Gigabit Ethernet и InfiniBand технологий. Код DL_POLY представляет собой программный пакет многоцелевого назначения для МД расчетов; его авторами являются У. Смит, Т.Р. Форестор и И.Т. Тодоров из Лаборатории Даресбари, Англия. Оригинальный пакет DL_POLY разработан группой молекулярного моделирования в Лаборатории Даресбари при поддержке Исследовательского совета инженерных и физических наук для моделирования конденсированных фаз (проект CCP5). При расчетах мы использовали версии 2.17 и 3.07 кода DL_POLY. Тесты на производительность DL_POLY включают в себя типичные системы (benchmarks), которые широко используются при МД моделировании на DL_POLY. 1 Todorov, I.T. et al. DL_POLY_3: new dimensions in molecular dynamics simulations via massive parallelism, J. Mater. Chem., 2006, V.16, p.1911.

DL_POLY Benchmarks Указанными системами для DL_POLY_2.17 были: Benchmark 3: Моделирование Валиномицина (valinomycin) в среде с 1223 молекулами воды (общее число атомов , 100 шагов по времени); Benchmark 5: Динамическая оболочечная модель - структуры MgCl2 (768 атомов, 1280 сайтов, число шагов по времени -1000); Benchmark 9: Моделирование мембраны с двумя цепочками, 202 и 2746 молекул раствора и растворителя, соответственно (число атомов атомов, число шагов ). Для DL_POLY_3.07: Benchmark 1: Моделирование системы NaCl с суммированием по Эвальду (27000 ионов); Benchmark 2: Моделирование NaCl с суммированием по Эвальду ( ионов); Benchmark 4: DMPC молекулы в водном окружении ( атомов).

Исследование производительности Кластер I Кластер II Работа с сетью Gigabit Ethernet. На рис. приведены результаты вычисления для DL_POLY_3.07 кода на кластерах I и II, соответственно. Показано, что эффективность DL_POLY_3.07 в кластере II становится линейным с ростом количества процессоров. Кластер I Кластер II

Исследование производительности Кластер I Кластер II Работа с сетью InfiniBand. На рис. представлены результаты вычислений для DL_POLY_2.17 и DL_POLY_3.07 кодов на кластере II с сетью типа InfiniBand. Показано, что эффективность кодов становится линейным для 32 процессоров. DL_POLY_2.17 DL_POLY_3.07

Заключение Достигнутая, по результатам тестирования, максимальная производительность позволила суперкомпьютерному кластеру ЦИВК ОИЯИ занять 12 место в TOP50 – в рейтинге самых производительных суперкомпьютеров СНГ. Эксперимент показал эффективность кластера для параллельных вычислений и хорошую производительность работы библиотеки линейной алгебры. Коммуникационная сеть типа InfiniBand представляет собой наиболее оптимальное решение для проведения эффективных МД расчетов. Данная оценка поддерживается на базе вычислений с обеими версиями кода DL_POLY. Время вычисления МД с Gigabit Ethernet в зависимости от числа процессоров варьируется: линейная зависимость не обнаруживается.

Спасибо за внимание!!!