МОДЕЛИРОВАНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ ДЛЯ ОЦЕНКИ МАСШТАБИРУЕМОСТИ ПАРАЛЛЕЛЬНЫХ ПРОГРАММ А.С. Родионов Институт вычислительной математики и математической геофизики СО РАН 1Новосибирск

2 Благодарности Работа выполнена в рамках выполнения Госконтракта Минобрнауки ( гг) «Исследования и разработка методов имитационного моделирования функционирования гибридных экзафлопсных вычислительных систем» Поддержана научной школой и проектами РФФИ а и а ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

3 Возможные цели моделирования 1.Оценка схемотехнических решений. 2.Анализ системы управления ВС (балансировка нагрузки, очередь заданий, распределение ресурсов…) 3.Прогноз масштабируемости параллельных программ 4.Настройка параметров алгоритмов ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

4 ЦЕЛИ РАБОТЫ 1.Разработка методов имитационного моделирования параллельных программ, предназначенных для исполнения на суперкомпьютерах с пета и экзафлопсным уровнем производительности, на существующих высокопроизводительных ЭВМ 2.Разработка программных решений в области создания агентно-ориентированной системы имитационного моделирования исполнения параллельных алгоритмов ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

ПРОБЛЕМЫ МАСШТАБИРОВАНИЯ АЛГОРИТМОВ (тезисы) 5 Исследование свойств масштабируемости параллельных алгоритмов является важной задачей при оценке эффективности их реализации, как для настоящих, так и будущих суперкомпьютеров пета- и экзафлопсного уровня. Данная проблема выходит за уровень технологических задач и требует научно-исследовательского подхода к ее решению. Вычислительные алгоритмы, как правило, являются более консервативными по сравнению с развитием средств вычислительной техники. Оценить поведение алгоритмов можно путем реализации их на имитационной модели. Имитационная модель позволяет выявить узкие места в алгоритмах, понять, как нужно модифицировать алгоритм, какие параметры необходимо настраивать при его масштабировании на большое количество ядер при заданной архитектуре вычислительной системы. ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

Что у других? 1.Наиболее известна система BigSim ( проект проводимый в США (Университет Урбана-Шампань, Иллинойс) – требует слишком подробного описания, но и даёт исчерпывающий результат 2.В Институте системного программирования РАН (г. Москва) под руководством академика В.П. Иванникова разработана система ParJava – только программы на Java 3.Проект PARSIT (University of Oklahoma) – замечательный проект, но для малых параллельных систем (до сотен процессов) 4.MapReduce (Cornell University) – ориентирован на решение задач вычислительной геометрии 5.… … … Новосибирск ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

1.НЕ ставится задача моделирования «железа». Архитектура исполнительной среды задаётся полунеявно посредством задания системы координат и определения функции вычисления задержек на передачу данных. Вполне возможно, что такая функция для конкретных архитектур будет иметь весьма сложный вид. 2.НЕ ставится задача возможно более точного оценивания времени исполнения моделируемой программы, требуется оценить ускорение при увеличении объёма используемых ресурсов. 3.Модель программы представляется взвешенным графом переходов между блоками программы с указанием параллельных ветвей. Временные задержки в блоках определяются на основе измерений, производимых в тестовых прогонах реальных программ на ЭВМ с возможно большим количеством ядер, что позволяют надеяться на учёт в измеренных задержках эффектов от системной составляющей. 4.Система управления вычислениями должна моделироваться как независимая часть модели. ТРЕБУЕМЫЙ УРОВЕНЬ ПРЕДСТАВЛЕНИЯ МОДЕЛИ 7 ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

ОСНОВНОЙ АЛГОРИТМ СОЗДАНИЯ МОДЕЛИ 1.Создать реальную, работающую параллельную программу 2.Прогнать программу на возможно более мощной ВС (с профилированием) 3.Подобрать или реализовать функции вычисления задержек в соответствии с выбранной архитектурой перспективной ВС 4.Описать модель программы (задать схему и задержки на линейных участках + вложение в архитектуру ВС) Новосибирск ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

Новосибирск Укрупнённый состав модели ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

AGNES (AGent NEtwork Simulator) – среда имитационного моделирования, создана на Java на основе JADE и состоит из двух типов агентов: управляющие агенты (УА), создающие среду моделирования; функциональные агенты (ФА), образующие модель, работающую в среде моделирования. Достоинства пакета AGNES: отказоустойчивость; сбалансированное распределение нагрузки; наличие проблемно-ориентированных библиотек агентов; возможность динамического изменения модели в ходе эксперимента. АГЕНТНО-ОРИЕНТИРОВАННАЯ СИСТЕМА ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ (AGNES) 10 ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

11 AGNES Приложение AGNES – это распределенная мульти-агентная система, называемая платформой. Состоит из системы контейнеров, распределенных в сети. Обычно на каждом хосте находится по одному контейнеру (может быть несколько). Агенты существуют внутри контейнеров. В качестве атомарной частицы в модели вычислений выбран вычислительный узел и исполняемый на нем код алгоритма. Функциональный агент эмулирует поведение вычислительного узла кластера и программу вычислений на этом узле. Вычисления - набор примитивных операций (вычисление на ядре; запись/чтение данных в память; парный обмен данными; синхронизация данных между вычислителями) и временных характеристик каждой операции. Система AGNES установлена в ЦКП ССКЦ ИВМиМГ СО РАН и доступна по ссылке ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

12 1.Параллельное статистическое моделирование. Найдено узкое место, рекомендована каскадная схема сбора данных 2.Сеточные методы. Рекомендована последовательность пересчёта узлов в подобластях 3.Полный перебор в решении NP-трудной задачи на графах (с использованием GPU). Определен наилучший способ представления данных 4.Поиск в глубину в решении той же задачи на MPP кластере. Определено наилучшее соотношение между количеством узлов, отвечающих за ветвление, и узлов, используемых для параллельного расчёта целевой функции РЕАЛИЗОВАННЫЕ МОДЕЛИ И РЕЗУЛЬТАТЫ ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

Шаг 1: Подготовка к моделированию независимых реализаций на группах ядер Шаг2: Моделирование реализаций, вычисление выборочных средних для группы Шаг 3: сбор и осреднение данных Пример: СХЕМА ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ МЕТОДОВ МОНТЕ-КАРЛО 13 ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

14 Примеры моделируемых программ создавались Марченко М.А., Куликовым И.М., Миговым Д.А., Никулиным М.И., Родионовым А.С. Моделирование проводилось совместно с Подкорытовым Д.И. и Винсом Д.В. ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

15 ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАНПУБЛИКАЦИИ 1.A.C. Родионов, Д.И. Подкорытов, Моделирование DDoS атак в отказоус- тойчивой мультиагентной среде имитационного моделирования AGNES // Материалы пятой международной научной конференции по проблемам безопасности и противодействия терроризму, Москва, С. 293– D. Podkorytov, A.S. Rodionov, O. Sokolova, A. Yurgenson, Using Agent-Oriented Simulation System AGNES for Evaluation of Sensor Networks // MACOM / Ed. by A. V. Vinel, B. Bellalta, C. Sacchi et al. Vol of Lecture Notes in Computer Science. Springer, P Б.М. Глинский, А.С. Родионов, М.А. Марченко, Д.И. Подкорытов, Д.В. Винс. Агентно-ориентированный подход к имитационному моделированию суперЭВМ экзафлопсной производительности в приложении к распределенному статисти- ческому моделированию // Вестник ЮУрГУ, (277), Вып.12., с Д.И. Подкорытов. Агентно-ориентированная среда моделирования сетевых систем AGNES // Ползуновский вестник, /1, с D. Podkorytov, A.S. Rodionov, H. Choo. Agent-based simulation system AGNES for networks modeling: review and researching // ICUIMC 2012 / Ed. by S.-H. Lee, L. Hanzo, R. Ismail et al. ACM, Paper 115, 4 pages. 6.B. Glinsky, A. Rodionov, M. Marchenko, D. Podkorytov, D. Weins. Scaling the Distributed Stochastic Simulation to Exaflop Supercomputers // Proceedings of 2012 IEEE 14th International Conference on High Performance Computing and Communications, p Новосибирск

Спасибо за внимание. Ваши вопросы?

17 СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Н.В. Кучин, Б.М. Глинский, Б.Г. Михайленко Кластер HKC-160 (hp rx1620) 168 процессор. Itanium 2, 1,6 ГГц; InfiniBand, Gigabit Ethernet (GE); > 1 ТФлопс Сервер с общей памятью (hp DL580 G5) 4 процессора (16 ядер) Intel Xeon Quad Core Х7350, 2.93 Ггц; ОП Гбайт; 187,5 Гфлопс. СХД для НКС-160 3,2 Тбайт СХД сервера с общей памятью 9 Тбайт (max-48 Тбайт) СИСТЕМЫ ХРАНЕНИЯ ДАННЫХ (СХД) Параллельная файловая система IBRIX для НКС-30Т 32 Тбайта СХД для НКС-30Т 36 Тбайт (max Тбайт) Сеть ИВМиМГ Сеть Internet ННЦ Системное Общематематическое Прикладное (ППП) ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ GigabitEthernet InfiniBand GE …………… !!! NEW Кластер гибридной архитектуры HKC-30T+GPU 576 (2688 ядер) процессоров Intel Xeon Е5450/E5540/X процессор. CPU (X5670) – 480 ядер; 120 процессор. GPU (Tesla M 2090) – ядер. Общая пиковая производ. 115 Тфлопс Сервер с общей памятью (hp DL980 G7) !!! NEW 4 процессора (40 ядер) Intel Е7-4870; ОП Гбайт ; 384 Гфлопс. Max: 8 процессоров (80 ядер), 2048 Гбайт, 768 Гфлопс. HKC-30T ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН Новосибирск

18 ГИБРИДНЫЙ КЛАСТЕР (НКС-30Т+GPU) 64 BL2x220c G5 128 BL2x220c G6 96 BL2x220c G7 40 SL390s G GPU M Кластер НКС-30Т Расширение кластера на GPU + Сервер с общей памятью DL980 G7 ОП Гбайт 40 ядер 384 ГФлопс I N F I N I B A N D IBRIX Параллельная файловая система 4 сервера 32 Тбайта IBRIX Параллельная файловая система Планируемое наращивание xx серверов..... ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Новосибирск