Российская Академия Наук УРАЛЬСКОЕ ОТДЕЛЕНИЕ Институт Прикладной Механики Ижевск Рычков В.Н. Параллельная распределенная объектно-ориентированная вычислительная среда для конечно-элементного анализа диссертационная работа на соискание ученой степени кандидата физико-математических наук Специальность – Математическое моделирование, численные методы и комплексы программ Заседание диссертационного совета К при ИММ РАН 17 февраля 2005

Институт Прикладной Механики УрО РАН 2Введение Требования к прикладному программному обеспечению: –возможность быстрой и надежной реализации сложных математических моделей (гибкость) –максимальное использование вычислительных ресурсов (производительность) –обеспечение взаимодействия между существующими и новыми элементами аппаратных и программных средств (платформонезависимость) Комплекс программ для конечно-элементного анализа – возможные решения: –применение объектно-ориентированного и компонентного программирования (структурирование большого объема кода, программирование в терминах предметной области, повторное использование кода) –параллельная распределенная реализация метода декомпозиции области, основанного на конечно-элементной аппроксимации (отображение проблем вычислительной математики на многопроцессорные системы) –использование промежуточного программного обеспечения (переносимость прикладных программ на различные аппаратно-программные платформы, в том числе гетерогенные) Промежуточное программное обеспечение параллельных распределенных вычислений: –MPI (Message Passing Interface) – интерфейс обмена сообщениями запуск параллельных процессов на узлах вычислительной системы организация обмена сообщениями между ними –CORBA (Common Object Request Broker Architecture) – архитектура брокера объектных запросов запуск объектно-ориентированных приложений на узлах вычислительной системы организация взаимодействий между ними

Институт Прикладной Механики УрО РАН 3Введение Методы разработки комплексов программ для математического моделирования –О.Б. Арушанян (НИВЦ МГУ), Н.Г. Буньков (ЦАГИ), В.А. Семенов (ИСП РАН) и др. Прикладные программные системы для вычислительной физики и математики с применением многопроцессорных ЭВМ –ИАП РАН (О.М. Белоцерковский и др.), ИММ РАН (Б.Н. Четверушкин и др.), ИПМ им. Келдыша (А.В. Забродин и др.), НГУ (В.Э. Малышкин и др.), ИТПМ СО РАН (Г.А. Тарнавский и др.), ИММ УрО РАН, ВЦ РАН и др. Специализированные высокопроизводительные расчетные пакеты программ –PMPL (ВНИИЭФ и Mississippi State University), PETSc (Argonne National Laboratory), LAPACK (Oak Ridge National Laboratory) и др. Математические основы параллельного программирования, отображение проблем вычислительной математики на архитектуру вычислительных систем –ИВМ РАН (В.В. Воеводин и др.) Языки, технологии и промежуточное программное обеспечение для параллельных распределенных вычислений –НИВЦ МГУ (Вл. В. Воеводин и др.), ИСП РАН (В.П. Иванников, С.С. Гайсарян, А.Л. Ластовецкий, А.И. Аветисян и др.), ИПМ им. Келдыша (Н.А. Коновалов, В.А. Крюков и др.) MPI (Message Passing Interface – интерфейс обмена сообщениями) –Mississippi State University (A. Skjellum и др.), Argonne National Laboratory (W. Gropp, E. Lusk и др.), University of Tennessee (J.J. Dongarra и др.), University of Illinois (L.V. Kale и др.) –Программные системы: LAM, MPICH, MPICH-G и др. CORBA (Common Object Request Broker Architecture – общая архитектура брокера объектных запросов) –Международный консорциум OMG –Повышение производительности CORBA: Washington University (D.C. Schmidt и др.) –Совместное использование технологий CORBA и MPI: IRISA/INRIA (C. Pérez, T. Priol и др.) –Программные системы: Orbix, VisiBroker, omniORB, MICO, TAO и др.

Институт Прикладной Механики УрО РАН 4 Цель и задачи работы Цель работы. Разработка комплекса программ для численного моделирования методом конечных элементов, обеспечивающего –гибкие средства разработки, –высокую производительность вычислений, –независимость от аппаратно-программных платформ. Задачи работы. –Разработка обобщенной объектно-ориентированной модели метода конечных элементов и метода декомпозиции области, обеспечение возможностей модификации и расширения. –Анализ технологий параллельных распределенных вычислений MPI и CORBA. Сравнение производительности различных видов промежуточного программного обеспечения MPI и CORBA, определение уровня независимости от аппаратно-программных платформ. Исследование методов разработки параллельных распределенных объектно-ориентированных программ на промежуточном программном обеспечении MPI и CORBA. –Создание технологии построения параллельных распределенных объектно-ориентированных моделей на основе обычных объектно-ориентированных моделей и промежуточного программного обеспечения CORBA. Разработка параллельной распределенной объектно- ориентированной вычислительной среды для конечно-элементного анализа. –Исследование возможностей совместного использования промежуточного программного обеспечения CORBA и MPI. Интеграция MPI пакетов линейной алгебры в вычислительную среду для конечно-элементного анализа. –Проведение численных исследований напряженно-деформированного состояния трехмерных тел методом подструктур на многопроцессорных вычислительных системах.

Институт Прикладной Механики УрО РАН 5 Метод конечных элементов Основные шаги метода конечных элементов 1.Построение конечно-элементной сетки с заданными физическими параметрами и граничными условиями 2.Установка соответствия между узловыми степенями свободы и номерами уравнений системы 3.Формирование системы уравнений с учетом вкладов от элементов и узлов в соответствии со схемой сборки системы 4.Введение граничных условий в систему уравнений 5.Решение системы уравнений 6.Обновление узловых степеней свободы в соответствии с полученным решением 7.Определение расчетных параметров в элементах Объектно-ориентированная модель метода конечных элементов 1.Расчетная модель 2.Численная модель 3.Модель решения

Институт Прикладной Механики УрО РАН 6 Объектно-ориентированная модель метода конечных элементов Расчетная модель Модель решения Численная модель

Институт Прикладной Механики УрО РАН 7 Метод декомпозиции области, основанный на конечно-элементной аппроксимации Основные типы методов декомпозиции области Методы подструктур –на непересекающихся подобластях Методы Шварца –на пересекающихся и непересекающихся областях Основные шаги метода декомпозиции области 1.Построение и разделение конечно-элементной сетки с заданными физическими параметрами и граничными условиями 2.Установка соответствия между узловыми степенями свободы и номерами уравнений в локальных и в глобальной системах уравнений 3.Формирование локальных (и глобальной) систем уравнений с учетом вкладов от элементов и узлов в соответствии со схемой сборки системы 4.Введение граничных условий 5.Решение системы уравнений, независимое выполнение матрично-векторных операций на подобластях 6.Обновление узловых характеристик в соответствии с полученным решением 7.Определение расчетных параметров в элементах

Институт Прикладной Механики УрО РАН 8 Метод подструктур

Институт Прикладной Механики УрО РАН 9 Объектно-ориентированная модель метода подструктур ОбластьПодобласть Расчетная модель Модель решения Численная модель Расчетная модель Модель решения Численная модель

Институт Прикладной Механики УрО РАН 10 Эффективность программной декомпозиции метода подструктур Увеличение числа подобластей n Память увеличение дополнения Шура уменьшение матриц подобластей Время замедление решения общей системы ускорение вычислений в подобластях n =16 n =24 n =32 n =48

Институт Прикладной Механики УрО РАН 11 Исследование производительности MPI и CORBA omniORB и MPICH на Myrinet и SCI – IRISA/INRIA, Франция TAO и MPICH на Gigabit и Ethernet – кластер Paraclete, ИПМ УрО РАН

Институт Прикладной Механики УрО РАН 12 Построение параллельной распределенной объектно-ориентированной модели Параллельная распределенная объектно-ориентированная модель должна: –максимально использовать код исходной объектно-ориентированной модели, –обладать гибкостью, не меньшей, чем исходная. Основные этапы построения: 1.Описание объектов на CORBA IDL 2.Соединение объектов исходной модели с объектами инфраструктуры CORBA для построения распределенной объектно-ориентированной модели 3.Построение параллельной объектно-ориентированной модели на основе распределенной модели и асинхронного вызова методов AMI (программное обеспечение TAO) 4.Интеграция c MPI (программное обеспечение MPICH)

Институт Прикладной Механики УрО РАН 13 IDL описание распределенной модели Удаленные объектыПеремещаемые объекты Конструкция IDL interfacestructvaluetype Описанияудаленные методы и атрибуты атрибутылокальные методы и атрибуты Поддержка механизмов объектно- ориентированного программирования +-+ Метод декомпозиции области Node Subdomain Node Element SPConstraint Vector Matrix BandSMatrix SMatrix USMatrix Объектно- ориентированная модель Распределенная объектно- ориентированная модель Параллельная распределенная объектно-ориентированная модель Объект по адресуУдаленный доступАсинхронный вызов методов Объект по значениюПеремещение-

Институт Прикладной Механики УрО РАН 14 Реализация параллельной распределенной модели Структура классов, обеспечивающих синхронный/асинхронный удаленный вызов методов Параллельная распределенная модель подобласти

Институт Прикладной Механики УрО РАН 15 Процессор 2Процессор 1Процессор 0 Удаленный вызов метода подобласти Удаленный вызов Цикл

Институт Прикладной Механики УрО РАН 16 Процессор 2Процессор 1Процессор 0 Асинхронный вызов метода подобласти Асинхронный вызов Ожидание обратного вызова Параллельное выполнение Цикл – ожидание Цикл – вызов

Институт Прикладной Механики УрО РАН 17 Параллельная распределенная модель метода подструктур ОбластьПодобласть Расчетная модель Модель решения Численная модель Расчетная модель Модель решения Численная модель

Институт Прикладной Механики УрО РАН 18 Интеграция MPI приложений 1.Инициализация промежуточного ПО –инициализация MPI в рамках CORBA –инициализация CORBA в рамках MPI 2.Работа с объектами CORBA –набор клиентов –набор серверов 3.Обмен сообщениями посредством MPI –обычный MPI код для набора клиентов –MPI код внутри методов объектов CORBA + асинхронный вызов этих методов

Институт Прикладной Механики УрО РАН 19 Процессор N Процессор 2 Процессор 1 Интеграция MPI пакета PETSc Процессор 0 Коммуникации CORBA Коммуникации MPIОбъекты CORBA с кодом MPI Обработчики обратного вызова Объектные ссылки CORBA

Институт Прикладной Механики УрО РАН 20 Вычислительная схема параллельного метода подструктур

Институт Прикладной Механики УрО РАН 21 Эффективность параллельных вычислений Масштабируемость программного обеспечения метода подструктур

Институт Прикладной Механики УрО РАН 22 Эффективность параллельных вычислений прямым и итерационным методами подструктур Метод решения системы с дополнением Шура T C++ T CORBA T AMI+MPI E (%) разложение Холесского узлов элементов 14 подобластей 0:17:000:18:280:02:2450,60 параллельный метод сопряженных градиентов узлов элементов 14 подобластей 0:17:100:18:400:01:5365,11 параллельный метод сопряженных градиентов узлов элементов 70 подобластей –0:14:000:01:1283,33* параллельный метод сопряженных градиентов узлов элементов 14 подобластей T C++ T CORBA T AMI+MPI E (%) Общее время17:10,018:40,001:53,065,11 -Разделение00:11,100:42,200:13,206,02 | 22,87 Распределение объектов сетки00:02,100:31,000:04,803,10 | 45,77 Восстановление расчетных моделей подобластей 00:01,300:01,600:00,173,70 -Решение16:56,417:55,001:37,674,37 Формирование дополнения Шура15:32,816:58,201:29,674,39 Формирование правой части00:03,800:04,200:00,471,62 Решение системы с дополнением Шура00:12,600:14,400:01,181,82 Определение перемещений внутренних узлов 00:04,300:05,100:00,745,37

Институт Прикладной Механики УрО РАН 23 Распределение вычислительной нагрузки между процессорами в методе подструктур узлов, элементов, 14 подобластей

Институт Прикладной Механики УрО РАН 24 Вычислительные затраты метода подструктур для больших неструктурированных сеток ОбластьПодобласть Время решения СЛАУ блок (KB) Сетка (KB) СЛАУ (KB) :34, :26, :16, :50,2* :31,8* :46,1* 1 управляющий узел, 23 вычислительных узла Задача 1: узлов, элементов Задача 2: узлов, элементов

Институт Прикладной Механики УрО РАН 25 Основные результаты работы 1.Предложена новая методика построения комплекса программ для численного моделирования методом конечных элементов, основанная на объектно-ориентированном анализе и промежуточном программном обеспечении CORBA, MPI. 2.Разработана трехуровневая объектно- ориентированная модель метода конечных элементов и модель метода декомпозиции области. 3.Проведен анализ технологий параллельных распределенных вычислений MPI и CORBA. Создана технология параллельных распределенных компонентов, которая обеспечивает возможность распределения и распараллеливания объектно- ориентированных моделей с использованием промежуточного программного обеспечения CORBA, MPI. гибкость и эффективность ограниченность в применении Математическая модель Система линейных алгебраических уравнений Метод конечных элементов Дифференциальное уравнение в частных производных Физическая модель Модель вычислений Алгоритм Параллельные распределенные вычисления Архитектура вычислительной системы

Институт Прикладной Механики УрО РАН 26 Основные результаты работы 4.Разработана параллельная распределенная объектно-ориентированная модель метода декомпозиции области. Реализованы исполняемые модули, описывающие процессы вычислений в подобластях и в области. Создана вычислительная среда для конечно- элементного анализа, которая обеспечивает механизмы разработки, реализации и запуска прикладных расчетных программ. 5.С помощью вычислительной среды разработана параллельная распределенная модель метода подструктур, включающая прямые и итерационные схемы решения системы с дополнением Шура. Проведены численные исследования для реальных и модельных задач, которые показали высокую эффективность распараллеливания и масштабируемость программного обеспечения. гибкость и эффективность ограниченность в применении Математическая модель Система линейных алгебраических уравнений Метод конечных элементов Дифференциальное уравнение в частных производных Физическая модель Модель вычислений Алгоритм Параллельные распределенные вычисления Архитектура вычислительной системы