Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid Власов Всеволод, 544 группа Научный руководитель: Краснощеков В.Е. Рецензент: Граничин О.Н июня 2007 года

Введение SPMD – Single Program Multi Data –Фиксированное число одинаковых заданий –Создание/удаление заданий не допускается Грид - географически распределенная инфраструктура, объединяющая множество ресурсов разных типов –Децентрализованное управление ресурсами –Стандартные открытые протоколы –Высококачественное обслуживание GPE – Grid Programming Environment

Контекст работы Студенческий проект Grid Deploy & Development – Студенты 3-5 курсов – Аспиранты – Поддержка компанией Intel Исследование и разработка на базе грид – Лаборатория Intel – Контакты с учеными использующими грид в России

Цель работы В широком смысле – обеспечить минимальное время выполнения SPMD приложения В узком смысле – разработать методологию переноса на грид-систему GPE имеющихся приложения вида: –Разделение (Split) –Вычисление (Calculate) –Объединение (Combine)

Актуальность работы Грид – перспективная технология – BOINC приблизительно в 1.5 раза производительнее чем самый мощный суперкомпьютер –CERN: EGEE; NorduGrid SPMD – существенная часть задач решаемых на гриде GPE – особенности: –Кроссплатформенность –Запуск любых приложений (совместимых с целевой системой) –Возможность программирования workflow

Основные компоненты GPE Клиентские приложения Контейнер –Управление и администрирование системы Брокер –Распределение работ по целевым системам Целевые системы –Workflow Target System Управление рабочим потоком –Atomic Target System Выполнение работ, запуск приложений

Реализация: workflow Разделение –Создание набора подзадач Вычисление –Распределение подзадач –Решение подзадач –Пересылка результатов Объединение –Соединение результатов –Пересылка решения

Реализация: среда запуска Интерфейс JobBean –Описание приложений на целевой системе –Параметры запуска –Набор входящих файлов –Набор файлов с результатами Интерфейс TaskBean –Описание все видов работ (split, calculate, combine) –Количество параллельных подзадач

Реализация: рабочий пример Quaternions – приложение для построения инвариантных множеств рациональных отображений Подготовка к переносу –Работа из командной строки –Разделение на три программы QSplit QCalculate QCombine

Реализация: приемы программирования Пересылка файлов Отправка работы на целевую систему Запуск работы Получение статуса работы Операторы рабочего потока –Циклы –Условный оператор

Результаты Анализ GPE –Неудобство API –Проблема запуска нескольких работ с разными параметрами Удобство созданной среды –Позволяет перенести на GPE приложение без глубокого понимания внутреннего устройства грид-системы

Результаты Запуск рабочего примера –Условия запуска Лаборатория Intel, 6 целевых систем (atomic) –Измерения скорости работы Двукратный выигрыш во времени по сравнению с последовательным запуском –Проблемы в работе брокера Некоторые целевые системы выполняют несколько задач, в то время, как другие простаивают

Перспективы Работы над созданием брокера –Адаптивный брокер –Интерфейс GPE для подключения брокера –Использование созданной системы как тестовой среды при моделировании различных брокеров Внедрение системы расчетов на грид в практику работы отделения механики Генерация описаний более сложных workflow –Институт Высокопроизводительных Вычислений

Вопросы