Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid Власов Всеволод, 544 группа Научный руководитель: Краснощеков В.Е. Рецензент: - презентация

1 Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid Власов Всеволод, 544 группа Научный руководитель: Краснощеков В.Е. Рецензент: Граничин О.Н июня 2007 года

2 Введение SPMD – Single Program Multi Data –Фиксированное число одинаковых заданий –Создание/удаление заданий не допускается Грид - географически распределенная инфраструктура, объединяющая множество ресурсов разных типов –Децентрализованное управление ресурсами –Стандартные открытые протоколы –Высококачественное обслуживание GPE – Grid Programming Environment

3 Контекст работы Студенческий проект Grid Deploy & Development – Студенты 3-5 курсов – Аспиранты – Поддержка компанией Intel Исследование и разработка на базе грид – Лаборатория Intel – Контакты с учеными использующими грид в России

4 Цель работы В широком смысле – обеспечить минимальное время выполнения SPMD приложения В узком смысле – разработать методологию переноса на грид-систему GPE имеющихся приложения вида: –Разделение (Split) –Вычисление (Calculate) –Объединение (Combine)

5 Актуальность работы Грид – перспективная технология – BOINC приблизительно в 1.5 раза производительнее чем самый мощный суперкомпьютер –CERN: EGEE; NorduGrid SPMD – существенная часть задач решаемых на гриде GPE – особенности: –Кроссплатформенность –Запуск любых приложений (совместимых с целевой системой) –Возможность программирования workflow

6 Основные компоненты GPE Клиентские приложения Контейнер –Управление и администрирование системы Брокер –Распределение работ по целевым системам Целевые системы –Workflow Target System Управление рабочим потоком –Atomic Target System Выполнение работ, запуск приложений

7 Реализация: workflow Разделение –Создание набора подзадач Вычисление –Распределение подзадач –Решение подзадач –Пересылка результатов Объединение –Соединение результатов –Пересылка решения

8 Реализация: среда запуска Интерфейс JobBean –Описание приложений на целевой системе –Параметры запуска –Набор входящих файлов –Набор файлов с результатами Интерфейс TaskBean –Описание все видов работ (split, calculate, combine) –Количество параллельных подзадач

9 Реализация: рабочий пример Quaternions – приложение для построения инвариантных множеств рациональных отображений Подготовка к переносу –Работа из командной строки –Разделение на три программы QSplit QCalculate QCombine

10 Реализация: приемы программирования Пересылка файлов Отправка работы на целевую систему Запуск работы Получение статуса работы Операторы рабочего потока –Циклы –Условный оператор

11 Результаты Анализ GPE –Неудобство API –Проблема запуска нескольких работ с разными параметрами Удобство созданной среды –Позволяет перенести на GPE приложение без глубокого понимания внутреннего устройства грид-системы

12 Результаты Запуск рабочего примера –Условия запуска Лаборатория Intel, 6 целевых систем (atomic) –Измерения скорости работы Двукратный выигрыш во времени по сравнению с последовательным запуском –Проблемы в работе брокера Некоторые целевые системы выполняют несколько задач, в то время, как другие простаивают

13 Перспективы Работы над созданием брокера –Адаптивный брокер –Интерфейс GPE для подключения брокера –Использование созданной системы как тестовой среды при моделировании различных брокеров Внедрение системы расчетов на грид в практику работы отделения механики Генерация описаний более сложных workflow –Институт Высокопроизводительных Вычислений

14 Вопросы