Разработка и первичная апробация технологии предоставления доступа к суперкомпьютерным ресурсам сети ДВО РАН на основе Web и GRID-технологий Антушев С. - презентация

1 Разработка и первичная апробация технологии предоставления доступа к суперкомпьютерным ресурсам сети ДВО РАН на основе Web и GRID-технологий Антушев С. Г., Голик А. В., Тарасов Г. В. 2006

2 Предпосылки к работе GRID – новая ИТ-технология для поддержки научных исследований (интегрирует СУБД, ГИС, Интернет, суперкомпьютерные вычисления) Grid (Грид) – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения Примеры: 1.Проект - поиск сигналов внеземных цивилизаций. 272 тысячи компьютеров 179 ТeraFLOP/sec 2.Проект EU DataGrid Европейского центра ядерных исследований (CERN) объединяет информационные и вычислительные ресурсы нескольких десятков научных центров. 3.…

3 II. Для ДВО РАН актуальна задача создания регионального океанографического GRID-проекта, которая может быть решена на базе океанографической информационно-аналитической системы ДВО РАН Работа пользователя в ОИАС В ТОИ ДВО РАН разработана и используется в исследованиях океанографическая информационно-аналитическая система по Северо-западной части Тихого океана (ОИАС) Основная задача ОИАС – предоставление специалистам ДВО РАН посредством стандартного Web-интерфейса доступа : а) к необходимым океанографическим данным; б) к средствам картографической визуализации данных; в) к программным средствам анализа данных. Поддерживается работа с 30 видами океанографических данных общим объемом около 200 Гигабайт. ОИАС уже обладает некоторыми важными признаками GRID-системы, в частности в ней реализованы механизмы коллективного использования распределенных информационных ресурсов. Поэтому при некоторой доработке ОИАС могла бы стать прототипом регионального океанографического GRID-проекта. Для этого в первую очередь необходимо: 1.Обеспечить средствами ОИАС поддержку распределенных и суперкомпьютерных вычислений для решения задач аналитической обработки повышенной сложности 2.При реализации технологий поддержки высокопроизводительных вычислений должны обязательно использоваться программные средства, совместимые с открытым GRID- стандартом OGSA (Open Grid Service Architecture).

4 Globus Toolkit Ian Foster Globus Alliance (Argonne National Laboratory, University of Chicago, University of Edinburgh, NCSA, Univa Corporation, University of Southern California, …) Среда, инфраструктура для разработки Grid- приложений OGSA-совместимые web-сервисы Grid API для Java, C/C++, Python Набор основных Grid-сервисов Отправка и управление заданиями (GRAM) Передача файлов (GridFTP, RFT) Доступ к базам данных (OGSA-DAI) Управление данными: репликация, метаданные (RLS, DRS, OGSA-DAI) Мониторинг, индексирование (MDS)

5 Globus Toolkit

6 GRAM (Grid Resource Allocation and Management) Универсальный интерфейс для удалённой отправки заданий и управления процессом выполнения Поддержка диспетчеров: Unix, Condor, LSF, PBS, SGE, … Перемещение входных/выходных данных Мониторинг выполняющихся заданий

7 GridFTP Безопасный, высокопроизводительный и надёжный протокол для передачи данных FTP с расширениями Поддержка параллельной (striped) передачи данных по нескольким каналам Передача частей файлов

8 RLS (Replica Location Service) Распределённый реестр, в котором хранятся сведения о расположении копий данных Связывает логические идентификаторы и соответствующие физические объекты RLI LRC LRC (Local Replica Catalog) – содержит непротиворечивую информацию о расположении реплик RLI (Replica Location Index) – объединяет информацию от нескольких LRC

9 MDS (Monitoring and Discovery System Накапливает и предоставляет информацию о различного рода GRID-ресурсах: Службы и их текущее состояние Состояние вычислительных узлов GRID (загрузка, дисковое пространство, и т. д.)

10 GSI (Grid Security Infrastructure) Защищённая передача сообщений «Мост» между различными механизмами аутентификации Прокси-сертификаты для представления пользователей и служб Делегирование полномочий Пользовательские прокси: концепция единого входа («single sign-on») Прокси для служб: наследуемый доступ для служб Стандартные протоколы – SSL/TLS, X.509

11 Принципиальная схема организации распределенных и суперкомпьютерных вычислений в ОИАС ДВО РАН на базе средств Condor и Globus Toolkit

12 Моделирование трёхмерных случайных полей

13 Реализованные модели: 1. Модель Гаусса 2. Фрактальная модель 3. Турбулентная модель 4. Обобщённая модель

14 Работа с системой 1. Выбор модели

15 Работа с системой 2. Задание параметров модели

16 Работа с системой 3. Предварительный просмотр сечений функции спектральной плотности

17 Работа с системой 4. Выполнение вычислений

18 Работа с системой 5. Получение результатов моделирования (многостраничный TIFF-файл)

19 Численные результаты Размер области х 512 х 512

20 Пример 1

21 Пример 2

22 Заключение С помощью системы Condor и пакета Globus: организован доступ к удалённым суперкомпьютерным ресурсам решена представляющая практический интерес задача - моделирование трёхмерных случайных полей. Спасибо за внимание!