ИНСТРУМЕНТАЛЬНАЯ ОБОЛОЧКА ВИЗУАЛЬНОГО ПРОЕКТИРОВАНИЯ ПРИЛОЖЕНИЙ В ГРИД PEG2: идеи, концепция, реализация Т. Коломейцева, С. Демин, М. Меретяков, Д. Кулагин, - презентация

1 ИНСТРУМЕНТАЛЬНАЯ ОБОЛОЧКА ВИЗУАЛЬНОГО ПРОЕКТИРОВАНИЯ ПРИЛОЖЕНИЙ В ГРИД PEG2: идеи, концепция, реализация Т. Коломейцева, С. Демин, М. Меретяков, Д. Кулагин, А. Суслов, П. Райков, А. Ларченко, А. Дунаев, А. Бухановский НИИ НКТ

2 Оглавление Введение и современное состояние Концепция и некоторые проблемы PEG PEG 2 Что дальше ? Авторы и соавторы Ссылки 2

3 Что такое Грид Существует множество определений Грид Грид – согласованная, открытая и стандартизованная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации Я. Фостер, К. Кессельман 3 « »

4 Россия щедрая душа Простаивающий парк техники Ресурсы университетов и компаний Отсутствие развитых графических средств организации удаленных вычислений Отсутствие обобщенных механизмов предоставления ресурсов и сервисов Неравномерное распределение вычислительных мощностей по территории 4

5 Европейский опыт Сообщества : Open Grid Forum, Open Science Grid, Globus Alliance, OMII, D-Grid... Большие проекты : Globus, EGEE, Condor-G, OGSA- DAI... В основном, удаленный доступ к кластерам Низкоуровневая посылка задач Ограниченное использование Workflow ( например, Taverna) Многие просто присоединяются к EGEE MediaGrid – предоставление контента с помощью Грид 5

6 Мы ждем перемен Удобный запуск приложений Простое построение процесса вычислений с задействованием ресурсов различных организаций Предоставление приложений в виде ресурсов ( подобно Web-сервисам ) Единое пространство для предоставления и использования ресурсов ( правовое, экономическое, технологическое ) Запуск сложных цепочек вычислений 6

7 Визуальная среда Создание и редактирование workflow Поиск необходимых сервисов Связывание workflow с сервисами Прогнозирование времени исполнения workflow при выбранных параметрах Запуск и мониторинг исполнения Визуализация результатов счета Уточнение параметров модели и мн. др. 7

8 Workflow 8 Данные 1 Действие 1 Действие 3 Данные 1 Данные 3 Действие 2

9 Мечты – одно только облако ? Что хотелось бы : Провайдер сервисов : организация, каталогизация, предоставление Подлежащая вычислительная Грид - инфраструктура Workflow как основной и наглядный инструмент запуска процессов Мониторинг выполнения Балансировка и прогноз времени исполнения Web-доступ Пилотные реализации : PEG, PEG 2 9

10 Интернет Концепция в движении 10 Провайдер Сервис InFile Model Calc OutFile ?

11 Концепция в движении 11 Провайдер Сервис Интернет

12 Братья пилоты : PEG 1, 2, 3… PEG Задачи Архитектура и динамика работы Исследования Технологии PEG 2 Задачи Архитектура и динамки работы Исследования Технологии 12

13 Пилотный проект Работа с Грид - инфраструктурой Параллельный запуск Условие отсутствия необходимости модификации существующих приложений Выявление особенностей параллельного запуска на Грид Что хотели 13 PEG Задачи

14 Один Грид - сервер Множество целевых систем Модель запуска « Master-Slave » Толстый клиент ( основная часть работы выполняется на нем ) Полностью ручное написание « обертки » Частично написание hackов 14 PEG Архитектура системы

15 15 PEG Динамика системы Грид - сервер Целевые системы Клиент exeexeexeexe exe + decomposer composer hack Входные данные Программа Выходные данные

16 Исследование методов балансировки Различные способы запуска : асинхронный, синхронный Измерение производительности протоколов передачи данных (RandomByteIO) Исследование каскадных схем балансировки ( далее ) Написан симулятор Грид для исследования различных моделей балансировок 16 PEG Исследования

17 Для чего Быстрая проверка теоретических изысканий Особенности Консольный запуск Возможность задания стохастики Грид - инфраструктуры Возможность запуска Workflow Полная профилировка модельных запусков и сбор статистики 17 PEG Симулятор

18 18 PEG Симулятор Моделирование стохастичности загруженности сети Моделирование варьирования производительности узлов Событийная модель симуляции Различные алгоритмы отображения абстрактного workflow на вычислительную сеть Просмотр картины симуляции Модульная структура (простота модернизации)

19 Сервер : Windows / Linux + GPE Server 1.4 на стороне сервера Клиент : GPE 1.4 TSI GPE 1.5 Client API Globus Toolkit (Java version) Java PEG Технологии

20 Пилотный проект Работа с Грид - инфраструктурой Параллельный и одиночный запуск Условие отсутствия необходимости модификации существующих приложений Визуальное редактирование Workflow Мониторинг исполнения Балансировка на основе информации о Грид - инфраструктуре Что хотели 20 PEG 2 Задачи

21 PEG 2: архитектура Несколько Грид - серверов со множеством целевых систем Запуск сложных Workflow Различные виды балансировок Прогнозирование времени исполнения workflow Web- интерфейс Простая адаптация программ Расширяемость ( внешние модули ) 21

22 PEG 2: прогресс 22 Практически готово : Запуск workflow Мониторинг производительности Мониторинг исполнения В процессе : Визуальная среда Различные виды балансировки Web- интерфейс

23 Исследования Исследования по балансировке нагрузки Балансировка и прогнозирование работы нелинейных алгоритмов на архитектуре Master- Slave Распределенная обработка данных Повышение эффективности обработки распределенных данных в Грид Мониторинг сети и вычислительных узлов 23

24 Исследования Исследования по балансировке нагрузки Балансировка и прогнозирование работы нелинейных алгоритмов на архитектуре Master-Slave Распределенная обработка данных Повышение эффективности обработки распределенных данных в Грид Мониторинг сети и вычислительных узлов 24

25 Вычислительные узлы Узел с данными w i – пропускная способность канала между узлом с данными и вычислителем c j – производительность вычислителя разделяется один half-duplex канал w4w4 w2w2 w3w3 w1w1 w5w5 c1c1 c2c2 c3c3 c4c4 c5c5 Абстрактная вычислительная модель Маршрутизатор

26 Модельные параллельные алгоритмы N данных входа Обработка n1n1 M данных выхода m1m1 Раздача Заданий Сбор Результатов n2n2 n3n3 n4n4 m2m2 m3m3 m4m4 Объемы передаваемы и возвращаемых данных Разделение данных между узлами

27 Возможные схемы Проблемы : Поиск наилучшей схемы Классификация схем Диаграмма Ганта

28 Каскадные схемы Диаграмма Ганта Решение при помощи метода наименьших квадратов - Функция вида

29 Тезисы и результаты Результаты : Получен общий вид каскадных схем Построен алгоритм выбора лучшей каскадной схемы за Проблемы : Метод выбора схемы, относительно которой считать ускорение Выявлена проблема объединения выходных данных в случае нелинейных алгоритмов Не решена проблема оценки существования решения для заданной каскадной схемы

30 Исследования Исследования по балансировке нагрузки Балансировка и прогнозирование работы нелинейных алгоритмов на архитектуре Master- Slave Распределенная обработка данных Повышение эффективности обработки распределенных данных в Грид Мониторинг сети и вычислительных узлов 30

31 Задача эффективной обработки распределенных данных в Грид и пути ее решения Задача : Обработать неоднородно распределенные по вычислительным узлам данные Собрать результаты на заданном узле Минимизировать время работы Характерные особенности : Производительность вычислительных узлов различна Пропускная способность каналов между узлами существенно варьируются Пути решения: Статическая и динамическая перебалансировка загрузки вычислительных узлов за счет перераспределения данных с учетом пропускной способности межузловых каналов 31

32 Исследования Исследования по балансировке нагрузки Балансировка и прогнозирование работы нелинейных алгоритмов на архитектуре Master- Slave Распределенная обработка данных Повышение эффективности обработки распределенных данных в Грид Мониторинг сети и вычислительных узлов 32

33 Задача поиска тематически подобных текстов Условия : Распределенная система компьютеров, на каждом из которых хранится произвольный объем текстовых данных Прикладная задача : за минимальное время найти n максимально похожих на образец текстов в коллекции документов, распределенной по сети

34 Стадии исследования : Реализация алгоритма Некрестьянова поиска тематически подобных текстов по образцу для Грид - архитектуры Исследование особенностей Грид - реализации и выявление методов повышения эффективности алгоритма : за счет применения методов балансировки за счет учета специфики текстовых данных за счет учета специфики выбранного алгоритма Ожидаемые результаты исследования : Описание влияния особенностей параллельной Грид - реализации алгоритмов поиска текстов на эффективность Методики повышения эффективности работы этих алгоритмов Описание области применимости выработанных методик Проведение исследования

35 Исследования Исследования по балансировке нагрузки Балансировка и прогнозирование работы нелинейных алгоритмов на архитектуре Master- Slave Распределенная обработка данных Повышение эффективности обработки распределенных данных в Грид Мониторинг сети и вычислительных узлов 35

36 Мониторинг : для чего он ? Системы мониторинга позволяют : Получать характеристики удаленной системы Производить поиск неисправностей Производить поиск и анализ ресурсов Повышать эффективность управления системой Упрощать процесс составления расписаний Вести учет и статистику работы системы 36

37 Мониторинг : особенности Особенности собираемой информации информация о производительности имеет определенное время, в течение которого она считается полезной частые обновления : информация о производительности обновляется гораздо чаще, чем запрашивается из места ее хранения информация о производительности имеет стохастический характер : кроме самой информации о производительности иногда требуются такие ее характеристики как : распределение, время жизни, и т. д. 37

38 Мониторинг : предъявляемые требования Высокая скорость передачи данных Малое время сбора данных Безопасность Масштабируемость Расширяемость функциональных возможностей Способность взаимодействовать с Грид - сервисами Предварительная обработка собираемых данных Встраиваемость в Globus Toolkit Графический или Web - интерфейс 38

39 Мониторинг : цели исследования Исследовать существующие реализации мониторинговых систем на предмет соответствия предъявляемым требованиям. Выбрать из них наиболее походящую для встраивания в PEG 2 Исследовать существующие методики и программные средства позволяющие оценить производительность вычислительного узла для конкретной задачи или для узкого класса задач. Встроить в PEG 2 наиболее удачную реализацию

40 PEG 2: Технологии Сервер : * nix (рекомендованы RadHat, SuSe) + GPE Server 1.5 Клиент : SSH Client ( вместо TSI ) GPE 1.5 Client API Globus Toolkit (Java version) Apache Common Logging Java

41 Работа продолжается 41 В дальнейшем планируется : Завершение работ по визуальному редактору Создание Web- интерфейса Дальнейшие исследования по эффективному исполнению приложений Повышение удобства работы

42 Авторы и соавторы Главные разработчики Дунаев Антон Ларченко Алексей Стажеры Коломейцева Татьяна Райков Павел Меретяков Михаил Суслов Алексей Демин Дмитрий ( сука ) Художественный руководитель Бухановский Александр Валерьевич 42

43 Ссылки 43 НИИ НКТ Open Grid Forum Globus Alliance GridClub GPE escience.ifmo.ru ogf.org globus.org gridclub.ru gpe4gtk.sourceforge.net