Отделение 3 Логических методов автоматизации решения задач Заведующий отделением – д.т.н., профессор Г.А. Опарин Структура: Лаборатория 3.1. Параллельных. - презентация

1 Отделение 3 Логических методов автоматизации решения задач Заведующий отделением – д.т.н., профессор Г.А. Опарин Структура: Лаборатория 3.1. Параллельных и распределенных вычислительных систем. Лаборатория 3.2. Дискретного анализа и прикладной логики.

2 Научное направление исследований института Теоретические основы и технологии автоматизации решения информационно-вычислительных задач в компьютерных средах Лаборатория 3.1. Параллельных и распределенных вычислительных систем Новопашин А.П., к.т.н., зав. лаб. Богданова В.Г., к.т.н., с.н.с. Феоктистов А.Г., к.т.н., с.н.с. Горский С.А., к.т.н., н.с. Корсуков А.С., к.т.н., н.с. Сидоров И.А., к.т.н., м.н.с. Макеева Н.Г., асп. Лаборатория 3.2. Дискретного анализа и прикладной логики Семенов А.А., к.т.н., зав. лаб. Заикин О.С., к.т.н., м.н.с. Беспалов Д.В., н.с. Игнатьев А.С., м.н.с. Отпущенников И.В., прогр. Кочемазов С.Е., асп. Методы, технологии и инструментальные средства организации и применения проблемно- ориентированных распределенных вычислительных сред Технология булева моделирования и решения дискретных задач Планирование вычислений и синтез программ для параллельных и распределенных вычислительных систем Проблемы обращения дискретных функций (построение алгоритмов, их реализация в параллельных и распределенных вычислительных средах, применение к решению прикладных задач) Развитие и сопровождение программно- аппаратной инфраструктуры Суперкомпьютерного центра коллективного пользования при ИДСТУ СО РАН Основные направления работы отделения

3 Согласуются с: 1.Приоритетными направлениями развития науки, технологий и техники в Российской Федерации от 21 мая 2006 г. (п. 4. Информационно- телекоммуникационные системы). 2.Перечнем критических технологий Российской Федерации от 21 мая 2006 г. (п. 20. Технологии распределенных вычислений и систем). 3.Программой фундаментальных исследований государственных академий наук на г.г. (направления 31 Проблемы создания глобальных и интегрированных информационно-телекоммуникационных систем и сетей. Развитие GRID технологий и стандартов и 32 Архитектура, системные решения, программное обеспечение и информационная безопасность информационно-вычислительных комплексов и сетей новых поколений, системное программирование). 4.Планом фундаментальных исследований Российской академии наук на период до 2025 г. (Раздел 4. Информатика, п Проблемы создания глобальных и интегрированных информационно-телекоммуникационных систем и сетей на основе технологий GRID, п Архитектура, системные решения, программное обеспечение и информационная безопасность информационно- вычислительных комплексов и сетей новых поколений.). Основные направления работы отделения

4 Согласуются с: 5.Целями и задачами фундаментальных исследований ИДСТУ СО РАН на период до 2015 г. по направлению Математические методы и информационные технологии исследования динамических систем: Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе грид-технологий и технологий искусственного интеллекта. Разработка технологии булева моделирования дискретных задач, методов и алгоритмов решения нелинейных булевых уравнений с приложениями к планированию вычислений и синтезу программ для параллельных и распределенных вычислительных систем. 6.Целями и задачами фундаментальных исследований ИДСТУ СО РАН на период до 2025 г. по направлению Технологии параллельных и распределенных вычислений: Разработка и применение логические методов в задачах организации проблемно-ориентированных сетевых параллельных и распределенных вычислительных сред. Развитие технологий многоагентных систем и их использование в интеллектуальных распределенных информационных системах. 7.Концепцией развития СО РАН до 2020 года. Основные направления работы отделения

5 Научные программы и проекты Базовые проекты СО РАН Проект СО РАН Интегрированные информационно-вычислительные и коммуникационные ресурсы: интеллектные методы организации, автоматизации разработки и применения ( гг.). Проект СО РАН Интеллектные методы и инструментальные средства создания и анализа интегрированных распределенных информационно-аналитических и вычислительных систем для междисциплинарных исследований с применением ГИС, GRID– и Веб– технологий Междисциплинарной программы Разработка научных основ распределенной информационно-аналитической системы на основе ГИС и Веб- технологий для междисциплинарных исследований ( гг.). Проект СО РАН Интеллектные методы автоматизации решения задач в параллельных и распределенных вычислительных средах Приоритетного направления IV.31. Проблемы создания глобальных и интегрированных информационно- телекоммуникационных систем и сетей. Развитие технологий GRID Программы IV.31.1 Фундаментальные основы и прикладные аспекты вычислительных и информационных технологий, в том числе технологий на базе GRID, в интегрированных информационно- телекоммуникационных системах и сетях ( гг.).

6 Научные программы и проекты Интеграционные проекты СО РАН Интеграционный проект СО РАН Методы, технологии и инструментальные средства создания вычислительной инфраструктуры в сети Internet ( гг.). Проекты по программам фундаментальных исследований президиума РАН Проект СО РАН 3 Концептуальные основы и программные средства разработки проблемно-ориентированных распределенных вычислительных сред программы фундаментальных исследований Президиума РАН 13 Проблемы создания национальной научной распределенной информационно-вычисли­тель­ной среды на основе развития GRID технологий и современных телекоммуникационных сетей ( гг.).

7 Научные программы и проекты Проекты РФФИ в Разработка и реализация распределенной вычислительной системы решения булевых уравнений большой размерности ( гг.) а Разработка и исследование булевых моделей предметной области в задаче планирования при синтезе программ ( гг.) a Характеризация сложности обращения дискретных функций в задачах криптографии и интервального анализа ( гг.) а Технологии интеллектуального анализа данных и высокопроизводительных информационно-вычислительных ресурсов для поддержки междисциплинарных фундаментальных исследований в области геоэкологии и природопользования ( гг.) а Средства создания и поддержки проблемно-ориентированных распределенных систем, основанных на знаниях ( гг.). Программа Сибирского отделения РАН Суперкомпьютер Проект Создание и развитие Суперкомпьютерного центра коллективного пользования для нужд Иркутского научно-образовательного комплекса (2004 – 2009 г.г.).

8 Пакеты прикладных программ Инструментальные средства организации параллельных и распределенных вычислений (с 2005 г.) DISCENTDISCOMPORLANDO TOOLSСИРИУС Метасистема САТУРН ( ) Инструментальный комплекс САТУРН/ПК, ГрИС ВИЗИТ ( ) Распределенная вычислительная среда САТУРН ( ) Развитие технологий организации параллельных и распределенных вычислений КОНУСD-SATРЕБУСR-SIM Распределенная вычислительная среда Решение задач моделирования складского комплекса, исследования филогенетических отношений сиговых рыб Байкала, сравнительно-геномного анализа водоросли Synedra Acus и др.

9 Основные научные результаты Предложен новый подход к построению параллельных асинхронных планов требуемой длины для решения вычислительных задач в мультипроцессорной среде. Разработана оригинальная концептуальная модель разнородной распределенной вычислительной среды. Разработаны высокоуровневое программное обеспечение и технология его применения, предназначенные для комплексного описания и анализа эффективности функционирования проектируемых распределенных кластерных систем модульного программирования. Разработаны интеллектные методы и инструментальные средства поддержки парадигм параллельного и распределенного программирования для кластерных вычислительных систем. Разработаны технология и инструментальный комплекс для организации кластерных Grid. Разработана принципиально новая интегрированная инструментальная среда булева моделирования и решения дискретных задач. Создан многофункциональный транслятор алгоритмов вычисления дискретных функций в системы булевых уравнений. Разработана и реализована технология крупноблочного распараллеливания SAT-задач. Разработаны новые алгоритмы гибридного (SAT+ROBDD) логического вывода, Реализован параллельный SAT решатель оригинальной архитектуры.

10 Построение параллельных асинхронных планов решения задач Предложен новый подход к построению параллельных асинхронных планов требуемой длины для решения вычислительных задач в мультипроцессорной среде. Условия задачи планирования сформулированы в виде системы булевых уравнений (ограничений), решения которой определяют возможные планы активизации программных модулей. Учитываются ограничения на число используемых узлов мультипроцессорной вычислительной среды, временные задержки, возникающие при исполнении программных модулей, а также множественность установки модулей в узлах.

11 Условия задачи планирования Условия задачи планирования представлены в виде системы булевых уравнений (ограничений), решения которой определяют возможные планы активизации программных модулей, расположенных в узлах вычислительной системы. если

12 Концептуальная модель разнородной распределенной вычислительной среды Разработана оригинальная концептуальная модель разнородной распределенной вычислительной среды, сформулированы условия ее полноты и целостности, реализованы средства ее построения. Модель имеет сложную многоуровневую структуру и позволяет описывать проблемно-ориентированный, программно-аппаратный, имитационный и вычислительный слои знаний о распределенной вычислительной среде, а так же определять и совместно использовать различные модели параллельных и распределенных вычислений, такие как модели программирования приложений, модели планирования вычислительных процессов и загрузки ресурсов

13 Имитационное моделирование распределенных вычислительных систем Разработаны высокоуровневое программное обеспечение и технология его применения, предназначенные для комплексного описания и анализа эффективности функционирования проектируемых распределенных кластерных систем модульного программирования (КСМП) на основе средств и методов визуального программирования, распределенного имитационного моделирования и автоматизации процессов построения моделей исследуемых систем и проведения по этим моделям широкомасштабных ресурсоемких вычислительных экспериментов.

14 Интеллектные методы и инструментальные средства поддержки параллельного и распределенного программирования Разработаны интеллектные методы и инструментальные средства поддержки парадигм параллельного и распределенного программирования для кластерных вычислительных систем. Новые модели, алгоритмы и программные средства обеспечивают возможность реализации в создаваемых параллельных программах как параллелизма по управлению, свойственного системам крупноблочного программирования, так и параллелизма по данным, характерного для задач многовариантного анализа и обработки больших массивов данных, допускающих естественную декомпозицию на независимые сегменты. Инструментальный комплекс Orlando Tools для автоматического конструирования асинхронных параллельных программ

15 Интеллектные методы и инструментальные средства поддержки параллельного и распределенного программирования Инструментальный комплекс DISCOMP для разработки распределенных пакетов прикладных программ в разнородных вычислительных средах

16 Организация кластерных Grid Разработаны технология и инструментальный комплекс для организации кластерных Grid, обеспечивающие, в отличие от известных, широкий набор средств решения ресурсоемких научно-исследовательских задач различных типов и эффективное управление потоками разнотипных заданий в Grid, а так же возможность интеграции с другими Grid- системами и унифицированный прозрачный доступ пользователей ко всем ресурсам интегрированной Grid-системы.

17 Интегрированная инструментальная среда программирования в булевых ограничениях Разработана принципиально новая интегрированная инструментальная среда, объединяющая решатели комбинаторных задач большой размерности в единую систему, позволяющая автоматизировать процесс построения булевой модели решаемой дискретной задачи, выбирать из базы знаний (исходя из свойств полученной модели и накопленной статистики решения задач) подходящий алгоритм решения, проводить вычислительный эксперимент как в последовательном режиме на автономной рабочей станции, так и параллельно на высокопроизводительном кластере, сохранять результаты расчетов в пользовательской базе данных, включать в базу знаний инструментальной среды новые модели и алгоритмы.

18 Проблемы обращения дискретных функций На основе общих процедур пропозиционального кодирования формальных вычислительных моделей создан многофункциональный транслятор алгоритмов вычисления дискретных функций в системы булевых уравнений. С использованием разработанных методов исследован один класс дискретных моделей генных сетей. Решены задачи поиска неподвижных точек соответствующих автоматных отображений и задачи синтеза матриц смежности функциональных графов.

19 Проблемы обращения дискретных функций Разработана и реализована технология крупноблочного распараллеливания SAT-задач, с помощью которой решены задачи криптоанализа ряда алгоритмов поточного шифрования в параллельных и распределенных вычислительных средах. Изучены свойства декомпозиционных представлений систем булевых уравнений в контексте проблемы обращения полиномиально вычислимых дискретных функций. Разработаны новые алгоритмы гибридного (SAT+ROBDD) логического вывода, доказаны основные теоремы о полноте и корректности. Разработаны алгоритмы работы с ROBDD как с базами булевых ограничений, доказаны полиномиальные оценки сложности данных алгоритмов. Реализован в виде MPI-приложения параллельный SAT решатель оригинальной архитектуры, ключевой особенностью которого является межпроцессорный обмен ограничениями, представленными в виде ROBDD.

20 Вычислительный кластер МВС-1000/16 32 CPU Intel Xeon DP, интерконнект – Myrinet 2000 & Gigabit Ethernet Пиковая производительность ~ 0,17 TFlops Вычислительный кластер «Blackford» 40 CPU Quad-Core Intel Xeon E5345, интерконнект – 2 x Gigabit Ethernet Реальная производительность (HPL) – 924 GFlops Пиковая производ. ~ 1,5 TFlops 41е место в 9 редакции ТОП-50 СНГ 50е место в 10 редакции ТОП-50 СНГ Вычислительные ресурсы СКЦ

21 Платформа SuperServer SYS-7046GT-TRF-TC4 CPU 2 x Intel Nehalem 4Core X GHz RAM 12 x 2 GB RAM DDR HDD 8 x SEAGATE 500 GB SATA GPU 4 x NVIDIA TESLA C1060 (всего 960 ядер) Среда программирования CUDA Пик. произв. (опер. с плав. точкой с один. точностью) ~3,73 TFlops Пик. произв. (опер. с плав. точкой с двойной точностью) 312 GFlops ВЫЧИСЛИТЕЛЬНЫЙ СЕРВЕР НА GPU TESLA

22 Гибридная архитектура КВК (вычислительные модули T-Blade первого и второго поколения, в т.ч. оснащенные GPU NVIDIA Fermi) Расчетная пиковая производительность КВК – не менее 47 TFlops Предполагаемая производительность на Linpack ~35 TFlops Системная сеть – Infiniband QDR c пропускной способностью 40 ГБ/сек Вспомогательная сеть – Gigabit Ethernet Кластерная система хранения данных с параллельным доступом к данным, дисковой емкостью не менее 60 TB, производительностью > 600 МБ/сек Система бесперебойного питания КВК Двухуровневая система охлаждения КВК (вода + фреон) Система автоматического газового пожаротушения Комплект системного программного обеспечения Подготовка проектно-сметной документации ( г.г.). Реконструкция помещения для размещения КВК ( г.г.). Приобретение, монтаж, наладка и запуск в эксплуатацию КВК ( г.г.). Проект создания КВК нового поколения Этапы реализации проекта

23 Основные выводы На основе комплексного использования методов концептуального крупноблочного программирования, мультиагентных технологий, логических методов синтеза и конструирования программ, булевых уравнений и методов их решения, технологий баз знаний, Grid-технологий созданы оригинальные модели, методы, алгоритмы и высокоуровневые (ориентированные на предметных специалистов) инструментальные средства, обеспечивающие эффективное использование высокопроизводительных ресурсов без погружения в особенности низкоуровневого параллельного (распределенного) программирования решаемой задачи путем автоматического синтеза параллельной (распределенной) крупноблочной программы по целевому содержательному запросу на вычислительной модели проблемно-ориентированного программно-аппаратного вычислительного комплекса.

24 Публикации по научным проектам и программам Монографий1 Публикаций в российских журналах45 Публикаций в трудах международных конференций 42 Публикаций в трудах российских конференций 69 Публикаций в тематических сборниках научных трудов 10 Авторефератов диссертаций8 Свидетельств об официальной регистрации программы для ЭВМ 1717

25 Подготовка специалистов в вузах 2008 год. ИМЭИ ИГУ. Кафедра теории систем. Открытие специализации Параллельные и распределенные вычислительные системы для специальности Математическое обеспечение и администрирование информационных систем Предметы: Параллельные вычислительные системы. Программирование систем с распределенной памятью. Программирование систем с общей памятью.Администрирование кластерных систем Grid-технологии