09.06.2013 Суперкомпьютерная Программа «СКИФ-ГРИД» Союзного государства Абрамов С.М., ИПС РАН Международная научная конференция «Параллельные вычислительные. - презентация

1 Суперкомпьютерная Программа «СКИФ-ГРИД» Союзного государства Абрамов С.М., ИПС РАН Международная научная конференция «Параллельные вычислительные технологии 2008» г. Санкт-Петербург 29 января 2008 г.

2 Слайд 2 Суперкомпьютерная Программа «СКИФ-ГРИД» Союзного государства Разработка и использование программно- аппаратных средств GRID-технологий и перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ» Шифр «СКИФ-ГРИД»

3 Слайд 3 Формирование и начало Программы 1.Июнь 2004 первая версия предложения 2.Март 2007 согласовано Правительством Союзного Государства 3.Май-июнь 2007 формирование комплексных проектов (2007–2008 гг.), проведение конкурсов 4.Июль 2007 заключение контрактов 5.Сентябрь 2007 окончание первого этапа 6.Декабрь 2007 окончание второго этапа

4 Слайд 4 О Программе «СКИФ-ГРИД» Программа Союзного государства Продолжение Программы «СКИФ» 2000–2004 гг Бюджетные средства Союзного государства (млн. российских руб. ) Всего Всего 681,0111,6147,1210,4211,9 из них: Российская Федерация 446,579,0107,5124,0136,0 Республика Беларусь 234,532,639,686,475,9

5 Слайд 5 «СКИФ» и «СКИФ-ГРИД» СКИФСКИФ-ГРИД Бюджет РФ % Бюджет РБ % Бюджет всего % ВидНИОКР, только бюджет НИР, 1/3 привл. средства Соисполнителей РФ~10>20 (2030)> 200% Объем работСК + Пилотные ГРИД + СК + Инф.Без. + Пилотные > 200%

6 Слайд 6 Работы в 2007 году (РФ) Направление 1: ГРИД-технологии 1.1 Технологии развёртывания сред Организация шлюза RDIG«СКИФ Полигон» (НИИЯФ МГУ) Мониторинг, учёт ресурсов (ОИЯИ) (ИПС РАН) Генерация грид-сервисов на основе Т-программ (ИПС РАН)

7 Слайд 7 Работы в 2007 году (РФ) Направление 1: ГРИД-технологии 1.2 Высокопроизводительные вычисления OpenTS для гетерогенной среды ОС «Линукс»+ОС «Windows» (ИПС РАН) DVM-система для гетерогенных кластеров (ИПМ РАН) Сервис хранения данных на основе стандарта Common Data Model (CDM) основа архивов климатической, геофизической информации (ГЦ РАН) Проект сервиса медико-биологических данных (ИХФ РАН) Грид-технологии для решения обратных задач (дифракция э/м волн, зондирование) (Пензенский Гос. Университет, НИВЦ МГУ) Грид-технологии для молекулярного моделирования (МГУ, ЧелГУ, ИПХФ РАН)

8 Слайд 8 Работы в 2007 году (РФ) Направление 2: Суперкомпьютеры 2.3 Модули и узлы суперкомпьютеров семейства СКИФ Модули сервера-лезвия для «СКИФ Т-60», разработка и изготовление (Т-платформы) Проект ускорителя на основе СЦОС семейства «САЛЮТ» (ФГУП НПЦ «ЭЛВИС») 2.4 Опытные образцы «СКИФ Т-60»: создание проекта, закупка компонент, начало монтажа (ИПС РАН, Т- платформы, МГУ)

9 Слайд 9 Работы в 2007 году (РФ) Направление 2: Суперкомпьютеры 2.1 Базовое ПО Дистрибутив ОС «Линукс», оптимизированный для кластерных систем (ООО «АльтЛинукс») 2.2 Средства разработки ПО Средства сертификации параллельных программ (НИВЦ МГУ) DVM-система на кластерах «СКИФ» (ИПМ РАН)

10 Слайд 10 Работы в 2007 году (РФ) Направление 3: Информационная безопасность 3.1 Информационная безопасность Прототип среды активного мониторинга (ИПС РАН)

11 Слайд 11 Работы в 2007 году (РФ) Направление 4: Пилотные проекты 4.1 «СКИФ Полигон» Формирование «СКИФ Полигона» как федерации суперкомпьютерных центров (ТГУ, МГУ, ННГУ, ЮУрГУ) Развёртывание части инфраструктуры Полигона (ИПС РАН, НИВЦ МГУ)

12 Слайд 12 Работы в 2007 году (РФ) Направление 4: Пилотные проекты 4.2 Пилотные проекты Исследование геномных баз данных (ИППИ РАН) Создание макета ПО ЦОД для данных ДЗЗ (ИКИ РАН) Модернизация программного комплекса для расчета выхода и распространения радиоактивных загрязнений (СПб АЭП) Исследование возможностей ПО «СКИФ» для моделирования системы передачи цифровой информации (НИИКС) Моделирование микросхем (ООО «ЮникАйСиз»)

13 Слайд 13 1.ГРИД-технологии Программное обеспечение промежуточного уровня (ППО), ПО организации ГРИД-вычислений, ГРИД-БД и т.п. 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 HW. Модули, компоненты, аппаратные решения суперкомпьютеров «СКИФ» SW. Программное обеспечение суперкомпьютеров «СКИФ»: ОС, дистрибутив, средства администрирования, средства разработки прикладного ПО Опытные образцы суперкомпьютеров «СКИФ» 3.Информационная безопасность 4.Пилотные проекты Создание СКИФ Полигона... Пилотные инструментальные и прикладные системы

14 Слайд 14 Организация Программы: 2007–2008 гг Направления работ 1.Грид-технологии 2.Суперкомпьютеры (HW+SW) 3.Безопасность 4.Пилотные проекты

15 Слайд 15 Программа «СКИФ-ГРИД» : СКИФ К-500 (0.7Т) R&D: отечественный комплект ПО для суперЭВМ и ГРИД, СКИФ-Полигон, Пилотные проекты 2004: СКИФ К-1000 (2.5Т) R&D: отечественный interconnect, blades, термодизайн, ServNet и т.п. R&D: отечественные нестандартные архитектуры, ускорители... СКИФ Cyberia (12T) СКИФ Т-60 СКИФ с нестандартной архитектурой (ускорители, подобные Cell, и т.п.) Программы «СКИФ» и «СКИФ-ГРИД» Подготовка и проведения тендера на период Подготовка и проведения тендера на период

16 ГРИД-технологии

17 Слайд 17 1.ГРИД-технологии Программное обеспечение промежуточного уровня (ППО), ПО организации ГРИД-вычислений, ГРИД-БД и т.п. Шлюз RDIG«СКИФ Полигон» НИИЯФ МГУ Мониторинг, учёт ресурсов ОИЯИ ИПС РАН Средства генерации ГРИД-сервисов по Т-программам ИПС РАН OpenTS для распределенных гетерогенных сред ИПС РАН DVM для распределенных гетерогенных сред ИПМ им. М.В.Келдыша РАН Сервис хранения данных на базе CDM ГЦ РАН ГРИД-оболочки для инженерных пакетов ЮУрГУ 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность 4.Пилотные проекты

18 Слайд 18 Направление «ГРИД-технологии» Название Исследование и разработка технологий распределенных вычислительных сред с эффективной поддержкой массового доступа к распределенным информационным и вычислительным ресурсам Исполнители ИПС РАН, НИИЯФ МГУ, ОИЯИ

19 Слайд 19 Проект «Сопряжение с ППО РДИГ/EGEE», НИИЯФ МГУ За собственные средства НИИЯФ МГУ, был создан действующий макет сайта СКИФ-ГРИД Схема развязки ППО РДИГа и СКИФа Упрощенная схема макета сайта СКИФ-ГРИД Здесь ВЭ вычислительный элемент (CE gLite), Шлюз на основе WN gLite, осуществляющий передачу РДИГ-заданий в СК СКИФ. РДИГ/EGEE ВЭ Шлюз СК СКИФ

20 Слайд 20 Многопроцессорный кластер макет СК СКИФ, НИИЯФ МГУ Вид сзади Верхний блок сетевой переключатель Infiniband

21 Слайд 21 Проект «Средства мониторинга», ОИЯИ Развитие средств мониторинга и учёта ресурсов На основе open source решений для EGEE

22 Слайд 22 Исходные тексты Т- программы Генератор Web- сервисов TWSGen WSDL описа- ние сервиса, клиентские и серверные заглушки, исполняемый файл сервера gSOAP G++ Исполнитель ИПС РАН Цель облегчить развёртывание сервисно- ориентированных сред Проект «Генерация Web-сервисов», ИПС РАН

23 Слайд 23 Проект ИПС РАН Цель развертывание высокопроизводительной ГРИД-сети на основе простаивающих компьютеров Целевая аудитория школы, ВУЗы Использование технологий виртуальных машин Гибкое управление отдаваемым ресурсом Учет вклада «доноров»

24 Слайд 24 НАПРАВЛЕНИЕ ГРИД-ТЕХНОЛОГИИ ПРОЕКТ 1.2 Название Разработка технологий высокопроизводительных вычислений с использованием неоднородных территориально- распределенных вычислительных ресурсов Исполнители Геофизический Центр РАН ИХФ РАН ИПХФ РАН (г. Черноголовка) Челябинский Государственный Университет НИВЦ МГУ НИИФХБ МГУ им. Белозерского Пензенский Государственный Университет СПбГПУ

25 Слайд 25 Проект «СDM-Хранилище» Геофизический Центр (ГЦ) РАН Мотивация необходимо «удобное» средство сбора, хранения, визуализации и доставки массивов научных данных в ГРИД- среде Используется Common Data Model (CDM) формат

26 Слайд 26 Подпроект «СDM-Хранилище» Геофизический Центр (ГЦ) РАН Встроенные механизмы распределенной обработки OGSA-DAI Интегрирующий сервис на основе параллельной файловой системы и Parallel NetCDF Параллельные кластеры баз данных Использование Система Поиска Погодных Сценариев (СППС): Environmental Scenario Search Engine (ESSE) Временной ряд является траекторией в многомерном фазовом пространстве (Pдавление, Tтемпература)

27 Слайд 27 Проект «СDM-Хранилище» Геофизический Центр (ГЦ) РАН Создан специализированный вычислительный кластер: 8 × 2 CPU = 16 CPU, ΣHDD = 60 TB Разработан прототип CDM-хранилища данных на основе кластера баз данных MS SQL Server Разработан и реализован встраиваемый модуль контейнера OGSA-DAI для доступа к хранилищу данных в среде Грид Разработаны средства визуализации выборок данных из CDM-хранилища в виде клиентов для MS Virtual Earth и NASA 6 публикаций (доклады на конференциях, статьи)

28 Слайд 28 DEFORM CAEBean ABAQUS CAEBean ГРИД-оболочки для инженерных пакетов, ЮУрГУ

29 Слайд 29 ANSYS CFX CAEBean ANSYS Mechanical CAEBean ГРИД-оболочки для инженерных пакетов, ЮУрГУ

30 Слайд 30 ГРИД-оболочки для инженерных пакетов, Овализация труб при закалке. ЮУрГУ

31 Слайд 31 ГРИД-оболочки для инженерных пакетов, Резьбовые соединения труб для нефтяных скважин. ЮУрГУ

32 Суперкомпьютеры «СКИФ» 2.1 HW. Модули, компоненты...

33 Слайд 33 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 HW. Модули, компоненты, аппаратные решения суперкомпьютеров «СКИФ» Отечественные blade-решения, отечественный Interconnect, инфраструктура охлаждения, электропитания, хранения данных Т-Платформы Модули цифровой обработки сигналов ФГУП НПЦ «ЭЛВИС» Ускорители и модули нестандартной архитектуры... SW. Программное обеспечение суперкомпьютеров «СКИФ»: ОС, дистрибутив, средства администрирования, средства разработки прикладного ПО Опытные образцы суперкомпьютеров «СКИФ» 3.Информационная безопасность 4.Пилотные проекты

34 Слайд 34 ПРОЕКТ 2.3: Модули и компоненты суперкомпьютеров семейства «СКИФ» ряда 3 и 4 Полное название Разработка научно- технических решений и создание модулей для узлов и базовых конфигураций суперкомпьютеров семейства «СКИФ» ряда 3 и 4 Исполнители: ООО «Т-платформы» модули для СКИФ Т-60 ГУП НПЦ «ЭЛВИС» модули на базе СЦОС «Салют-02, 03, 04»

35 Слайд 35 НПЦ «ЭЛВИС»: Прототип модуля МЦОС-01

36 Слайд 36 Технические характеристики потенциального ряда СЦОС «САЛЮТ-xx» с унифицированной архитектурой Характеристика СЦОССАЛЮТ 02 САЛЮТ 03 САЛЮТ 04 Power Stream 7000 Impact RT 3200 Количество вычислительных узлов Производительность млрд. операций/с 32- битных операций с плавающей точкой (GFLOPs) MOPs Суммарная пропускная способность системы коммутации (Гбайт/с)

37 Суперкомпьютеры «СКИФ» 2.2 SW. Программное обеспечение...

38 Слайд 38 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 SW. Программное обеспечение суперкомпьютеров «СКИФ»: ОС, дистрибутив, средства администрирования, средства разработки прикладного ПО Дистрибутив ПО «СКИФ» ООО «ALT Linux» Средства сертификации параллельных программ НИВЦ МГУ DVM для суперкомпьютеров «СКИФ» ИПМ им. М.В.Келдыша РАН OpenTS и T-Sim для суперкомпьютеров «СКИФ» ИПМ им. М.В.Келдыша РАН 3.Информационная безопасность 4.Пилотные проекты

39 Слайд 39 Набор базового ПО для суперкомпьютеров «СКИФ», ООО «ALT Linux» Исполнитель ООО «ALT Linux» Дистрибутив ОС Linux, адаптированный для кластеров: Управление конфигурацией Включение дополнительных компонент

40 Слайд 40 Средства разработки ПО суперкомпьютеров «СКИФ», НИВЦ МГУ, ИПМ им М.В.Келдыша РАН, ИПС РАН Полное название «Создание программных средств эффективной разработки высокопроизводительных приложений для суперкомпьютеров семейства «СКИФ» ряда 3 и 4» Исполнители: ИПМ им М.В.Келдыша РАН DVM НИВЦ МГУ Система сертификации параллельных программ ИПС РАН T-Sim, OpenTS

41 Слайд 41 Размер в строках последовательных (SEQ) и параллельных (MPI,DVM) версий тестов NAS

42 Слайд 42 Исследование эффективности DVM- программ на СКИФ Полигоне ЮУрГУ Кластер ЮУрГУ Infinity 26 узлов сеть Infiniband: 2 × CPU Xeon EM64T 3.2 GHz RAM 2 GB тесты NAS NPB2.3 (MPI-программы) DVM-версии NAS NPB2.3 классические алгоритмы решения дискретных задач математической физики реальные приложения, разработанные в ИПМ РАН

43 Слайд 43 Сравнение времен выполнения MPI-версий и DVM-версий на 1, 4 и 16 процессорах

44 Слайд 44 Реальные приложения, разработанные в ИПМ РАН на языке Fortran-DVM Моделирование физических процессов в атомном реакторе: Zebra диффузионная модель Kin2d кинетическая модель Расчет солнечной конвекции: Convd трехмерная динамика и уравнение переноса в диффузионном приближении

45 Слайд 45 Времена выполнения и ускорение реальных DVM-приложений

46 Слайд 46 Проект «Система сертификации параллельных программ», НИВЦ МГУ Мотивация потребности разработчиков ПО Созданные компоненты Модуль Cleo для записи информации в БД, Модуль AntMon для записи информации в БД, Система визуализации динамических характеристик параллельных программ, Система анализа динамических характеристик параллельных программ. Пользователь, Администратор Интерфейсная часть ParCon Аналитическая часть ParCon Система мониторинга Antmon Вычислительные системы Система управление задачами Cleo поток задач

47 Слайд 47 Пример работы системы визуализации Занятость процессора Уровень загрузки Использование подкачки Загрузка сети

48 Слайд 48 Пример работы системы анализа Системное время процессоров Пользовательское время процессоров Уровень загрузки max min avg

49 Суперкомпьютеры «СКИФ» 2.3 Опытные образцы суперкомпьютеров «СКИФ»

50 Слайд 50 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 Опытные образцы суперкомпьютеров «СКИФ» : СКИФ Т-60 (60 Tflops), СКИФ Урал (15 Tflops) : СКИФ Т-xxx … СКИФ П-1 ??? : СКИФ с гибридной архитектурой 3.Информационная безопасность 4.Пилотные проекты

51 Суперкомпьютер «СКИФ Т-60»

52 Слайд 52 Суперкомпьютер «СКИФ Т-60» пик. 60Tflops ИПС РАН. Т-Платформы, МГУ

53 Слайд 53 Суперкомпьютер «СКИФ Т-60» ИПС РАН, МГУ, Т-Платформы, Intel политическая поддержка ГД РФ и «Единой России» Софинансирование «СКИФ-ГРИД» (44%) и МГУ (56%) От марта 2006 до марта 2007 Гигантский проект: 60 Tflops; ~1250 CPU, ~5,000 ядер Техническое взаимодействие на всех этапах проекта успех в каждой части основан на партнерстве

54 Слайд 54 Общие характеристики Теоретическая производительность ~60*10 12 операций над числами с плавающей точкой в секунду Передовые решения: Бездисковые вычислительные узлы (повышение надёжности) Использование новейших технологий ХарактеристикаЗначение Архитектура процессора: x86-64 Модель процессора: Intel XEON E5472 3,0 Ггц (4-ядерный) Число процессоров (число в узле × число узлов) = всего; число ядер всего (2 × 625) = 1 250; 5 000

55 Слайд 55 Общие характеристики продолжение Общий объем оперативной памяти всех вычислительных узлов: GB Общий объем дисковой памяти всех вычислительных узлов: GB Количество занимаемых аппаратных шкафов 42U: 14 Общая занимаемая площадь (включая подсистемы охлаждения, бесперебойного питания): 96м 2 Общее энергопотребление (включая подсистемы охлаждения, бесперебойного питания): 720 кВт

56 Слайд 56 «СКИФ Т-60»: Первые российские блейд- решения Первое российское blade-решение собственная разработка и производство компании «Т-Платформы» самая большая плотность в индустрии: 10 «лезвий» в корпусе высотой всего 5U (20 CPU / 80 cores / ~0.7 Tflops) плотность на 18% лучше, чем у любых аналогов единственный blade со стандартным PCI-Express

57 Слайд 57 Основные вычислительные узлы В рамках Программы «СКИФ-ГРИД» разработаны компанией Т- Платформы Форм-фактор: сервер-лезвие Высота: 5U Количество blade-модулей: 10 Количество блоков питания: 8 Суммарная мощность блоков питания: 5,2кВт Плотность на 18% лучше аналогов

58 Слайд 58 Характеристики blade-модуля CPU: 2x Intel XEON Clovertown/Harpertown RAM: 8 слотов 667 / 533MHz FB-DIMM Чипсет: Intel 5400 (Seaburg) HDD: До 2х дисков SATA 2.5 Ethernet: 2 x Gigabit Etherhet Расширение: Стандартный PCI-Express 8x

59 Слайд 59 Системная сеть Infiniband 4x DDR 6 x 144-портовых корневых коммутаторов 54 x 24-портовых граничных коммутатора FBB = 20 Gbit/s Задержка = 2.2 мксек

60 Слайд 60 Вспомогательная сеть 2 x 384-портовых коммутатора Gigabit Ethernet Коммутирующая способность 1536Gbps Cуммарная способность пересылки пакетов 571Mpps

61 Слайд 61 Подсистема хранения данных ReadyStorage ActiveScale Cluster Количество модулей: 12 Объем дискового пространства одного модуля: 5Тбайт Общий объем дискового пространства: 60 Тбайт Общая пропускная способность: 700 Мбайт/сек.

62 Слайд 62 Система охлаждения Модульное охлаждения на уровне ряда стоек в сочетании с герметизацией «горячего» коридора гарантированный отвод 30 кВт тепловой энергии от каждой стойки с вычислительными узлами гарантированное резервирование системы охлаждения N+1

63 Слайд 63 Бесперебойное электропитание Блоки мощностью 80 кВА 10 минут автономной работы Резервирование N+1 Обслуживание в «горячем режиме»

64 Слайд 64 Сервисная сеть ServNet T60, ИПС РАН (HW, SW, производство)

65 Слайд 65 «СКИФ Т-60» Заключение Отечественный суперкомпьютер на базе западных самых передовых решений Первый в Европе суперЭВМ с CPU Intel XEON Harpertown 42 nm Европа в очереди пропускала СКИФ Т-60 и СКИФ Урал На уровне самых мощных суперЭВМ в мире Обеспечение на несколько лет вперёд современным суперкомпьютером одного из крупнейших научно- образовательных центров России Решение для ряда 3 семейства «СКИФ»: СКИФ Урал

66 Опытные образцы суперкомпьютеров семейства «СКИФ»

67 Слайд Gflops СКИФ К Gflops СКИФ К Тflops СКИФ Cyberia 40–50 Tflops СКИФ T Gflops Первенец-М 26 Gflops ВМ Gflops Первенец (2 шт) Top500 и Top «СКИФ» Top1 Top10 Top100 Top300 Top200 Top400 Top500

68 Слайд 68 Суперкомпьютеры «СКИФ»: не уступая зарубежным аналогам Ноябрь 2003: СКИФ К-500 (128 процессоров) мощнее, чем Dell PowerEdge 2650 (160 процессоров) Ноябрь 2004: СКИФ К-1000: первое место в мире в TopCrunch (столкновение 3 автомобилей) Февраль 2007: СКИФ Cyberiа показывает показатели лучшие, чем у ряда современных суперЭВМ (Cray, HP, IBM, SUN): лучший (+8..13%) КПД=Linpack/Peak лучшую (x1,5..2) масштабируемость (STAR-CD)

69 Слайд 69 Ноябрь 2007, Россия в Top500: отечественные vs. импортируемые суперЭВМ

70 Слайд 70 Россия в Top500: отечественные vs. импортируемые суперЭВМ (до )

71 Слайд 71 Россия в Top500: отечественные vs. импортируемые суперЭВМ (до ) Закупок и модернизацийВ Top500 входили Отечественных5 (19%)12 (31%) Hewlett-Packard12 (46%)12 (31%) IBM7 (27%)11 (28%) Sun Microsystems2 (8%)4 (10%) ВСЕГО26 (100%)39 (100%)

72 Слайд 72 МВС1000М Gflops, НИИ «Квант», МСЦ, ИПМ им. М. В. Келдыша РАН СКИФ К Gflops, ОИПИ НАН Беларуси, НИИ ЭВМ, Т- Платформы, ИПС РАН СКИФ К Gflops, ОИПИ НАН Беларуси, НИИ ЭВМ, Т-Платформы, ИПС РАН СКИФ Cyberia 9019 Gflops, Т-Платформы Top500, отечественной разработки (Self-made)

73 Информационная безопасность

74 Слайд 74 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность Система активного аудита безопасности в ГРИД-сети выявление аномальной активности на основе статистического анализа ИПС РАН 4.Пилотные проекты

75 Слайд 75 Проект «Информационная безопасность», ИПС РАН Разработка средств и методов обеспечения информационной безопасности для территориально-распределённых неоднородных вычислительных комплексов на основе анализа угроз, уязвимостей ГРИД-систем «СКИФ» Разработка системы активного аудита безопасности выявление «аномальной активности» на основе статистического анализа

76 Слайд 76 Проект «Информационная безопасность», ИПС РАН Основные результаты 2007 года анализ основных угроз и уязвимостей разработка архитектуры системы активного аудита построение прототипа системы активного аудита Планы на 2008 год Развертывание макета на узлах «СКИФ Полигона» частичное наполнение системы готовыми модулями и правилами для работы в составе высокопроизводительных вычислительных комплексов

77 Пилотные проекты 4.1 Создание СКИФ Полигона

78 Слайд 78 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность 4.Пилотные проекты Создание СКИФ Полигона... ИПС РАН, НИВЦ МГУ, ТГУ, МГУ, ННГУ, ЮУрГУ и т.д. Пилотные системы инструментальные и прикладные...

79 Слайд 79 Развертывание системы «СКИФ Полигон» Полное название Развертывание и обеспечение эксплуатации пилотного сегмента распределённой вычислительной ГРИД-системы «СКИФ» как платформы для реализации пилотных приложений Участники НИВЦ МГУ, ТГУ, ННГУ им. Лобачевского, ЮУрГУ Возможно расширение состава участников Проблемы: эксплуатационные расходы, каналы, платный трафик

80 Слайд 80 Развертывание системы «СКИФ Полигон» Разработана концепция развертывания СКИФ Полигона Идёт согласование с исполнителями РБ В 2008 году планируется начать унификацию ПО на Кластер Infinity СКИФ Урал (ЮУрГУ) Tflops Кластер ННГУ 2.7 Tflops СКИФ К-1000 и К-500 (ОИПИ НАН) 2.5 (5) +0.7 Тflops СКИФ-Cyberia (ТГУ) 12 Тflops СКИФ Т-60 (МГУ) 60 Tflops Tflops Σ

81 Слайд 81 Инициатива «СКИФ Университетам» Университеты получают из разных источников возможность закупать суперЭВМ ВУЗы, закупая системы семейства СКИФ, получают дополнительно: скидки и льготы возможность включиться в СКИФ-Полигон получить доступ к ПО, технологиям и разработкам программ «СКИФ» и «СКИФ-ГРИД» получить информационную поддержку партнеров

82 Пилотные проекты. 4.1 Пилотные инструментальные и прикладные системы

83 Слайд 83 1.ГРИД-технологии 2.Суперкомпьютеры «СКИФ» ряда 3 и 4 3.Информационная безопасность 4.Пилотные проекты Пилотные инструментальные и прикладные системы ГРИД-сервис медико-биологических данных ИХФ РАН ГРИД-система решения задач дифракции э/м волн ПензГУ, НИВЦ МГУ ГРИД-системы молекулярного моделирования НИИФХБ МГУ, ИПХФ РАН, ХФ МГУ, ЧелГУ, НИВЦ МГУ Исследования геномных БД ИППИ РАН ГРИД-технологии обработки ДЗЗ ИКИ РАН Расчет выхода и распространения радиоактивных загрязнений СПб АЭП Моделирование системы передачи цифровой информации НИИКС Моделирование микросхем ООО «ЮникАйСиз»

84 Слайд 84 ПРОЕКТ 4.2: Пилотные проекты Полное название Разработка набора макетов и прототипов систем различного назначения по широкому спектру применения суперкомпьютерных систем и грид-технологий Исполнители 1. НИВЦ МГУ 2. НИИКС (филиал ГКНПЦ им. Хруничева) 3. ИКИ РАН 4. СПбАЭП (АТОМЭНЕРГОПРОЕКТ) 5. ИППИ РАН им. Харкевича 6. ООО «ЮникАйСиз» 7. Химический ф-т МГУ им. М.В. Ломоносова (с 2008) 8. ЮУрГУ

85 Слайд 85 Разработка ГРИД-сервисов для медико- биологических данных, ИХФ РАН им. Н.Н. Семёнова Разработка комплекса грид-сервисов для высокопроизводительной массовой обработки медико-биологических данных Цель обеспечить проведение исследований в области обработки цифровых маммограмм с использованием суперкомпьютеров «СКИФ» Аналог проекта MammoGrid

86 Слайд 86 Размерность рентгеновской маммограммы: ~ 4000х3000х256=12МБ Сдерживается техническими возможностями доступных врачам ресурсов хранения и обработки, чем больше тем точнее и надежнее диагностика. Диагностических приборов достаточно. По клиническим рекомендациям каждая женщина старше 40 лет должна проходить маммографическое обследование 1 раз в год. В 2006 году в России насчитывалось 48 млн. женщин старше 40 лет Обработка маммограмм задача большой размерности непальпируемый рак 3656х5487 пикселей динамический диапазон ~128

87 Слайд байт новых маммограмм ежегодно в России Среднее количество операций препроцессинга для 96 млн маммограмм ~ 1 млн / день Минимальное количество операций сравнения маммограм при дифференциальной диагностике ~ 10 млн / день Обработка глубже обнаружение раньше Статистика по 5-летней выживаемости: I стадия 84% II стадия 71% III стадия 48% IV стадия 18% Обработка маммограмм задача большой размерности

88 Слайд 88 Подпроект Пензенского Государственного Университета Web-ориентированный вычислительный комплекс для решения трехмерных векторных задач дифракции электромагнитных волн на основе субиерархических параллельных алгоритмов и GRID технологий

89 Слайд 89 Организация вычислительной системы Web-сервер (Apache, PHP) Сервер кластерной системы (программа вычислений) Узлы кластерной системы FTP-передача данных SSH-запуск вычислений FTP-передача результата Компьютер пользователя (Web-браузер) HTTP просмотр Web-страницы

90 Слайд 90 Проект Пензенского Государственного Университета Исходные данные форма объекта

91 Слайд 91 Проект «Техологии молекулярного моделирования с использованием ГРИД-сред» Проекты связаны с моделированием биосистем, вычислительным поиском веществ-кандидатов для лекарственных препаратов Исполнители: НИИФХБ МГУ им. Белозерского ИПХФ РАН (г. Черноголовка) Химический факультет МГУ имени М.В.Ломоносова Челябинский Государственный Университет НИВЦ МГУ имени М.В.Ломоносова

92 Слайд 92 ГРИД-сервис «Молекулярный докинг», НИИФХБ МГУ им. Белозерского 1. Исполняемая программа 2. Входные данные Пакет исполняемых заданий Lead® Платформа для организации грид-вычислений Прикладное программное обеспечение X-Com

93 Слайд 93 ГРИД-сервис «Молекулярный докинг», НИИФХБ МГУ им. Белозерского Е1 Е2 Е3 Е4 Е5 Е6 Е7 геометрия1 геометрия2 геометрия3 геометрия4 геометрия5 геометрия6 геометрия7 Многомерная поверхность потенциальной энергии Вычислительная задача молекулярный докинг Нахождение структуры комплекса белок-ингибитор, отвечающего лучшей энергии взаимодействия молекул

94 Слайд 94 Компьютерный поиск ингибиторов взаимодействия Hsp70 c Bag-1, НИИФХБ МГУ им. Белозерского Обсчитана база из коммерчески доступных соединений 18 из которых в настоящее время проходят экспериментальную проверку в Институте цитологии РАН Hsp70 Ингибитор

95 Слайд 95 ИПХФ (Черноголовка): Примеры практических результатов Крупномасштабные вычисления в области низкотемпературных химических реакций под сильным электромагнитным воздействием Были задействованы (в рамках РДИГ) до 300 процессоров разных ресурсных узлов Расчет данной задачи на единичном ПК (Pentium-4, 3.2 ГГц) занял бы около 5000 часов В распределенной среде решение заняло около 18 часов машинного времени Результаты расчета туннельной динамики протона под действием периодического магнитного поля

96 Слайд 96 Проекты Химического факультета МГУ имени М.В.Ломоносова Массивные расчеты поверхностей потенциальной энергии биомолекулярных систем комбинированными методами квантовой и молекулярной механики Научные приложения использования GRID: механизм ферментативного катализа ацетилхолинэстеразы; изучение природы флюоресцирующего белка asFP595

97 Слайд 97 Комбинированные методы квантовой и молекулярной механики ХФ МГУ узел(1)узел(2)узел(3)узел(4)узел(n-1)узел(n) входная информация обработка и распределение по узлам сборка и обработка информации результат …узлы… Квантово-механические расчеты молекулярно-механические расчеты

98 Слайд 98 Механизм ферментативного катализа ацетилхолинэстеразы Механизм ферментативного катализа ацетилхолинэстеразы ХФ МГУ ацетилхолинэстераза ключевой фермент нервной системы, ответственен за гидролиз нейротрансмиттера ацетилхолина при синапсе структура: 537 аминокислотных остатков, 12 β-листов, окруженных 14 α- спиралями

99 Слайд 99 Моделирование ферментативного катализа ацетилхолинэстеразы Моделирование ферментативного катализа ацетилхолинэстеразы ХФ МГУ Локализованы 7 стационарных точек на Поверхности Потенциальной Энергии Деацилирование лимитирующая стадия процесса 3.8 кКал/моль 15.9 кКал/моль 8.4 кКал/моль ES TS 1 TI 1 AE TS 2 TI 2 P 6.7 кКал/моль E координата реакции 4.9 кКал/моль 9.7 кКал/моль Результаты моделирования представлены в виде энергетической диаграммы

100 Слайд 100 Изучение природы флюоресцирующего белка asFP595 Изучение природы флюоресцирующего белка asFP595 ХФ МГУ белок asFP595, особенностью которого является флюоресценция в области оптически видимого света 595 nm (красный свет) при интенсивном облучении зеленым светом 565 nm структура: 238 аминокислотных остатка, 6 α-спиралей и 11 β-листов

101 Слайд 101 Моделирование механизма работы флюоресцирующего GFP-подобного белка asFP595 GFP (green fluorescent protein) белок, содержащий 238 аминокислотных остатков, выделенный из медузы. Данный белок применяют как генетическую метку, соединяя ген GFP воедино с генами других белков или вводя мРНК GFP во всевозможные клетки. Таким способом можно сделать видимыми места и темп образования белков, кодируемых другими генами, прослеживать рост клеточных клонов, в т.ч. патогенных бактерий и раковых клеток, а также наблюдать за размножением в организме всевозможных вирусов.

102 Слайд 102 Иллюстрации использования GFP маркера поросенок со встроенным геном желтого белка; нормальный справа GFP- помеченный белок крысиного нейрона мыши со встроенным геном GFP белка GFP- помеченные раковые опухоли мышей

103 Слайд 103 Нанотехнологии: биологические молекулярные моторы ХФ МГУ

104 Слайд 104 Наноустройства ХФ МГУ

105 Слайд 105 Моделирование супрамолекулярных соединений ЧелГУ Моделирование супрамолекулярных соединений Использование OpenTS как средства разработки ПО Сравнение с экспериментальными данными

106 Слайд 106 Моделирование супрамолекулярных соединений ЧелГУ Число процессоров Время выполнения, сУскорение Комплекс модельного рецептора с лекарственным средством (противоопухолевое действие) Комплекс дигидрофолатредуктазы с лекарственным средством (противоопухолевое действие)

107 Слайд 107 Открыт и запатентован новый класс прямых низко- молекулярных синтетических ингибиторов тромбина На разработку понадобилось около 1,5 лет Ингибирующая активность новых ингибиторов выше, чем у аргатробана На рисунке показано положение 4-х новых ингибиторов в активном центре тромбина IC50=2 наноМоля IC50=100 наноМолей Тромбин

108 Слайд 108 Расчет выхода и распространения радиоактивных загрязнений, ФГУП «СПбАЭП» Полное название Моделирование последствий чрезвычайных ситуаций и прогнозирование техногенных и природных катастроф. Программный комплекс для расчета выхода и распространения радиоактивных аэрозолей при запроектных авариях на АЭС Исполнитель Федеральное государственное унитарное предприятие «Санкт-Петербургский научно-исследовательский и проектно- конструкторский институт АТОМЭНЕРГОПРОЕКТ» (ФГУП «СПбАЭП»)

109 Слайд 109 Расчет выхода и распространения радиоактивных загрязнений, ФГУП «СПбАЭП». Распараллеливание Ускорение вычислений

110 Слайд 110 Перенос и осаждение частиц, ФГУП «СПбАЭП»

111 Слайд 111 Перенос и осаждение частиц, ФГУП «СПбАЭП»

112 Слайд 112 Экспериментальные исследования, ФГУП «СПбАЭП»

113 Слайд 113 Расчет выхода и распространения радиоактивных загрязнений, ФГУП «СПбАЭП». Верификация Турбулентное течение в канале при числе Рейнольдса 3200 с осаждение частиц. Число частиц Сравнение с результатом работы Wang Q., Squires K.D., Large Eddy Simulation of particle deposition in a vertical turbulent channel flow, Int. J. Multiphase Flow (1996), v. 22, N 4, pp. 667–683.

114 Слайд 114 Проект «Работа с распределёнными архивами данных ДЗЗ», ИКИ РАН Использование ГРИД и суперкомпьютеров для хранения и обработки данных Дистанционного Зондирования Земли (ДЗЗ) Синтез конечных информационных продуктов на основе промежуточных представлений данных

115 Слайд 115 Проект «Работа с распределёнными архивами данных ДЗЗ», ИКИ РАН Макетирование производилось с использованием распределенной системы сбора, обработки, архивации и распространения данных Информационной системы дистанционного мониторинга лесных пожаров (ИСДМ Рослесхоз) Для отработки сервисов создан действующий макет на основе распределенной системы хранения результатов обработки спутниковых данных в центрах приема в г.Москве, г. Новосибирске и г. Хабаровске. Созданные сервисы представления данных с использованием ГРИД-технологий (в частности решений WMS) опробованы при построении новых интерфейсов ИСДМ Рослесхоз

116 Слайд 116 Работа с распределёнными архивами данных ДЗЗ, ИКИ РАН, Пример интерфейса

117 Слайд 117 Применение: Анализ изменения климата за , ИКИ РАН

118 Слайд 118 Проект «Исследование геномных баз данных», ИППИ РАН им. Харкевича Мотивация: большой вновь создаваемых и известных генерируемых геномов: 741 бактериальных, 41 archeal, 139 эукариот Задача: найти филогенетическое дерево организмов (реконструкция вероятных геномов древних организмов)

119 Слайд 119 Web-сервер Программы «СКИФ-ГРИД» Открытие 13 декабря 2007 года Web 2.0 (Joomla) Поддерживается сообществом исполнителей Программы

120 Слайд 120 СПАСИБО ЗА ВНИМАНИЕ!