Академик Б.Г. Михайленко, д.т.н. Б.М. Глинский ПРОЕКТ СОЗДАНИЯ РЕГИОНАЛЬНОГО СУПЕРКОМПЬЮТЕРНОГО ЦЕНТРА «СКИФ-СО РАН» НА ОСНОВЕ суперЭВМ РЯДА 4 «СКИФ»

2 «Страна, желающая победить в конкуренции, должна победить в вычислениях» Deborah Wince-Smith, президент Совета по конкурентоспособности США

Сегодня критические (прорывные) технологии в государствах, развивающих науку и строящих экономику, основанную на знаниях, исследуются и разрабатываются на базе широкого использования высокопроизводительных вычислений. Без серьезной суперкомпьютерной инфраструктуры: невозможно развивать фундаментальные исследования в науке; невозможно развивать перспективные технологии (биотехнологии,нанотехнологии, решения для энергетики будущего и т.п.); невозможно создать современные изделия высокой (аэрокосмическая техника, суда, энергетические блоки электростанций различных типов) и даже средней сложности (автомобили, конкурентоспособная бытовая техника и т.п.); невозможно быстрее конкурентов разрабатывать новые лекарства и материалы с заданными свойствами. 3

Предпосылки для создания регионального суперцентра «СКИФ - СО РАН» Наличие в Новосибирске 3-х академий: СО РАН; СО РАМН; СО РАСХН Необходимость информационной и аналитической поддержки органов власти Новосибирской области (мониторинг экологических и социальных процессов в области) Наличие крупных промышленных предприятий: НЗХК; ЭЛСИБ; НПО им. Чкалова и др. Развитие Технопарка Поддержка IT-фирм г. Новосибирска Развитие Центра Компетенции СО РАН-Intel 4

Технологические предпосылки создания центра «СКИФ-СО РАН» Наличие ССКЦ КП СО РАН, имеющего свободные площади для размещения СуперЭВМ ряда 4 семейства «СКИФ» Наличие квалифицированных кадров для обслуживания новой техники Существующая инфраструктура передачи данных СО РАН Технологические и методические наработки институтов СО РАН Центр Компетенции по высокопроизводительным вычислениям СО РАН - Intel 5

6 Первая очередь машинного зала ССКЦ (70 кв. м.) Вторая очередь машинного зала ССКЦ (70 кв. м.) Открытие кластера НКС-30Т (8 апреля 2009 г.)

Сервер с общей памятью (hp DL580 G5) Графическая станция SunBlade 2000 СИСТЕМА ВИЗУАЛИЗАЦИИ Сеть ИВМиМГ Сеть Internet ННЦ Ethernet GigabitEthernet FibreChannel GE Кластер HKC-160 (hp rx1620) В Ы Ч И С Л И Т Е Л Ь Н Ы Е Р Е С У Р С Ы С С К Ц К П 7 New !!! Кластер НКС-30Т (hp BL2X220c) ПРОГРАММНОЕОБЕСПЕЧЕНИЕ Системное Общематематическое Прикладное (ППП) 168 процессор. Itanium 2, 1,6 ГГц; InfiniBand, Gigabit Ethernet (GE); > 1 ТФлопс. 100 процессор. Intel Xeon Quad Core Е5450, 3 ГГц; InfiniBand, GE; 4,8 ТФлопс. 4 процессора Intel Xeon Quad Core Х7350, 2,93 ГГц, (16 ядер); 256 Гбайт общая память; 187,5 ГФлопс. …………… Параллельная СХД НКС Тбайт (max-2 Пбайт) СХД сервера с общей памятью 9 Тбайт (max-48 Тбайт) СИСТЕМЫ ХРАНЕНИЯ ДАННЫХ (СХД)

8 ОСНОВНЫЕ НАПРАВЛЕНИЯ РАБОТЫ ССКЦ КП Обеспечение работ институтов СО РАН и университетов Сибири по математическому моделированию в фундаментальных и прикладных исследованиях. Координация работ по развитию суперкомпьютерных центров РАН Сибири, осуществляемая Советом по супервычислениям при Президиуме СО РАН. Организация обучения специалистов СО РАН и студентов университетов (НГУ, НГТУ) методам параллельных вычислений на суперкомпьютерах (поддержка ежегодных зимних и летних школ по параллельному программированию для студентов). Сотрудничество с INTEL, HP и промышленными организациями, тестирование новых процессоров. Сетевое взаимодействие с другими Суперкомпьютерными центрами СО РАН, Москвы и других городов России, а также зарубежных стран, совместная разработка технологий распределенных вычислений. Центр обеспечивает вычислительными и консалтинговыми услугами 22 Института СО РАН, 3 университета, ФГУП «Вектор», НТЦ «Schlumberger».

Гранты, при выполнении которых использовались услуги ССКЦ в 2008 г. 9 Всего грантов, программ и проектов 98 Из них Российских 95, Международных 3. Грантов РФФИ – 37 Программ РАН – 16 Проектов СО РАН – 27 Программ Минобразнауки – 9 Другие – 9 _______________________________ Всего публикаций – 115 Российских – 64 Зарубежных –51 Гранты по институтам: Вектор – 1 ИВМиМГ – 35 ИВТ – 1 ИК – 5 ИКЗ (Тюмень) – 1 ИНГГиГ – 4 ИНХ – 1 ИТ – 3 ИТПМ – 12 ИФП – 2 ИХиХТ (Красноярск) – 1 ИХКиГ – 3 ИЦиГ – 17 ИЯФ – 3 НГТУ – 7 НГУ – 1 НИИ М МГУ (Москва) – 1

БОЛЬШИЕ ЗАДАЧИ ВЫЧИСЛИТЕЛЬНОГО МОДЕЛИРОВАНИЯ Конвекция в мантии Земли ИГиМ, ИВМиМГ СО РАН Термоаэродинамика летательных аппаратов ИТПМ СО РАН Эволюция протопланетной системы ИК, ИВМиМГ СО РАН Геномика, протеомика и биоинформатика ИЦГ СО РАН Прямые и обратные 2D и 3D задачи геофизики ИНГГиГ, ИВМиМГ СО РАН Моделирование полупроводниковых квантовых наноустройств ИФП СО РАН 10

Наращивание вычислительных мощностей ССКЦ до 30 – 40 ТFlop/s, в перспективе до 100. Создание на базе ССКЦ мощного центра коллективного пользования по высокопроизводительным вычислениям (HPC) на базе технических средств (HW) и программного обеспечения (SW) Intel. Отслеживание современных тенденций в области HPC, включая графические ускорители (GPU) и IBM Cell. Объединение основных вычислительных ресурсов ССКЦ, НГУ и Центра «Биоинформационных технологий», формируемого на базе ИЦиГ в рамках Программы «ГЕНОМИКА, ПРОТЕОМИКА И БИОИНФОРМАТИКА», организация их промышленной эксплуатации. Развитие Центра Компетенции по высокопроизводительным вычислениям СО РАН – Intel. Участие в создании Сибирского сегмента Grid по HPC, объединяющего ресурсы высокопроизводительных вычислительных мощностей Новосибирска, Томска, Красноярска, Иркутска в единый пул вычислительных ресурсов. К СТРАТЕГИИ РАЗВИТИЯ ССКЦ КП СО РАН 11

РЕШЕНИЕ «СКИФ» РЯДА 4 Решение превосходящее достижения в индустрии высокопроизводительных систем Уникальное по вычислительной плотности решение в индустрии 24 TFLOPS в стойке ( до CPU на 1U ) Максимально эффективное водяное охлаждение платы Отсутствие подвижных элементов на плате. Бесшумность работы. Линейка развития до 2012 года на базе текущего решения Возможность построения до 1 PFLOPS в 2009 году и до 5 PFLOPS в 2011 году Использование процессоров Intel Xeon 55xx и Intel Solid State Disk 12

Характеристики СуперЭВМ ряда 4 семейства «СКИФ» (2009 г.) Универсальная Архитектура Сети: –Отечественная сеть 3D Тор: малые времена обмена сообщениями, большая пропускная способность –Коммутируемая сеть Infiniband QDR –Сеть глобальной синхронизации узлов (тик, семафоры/барьеры, и пр.) –3 независимых сети мониторинга и управления Высокая плотность: более 10 CPU в 1U Передовое жидкостное охлаждение – отказоустойчивость и рекордно низкая стоимость владения Высокая надежность за счет полного отсутствия движущихся частей Гибридные вычисления – ускорители на ПЛИС 16 сентября 2012 г. СКИФ-ГРИД © 2009 Все права защищены Слайд 13

Шасси – самодостаточный элемент Бесшумность (нет движущихся механических частей) Производительность: 3 TFLOPS 32 узла, 64 процессора, 256 ядер (на основе Intel Xeon 5500) Энергопотребление до 12 КВатт Размеры: 6U (В) × 460 мм (Ш) × 1600 мм (Г) Два дополнительных управляющих узла (на каждые 16 стандартных узлов) Встроенный IB switch 40 свободных портов IB QDR Управление через сенсорный экран 16 сентября 2012 г.СКИФ-ГРИД © 2009 Все права защищены Слайд 14

ПАРТНЕРСТВО В РАЗРАБОТКЕ «СКИФ» РЯДА 4 СуперЭВМ ряда 4 семейства «СКИФ» создаются силами ИПС РАН в технологическом партнерстве с западными и отечественными участниками разработки: –Eurotech, Италия –Intel, США –Альт Линукс, НИЦЭВТ (Россия) и другие исполнители программы «СКИФ-ГРИД» Участие ИВМиМГ СО РАН: создание системного и прикладного программного обеспечения, ориентированного на параллельную реализацию больших численных моделей на «СКИФ-СО РАН» 15

16 Спасибо за внимание!