Суперкомпьютерный кластер СКИФ - Политех Введен в действие в феврале 2007 года

Конфигурация СКК Состав СКК: Выч. узлы: 24 Количество процессоров в узле: 2 Модель процессора: Intel Xeon 5150, 2.667GHz - двухядерный Объем ОЗУ: 8 ГБ Объем HDD: 120 ГБ Тип HDD: SATA Форм-фактор узла : 1U Коммуникационная сеть: QLogic InfiniPath Количество портов: 24 Пропускная способность FBB: 10Гбит/с Пропускная способность на уровне MPI: 800МБ/с Задержка на уровне MPI: 2.5 мкс Транспортная сеть Gigabit Ethernet 48 портов Сервисная сеть СКИФ-ServNet – управление узлами Система Хранения Данных Объем: 5 TB Производительность 350 МБ/сек Поддержка протоколов: NFS,CIFS СКИФ-Политех … compute nodes System Mgt node login nodes СХД Gigabit Ethernet QLogic InfiniPath TPUNet

Состав СКК-Управляющий узел Количество процессоров: 2 Модель процессора: Intel Xeon 5150, 2.667GHz Объем ОЗУ: 8ГБ Количество HDD: 4 Объем HDD: 120ГБ Тип HDD: SATA RE с возможностью горячей замены (Hot/Swap) Контроллер RAID: SATA 4-канальный Дополнительно: DVD/CDRW; FDD; 2-канальный контроллер FC Блок питания: Redundant 2x500W Форм-фактор: 2U

Показатели производительности СКК Пиковая производительность: 1021 Gflops (около 1 Tflops) – один триллион или 1×10 12 Fflops Максимально достигнутая производительность на тесте Linpack: 791 GFlops – вышли из топ 50 по России (начинали с 10-го) Размер матрицы, на котором эта производительность получена:

Системное программное обеспечение СКК ОС: -Linux (Novell SLES 10 - SUSE LINUX Enterprise Server) -MS Windows HPC Server 2008 Трансляторы с языков: C, C++, Fortran Библиотека параллельных программ: QLogic MPI ПО управления и мониторинга: Ganglia Toolkit, ServNet CLEO

Новые ресурсы В конце 2007 года приобретен SMP сервер Kraftway Express 400 в составе: –4 * CPU quad-Core Xeon ,00 GHz/ 1066 МГц –RAM 32 Gb (16*2 Gb) –5*HDD SCSI 146 Gb ОC – Windows HPC Server Enterprise 2008 ПО - MathWorks (Matlab), COMSOL Multiphysics, Wolfram Research (Mathematica 7.2) Gridmathematica (на 16 ядер) - Все Academic Editions

Новые ресурсы Intel® Math Kernel Library 10 Intel ® VTune Performance Analyzer 9 & Trace Analyzer And Collector 7.1 Intel® Cluster Toolkit Surfer (Golden Software) (Windows) OriginLab Origin 8 (Windows) – 2D-3D графика

Конфигурация Sblade Состав Sblade: Выч. лезвия: 40 Количество процессоров в лезвии: 8 Модель процессора: Quad-Core Intel Xeon X5570 2,93 ГГц (Nehalem) Объем ОЗУ лезвия: 12 ГБ Объем HDD лезвия: 250 ГБ Тип HDD: SATA Форм-фактор лезвия : SBI-7126T1E Шасси SBE-710E-R60 Коммуникационная сеть: InfiniBand Пропускная способность FBB: до 40Гбит/с Система Хранения Данных Объем: 15 TB Производительность 350 МБ/сек Поддержка протоколов: NFS,CIFS 4 шасси (40 лезвий) System Mgt node login nodes СХД InfiniBand Gigabit Ethernet TPUNet

Аппаратное обеспечение: Количество процессоров/ядер:80/320 Процессор (Nehalem) X5570: 2,93 Ghz Общий объем оперативной памяти: 480 Gb Общий объем внешней памяти:10 Tb Коммуникационная сеть: Infiniband Пиковая производительность:3,7 Tflops Тест Linpack:3,2 Tflops Программное обеспечение Операционные система: SUSE Linux 11 Прикладное ПО: Mathematica Matlab Comsol Eclipse Parallel – достигнуто соглашение Характеристика кластера

Системное программное обеспечение Sblade ОС: -Linux (Novell SLES 11 - SUSE LINUX Enterprise Server) Трансляторы с языков: gcc, Fortran, C++ (Portland), Библиотека параллельных программ: MVAPICH ПО управления и мониторинга: Ganglia Toolkit, SM IPMIView - ПО удал. админ Torgue

Варианты использования СКК Собственные программы на языках C, C++, Fortran – свободно рапспростроняемое СПО, возможны коммерческие варианты. Применение программных систем, обеспечивающих внутреннюю параллельность для выполнения расчетов (моделей) в различных предметных областях – коммерческое ПО.

Проблема программирования для СКК В исходном состоянии последовательные программы не распараллеливаются Для эффективного использования ресурсов СКК разрабатываются программы, обеспечивающие распараллеливание вычислений и сбалансированную загрузку процессоров. При разработке оригинальных программ необходимо выполнить анализ алгоритма вычислений на предмет выявления операций, которые могут быть выполнены параллельно. Трудоемкость разработки параллельных программ достаточно высока и следует оценивать эффективность затрат.

Операционные системы, среды и оболочки OpenMP OpenMP - система параллельного программирования в системах разделения оперативной памяти (SMP) Является квазистандартом программировангия Представляет собой API для Fortran и C/C++. –Директивы –Модули выполнения –Переменные среды

Операционные системы, среды и оболочки MPI-message passing interface MPI – средство для обеспечения обмена сообщения между процессами, выполняющимися на различных узлах при решении общей задачи на C и Fortran. Состоит из процедур и функций, предназначенных для управления группами взаимодействующих процессов (коммуникаторами), а также передачи и приема одиночных и коллективных сообщений между процессами.

Варианты технологии программирования Linux –Ssh, Командная строка, редактор VI, повторение компиляция-исполнение –VNC, Графическая среда, Eclipse PTP Windows HPC 2008 –RAS, VisualStudio

Порядок получения доступа на СКК Доступ к ресурсам СКК реализуется в удаленном режиме (через Интернет) Подготовить письмо на имя Научного руководителя ИКЦ с просьбой о выделении ресурсов СКК и заполнить анкету (форма заявления на сайте кластера Ознакомиться с информацией для пользователей на сайте Получить Login/Password в 202-а КЦ Приступить к использованию ресурсов СКК в режиме удаленного доступа Консультации по применению СКК и установки ПО проводят администраторы СКК в 202-а КЦ.

Одна из страниц сайта СКК Вопросы направлять по адресу

Типичное распределение загрузки СКК в европейском университете

ANSYS - конечно элементный пакет (FEM), предназначенный для решения в единой среде на одной и той же конечно-элементной модели задач по прочности, теплу, электромагнетизму, гидрогазодинамике, многодисциплинарного связанного анализа и оптимизации. Дополнительный модуль параллельных вычислений Parallel Performance for ANSYS позволяет решать большие задачи на кластерах.

Варианты ANSYS ANSYS CFX - для анализа гидрогазодинамических процессов, многофазных потоков, химической кинетики, горения, радиационного теплообмена и многих других Multiphysics – полный пакет включает все возможные физические дисциплины (прочность и тепло), а также электромагнитный анализ (магнитостатика, электростатика, электропроводность, низкочастотный гармонический анализ, высокочастотный анализ) и гидрогазодинамику (стационарная и нестационарная, сжимаемые и несжимаемые, ламинарные и турбулентные потоки; естественная и вынужденная конвекция, сопряженный теплоперенос; вязкие и многокомпонентные течения; фильтрация). Конкурент ANSYS ABAQUS-

Пример применения моделирования ANSYS Распределение нагрузки на элементы конструкции

ANSYS LSTC LS-DYNALSTC LS-DYNA Программный комплекс LSTC LS-DYNA - многоцелевой конечно-элементный комплекс разработки Livermore Software Technology Corp. - предназначен для анализа высоконелинейных и быстротекущих процессов в задачах механики твердого и жидкого тела.LSTC LS-DYNA LSTC LS-DYNA: нелинейная динамика, теплоперенос, теплообмен, термомеханика, разрушение и развитие трещин, контакт, квазистатика, Эйлерово и произвольное Лагранж-Эйлерово поведение, акустика, многодисциплинарный связанный анализ (взаимодействие потоков жидкостей и газов с деформируемой конструкцией, например, колебания жидкости в баках, связанные термомеханические задачи и др.).LSTC LS-DYNA Широко используется в Южно-Уральском университете

Другие пакеты, работающие на СКК MATLAB совместно с Distributed Computing Toolbox для СКК AutoCAD, Autodesk Inventor, CATIA, PRO/Engineer, SolidWorks, Unigraphics – задачи проектирования Gaussian – Химия, квантовая механика, молекулярная динамика Продукты MSC.Software –Реализует задачи полного комплекса моделирования, исследований и расчётов, создания интегрированной информационной среды в инженерных отделах предприятий, обеспечения связи систем CAE и CAD на высоком уровне: MSC.Nastran, MSC.Patran, MSC.ADAMS, MSC.Fatigue, MSC.Dytran, MSC.Marc, MSC.AMS, MSC.SuperModel, MSC.FlightLoads, MSC.Mvision, MSC.Construct, MSC.Akusmod. (Широко используются в ВУЗах – МГТУ им. Баумана, МФТИ, МИФИ, ИГТУ,…).

Химические пакеты Accelrys - поставщик ПО и решений для фармацевтики, биотехнологии и исследований химических производств. –AccordAccord –CatalystCatalyst –Cerius2Cerius2 –Chemical Databases ConsortiaChemical Databases Consortia –Discovery StudioDiscovery Studio –GCGGCG –Materials StudioMaterials Studio –QUANTAQUANTA –SciTegicSciTegic

Для нефтяной отрасти Schlumberger, ECLIPSE Petrel – высокопроизводительные вычисления при гидродинамическом моделировании.Schlumberger, ECLIPSE Petrel

Направления применений кластера Виртуальный промысел Центр спутниковых коммуникаций Повышение квалификации сотрудников университета Выполнение расчетов научных исследований