Практический опыт и особенности построения Суперкомпьютерного центра СГАУ «Сергей Королев» Колпащиков Андрей главный инженер компании «ПАРУС» (846) ,
Основание для создания центра Инновационная образовательная программа «Развитие центра компетенции и подготовки специалистов мирового уровня в области аэрокосмических и геоинформационных технологий» национального проекта «Образование» Программа развития национального исследовательского университета, при поддержке правительства Самарской области в рамках мероприятия «Развитие среды генерации знаний на базе межвузовского медиацентра путем создания суперкомпьютерного центра, ориентированного, в том числе, на исследования в сфере нанотехнологий, и наращивания телекоммуникационной инфраструктуры»
Этапы реализации 2008 год – техническое проектирование универсальной инженерной инфраструктуры СКЦ на базе комплексного решения APC InfraStruXure год – разработка решения по компьютерному кластеру IBM Cluster e1350 первого этапа на пиковую производительность 10Тфлопс. IV квартал 2009 года - строительная подготовка помещения СКЦ, поставка и монтаж оборудования и вспомогательных систем, а также доработка технического проекта для возможности поэтапного наращивания мощности суперкомпьютера до 25 и 50 Тфлопс. I квартал 2010 года - завершение пусконаладочных работ, опытная эксплуатация Центра. 12 апреля 2010 года торжественное открытие Центра
Состав систем инженерной инфраструктуры Шкафы для размещения серверного оборудования (NetShelter SX42U 750х1200мм). APC ISX Источник бесперебойного электропитания (Symmetra PX 112кВА (96кВА с N+1). APC ISX Кондиционирование по принципу рядного охлаждения с применением HACS-технологии (Hot Aisle Containment System изоляция «горячего» коридора). APC ISX Система подготовки «охлажденной» воды на базе чиллерных установок Carrier. Система мониторинга и управления ISX Central. APC ISX Система защиты от физических угроз NetBotz с видеонаблюдением. APC ISX Система подвода и распределения электропитания и заземления. Система обмена данными с компьютерной сетью СГАУ. Система автоматического газового пожаротушения. Фальшпол.
Схема размещения оборудования в СКЦ
Общий вид центра
Система кондиционирования Кондиционер InRow RP/RC Конденсаторный блок Компрессорный блок Чиллер Аварийный насос Бак с запасом воды
IBM Claster e1350. Состав 1-й очереди.
Функциональная схема Кластера
IBM BladeCenter H Высота 9U Отсеки для Blade-серверов 14 Интерфейс Ethernet, Fibre Channel (FC), InfiniBand, SCSI over IP (iSCSI) и др. IBM BladeCentr HS22 2 х Intel Xeon X5560, 2.80GHz, 8MB Cache 1333MHz, HDD SAS 73(146)Гб
R = 2800 x 896 x 4 x = 10,0352 Тфлопс. IBM Claster e1350. Характеристики Техническая характеристикаЗначение Число вычислительных узлов/ процессоров / вычислительных ядер 112 / 224 / 896 Модель вычислителя (Blade-сервер)HS22 Тип и количество процессоров на сервер 2 х Intel Xeon X5560, 2.80GHz, 8MB Cache 1333MHz Модель и количество кластерных шасси BladeCenter H, 8 шасси Пиковая производительность кластера 10,0352 Тфлопс* Оперативная память1,3125 Тб Тип системной сетиInfiniBand DDR, QDR Тип управляющей вспомогательной сети Gigabit Ethernet Количество монтажных шкафов 42U3
Перспективы развития Установка 2-й очереди кластера IBM на 25Тфлопс Доработка инженерной инфраструктуры в соответствии с проектом
Спасибо за внимание !