Департамент инфраструктурных решений www.it.ru 1 Научно-практическая конференция «Информационная система инновационного вуза» 30 мая 2008 г. Опыт создания. - презентация

1 Департамент инфраструктурных решений 1 Научно-практическая конференция «Информационная система инновационного вуза» 30 мая 2008 г. Опыт создания суперкомпьютера Уфимского государственного технического университета Павел Синицын, менеджер по продажам отдела продаж бизнес-серверов

2 Опыт создания суперкомпьютера Уфимского государственного технического университета 2 Этапы создания суперкомпьютера Формализация требований (ТЗ) Проектирование подсистем Закупка оборудования Монтаж систем Пусконаладочные работы Тестирование суперкомпьютера Важно: исполнителей может быть много, но у проекта должен быть ОДИН куратор

3 Опыт создания суперкомпьютера Уфимского государственного технического университета 3 Проектирование подсистем - проектирование вычислительной системы

4 Опыт создания суперкомпьютера Уфимского государственного технического университета 4 Проектирование подсистем - проектирование системы охлаждения

5 Опыт создания суперкомпьютера Уфимского государственного технического университета 5 Проектирование подсистем - проектирование системы энергоснабжения

6 Опыт создания суперкомпьютера Уфимского государственного технического университета 6 Проектирование подсистем - планирование размещения оборудования и кабельных трасс

7 Опыт создания суперкомпьютера Уфимского государственного технического университета 7 … и вот … результаты проектирования

8 Опыт создания суперкомпьютера Уфимского государственного технического университета 8 … и вот … результаты проектирования

9 Опыт создания суперкомпьютера Уфимского государственного технического университета 9 Технические характеристики суперкомпьютера УГАТУ Число вычислительных узлов / процессоров / вычислительных ядер266 / 532 / 2128 Конструктив узлаблейд-сервер IBM типа HS21XM Количество монтажных шкафов вычислительного кластера6 Тип процессора четырехъядерные процессоры Intel Xeon ,33 ГГц Пиковая производительность20 Тфлопс Производительность на тесте Linpack1 5,45 Тфлопс Тип системной сетиInfiniBand 4х SDR Скорость передачи сообщений между узламидо 10 Гбит/сек Тип управляющей (вспомогательной) сетиGigabit Ethernet Тип сервисной сетиGigabit Ethernet Оперативная память2,16 Тбайт Дисковая память вычислительных узлов19,5 Тбайт Дисковая память системы управления7,2 Тбайт Тип системы хранения данныхIBM DS3400, дублированная Площадь помещения, где установлен СК 53 м 2 Минимальная необходимая площадь 38,4 м 2 (при высоте потолка 3 м) Потребляемая мощность вычислительного кластера85 кВт Потребляемая мощность установки в целом130 кВт Вес вычислительного кластера5,4 тонн Характеристики суперкомпьютера

10 Опыт создания суперкомпьютера Уфимского государственного технического университета 10 Характеристики суперкомпьютера (продолжение) Система бесперебойного электропитания: Типоn-line Исполнениемодульное Количество монтажных шкафов4 Максимальная мощность160 (120+40) кВт Резервирование3+1, «горячая замена» компонентов Вес системы2,45 тонн Климатическая система: Тип модульная, замкнутого типа, на основе воздушно-водяного теплообменника Холодопроизводительность110 кВт Резервирование1+1 ТеплоносительВодный раствор этиленгликоля Количество холодильных машин2 Вес системы3,6 тонн

11 Опыт создания суперкомпьютера Уфимского государственного технического университета 11 Уникальность настоящего проекта 1. Кластер построен на оборудовании IBM и Cisco (первая поставка «тяжелого» IB-оборудования в Россию. 2. Реализация в системной сети кластера технологии «неблокируемого» IB. 3. Системный софт: сертифицированный RHEL v.4, параллельная файловая система, планировщик/сборщик, компиляторы – коммерческие продукты. 4. Использование модульной климатической установки замкнутого типа Rittal RiMatrix5. 5. Единая система управления климатической установкой и системой гарантированного электропитания.

12 Опыт создания суперкомпьютера Уфимского государственного технического университета 12 Контактные лица вендоров От IBM: ИП – Свидрицкий Андрей Системный консультант – Горбас Сергей От Cisco: Консультант – Абрамян Артур От Rittal: ИП – Башкиров Владимир От Intel: Консультант – Соркин Александр

13 Опыт создания суперкомпьютера Уфимского государственного технического университета 13 Команда АйТи Сотрудники уфимского офиса во главе с директором Бакиевым О. Сотрудники ДИР

14 Опыт создания суперкомпьютера Уфимского государственного технического университета 14 Практика расчета производительности кластера Единая методика расчета, результаты которой приводятся на TOP500 (WorldWide) и TOP50 (Россия) – TOP500-Tool-v3.6-1 автор: Jay Urbanski TOP500 Estimator Tool Customer Name УГАТУ Cluster Name IBM System Cluster 1350 Country Russia Main Blades # of Nodes 266 # of CPU cores/Node 8 GHz Rating 2,33 RAM / CPU Core (GB) 1 CPU Type Clovertown Interconnect Infiniband 4x Performance GFLOPS Rpeak ,0 (Peak performance) Estimated Rmax (Actual performance) Efficiency 73,50% (Percentage of peak)

15 Опыт создания суперкомпьютера Уфимского государственного технического университета 15 Практика расчета производительности кластера Часть 2 Комментарий: Последний TOP500 (ноябрь 2007): кластер УГАТУ занял 181 место (Rpeak =19,858 Tflops, Rmax=9,287 Tflops), если бы были готовы результаты тестирования по методикам Linpack Benchmark (завершено 24 января 2008 г. Rmax=15,454 Tflops), то в TOP500 заняли бы 76 место.

16 Опыт создания суперкомпьютера Уфимского государственного технического университета 16 Опыт создания суперкомпьютера Уфимского государственного технического университета Москва, ул. Кржижановского, 29, корп. 2, (а/я 116) Тел.: +7 (495) Факс: +7 (495) Синицын Павел Менеджер по продажам отдела продаж бизнес-серверов