ГОТОВЫЕ РЕШЕНИЯ ДЛЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ В ПРОМЫШЛЕННОСТИ Андрей Слепухин Руководитель Центра Кластерных Технологий «Т-Платформы» Доклад на конференции ИТ-Бизнес-Металл, Москва, 19 июня 2007 г.

HPC В МИРОВОЙ ПРОМЫШЛЕННОСТИ Специальные программы Министерства энергетики и Национального научного фонда США : аренда ресурсов и сервис специалистов мощнейших суперкомпьютерных центров США для частных и государственных промышленных предприятий лучшим промышленным проектам предоставляются гранты в виде процессорных часов на суперкомпьютерах МЭ (95 млн. процессорных часов на 2007 г. по программе INSITE)

HPC В МИРОВОЙ ПРОМЫШЛЕННОСТИ 2 отчета Совета по конкурентоспособности США и IDC (опрос промышленных компаний, сотрудничавших с СЦ) Основные выводы: доступ компаний к наиболее мощным суперкомпьютерным ресурсам позволяет значительно повысить конкурентоспособность США в аэрокосмической отрасли, автомобилестроении, энергетике, национальной безопасности, фармацевтике, электронике «нация, отстающая в вычислительной мощи неконкурентоспособна» Результат: февраль 2006 г.: президент Джордж Буш объявил о решении удвоить бюджеты Министерства энергетики и Национального научного фонда на программы развития и внедрения суперкомпьютерных технологий

HPC В МИРОВОЙ ПРОМЫШЛЕННОСТИ «We could not be in business without HPC» Опрос компаний, сотрудничавших с СЦ: 52 компании (энергетика, автомобильная, аэрокосмическая отрасль, фармацевтика, биомедицина, химическое производство, полупроводники, разработка ПО) обороты > $1 млрд, лидеры отрасли Причины сотрудничества с СЦ для компаний: для 100% опрошенных HPC – основополагающий элемент бизнеса, 75% не могут обойтись без суперкомпьютеров доступ к наиболее мощным суперкомпьютерам + использование квалифицированного персонала с/к центров «Без HPC мы не могли бы разрабатывать новые модели автомобилей». Из отчета Council of Competitiveness

HPC В МИРОВОЙ ПРОМЫШЛЕННОСТИ Результаты сотрудничества для компаний: объем заработанных средств – от $200 тыс до $57 млн сокращение цикла разработки (до 2 раз - самолеты) сокращение расходов (до 40% - автомобили) и увеличение прибыли доступ к более мощным суперкомпьютерам позволил решать проблемы на новом уровне: 55% совершили открытия 73% сократили расходы и увеличили прибыль 60% быстрее вывели на рынок новые продукты 38% увеличили оборот, 30% увеличили долю рынка 38% после участия купили собственные HPC системы 100% хотели бы продолжить партнерство

HPC В МИРОВОЙ ПРОМЫШЛЕННОСТИ Отчет 3 Совета по конкурентоспособности США (опрос промышленных компаний, использующих собственные HPC ресурсы) 33 компании (нефтегаз, аэрокосмическая отрасль, автомобилестроение, телекоммуникации, развлечения, финансы, полупроводники) большинство компаний не могут существовать или конкурировать на рынке без HPC Использование HPC дает респондентам: 50% возврат капитала 5-кратный возврат инвестиций сокращение времени разработки от 5 до 2 лет (самолетостроение) прибыль в «десятки миллионов долларов» окупаемость в течение года после покупки системы

HPC В МИРОВОЙ ПРОМЫШЛЕННОСТИ Корпорация Boeing: компьютерное моделирование позволило в 7 раз сократить число опытных образцов (11 моделей крыла для 787 Dreamliner против 77 для 767) потребление топлива и вредные выбросы – ниже на 20% сокращение времени разработки модели и снижение расходов Грант на процессорных часов на суперкомпьютере Cray X1E Национальной лаборатории Oak Ridge по программе INSITE: проект по CFD-моделированию для изучения воздействия различных нагрузок на крыло самолета тестирование реагирования двигателя при отрыве лопатки турбины: свести к минимуму вероятность отказа двигателя стороннего производителя при тестировании опытного образца предотвратить потенциальные потери в сотни миллионов долларов для производителя двигателя и увеличение сроков разработки для Boeing Pratt & Whitney: грант на часов на суперкомпьютере IBM Blue Gene/L Национальной лаборатории Argonne по программе INSITE CFD-моделирование газодинамических процессов в камерах сгорания турбореактивных двигателей

Моделирование на суперкомпьютере BLUE GENE/L авиадвигателя Pratt & Whitney в Стенфордском университете

«ВИРТУАЛЬНАЯ» АЭРОДИНАМИЧЕСКАЯ ТРУБА ДЛЯ ТЕСТИРОВАНИЯ БОЛИДА BMW-SAUBER F1 Суперкомпьютер Albert2, 12 Тфлопс

HPC В ОТЕЧЕСТВЕННОЙ ПРОМЫШЛЕННОСТИ По данным НПО Сатурн (опубликовано в журнале StorageNews, май 2007) только виртуальное моделирование конструкции позволяет сократить затраты на ее доводку «в металле» уменьшение количества опытных образцов = сокращение общего цикла разработки авиадвигателя до 3-4 лет и затрат на его создание в 5-6 раз Кластер мощностью 0.9TFlops в 2005 г.: позволил стандартизировать процедуры 3D-аэродинамических расчетов и 3D-анализ динамической прочности Следующий этап: освоение методов многоцелевой оптимизации по прочностным, весовым и аэродинамическим параметрам: требует более 500 расчетов вариантов конструкции 1 вариант вентилятора и бустера – 150млн операций (40 часов на кластере мощностью 1TFlops) анализ узлов на нестационарных режимах работы двигателя целиком при изменении частоты вращения ротора: необходимы вычислительные мощности порядка 10TFlops

ГЛОБАЛЬНЫЕ ЗАДАЧИ НРС HPC технологии сократили цикл разработки машин в США от 5 до 2 – 2.5 лет General Motors: сокращение расходов на 40% все системы автомобиля моделируются отдельно разным ПО ГЛОБАЛЬНАЯ ЗАДАЧА модель, учитывающая все параметры сразу: сокращение расходов в 10 раз, время выхода на рынок – в 3 раза эффективно если модель рассчитывается в течение 1 ночи расчет простой мультифизической модели: сегодня: 362 CPU, 30 дней; результат за ночь = CPU сокращение цикла производства на 1 месяц = $10 млн. экономии + 1% доли мирового рынка = $4.4 млдр. прибыли в бюджет за год без новых средств моделирования американская промышленность не сможет удержать существующую долю рынка

HPC технологии позволили сократить количество физических крэш-тестов на 85% существующие требования к безопасности практически не учитывают реального эффекта столкновения для человека ГЛОБАЛЬНАЯ ЗАДАЧА точная модель тела человека для новых стандартов безопасности машин сокращение количества смертей и ранений минимум на 10% прибыль в бюджет: $14 млрд. в год (США) обработка таких моделей в ситуации столкновения потребует увеличения вычислительной мощности на несколько порядков по сравнению с существующими системами ГЛОБАЛЬНЫЕ ЗАДАЧИ НРС

ANSYS, МSC/NASTRAN - решение задач механики твердого деформируемого тела CFX, Fluent, STAR-CD - решение трехмерных задач механики жидкости и газа - стационарные и нестационарные течения, ламинарные и турбулентные течения со свободными поверхностями; многофазовые потоки, учет кавитации, химические реакции и др. ABAQUS, LS-DYNA, MSC/MARC – решение задач о сильно нелинейных и быстропротекающих процессах в деформируемых средах со сложными реологическими свойствами, пространственных динамических нелинейных задач контактного взаимодействия (например, краш - и дроп - тесты), задач технологической механики и механики конструкций, содержащих жидкость предметов и комплексов последние достижения механики, математики и вычислительных методов, обновление версий один – два раза в год Star-CD LS-DYNA CAE-ТЕХНОЛОГИИ

ПРОИЗВОДИТЕЛЬНОСТЬ CAE-ПРИЛОЖЕНИЙ НА КЛАСТЕРНЫХ РЕШЕНИЯХ Т-ПЛАТФОРМЫ архитектура предлагаемых решений базируется на результатах тестов различных коммерческих пакетов, таких как Fluent, CFX, ANSYS, STAR-CD для большинства решаемых задач наличие высокоскоростной сети играет основную роль для эффективности расчетов применение сети InfiniBand дает типичный выигрыш в производительности 30-40% для небольшого количества узлов по сравнению со стандартным Gigabit Ethernet масштабируемость Fluent для небольшого количества узлов на InfiniBand может достигать 80% и более в зависимости от решаемой задачи

РЕЗУЛЬТАТЫ ТЕСТОВ – STAR-CD

РЕЗУЛЬТАТЫ ТЕСТОВ – LS-DYNA

РЕЗУЛЬТАТЫ ТЕСТОВ – STAR-CD суперкомпьютер «Т-Платформы» СКИФ Cyberia: стандартный тест STAR-CD показал суперлинейное ускорение счета задачи на 128 узлах (до 290 раз) при использовании интерконнекта QLogic InfiniPath для Gigabit Ethernet резкая потеря эффективности происходит уже на узлах

КОМПАНИЯ Т-ПЛАТФОРМЫ ведущий российский разработчик комплексных решений для высокопроизводительных вычислений более 20% рынка СНГ HPC решений по данным IDC 30% систем в списке Тор50 самых мощных компьютеров СНГ разработчик самого мощного суперкомпьютера в России, СНГ и Восточной Европе в 2004 и 2007 г.г. 3 собственных решения в Тор500 самых мощных компьютеров мира

НАШИ КЛИЕНТЫ Более 50 кластерных комплексов для высокопроизводительных вычислений в России и СНГ Государственные и научные организации: государственная суперкомпьютерная программа «СКИФ» Союзного государства, МГУ им. М.В.Ломоносова и более 10 других государственных университетов России, Объединенный институт ядерных исследований, Международный научно-технический центр и др. Промышленные и научные инженерные расчеты (СAE, CFD): Саровский инженерный центр, РУСАЛ, Центральный институт авиационного машиностроения, НПО «Энергомаш», Центр инженерных расчетов Санкт- Петербургского государственного университета и др. Нефтегазовый сектор: Paradigm Geophysical, Schlumberger, Landmark, Межрегионгаз, Сибирский научно-аналитический центр, Газпромтранс и др. Телеком: Комстар Объединенные Телесистемы, Yandex, Rambler, Webalta, Headhunter.ru, Инфотел, Бэтлайн и др. Банки и финансовые компании: Инвестсбербанк, Банк Жилищного Финансирования, Промэнергобанк, Русфининвест и др.

КОМПЛЕКСНЫЕ РЕШЕНИЯ «Т-ПЛАТФОРМЫ» ДЛЯ HPC ОБОРУДОВАНИЕ ВЫЧИСЛИТЕЛЬНОЕ ЯДРО ИНФРАСТРУКТУРА ПИТАНИЯ И ОХЛАЖДЕНИЯ СЕРВЕРЫ МИНИ-КЛАСТЕРЫ ПК И ГС ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СИСТЕМА ХРАНЕНИЯ СИСТЕМА РЕЗЕРВНОГО КОПИРОВАНИЯ УПРАВЛЯЮЩЕЕ ПРИКЛАДНОЕ УСЛУГИ УСЛУГИ ТЕХНИЧЕСКАЯ ПОДДЕРЖКА ОБУЧЕНИЕ КОНСАЛТИНГ тонкая настройка для максимальной производительности реальных задач параллель- ный доступ отказоустой- чивость лучшая цена/ производитель- ность для реальных задач готовое оптимизированное решение «под ключ» быстрое внедрение, оптимальное использование

ПРИМЕРЫ КОМПЛЕКСНЫХ РЕШЕНИЙ Для Межрегионального вычислительного центра Томского государственного университета (2007 г): Кластер «СКИФ Cyberia» один из 100 самых мощных компьютеров мира (#72 в списке Top500 на момент поставки) самый мощный компьютер в России, СНГ и Восточной Европе: 12TFlops пиковой производительности, 9.019TFlops на тесте Linpack (75% от пиковой) собственный дизайн вычислительного узла впервые в отечественной HPC отрасли применены передовые технологии интерконнекта, СХД, инженерной инфраструктуры, операционной системы уникальный суперкомпьютер в России, СНГ и Восточной Европе по концентрации инновационных технологий, комплексности решения и сложности исполнения

РЕШЕНИЯ ДЛЯ ИНЖЕНЕРНЫХ РАСЧЕТОВ ИНДИВИДУАЛЬНЫЙ ПОДХОД индивидуальное проектирование для наилучшего соотношения цена/производительность для приложений заказчика ОПТИМАЛЬНЫЙ ВЫБОР от «настольных суперкомпьютеров» до готовых суперкомпьютерных центров для инженерных расчетов на базе решений «Т-Платформы», HP, IBM, SGI, Sun Microsystems КОМПЛЕКСНОЕ РЕШЕНИЕ ЗАДАЧИ глубоко интегрированное системное и прикладное ПО, СХД, инфраструктура, решения по безопасности, виртуализации ресурсов и многое другое СОПРОВОЖДЕНИЕ НА ВСЕХ ЭТАПАХ полный комплекс технических, консалтинговых, образовательных и финансовых услуг по организации работы центра инженерных расчетов НЕПРЕРЫВНОСТЬ БИЗНЕСА индивидуальные сервисные контракты для обеспечения необходимого уровня непрерывной доступности систем и сохранности данных

КЛАСТЕРЫ ДЛЯ ИНЖЕНЕРНЫХ РАСЧЕТОВ T-Forge CAE, T-Edge CAE комплексные решения для промышленных расчетов: малые и средние предприятия, исследовательские инженерные центры, конструкторские бюро: от USD 40 тыс. вычислительный кластер, оптимизированный для максимально эффективной работы пакетов Fluent, CFX, STAR-CD и LS-DYNA от 8 до 12 2P узлов в конструктиве 1U на базе двух- и четырехъядерных процессоров в стойке высотой 25U под управлением Linux интерконнект Gigabit Ethernet или InfiniBand, поддержка QLogic InfiniPath СХДT-Platforms ReadyStorage SAN с поддержкой до 14 SATA/FC HDD до 7 Tб неограниченные возможности расширения

ПЕРСОНАЛЬНЫЕ СУПЕРКОМПЬЮТЕРЫ КЛЮЧЕВЫЕ ОСОБЕННОСТИ T-ForgeMini и T-EdgeMini до 256GFlops на рабочем столе не выше 527см, уровень шума

T-EDGE SMP cистема с общей памятью стандартной архитектуры x86-64, масштабируемая до 24 процессоров Intel Xeon 5100 или 5300 (до 96 процессорных ядер) до 768ГБ оперативной памяти работает под управлением единой копии ОС Linux специализированное решение, оптимизированное для задач механики, газовой динамики и молекулярной динамики простота управления: не требуется знание администрирования кластерных систем построена на базе стандартных, массово выпускаемых компонентов пьедестальное или стоечное исполнение

ПРИМЕРЫ РЕАЛИЗОВАННЫХ ПРОЕКТОВ T-ForgeСAE128, T-ForgeCAE 24 для Санкт-Петербургского государственного политехнического университета (2006–2007гг.) 156 двухъядерных процессоров AMD Opteron, InfiniBand более 1.5TFlops суммарной производительности 82% реальной производительности на Linpack СХД T-Platforms ReadyStorage SAN с комплектом управляющего ПО инфраструктура бесперебойного электропитания комплект ПО управления и мониторинга, а также прикладных пакетов ANSYS, Fluent, CFX и Cadence «Мы получили весьма эффективные решения с высокой производительностью: один из поставленных нам кластеров входит в первую десятку самых мощных компьютеров СНГ. Программно-аппаратные ресурсы «Т-Платформы», ориентированные на решение прочностных, аэрогидродинамических и междисциплинарных задач, мы активно используем для инженерных расчетов. При этом время решения задач для наших заказчиков - ЛМЗ, ЦКБ "Рубин", Airbus, General Motors и многих других, удалось сократить многократно, в отдельных случаях в десятки раз. Замечу, что кластеры показывают высокую надежность, один из них бесперебойно работает уже более года, при этом были случаи работы в 30-градусную жару при аварийной остановке кондиционеров», - Ю.Я.Болдырев, Директор ГИВЦ СПбГПУ

ПРИМЕРЫ РЕАЛИЗОВАННЫХ ПРОЕКТОВ Для Саровского инженерного центра (2006 г.): производство и поставка комплексного решения T-ForgeCAE16 на базе 16 двухъядерных процессоров AMD Opteron и системной сети InfiniBand, укомплектованного графическими станциями TOpus GS вычислительный комплекс используется для инженерных расчетов в интересах атомной промышленности с использованием пакета STAR-CD

ПРИМЕРЫ РЕАЛИЗОВАННЫХ ПРОЕКТОВ Для Саровского инженерного центра (2005 г.): производство и поставка 32- узлового кластера T-Edge64 на базе 64-х процессоров Intel® Xeon EM64T и системной сети Gigabit Ethernet кластер используется для оптимизации теплопроизводительности водо-водяных реакторов атомных электростанций в США при помощи инженерного программного пакета STAR-CD

ПРИМЕРЫ РЕАЛИЗОВАННЫХ ПРОЕКТОВ Для компании РУСАЛ (2006 г.): поставка высокопроизводительной системы с общей памятью на базе серверов SGI® Altix® вычислительных узла на базе 8 процессоров Intel® Itanium® 2, наиболее производительный интерконнект SGI® NUMAlink с пропускной способностью 6.4 Гб/сек и поддержкой общей памяти, комплект управляющего ПО SGI вычислительный комплекс используется для моделирования следующего поколения электролизеров с применением технологии электролиза на высокую плотность тока с применением прикладных пакетов ANSYS, CFX, Fluent и др.

ПРИМЕРЫ РЕАЛИЗОВАННЫХ ПРОЕКТОВ Для Ленинградского металлического завода (2004 г.): производство и поставка 13-узлового кластера T-Forge26 на базе 26 процессоров AMD Opteron и интерконнекта Myrinet вычислительный кластер используется ЛМЗ для моделирования гидротурбин при помощи прикладного ПО CFX и Fluent

тонкая настройка систем для обеспечения максимальной продуктивности пользовательских задач конфигурирование системного ПО и консультирование по использованию и управлению вычислительным комплексом миграция пользовательских задач на новое решение организация подсистемы обеспечения информационной безопасности решения по резервному копированию и восстановлению данных проектирование и помощь в реализации комплексной инфраструктуры в месте установки вычислительных комплексов (электропитание, кондиционирование, безопасности доступа, пожаробезопасности и пр.) сопровождение систем центра в течение всего срока эксплуатации, индивидуальные условия гарантийного обслуживания: резервный комплект оборудования в месте установки для всех возможных точек отказа реагирование в течение 2х рабочих часов профилактическое обслуживание – удаленный мониторинг состояния систем удаленное решение программных проблем (системное и управляющее ПО) поддержка аппаратной части решений в месте установки 24х7х4 по Москве и МО ДОПОЛНИТЕЛЬНЫЕ ТЕХНОЛОГИЧЕСКИЕ УСЛУГИ

комплексное управление ресурсами вычислительного центра: консалтинг по всем вопросам организации работы центра включая организацию бесперебойной работы центра, порядок действий в кризисных ситуациях и др. комплексное бюджетирование проекта центра на стадии разработки: расчет совокупной стоимости владения системой на весь срок службы, включая ежегодные расходы на электроэнергию, содержание инфраструктуры, обслуживающий персонал и др. консультации и помощь в подготовке проектов обновления или расширения установленных вычислительных мощностей в рамках существующего бюджета ДОПОЛНИТЕЛЬНЫЕ КОНСАЛТИНГОВЫЕ УСЛУГИ

индивидуальные курсы обучения в месте установки центра Также в сотрудничестве с НИВЦ МГУ проводится: обучение специалистов и практические занятия в учебном суперкомпьютерном центре формирование программы обучения с учетом уровня подготовки и профессиональных интересов прохождение стажировки специалистов общие вопросы параллельных вычислений и распределенной обработки данных технологии параллельного программирования администрирование и сопровождение кластерных систем решение больших задач на суперкомпьютерных системах прохождение курсов повышения квалификации и переподготовки ОБУЧЕНИЕ И ПОДГОТОВКА ПЕРСОНАЛА

ГОТОВЫЕ РЕШЕНИЯ ДЛЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ В ПРОМЫШЛЕННОСТИ Андрей Слепухин Руководитель Центра Кластерных Технологий «Т-Платформы» Доклад на конференции ИТ-Бизнес-Металл, Москва, 19 июня 2007 г.