Эволюция систем охлаждения суперкомпьютеров и ЦОД С.М.Абрамов, С.А.Амелькин (ИПС имени А.К.Айламазяна РАН) А.А.Чичковский (группа компаний «Сторус»)

Инженерная логика – Нужна большая производительность – Нужны меньшие задержки – Нужны более короткие проводники – Нужна более плотная упаковка электроники – Будет более высокая объемная плотность тепловыделения – Нужна более эффективная система охлаждения электроники Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Требование времени Год назад – стандартный узел – 2 CPU: около 400 Ватт Сейчас – 2 CPU и 2 GPU: около 1 КВатт При сохранении требований по плотности размещения и размеров узла энергоплотность увеличилась в 2.5 раза Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Эпохи развития технологий охлаждения Воздушное охлаждение – неупорядоченное движение воздуха – организованное движение воздуха – многоконтурные системы «воздухводафреон» «жидкость на уровне ЦоД» внутрирядные кондиционеры… «жидкость на уровне шкафа» холодные стенки… Жидкостное охлаждение – закрытые системы жидкостного охлаждения гибридное охлаждение: ½ вода, ½ воздух – непосредственное (погружное) жидкостное охлаждение Что дальше?... – Охлаждение фазовым переходом?… … 2004 … 2007 … 2008 … 2012 … 2010 Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Общая схема охлаждения Вычислитель Теплопередача коэффициент теплопередачи Q/t = (a1+a2×v)×S×(T 0 -T 1 ) Q/t = (a1+a2×v ½ )×S×(T 0 -T 1 ) Тепломассоперенос коэффициент теплоемкости Q = c×m×(T 2 -T 1 ) Q = c×V×(T 2 -T 1 ) Q/t = c×(m/t)×(T 2 -T 1 ) Q/t = c×(V/t)×(T 2 -T 1 ) Green IT: Как сэкономить с помощью экологичных технологий. Москва, T0T0 T1T1 T2T2

Количественные показатели Коэффициент теплопередачи Охлаждающий агентКоэффициент теплопередачи, Вт/(м 2 о С) Воздух5…10 Вода500…2000 Фазовый переход3000…6000 Теплоемкость Охлаждающий агентТеплоемкость, кДж/(кг о С)Теплоемкость, кДж/(л о С) Воздух1, Вода4,1834,175.5 Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Количественные показатели Green IT: Как сэкономить с помощью экологичных технологий. Москва, Теплоемкость такого количества воздуха (3,5 л) = = Теплоемкости такого количества воды (1 мл) Теплоемкость воды ×3500 от воздуха Коэффициент теплопередачи от металлической стенки к воде ×100 чем к воздуху

Статьи энергозатрат Электропитание электроники – P×100% тепло: ~10 МВатт для Top1 Потери в подсистеме электропитания – P×(100%–КПД) тепло: ~100 КВатт для Top1 Затраты на охлаждение – P×(5…100%) Всего: – P×(105%–200%) Главные и второстепенные факторы энергоэффективности? – Энергоэффективность вычислений – Энергоэффективность охлаждения Green IT: Как сэкономить с помощью экологичных технологий. Москва,

T HE PREMIER ASSOCIATON FOR DATA CENTER MANAGEMENT PROFESSIONALS Эффективность систем охлаждения Удельная интенсивность теплоотвода (кВт/м 2 платы); Удельная вычислительная мощность - энергоэффективность (Tflops/кВт); Надежность вычислительной системы; Компактность вычислительной системы (Tflops/м 2 вычислительного центра) «Возникли два узких, критических элемента для нормального функционирования Центров Обработки Данных и их будущего развития: управление энергоснабжением и охлаждением...» «В ближайшее время ЦОД более 70 процентов американских предприятий столкнутся со значительными сбоями в потреблении энергии и расширении площадей...» «В течение следующих пяти лет сбои и отказы в энергоснабжении, а также ограничения подводимой мощности, могут прекратить работу ЦОД более чем у 90% всех компаний...» Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Экономия энергии Green IT: Как сэкономить с помощью экологичных технологий. Москва, «В индустрии ЦОД используется показатель эффективности использования энергии (ЭИЭ) в качестве стандартной единицы измерения для определения эффективности использования электроэнергии и эффективности отдельных вычислительных систем. Согласно программе Energy Star Program Агентства по защите окружающей среды стандартное значение ЭИЭ составляет 1,92.» Интел, пресс-релиз от

Потери на воздушном охлаждении (Только в машинном зале, на примере крупной «воздушной» установки в России) Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Потери на воздушном охлаждении (Только в машинном зале, на примере крупной «воздушной» установки в России) Green IT: Как сэкономить с помощью экологичных технологий. Москва,

1 килограмм $800 (в среднем) Потери на воздушном охлаждении (на примере крупной «воздушной» установки в России) Без учета затрат вне стен машинного зала площадей, оборудования и электроэнергии для подсистем охлаждения и электропитания: +800 кв.метров килограмм киловатт Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Преимущества жидкостного охлаждения Теплоемкость воды ×4,000 от воздуха Надежность охлаждения Можно обеспечить высокую плотность упаковки Нет подвижных частей в узле, шасси, стойке. Нет звуков, нет вибрации Надежность контактов Энергосбережение: до +90% более эффективно, чем охлаждение воздухом Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Переход к жидкостному охлаждению мировой тренд Тop1–10: охлаждаются жидкостью? – системы – систем – все? Тop1–10 России: – система – системы Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Закрытые системы жидкостного охлаждения на примере суперкомпьютера СКИФ-Аврора Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Узел суперкомпьютера СКИФ-Аврора Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Стойка СКИФ ряда 4 (модель 4/N) Green IT: Как сэкономить с помощью экологичных технологий. Москва,

СКИФ-Аврора ЮУрГУ Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Жидкостное охлаждение закрытого типа еще примеры Green IT: Как сэкономить с помощью экологичных технологий. Москва, IBM, Aquasar IBM, SuperMUC First Commercial Hot-Water Cooled Supercomputer to Consume 40% Less Energy INSPUR, Sunway Blue Light

Все мы вышли из воды и должны туда же вернуться. В эту среду к/ф «Национальные особенности рыбалки» Непосредственное (погружное) жидкостное охлаждение Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Непосредственное (погружное) жидкостное охлаждение Green IT: Как сэкономить с помощью экологичных технологий. Москва, Cray-2, 1985, жидкость 3M, Fluorinert Green Revolution Cooling, 2012 IMMERS 2012, ИПС имени А.К.Айламазяна РАН, группа компаний «СТОРУС»

Технология непосредственного жидкостного охлаждения IMMERS® как это устроено? подсистема утилизации тепла, обеспечивающая отвод тепла в окружающую среду (нагрев воздуха, воды, отвод тепла излучением); подсистема охлаждения узлов вычислителя (материнских плат, дисковых накопителей, блоков питания); подсистема управления, обеспечивающая оптимальный режим работы установки Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Технология непосредственного жидкостного охлаждения IMMERS® как это устроено? Green IT: Как сэкономить с помощью экологичных технологий. Москва,

IMMERS® позволяет полностью убрать какие-либо особые требования на температуру, влажность и загрязненность воздуха ЦОД обеспечить наиболее плотную упаковку компонентов, включая как материнские платы, так и блоки питания и жесткие SSD диски увеличить энергоэффективность ЦОД существенно упростить всю систему охлаждения – повысить ее надежность по сравнению с воздушным охлаждением: – обеспечить более комфортные условия работы в ЦОД: снижение шума и комфортная температура воздуха – лучшее использование площадей и экономия на оборудовании: отказ от горячих/холодных коридоров и внутрирядных кондиционеров Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Ключевые моменты технологии Экономичность Энергоэффективность Простота конструкции – Надежность решения Минимум строительства Плотность установки компонентов Нет проблемы «точка росы» Нет опасности протечек Тотальная протечка уже свершилась жидкость покрывает и омывает все компоненты системы, и это не проблема, а решение Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Решения Green IT должны быть… Эффективными (в том числе и «зелеными») не только в эксплуатации, но и в производстве… Простыми… – и надежными… Доступными по цене… Широко доступными Green IT: Как сэкономить с помощью экологичных технологий. Москва,

Спасибо за внимание. Готов ответить на вопросы… Абрамов Сергей Михайлович