Архитектура ЦОД: виртуализация и инфраструктура Владимир Кург Минск, ноября 2010
Виртуализация ОС Гонка мегагерц сменилась «ядерной» гонкой Проблема параллелизма Изоляция приложения в собственной ОС Несколько ОС в одной физической системе
Виртуализация серверных ОС Термодинамика виртуализации: MIPS/Ватт, IOPS/Ватт, Ватт/м 3 Максимизация загрузки системы: - рост рассеиваемой мощности - напряженней температурные режимы - рост плотности тепловыделения Рост нагрузки ввода-вывода: сеть, storage Горячие точки в шкафу
Виртуализация клиентских ОС: VDI Термодинамика виртуализации: - Переносим энерговыделение ПК в ЦОД - Избавляемся от UPS рабочих мест (тонкие клиенты) - Неравномерность нагрузки Варианты: - терминальные системы - Blade PC от HP
Виртуализация ОС + Blade Systems Blade-системы + виртуализация Максимизация загрузки лезвий Горячие зоны ЦОДа + VDI: cуточные циклы энергопотребления и выделения Проблемы ввода/вывода: - много виртуальных NIC и HBA на один физический - коммутаторы виртуальный => встроенный => доступа
Виртуализация ОС + Blade Systems Ещё два уровня иерархии коммутаторов: Проблема сложности, гетерогенности, административных «границ»
Виртуализация ввода-вывода Сколько сетей работает в ЦОД? SAN LAN WAN IPC MPI
Виртуализация ввода-вывода Единый транспорт серверного сегмента: Infiniband: 40 Gbps сейчас Lossless Ethernet: 10 Gbps SAN LAN WAN
WinHEC-2006 Цена порта: Один HCA/VIC вместо HBA + NIC + (MPI) Один порт коммутатора вместо трёх портов трёх коммутаторов Управляемость: Виртуальный «конструктор»
Виртуализация ввода-вывода Виртуализация ввода-вывода + Blade Пример: Cisco Unified Computing System
Виртуализация ввода-вывода: DCB/FCoE Cisco UCS / Vblocks HP Virtual Connect / FlexFabric C7000 EMC ClariiON CX4 UltraFlex I/O FCoE modules IBM Virtual Fabric for BladeCenter H
«Бесплатный процессор» Всё over IP: Проблема Transport Offload Engine (TOE) Приложение Ethernet Card Virtual Interface HCA Socket TCP IP NDIS MiniPort VIA SDP ~7000 комманд ~500 команд
Выбираем 10 GE… I/O Consolidation in the Data Center. Cisco Press, 2009
Виртуализация ОС и ввода-вывода Результат: системы высокой плотности Горячие зоны ЦОДа Неравномерные циклы энергопотребления и выделения Множество ОС и приложений в малом объёме: - рост цены ошибок и сбоев - рост требований к планированию - рост требований к управляемости + +…+…
Виртуализация и энергопотребление
67% reduction in server power results in 56% electric bill savings Servers 83% Fan motors 100kW Fan motors 100kW (no change) Энергопотребление меньше, но потребление инфраструктуры (FIXED LOSS) неизменно FIXED LOSS Уменьшение потребляемой мощности... … за счёт уменьшения количества серверов FIXED LOSS Термодинамика виртуализации: «налог на инженерную инфраструктуру» Запас невыгоден, нужны гибкость и планирование
Жизненный цикл и планирование Избежать «налога на инфраструктуру»: - новый ЦОД или модернизация - установленные мощности по охлаждению и БП - перемещение и перекоммутация - модульность инфраструктуры Распределение нагрузки Консолидация нагрузки
Жизненный цикл и планирование Избежать «налога на инфраструктуру»: - модульность инфраструктуры по «требованию»
Наращивание по требованию Конструктор для перехода к высокой плотности Blanking panels Supplemental cooling InRow cooling Низкая плотность, Низкие нагрузки Высокая плотность Hot aisle containment Modular power distribution Rear Air containment < 3 kW/rack 3-5 kW/rack > 5 kW/rack
Наращивание по требованию Мини-ЦОДы высокой плотности Не нагружают систему охлаждения ЦОДа Локальная циркуляция по короткому пути Адаптация под переменные нагрузки
Пример: банк «Пивденный» InRow cooling Высокая плотность Hot aisle containment Modular power distribution Rear Air containment Система высокой плотности: 16.5 kW/rack APC InfraStruXure APC Symmetra PX 50 kW, N+1 Blade Servers / APC NetShelter SX Rack Air Removal Units SX APC Enviromental / InfraStruXure Manager
Пример: ЕМЗ Система высокой плотности: 18 kW/rack InRow cooling Высокая плотность Hot aisle containment Modular power distribution Rear Air containment APC InfraStruXure APC Symmetra PX 20 kW, N+1 APC NetShelter SX APC InRow RC APC Enviromental / InfraStruXure Manager
Incom Владимир Кург Минск, ноября 2010