© a company of Schneider Electric Инженерные системы современного ЦОДа Сергей Щербаков Руководитель группы системных инженеров в СНГ. - презентация

1 © a company of Schneider Electric Инженерные системы современного ЦОДа Сергей Щербаков Руководитель группы системных инженеров в СНГ

2 © a company of Schneider Electric Программа доклада Вкратце об АРС «Особенности текущего момента» в инженерных технологиях ЦОДостроения Технологии АРС для ЦОД: ISX ЧТО нам стоит ЦОД построить Нормативная база

3 © a company of Schneider Electric АРС: несколько фактов 1981 – основание компании 2006: #1 на мировом рынке ИБП (~25%)* 2006: #1 на Российском рынке ИБП (~60%)** 2006 – последний год существования АРС как самостоятельной компании; покупка Schneider Electric, слияние с MGE *по данным Frost&Sullivan, VDC ** по данным IT Research

4 © a company of Schneider Electric APC сегодня. Направления работы Сетевые фильтры, ИБП, аксессуары для моб. пользователей и т.д. (коробочный бизнес APC) Системы для централизованной защиты (3PH, MGE) Индустриальные системы (GUTOR) Инженерные системы для ЦОД

5 © a company of Schneider Electric Программа доклада Вкратце об АРС «Особенности текущего момента» в инженерных технологиях ЦОДостроения Технологии АРС для ЦОД: ISX ЧТО нам стоит ЦОД построить Нормативная база

6 © a company of Schneider Electric О текущем моменте Необходимость создания гибких, масштабируемых инженерных решений с высоким уровнем готовности Рост плотности энергопотребления: к Вт/стойку – максимум еще 3-4 года назад Сегодня: и более к Вт/стойку Анализ следствий – на следующих слайдах

7 © a company of Schneider Electric Охлаждение ЦОД Кризис традиционного подхода к охлаждению машзала Предел работоспособности: 3 к Вт/стойку (Liebert), 4 (Gartner). В любом случае не выше к Вт/стойку Дальнейшее повышение плотности мощности ведет к тому, что кондиционеры начинают отнимать слишком много места в машзале, и это сводит на нет весь эффект компактизации

8 © a company of Schneider Electric

9 Распределение воздуха - воздуховоды Большие потери на трение в воздуховодах при скоростях воздуха >1 м/с «статической камеры» больше нет, начинает работать закон Бернулли => очень высокая неравномерность скорости истечения воздуха из пера. плиток Требуется большая высота фальшпола (0.5 м на 4 к Вт/стойку)

10 © a company of Schneider Electric 1.2 м 3 /с 18kW 3 kW Элементарная физика

11 © a company of Schneider Electric

12

13 Экономический эффект от «нагрева» стоек

14 © a company of Schneider Electric The Uptime Institute Symposium марта 2007, Орландо The invisible crisis in the Data Center: how IT performance is driving the economic meltdown of Moores law The Premier Research Underwriters: APC, AMD, IBM, Intel, HP, EMC 2, VMWARE

15 © a company of Schneider Electric

16

17 Это – ТАМ и у НИХ. А что у НАС?

18 © a company of Schneider Electric Сервер HP ProLiant DL360 G4 Hewlett-Packard Сервер HP Proliant DL360G4p Xeon-3.0GHz/2MB cache, 1GB (2*512MB) PC SDRAM, 2 Port SATA Controller, SATA-model, NC7782 Dual Port PCI-X 10/100/1000T LAN, no CD, no FDD, no HDD, RACK-mount (1U) /Только безналичный расчет! Бесплатная доставка по Москве. Поставки в регионы. $1,717.1 (45,971 р.) тел. (495) Источник: price.ru, ФЕВРАЛЬ 2007

19 © a company of Schneider Electric

20 329 Вт х 24 часа х 365 дней в году х 3 года х 2 руб/к Вт-ч = 17,292 руб. 17,292/45,971 = 37% х 2 = 74% (с учетом энергопотребления инженерной инфраструктуры) NB: эти 74% - ТОЛЬКО энергопотребление за 3 года, т.е. лишь часть OPEXа. А есть еще прочие расходы, а также не будем забывать про CAPEX (!)

21 © a company of Schneider Electric Программа доклада Вкратце об АРС «Особенности текущего момента» в инженерных технологиях ЦОДостроения Технологии АРС для ЦОД: ISX ЧТО нам стоит ЦОД построить Нормативная база

22 © a company of Schneider Electric Что делает АРС в этом направлении... $120M бюджет на НИР и НИОКР в области разработки основных инженерных систем ЦОДа: электропитания и отвода тепла от нагрузки Сотрудничество с ведущими экспертными организациями: Uptime Institute, AFCOM, и т.д.

23 © a company of Schneider Electric Почему это так важно? Для производства Toyota Camry стоимостью $25,000 используется в 100 раз больше инжиниринга, чем для типичного ЦОДа стоимостью $1M : Численное моделирование Анализ всевозможных отказов Тестирование в экстремальных условиях Ускоренное состаривание Крэш-тесты Анализ отказов при реальной эксплуатации...

24 © a company of Schneider Electric Компоненты архитектуры APC InfraStruXure Монтажные шкафы для оборудования Физическое размещение оборудование, защита от внешней среды Энергообеспечение Гарантированное электропитание, включая систему распределения Кондиционирование Корректная работа оборудования, отсутствие сбоев по причине перегрева Управление, контроль, системы безопасности Своевременное обнаружение неисправностей, удобство эксплуатации Сервис Минимальное время простоя оборудования Консультации, проектирование, экспертиза Эффективное решение Гарантия работоспособности

25 © a company of Schneider Electric Датацентр vs. ISX solution Электропитание ISX = ИБП + РЩ СБЭ + кабели питания к стойкам + RM PDUs Datacenter: (все перечисленное) + ДГУ + (АВРы + РЩ/ГРЩ = ВРУ ) + кабельная продукция, шинопроводы Прецизионное кондиционирование ISX = APC CRAC/CRAH + CDU Datacenter: (все перечисленное) + трубы + клапаны + насосы + чиллеры + гидробаки + конденсоры + хладагенты + водоподготовка… Стойки для размещения оборудования, кабель-каналы для силовых кабелей и СКС Газовое пожаротушение Дымоудаление + приточно-вытяжная вентиляция CCTV (видеонаблюдение) Rack access control (контроль доступа в стойки)

26 © a company of Schneider Electric Датацентр vs. ISX solution - 2 Общая система управления объектом (aka инженерная диспетчеризация, она же «интеллектуальное здание» и т.п.) – ISX Manager Фальшпол, фальшпотолок, стены Выбор/строительство и подготовка площадки: обеспечение необходимой энергетики, анализ прочности здания, общестроительные работы Проектирование: выбор, сопряжение, размещение оборудования Проектная/исполнительная документация в соответствии с ГОСТами/ЕСКД Монтаж Испытания основного оборудования под нагрузкой Пуск объекта в эксплуатацию, согласования и разрешения (Энергонадзор, пожарники, СЭС, Архитектура, Связьнадзор....) Обслуживание

27 © a company of Schneider Electric ISX - в чем принципиальное отличие? Модульность и стандартизация Принципиально новый подход к охлаждению машзала Повышенная степень «интеллектуальности» компонентов

28 © a company of Schneider Electric Chase Manhattan Bank: статистика отказов в 8 ЦОДах Хорошо соотносится с другими исследованиями, относящими 60% и более отказов с человеческим фактором

29 © a company of Schneider Electric В чем же основная идея? Традиционный подход к проектированию ЦОДа как уникального изделия Стандартизированный модульный подход Масштабируемость и наращиваемость Быстрое реагирование на изменившиеся требования Отказоустойчивость

30 © a company of Schneider Electric модульность и стандартизация увеличивают ДОСТУПНОСТЬ Повышение ремонтопригодности Повышение надежности компонентов Снижение вероятности ошибок персонала Модульность И стандартизация

31 © a company of Schneider Electric модульность увеличивает ГИБКОСТЬ Модульность и стандартизация Скорость реализации Наращива емость Модифици руемость

32 © a company of Schneider Electric модульность и стандартизация снижают СТОИМОСТЬ ВЛАДЕНИЯ и стандартизация Снижение начальных затрат Снижение энергозатрат Снижение затрат на эксплуатацию Модульность

33 © a company of Schneider Electric ВЫИГРЫШ: Модульность и стандартизация Ремонтопр игодность Повышение надежности Снижение вероятности ошибок персонала Снижение начальных затрат Снижение затрат на эксплуатацию Снижение энергозатрат Скорость реакции Масшта- бируемость Модифициру емостьть

34 © a company of Schneider Electric Время и деньги Снижение первоначальных капиталовложений до % Снижение эксплуатационных затрат до % Сокращение сроков реализации проекта (выигрыш до 6 месяцев) Безболезненное изменение первоначальной конфигурации

35 © a company of Schneider Electric Что такое охлаждение In-Row? Traditional (Perimeter) Design In-Row Design

36 © a company of Schneider Electric Модульная архитектура системы охлаждения InRow RC \RP - Интеграция со стойками NetShelter SX 42U без дополнительных компонентов - Адаптация под стойки NetShelter SX 48U и VX 42U с помощью дополнительных компонентов - Возможность использования кабельного датчика утечки - Наличие фильтра - Забор горячего воздуха сзади выдув холодного вперед - Может использоваться в рядах со стойками с различной плотностью и резервированием

37 © a company of Schneider Electric

38 Основные преимущества Чем ближе расположены источник тепла и кондиционер, тем эффективнее процесс охлаждения: Из-за меньшего перемешивания охлаждающего и нагретого воздуха на выходе стоек Кондиционеры работают более эффективно при более высокой температуре входного воздуха

39 © a company of Schneider Electric ISX Manager - Дополнительно: интеграция с платформами SNMP управления поддержка широкого спектра устройств АРС расширение контроля вплоть до 1000 устройств АРС автоматический поиск устройств автоматическое обновление версий ПО модуль контроля инцидентов ISX Manager: Автоматическая инициализация устройств АРС Контроль оборудования APC в сетях ISX и сетях Заказчика Сбор информации о состоянии устройств АРС Формирование единого информационного потока Оповещение и контроль Создание отчетов и анализ Система централизованного контроля ISX Manager\Central

40 © a company of Schneider Electric Система централизованного контроля ISX Manager Интеграция в систему инт. управления зданием Интеграция с системой управления предприятия Управление ISX Расширяемость Управление до 1000 устройств АРС Building Management System Enterprise Management System Сети Серверное оборудование Удаленные офисы Прочее Хранилища информации Сетевые устройства Электропитания здания Кондиционирование Системы контроля Электропитание Монтажные шкафы Прецизионное кондиционирование InfraStruXure Manager Прочее

41 © a company of Schneider Electric Администратор Сеть ISX Сеть предприятия WEB ИБП РЩ ИБП ATS EMU RM PDU ISX Кондиционеры Сенсоры окр. среды Система централизованного контроля ISX Manager

42 © a company of Schneider Electric Оповещение групп пользователей Доступ через обычный броузер Статус устройства Рекомендованные действия Обновление ПО Система централизованного контроля ISX Manager

43 © a company of Schneider Electric Программа доклада Вкратце об АРС «Особенности текущего момента» в инженерных технологиях ЦОДостроения Технологии АРС для ЦОД: ISX ЧТО нам (вам :) стоит ЦОД построить ? Нормативная база

44 © a company of Schneider Electric Три основных вопроса Время Деньги А как все это построить? Какими должны быть технологии??...

45 © a company of Schneider Electric > 20 площадок, несколько лет наблюдений. Итоговые показатели – СРЕДНИЕ по группе площадок (варьируются относительно средних для каждой конкретной площадки) Статистические данные Приводится с любезного разрешения Uptime Institute, Inc. ©

46 © a company of Schneider Electric Классификация датацентров по функциональности инженерных систем Приводится с любезного разрешения Uptime Institute, Inc. ©

47 © a company of Schneider Electric ВРУ/ГРЩ РЩ ИБП ИБП N Нагрузка Кондиционирование Устройство системы электроснабжения – 1 й уровень ДГУ N

48 © a company of Schneider Electric Устройство системы электроснабжения – 2 й уровень

49 © a company of Schneider Electric Устройство системы электроснабжения – 3 й уровень

50 © a company of Schneider Electric Устройство системы электроснабжения – 4 й уровень

51 © a company of Schneider Electric

52

53

54 ~=5 к Вт/стойку =75…90 см

55 © a company of Schneider Electric

56

57

58

59 Назначение различных площадок на сегодня Tier I. Средний и малый бизнес, где ИТ обслуживают в первую очередь внутренние процессы компании; Компании, использующие интернет-сайт в качестве пассивного маркетингового средства; Интернет-ориентированный бизнес на начальном этапе развития, при отсутствии серьезных штрафов за качество предоставляемого сервиса. Tier II. Tier III. Tier IV.

60 © a company of Schneider Electric Tier I. Tier II. компании, работающие в интернет-бизнесе, не связанном с серьезными штрафами за качество предоставляемого сервиса; мелкий бизнес, чьи требования к ИТ системам обычно ограничены рамками работоспособности на протяжении нормального рабочего времени («5Х8»), и когда есть возможность производить плановую остановку ИТ систем для проведения регламентных работ; коммерческие фирмы, работающие, например, в области разработки ПО, которые, как правило, не предоставляют каких-либо услуг в режиме «он-лайн». Tier III. Tier IV. Назначение различных площадок на сегодня

61 © a company of Schneider Electric Назначение различных площадок на сегодня Tier I. Tier II. Tier III. Компании, обслуживающие как внутренних, так и внешних заказчиков в режиме «7Х24», например, сервис-центры, call-центры, имеющие возможность запланировать кратковременные промежутки, в течение которых сервис доступен в ограниченном режиме; Компании, чьи ИТ-системы поддерживают автоматизированные бизнес-процессы, так, что простой ИТ-систем имеет заметное влияние на бизнес; Компании, чьи сотрудники и заказчики находятся в многочисленных часовых поясах и регионах. Tier IV.

62 © a company of Schneider Electric Назначение различных площадок на сегодня Tier I. Tier II. Tier III. Tier IV. Компании с присутствием на международных рынках, предоставляющие свои услуги в режиме 24 х 365 в высококонкурентном рыночном окружении; Компании, занимающиеся е-коммерцией, финансовыми транзакциями; Крупные глобальные компании, чьи сотрудники и заказчики находятся в многочисленных часовых поясах и регионах, и их доступ к ИТ-ресурсам дает заметное конкурентное преимущество.

63 © a company of Schneider Electric Программа доклада Вкратце об АРС «Особенности текущего момента» в инженерных технологиях ЦОДостроения Технологии АРС для ЦОД: ISX ЧТО нам (вам :) стоит ЦОД построить Нормативная база

64 © a company of Schneider Electric ANSI/TIA Telecommunications Infrastructure Standard for Data Centers

65 © a company of Schneider Electric Требования Телекоммуникации Архитектурные Электротехнические «Механические» = кондиционирование Кроме телекоммуникаций, свыше 200 пунктов рассмотрения!

66 © a company of Schneider Electric «Проект номер раз» 20kW N+1 (up to 40) Шесть стоек VS на первом этапе, расширение до 14-ти на втором Подготовлено второе помещение для ISX B 20kW

67 © a company of Schneider Electric

68

69 «Проект номер два» 40kW N+1 14 стоек SX Система чиллерного охлаждения

70 © a company of Schneider Electric

71

72 «Проект номер три» 240kW Резервирование 2N 41 стойка SX (600 мм, 750 мм) Система чиллерного охлаждения Инсталляция – Q1 2007

73 © a company of Schneider Electric

74

75

76 Вопросы? Информация по адресу: 1) 2) Служба технической поддержки АРС (или APCC) - бесплатно 3) Сервисный центр АРС (Москва) /37 4) Телефоны представительств в странах СНГ: Москва Санкт-Петербург Новосибирск Киев Алматы