© 2014 VMware Inc. All rights reserved. VMware Software Defined Storage Николай Куликов Виртуальная Россия 2014 Новые подходы по работе с ресурсами хранения данных

Некоторый функционал, о котором я расскажу, может находиться в стадии разработки. Компания VMware не берет на себя обязательства включить функционал, представленный в презентации, в конечный продукт. Функции могут быть изменены и их перечень не должен быть включен в любые контракты/заказы или соглашения любого рода. Технические возможности и требования рынка повлияют на функционал конечного продукта. Цены и перечень любых новых технологий и функций окончательно не установлены, и это предмет для дальнейших обсуждений. Предупреждение 2

О чем мы НЕ будем сегодня говорить: 3

О чем мы БУДЕМ сегодня говорить: 4

Почему именно революция, а не просто эволюция? год – 18 млн 2014 год -1.2 млрд

vSphere Storage Policy Based Mgmt. Virtual Volumes Cloud Storage vCloud Air … HDD SSD Virtual SAN Shared Datastore … HDD SSD HDD SSD Virtual SAN Virtual Datastore SAN / NAS VMware Software-Defined Storage 6

vSphere Storage Policy Based Mgmt. Cloud Storage vCloud Air … HDD SSD Virtual SAN Shared Datastore … HDD SSD HDD SSD Virtual SAN Virtual Volumes Virtual Datastore SAN / NAS Управление на базе политик хранения 7

Управление на базе политик От задачи к оборудованию Одно управления для различного оборудования Динамичное предоставление сервисов Сервисы привязаны в ВМ SDS Быстрое предоставление ресурсов Без лишних ресурсов Автоматизация Простое управление Преимущества управления на основе политик 8

Настройки Virtual SAN: Количество страйпов на объект Количество допустимых отказов % зарезервированного места % резервирование места под кэш на чтение 2H2014 / 1H2015 Пример: политика для VMware Virtual SAN 9

Проверка соответствия политики нашим требованиям 10

Доступность Управление Скорость Возможности Безопасность Hypervisor Virtual Pools SAN HDD SSD DAS NAS RAID QoS Скорость Задержки Кэширование FTT Снепшоты Репликация Шифрование Соответствие нормативным требованиям Мониторинг Вендор Компрессия Дедупликация Авто-тиринг Виртуализованная плоскость данных ВМ-ориентированные сервисы Управление на базе политик Любые характеристики хранилища 11

Пример: политика для SAN/NAS при помощи VVOL 12

vSphere Storage Policy Based Mgmt. Cloud Storage vCloud Air … HDD SSD Virtual SAN Shared Datastore … HDD SSD HDD SSD Virtual SAN Virtual Volumes Virtual Datastore SAN / NAS VMware Virtual Volumes 13

Replication Snapshots Caching Encryption De-duplication vSphere Хранилище без VVol Хранилище с VVol Возможность реализации управления на базе политик Передача сервисов на хранилище (Offload) Никакого создания LUNов Гранулярность - каждая ВМ datastore a vSphere Массив-А Массив-Б LUN и Особенности работы с внешними хранилищами 14

vSphere SAN / NAS Данные Vendor Provider (VASA) Управление Политики хранения Доступ Емкость Возможности Снепшоты Репликация Дедупликация QoS Virtual Datastore Администратор хранилища Администратор vSphere Архитектура Virtual Volumes 15

ПО от вендора хранилища VASA Provider может находиться на сервере управления массивом или на самом массиве ESX и vCenter Server подключается к VASA Provider Один VASA Provider может управлять многими массивами Поддерживает VASA API предоставляемый vSphere Отвечает за создание Virtual Volumes Virtual Volumes VASA Provider Характеристики VASA Provider (VP) 16

Virtual Volumes VASA Provider PE Точка обмена данными между хостами ESXi и хранилищем Служит для разделения точек обмена данными от самого хранения Создается на системе хранения данных Управляется администратором хранилища Возможно создание множества PE Характеристики Protocol Endpoints (PE) 17

Virtual Volumes Исключительно логическая конструкция, объединяющая группу VVOL Создается тоже администратором хранилища один* раз Размер можно изменять при необходимости Минимум один контейнер на массив, максимум – сколько поддерживает вендор Возможно размещение ВМ с различными требованиями/характеристиками в одном контейнере Один контейнер может быть подключен к нескольким PE Характеристики Storage Container (SC) 18

Virtual Volumes – Объекты ВМ, которые хранятся непосредственно на массиве в контейнерах – Не требует файловой системы Существует 5 различных типов Virtual Volumes: – Config-VVol –Метаданные – Data-VVol – VMDK – Mem-VVol – Снепшоты – Swap-VVol – Своп-файлы – Other-VVol – Остальные файлы vSphere Web Client View vvol CONFIG DATA SWAPMEM Virtual Volumes 19

Возможности Снепшоты Репликация Дедупликация Шифрование Итого Никакой файловой системы ESXi управляет массивом через VASA (vSphere APIs for Storage Awareness). Массив разделяется на логические контейнеры (SС) Диски VM, называемые Virtual Volumes, помещаются напрямую в Storage Containers. IO от ESXi до массива проходит через точку под названием Protocol Endpoint (PE) Выполнение различных сервисов передается на массив Управление происходит через политики хранения из vSphere vSphere Storage Policy-Based Mgmt. Virtual Volumes Политики CapacityCapacity AvailabilityAvailability PerformancePerformance Data Protection SecuritySecurity PE VASA Provider PE Еще раз: 20

Преимущества VVol: действительно гибкие политики 21

В KB есть следующие рекомендации по снепшотам ВМ – Использовать не более часов – Не более 2-3 последовательных снепшотов – Может негативно повлиять на производительность C2E1 ABCDE Момент 0 C1 Чтение A Чтение C1 Запись C2 Данные Δ Изменения Чтение E Запись E1 Момент 1 Момент 2 Снепшоты на массиве – Крайне высокая эффективность – Мгновенное восстановление тома – Поддерживается до 512 VVol на данный момент ограничен 32 – Создание мгновенных копий без дополнительной нагрузки – Более частые точки защиты данных Преимущества VVol: снепшоты на массиве 22

С VVol становится возможно: Получить метрики от хранилища для каждой ВМ и каждого диска ВМ Точнее и аккуратнее определить проблемные ВМ или диски ВМ Уменьшить время решения проблемы Преимущества VVol: детальный мониторинг за каждой ВМ 23

Гранулярная защита – Репликация для каждой ВМ – Защитные планы для каждой ВМ Защищайте только то, что вам действительно нужно, но именно так, как вам нужно В планах Преимущества VVol: : репликация 24 В планах

Возможность быстрого получения сервисов от хранилища для каждой ВМ Простое получение ресурсов хранилища по требованию Мониторинг соответствия требованиям Использование возможностей хранилища по-максимуму Возможность быстрого получения сервисов от хранилища для каждой ВМ Простое получение ресурсов хранилища по требованию Мониторинг соответствия требованиям Использование возможностей хранилища по-максимуму Простое управление емкостью Соблюдение SLA для ВМ Управление доступом и безопасностью Простое управление емкостью Соблюдение SLA для ВМ Управление доступом и безопасностью Администратор инфраструктуры Администратор хранилища Преимущества для каждой стороны 25

Более 20 VVOL Партнеров Готовность к GA Virtual Volumes уже в Бета И другие…. Практически все производители поддерживают VVol 26

HOL-SDC Virtual Volumes Tech Preview HOL-PRT Virtual Volume with Dell EqualLogic Где попробовать VVol уже сейчас? В Hands-On Labs! 27

vSphere Storage Policy Based Mgmt. Cloud Storage vCloud Air … HDD SSD Virtual SAN Shared Datastore … HDD SSD HDD SSD Virtual SAN Virtual Volumes Virtual Datastore SAN / NAS VMware Virtual SAN 28

Мощность CPU Емкость SSD Скорость SSD DIMM SAS/ SATA Сервер x86 Гипервизор HDD SSD HDD SSD HDD SSD Конвергентное хранилище Причины появления конвергентных решений 29

Создается единый vsanDatastore, который используется для размещения всех ВМ и на всех серверах Hard disks SSD Hard disks SSD vSphere VSAN VSAN Datastore … VMware Virtual SAN 30

– Virtual SAN полностью интегрирован с vSphere (ESXi и vCenter) – Работает на уровне ядра: Самый короткий и быстрый путь для I/O Нет лишних затрат на установку и обслуживание Нет лишнего использования ресурсов Virtual SAN – Уже ВСТРОЕН в vSphere Virtual SAN – НЕ ВМ + Virtual SAN – это НЕ еще одна служебная ВМ на vSphere 31

SAS/SATA контроллер (pass-through или RAID0) PCIe/SAS/SATA SSD SAS/NL-SAS/SATA HDD 1Gb/10Gb NIC Сервер VMware HCL Минимум 1 Min 1 SSD & 1 HDD per host, Max 1 SSD & 7 HDD per disk group, 5 disk groups per host Min 3 ESXi 5.5 Hosts, Max TBD Hosts, Max 1 VSAN datastore per cluster Max vsanDatastore = TBD hosts * 5 disk groups * 7 disks * size of disks Not every node in a VSAN cluster needs to have local storage. vCenter server version 5.5; managed thru web-client Требования к оборудованию для VSAN 32

Одна дисковая группа Несколько дисковых групп Базовый элемент – дисковая группа 33

1. VM включается и работает на H1; H1 хранит данные ВМ. FFT = 2 2. ВМ оправляет запрос на запись на H1 3. На H1 создается две копии данных. Одна из них отправляется на запись в SSD на H1 4. Вторая копия отправляется на H2 5. Запись подтверждается только после попадания на SSD 6. H1 ждет ответа о записи от ОБОИХ узлов и только после этого оправляет ответ в ВМ об успешной записи 7. Позже данные сбрасываются на жесткий диск из SSD vSphere Virtual SAN 4 H3 H2 H virtual disk Процесс записи 34

1. ВМ отправляет запрос на чтение 2. H1 определяет владельца данных (в нашем случае H2) 3. Если это возможно, то чтение идет с SSD на хосте-владельце. Если данных нет в SSD, то читаем с HDD 4. Блок с данными может быть закеширован в SSD – Владелец распределяет запросы на чтение между компонентами таким образом, что каждый блок кэшируется только на одном хосте для максимально эффективного использования SSD 5. Данные пересылаются на H1 6. Данные отправляются в ВМ vSphere Virtual SAN H3 H2 H virtual disk Процесс чтения 35

Virtual Desktop (VDI) Virtual Desktop (VDI) Tier 2 / Tier 3 / Test Tier 2 / Tier 3 / Test DR Target DR Target Быстрое и автоматическое развертывание новых ресурсов хранения данных Идеальное отношение цены/производительности Позволяет быстро создавать ресурсы хранилища для облачных нагрузок Полная интеграция с vSphere Replication и VMware SRM Уменьшает стоимость резервного сайта Минимизирует требования к архитектуре ЦОДов Сценарии использования Virtual SAN 5.5 Сценарии использования Virtual SAN 36

«Собери сам»«Собери сам» …используя VMware Virtual SAN Compatibility Guide (VCG) (1) Подбор всех компонентов… SSD SAS/NL-SAS/ SATA HDD Любой сервер из vSphere Hardware Compatibility List HBA/RAID Контроллер Virtual SAN Ready NodeVirtual SAN Ready Node >40 уже сконфигурированных производителями конфигураций оптимальных для Virtual SAN (2) Note: 1) Components must be chosen from Virtual SAN HCL, using any other components is unsupported – see Virtual SAN VMware Compatibility Guide PagePage 2) VMware continues to update/add list of the available Ready Nodes, please refer to Virtual SAN VMware Compatibility Guide Page for latest listPage 3) EVO:RAIL availability in 2H Exact dates will vary depending on the specific EVO:RAIL partner Гибкость Скорость и простота VMware EVO:RAILVMware EVO:RAIL Гипер-конвергентная инфраструктура для построения SDDC Каждое решение предустановлено и преднастроено. Представляет собой оптимизированную платформу формата 2U/4. Поставляется единым SKU производителями-партнёрами EVO:RAIL (3) Virtual SAN + ОборудованиеVirtual SAN + Оборудование Гипер-конвергентное решение Гипер-конвергентное решение Пути построения VMware Virtual SAN 37

Пример конфигураций Virtual SAN Ready Nodes 38

Подробнее: серверов, в каждом 1xSSD 400GB + 7xHDD 1.1TB 10k Подробнее в документе: html View Planner VDImark 101 Heavy User per Host 3-16 серверов, в каждом 2xSSD 400GB 12xHDD 15k 300GB Подробнее в документе: Microsoft SQL Server 2008 = 77k/148k OPM 4/8 серверов, в каждом 1xSSD 400GB + 7xHDD 1.1TB Сверхвысокая производительность на реальных нагрузках 39 Microsoft Exchange Server серверов, в каждом: 3 дисковых группы: 1xSSD 200GB 4xHDD 900GB Подробнее в документе:

vSphere Storage Policy Based Mgmt. Virtual Volumes Cloud Storage vCloud Air … HDD SSD Virtual SAN Shared Datastore … HDD SSD HDD SSD Virtual SAN Virtual Datastore SAN / NAS И еще кое-что… 40

Сторонние решения API для сторонних разработчиков, позволяющее внедрять решения для обработки данных ВМ Производительность работы на уровне ядра гипервизора и стабильность работы на уровне гостевой ВМ Глубокая интеграция с политиками хранения vSphere Уникальный контроль и обработка канала ввода/вывода для каждой ВМ Обзор Storage Policy Based Management Virtual Volumes Virtual SAN Shared Datastore Virtual SAN HDD SSD HDD SSD HDD SSD SAN / NAS vSphere API for IO Filtering (VAIO) 41

Участвуйте в VMware vSphere Open Beta, чтобы знать больше! Помогите нам улучшить ваш любимый продукт Узнайте о грядущих изменениях еще до того, как о них расскажут всем. Только никому не рассказывайте Никаких номинаций. Участвовать может любой! Другие улучшения в следующей vSphere 42

vSphere Storage Policy Based Mgmt. Virtual Volumes Cloud Storage vCloud Air … HDD SSD Virtual SAN Shared Datastore … HDD SSD HDD SSD Virtual SAN Virtual Datastore SAN / NAS VMware Software-Defined Storage 43

Николай Куликов