VMware vSAN для всех и пусть никто не уйдет обиженным… Зыков Филипп, ИТ-эксперт

Vmware VSAN О чем пойдет речь…. I.From vVol to vSAN II.Почем счастье ? III.Из чего оно сделано? IV.Quick startup guide V.Что «под капотом»? VI.Что и где еще можно покрутить? VII.Лабберам на заметку… VIII.FAQ, или вопросы которые забыли спросить…

Vmware VSAN (From vVol to vSAN) Новые принцип VDC - "Virtual Data Center". Консолидация (виртуализация) – сделано SDN (виртуальная сеть) – в процессе SDS (виртуальное хранилище данных) – только начался переход

Vmware VSAN (From vVol to vSAN) "Virtual Data Center от Vmware.

Vmware VSAN (From vVol to vSAN) Новый термин SDS – Software Defined Storage

Vmware VSAN (From vVol to vSAN) Модель с несколькими хранилищами: Модель с одним хранилищем: Часто в роли подобных хранилищ используют устаревшие или менее производительные. Проблема – масштабирование и перенос данных. Более современный подход, когда хранилище имеет различные пулы дисковых данных. Проблема – более сложное управление и настройка.

Vmware VSAN (From vVol to vSAN) Модель будущего

Vmware VSAN (From vVol to vSAN) Что такое vVol? vVol это виртуальный том хранилища (контейнер), который оперирует только файлами VM. Все стандартные операции хранилищ: расширение/сжатие томов, репликации, снапшоты и прочее проводятся над файлами VM целиком, а не над томами или LUN. Важно! Разница в походе - управление не пространством хранилищ, а его содержимым, в данном случае VM, как контейнером. Виртуальность заключается в том, что уровень абстракции поднят до уровня отдельных VM.

Vmware VSAN (From vVol to vSAN) Модель vVol (упрощенно):

Vmware VSAN (From vVol to vSAN) VASA –vSphere Storage APIs for Storage Awareness Задачи которые должен решать API: Интеграция хранилищ Независимость от типа хранилища Множественность путей к хранилищам Защита данных vSphere Storage APIs Array Integration Storage Awareness MultipathingData Protection

Vmware VSAN (From vVol to vSAN) vSAN это Storage Provider!

Vmware VSAN (From vVol to vSAN) Откуда произошла технология VSAN? в 2012 г. Vmware заявила о новой технологии vVol (виртуальные тома), которая должна поддерживаться основными производителями хранилищ и... В ответ - тишина.

Vmware VSAN (From vVol to vSAN) Основателем направления была – Куплена компанией Vmware 11 февраля 2013 г. Схема решения SDS от Virsto – специальный модуль для ESXi

Vmware VSAN (From vVol to vSAN) В конце 2013 г. c получением технологий Virsto решили действовать сами – в Vmware Vsphere 5.5, была представлена бета-версия vSAN (Virtual Storage Area Network)

Vmware VSAN (From vVol to vSAN) Какие есть еще софтверные хранилища (и SDS) на рынке для Vmware Vsphere? Бесплатные: EMC (ViPR) - Коммерческие: Netapp p4000-lefthand-san-solutions.pdf

Vmware VSAN (почем счастье?) GPL цены в USA:

Vmware VSAN (почем счастье?) Цена для VDI-решения или почему vSAN рекомендуют для него в первую очередь:

Vmware VSAN (почем счастье?) Российские цены (поддержка обязательна к покупке): VMware Virtual SAN 5 for 1 processor (ST-VSAN-C) = $2 744,50 Basic Support/Subscription for VMware Virtual SAN 5 for 1 processor (ST-VSAN-G-SSS-C) = $ 576,40 * 1,18 (НДС) = $680,15 Итого = $3424,65 * 2 (два процессора) = $6849,30 VMware vSphere Enterprise Plus без которой vSAN работать не будет : VMware vSphere 5 Enterprise Plus for 1 processor (VS5-ENT-PL-C) = $4 543,50 Basic Support/Subscription for VMware vSphere 5 Enterprise Plus for 1 processor for 1 year (VS5-ENT-PL-G-SSS- C) = $954,20 * 1,18 (НДС) = $1125,95 Итого VMware vSphere на 1 (2-cpu) сервер составляет: $5669,45 * 2 (два процессора) = $11 338,90. ИТОГО: $6849,30 + $11 338,90 = $ ,20 VMware vSphere и Virtual SAN для одного двухпроцессорного сервера: На минимальную рекомендуемую конфигурацию из 4-х хостов $ ,20*4= $ ,8 Бета-тестеры имеют скидку – 20% Не забудьте прибавить цену «железа» 4-х однотипных серверов…

Vmware VSAN (почем счастье?) Ответ на вопрос – «Почему так дорого?»

Vmware VSAN (почем счастье?) Имеет ли смысл покупать лицензии на vSAN или лучше купить «железо»? Против: У вас есть огромные физические хранилища и много свободного места Вы все еще используете Vmware Vsphere У вас только блейд-сервера и вы не умеете (либо просто невозможно) добавлять к ним диски через JBOD-массивы Ранее был куплен Vmware Vsphere Essential Kit- 1 шт. Ваше железо не попадает в vSAN HCL-лист У вас много опытных администраторов хранилищ данных, которые могут доказать, что SDS это чушь.

Vmware VSAN (почем счастье?) Имеет ли смысл покупать лицензии на vSAN или лучше купить «железо»? За: Простота запуска в работу, настройки и мониторинга Надежность и доступность сопоставимая с RAID-10 Лицензии покупаются на CPU и не зависят от размеров хранилища Ранее был куплен Vmware Vsphere Enterprise Edition Вы используете rack-сервера и в них куча дисков У вас нет администратора хранилищ данных Вам некуда девать деньги Вы умеете считать CAPEX и OPEX

Vmware VSAN (почем счастье?) Доверимся IT Pros?

Vmware VSAN (почем счастье?) Не надо стеснятся производительности если есть 32 хоста:

Vmware VSAN (почем счастье?) Имеет ли смысл покупать лицензии на vSAN или лучше купить «железо»? Мое личное скромное ЗА: HDD Получено на Hetzner.de EX40 Intel® Core i7-920, 48 Gb RAM, SSD Intel 240GB, 2 TB SATA 3 Gb/s 7200 rpm, 1 Gb NIC vSAN 3-х кратное увеличение скорости – 30 мин. (10 мин. миграция VM)

Vmware VSAN (почем счастье?) Где можно использовать уже :

Vmware VSAN (Из чего оно сделано?)

disk group Each host: 5 disk groups max. Each disk group: 1 SSD + 1 to 7 HDDs disk group VSAN network vsanDatastore HDD Рекомендуется соотношение SSD-HDD к 10

Vmware VSAN (Из чего оно сделано?) HDD - разделы: SSD - разделы:

Vmware VSAN (Из чего оно сделано?) ОБЪЕКТЫ (Objects) ПОЛИТИКИ ХРАНИЛИЩА (Storage Policies) КОМПОНЕНТЫ (Components) Ключевые элементы: СЛОЖНО ОТКАЗАТЬ

Vmware VSAN (Из чего оно сделано?) VM home (Namespases) VM swap VMDK Snapshot deltas Метаданные описания VM (vmx) VM своп-файл Все vmdk-файлы VM Delta-диски снапшотов Объекты (Objects) = VM файлы

Vmware VSAN (Из чего оно сделано?) Надежность и производительность состоит из компонентов

Vmware VSAN (Из чего оно сделано?) Политики регулируют поведение кластера vSAN

Vmware VSAN (Из чего оно сделано?) Numbers of failures to tolerate это правило политики означает, какое количество отказов хостов может пережить кластер хранилищ. Если установлено значение 1, то реплика одного объекта (VM) будет размещена на еще одном из хостов кластера. Default Availability FTT=1 Medium Availability FTT=2 High Availability FTT=3

Vmware VSAN (Из чего оно сделано?) Number of disk stripes per object - число HDD-дисков на хосте, по которому будет распределена каждая реплика виртуальной машины. Значение больше чем 1 создает RAIN-0. Приводит к более высокой степени использования дисковой емкости. Этот параметр менять не рекомендуется, достаточно дефолтного значения 1. Максимальное значение 12. Flash Read Cache Reservation - это процент резервирования диска VMDK который будет кэшироваться на чтение на SSD-диске (% прогрева кэша). Значения лучше менять до 1%. По умолчанию он равен 0 (то есть, нет резервирования кэша), максимальное значение = 100%. Force Provisioning - этот параметр позволяет развернуть виртуальную машину в кластере хранилищ даже в том случае, если VM Storage Policy не соблюдается на хранилищах. По умолчанию Force Provisioning выключен. Object space reservation - это правило определяет тип дисков VM (по-умолчанию создаются как Thin Provisioned. Если поставить Object Space Reservation в значение 100%, то виртуальные машины будут создаваться с дисками типа Thick (lazy zeroed thick (LZT)), но не eager zeroed thick (EZT) По умолчанию установлено значение 0%.

Vmware VSAN (Из чего оно сделано?) Как это выглядит в web-client (Vcenter-> Clusters-> Cluster name-> Monitor–> Virtual SAN)

Осторожно маркетинг! Vmware VSAN (Из чего оно сделано?) В vSAN НЕТ RAID & STRIPES RAID - redundant array of independent DISK В vSAN ЕСТЬ RAIN & REPLICS RAIN - redundant array of independent NODES RAIN-0 и RAIN-1 более корректные термины Replica более правильный термин для vSAN, т.к. используется синхронизация файлов!

Vmware VSAN (Из чего оно сделано?) vSAN cluster Concatenation vSAN object replica-1 replica-2 ESXi-00 ESXi-01 ESXi-02 ESXi-03 RAIN-1 virtual disk RAIN-0 VM Virtual disk = vSAN object

Vmware VSAN (Из чего оно сделано?) Объекты состоящие из множества компонентов распределяются по всему vSAN-кластеру для: Надёжности Доступности Производительности Локально установленные HDD и SSD собираются в Disk Groups VM запускаются на esxi-хостах vSAN-кластера Любой объект может быть декомпозирован по уровням: RAIN-1 over Concatenation (последовательное сцепление) RAIN-1 over RAIN-0 RAIN-0 over RAIN-1

Vmware VSAN (Из чего оно сделано?) И все-таки vSAN это Storage Provider (от Vmware)!

Vmware VSAN (Из чего оно сделано?)

Откуда 2 папки у каждой VM и одна из цифр ?

Vmware VSAN (Из чего оно сделано?) Datastore: кластеризованное пространство имен (namespace) POSIX- совместимый namespace Objects (объекты) имеют свой UUID Virtual disk = object VM metadata = файлы внутри FS объектов Per-VM подкаталоги в datastore VM metadata представляют virtual disk objects (объекты) Представление псевдо datastore: auto-mount VM namespaces – OSFS /vSAN DataStore/VM1 x.vmdk y.vmdk /vSAN DataStore uuid-0uuid-1uuid-2 z.vmdk /vSAN DataStore/VM2 Ruby vSphere Console (RVC) Storage Policy Based Management (SPBM) Объекты (Objects) – RVC Namespace:

Vmware VSAN (Из чего оно сделано?) or cd or, далее cd Подкаталоги: computers (clusters) datastores networks (portgroups) vms (virtual machines)

Vmware VSAN (Из чего оно сделано?) VSAN RVC command vsan.cluster_info ~/computers/

Virtual SAN - «под капотом» 45 Кластеризация и расширение – Один (суб) кластер до 32 хостов; 10Ks объектов поддерживается (будет больше) Распределение данных – RAIN-1 (replication), RAIN-0 (striping), Concatenation «Железные» параметры – Минимально требуется выделение 1 SSD и 1 HDD на хост – Диски используются целиком – Жесткий список HCL – 10G-сеть для рабочей среды Управление vSAN-кластером – vCenter plug-in для vSAN встроен по-умолчанию (доступен в web-client) – SMART показатели HDD и SDD можно мониторить через vCenter «Под капотом» – Generic user-space Object Library (ObjLib) – реализует вызовы API через RVC – Per-VM файловая система с метаданными в специальном объекте VM-files (не путать с vmdk-объектами) – OSFS (виртуальная файловая система): FSS driver + UW daemon (реализует псевдо- datastore)

Конфигурация Макс.Примечание VSAN хостов в кластере 32Минимум 3, рабочий минимум 4 (16 рекомендуется для View Horizon) VMs в кластере 3200*100 на хост VMs в кластере с HA2048**64 на хост VSAN дисковые группы 5 Flash/SSD на дисковую группу 1 HDD на дисковую группу 7 VSAN Datastores в кластере 1 VSAN Components (на хост)3000 Virtual SAN -«под капотом» * Для кластера из 32 хостов ** Ограничение Datastore с HA (это не ограничение VSAN) 46 Поддерживаемый текущий максимум:

Virtual SAN - «под капотом» 47 Память (GB)Макс. кол-во дисков Макс. кол-во Disk Groups Макс. кол-во дисков в Disk Group Память на хосте минимально: *Цифры означают требования к объему памяти на хосте, а не потребление!

Virtual SAN – «под капотом» 48 Witness (свидетель) – что это такое?

Virtual SAN – «под капотом» 49 Witness (свидетель): Primary Witnesses: Требуется не менее (2 * FTT) + 1 nodes (хост) в кластере для нормальной работы, если менее то создается этот тип Witness, который размещается на ряде хостов до выполнения условия (2 * FTT) + 1 nodes (хост) Secondary Witnesses: создается для того, чтобы обеспечить каждому хосту одинаковую силу относительно кворума. Добавляется хостам для того,чтобы сравнять количество компонентов. Таким образом общее число компонентов+ witness становится одинаковым на каждом хосте. Tiebreaker witness: используется, чтобы сделать число компонентов (data + witnesses) нечетным.

Virtual SAN – «под капотом» 50 Primary witnesses: нет (все распределено по 4-м нодам) Secondary witnesses: выравниваем число компонентов на vsan-host- 3.pml.local vsan-host-2.pml.local Tiebreaker witness: после выравнивания число компонентов стало 8 (6 data + 2 witnesses) требуется еще один для нечета. Primary witnesses: нет - компоненты равномерно распределены по 4-м нодам (правило 2*FTT+1 соблюдается). Secondary witnesses: нет, выравнивания по компонентам не нужно. Tiebreaker witness: общее число компонентов 4, поэтому нужен 1 witness для нечета. Сценарий 1: VM 511 GB VMDK с Failures to Tolerate 1 Сценарий 2: VM 512 GB VMDK с Failures to Tolerate 1 vSAN object namespace имеет лимит 255GB на 1 объект. Объекты более 255GB разносятся между хостами

Virtual SAN – «под капотом» 51 CMMDS (Clustering Monitoring, Membership and Directory Services): Управление хостами (нодами) VSAN-кластера Управление распределенными метаданными в кластере DOM(Distributed object manager): Создает и поддерживает надежные, защищенные объекты на множестве хостов из локальных объектов Управляет различными объединяемыми объектами типа RAIN Для размещения объектов использует (CLOM – «движок» Storage Policies) RDT (Reliable datagram transport): Универсальная надежная, доставка по-заказу (потенциально больших) датаграмм Использует CMMDS для динамического разрешения адресов LSOM (Local log-structured object manager): Предоставляет логгируемый API к компонентам объектов Использует локальные диски с SSD-кэшированием и буфером записи CLOM: Управление Storage Policies Размечает (раскладывает) политику (полученную от SPBM) -> конфигурация объектов, в зависимости от состояния кластера Обеспечивает реакцию на изменения в кластере и Storage Policies DOM применяет конфигурацию получаемую от CLOM

Virtual SAN – «под капотом» 52

Virtual SAN – Quick startup guide 53 Подготовка к установке 1. Проверить в HCL железо хоста - san san 2.Убедиться, что есть 3 хоста** и на каждом есть один SSD-диск и один HDD, на которых нет данных (они будут отформатированы). 3. Если используете аппаратный RAID, который есть в HCL, то его нужно перевести в JBOD 4. У вас есть и работает 1GB сеть между хостами, рекомендуется 10GB для рабочих конфигураций 5. VSAN Vmkernel порт сконфигурирован на каждом хосте ( не забудьте включить галочку) 6. Имеет смысл сделать VSAN VLAN с соответствующей настройкой port group в VDS.

Virtual SAN – Quick startup guide 54 Сисадмину на заметку Примечание 1: * это минимальное количество для запуска системы со всем набором функций На самом деле vSAN будет «функционировать», т.е. формировать datastore и на одном хосте, если есть потребность только объединить дисковые ресурсы хоста. onto.html onto_9. html Тут рассказано как запустить vSAN на одном хосте. Примечание 2: * необязательно, чтобы каждый хост был «донором» дискового пространства для vSAN, возможно просто подключать хосты к уже сформированному vSAN datastore в качестве потребителей дискового пространства

Virtual SAN – Quick startup guide 55 Шаг 1 (прочитать официальные гайды) 1. and_Sizing_Guide.pdfhttps:// and_Sizing_Guide.pdf 2. 0Hardware%20Quick%20Start%20Guide.pdfhttp://partnerweb.vmware.com/programs/vsan/Virtual%20SAN%2 0Hardware%20Quick%20Start%20Guide.pdf 3. l_SAN_POC_Guide.pdfhttp:// l_SAN_POC_Guide.pdf Либо все вместе с комментариями и примерами в хорошей и подробной книге systems-and-server-administration/virtualization/ http://my.safaribooksonline.com/book/operating- systems-and-server-administration/virtualization/

Virtual SAN – Quick startup guide 56 Шаг 2 (прочитать неофициальный гайд с картинками) configure/ Шаг 3 (почитать блоги тех, кто в теме) - Cormac Hogan - Duncan Epping Затем по тегу vSAN прочитать статьи из этого блога - William Lam ТЕПЕРЬ МОЖНО ПРИСТУПАТЬ К УСТАНОВКЕ

Virtual SAN – Что и где можно покрутить? 57 Производительность и состояние vSAN-кластера – vSAN Observer (RVC) vsan.observer / /computers/ / –run-webserver –force

Virtual SAN – Что и где можно покрутить? 58 Производительность и состояние vSAN-кластера – vSAN Observer (RVC) vsan.observer / /computers/ / –run-webserver –force :8010

Virtual SAN – Лабберам на заметку… 59 Labbers – ит-специалисты увлеченно собирающие unsupported конфигурации для запуска Vmware продуктов Версия ESXi 5.5 поддерживающая AHCI-режим дисков (Intel-SATA) это BETA 2 – esxi тут можно найти неподдерживаемые SATA-драйвера для desktop мат. плат

Virtual SAN – Лабберам на заметку… 60 Рекомендуемая mini itx плата (~ 240 USD) Важно! Имеет размеры 21 х 17 см, проверяйте размеры посадочной площадки корпуса.

Virtual SAN – FAQ, или вопросы которые забыли спросить… 61 Вопрос 1: Что будет если диск или хост выйдут из строя? Ответ: 2 ситуации: отказ диска и отказ хоста degraded Отказ диска: Происходит моментальное «резервное зеркалирование».

Virtual SAN – FAQ, или вопросы которые забыли спросить… 62 Вопрос 1: Как обеспечивается надежность vSAN? Ответ: 2 ситуации: отказ диска и отказ хоста Отказ хоста: Отказ хоста до 60 мин. – ожидание, если более то создание запускается «резервное зеркалирование». Можно изменить время в Advanced Settings: VSAN.ClomRepairDelay absent

Virtual SAN – FAQ, или вопросы которые забыли спросить… 63 Вопрос 2: Как выключать хосты с vSAN? Ответ: Ensure accessibility (учитываем политики) Full data migration (не обращаем внимания) No data migration (отключаемся жестко)

Virtual SAN – FAQ, или вопросы которые забыли спросить… 64 Вопрос 3: Нужен ли vCenter для работы vSAN? Ответ: Для настройки нужен, для работы – нет. ESXi-hostы работают с vSAN сами Вопрос 4: Поддерживает ли vSAN – HA, DRS, DPM, FT, Storage DRS, Storage IO Control? Ответ: HA, DRS – да, но в HA нужно использовать isolation response - powered-off, т.к. отказ хоста означет отказ всех его VM, а его возвращение в строй может привести к «битве клонов». DPM, FT – пока, нет Storage DRS и Storage IO Control – нет, т.к. используются другие механизмы

Virtual SAN – FAQ, или вопросы которые забыли спросить… 65 Вопрос 5: Зачем нужен SSD? Ответ: SSD используется на (70%) для чтения и на (30%) для буфера записи. Все записи проходят сначала через SSD, а потом «скидываются» на HDD. Это своего рода кэш N-го уровня для дисковых операций, а-ля гибридный диск powered by vSAN, Если у вас нет SSD или возможности его установить, то поможет команда esxcli storage nmp satp rule add –satp VMW_SATP_LOCAL –device mpx.vmhba2:C0:T0:L0 –option enable_local enable_ssd Т.е. превращаем HDD в SSD для vSAN (IOPS это не добавляет).

Virtual SAN – FAQ, или вопросы которые забыли спросить… 66 Вопрос 5: Получил вот это окошко после включения vSAN Ответ: Есть ошибка в сетевой конфигурации (неверно настроен vmKernel, portы vSAN где-то перекрыты, другое…) vmkping в помощь

Virtual SAN – FAQ, или вопросы которые забыли спросить… 67

Virtual SAN – ВОПРОСЫ 68 Данная презентация сделана с использованием vSAN