Sep 2013 d.borshev@quantum.com РЕШЕНИЯ КОМПАНИИ QUANTUM ДЛЯ BIGDATA Борщев Дмитрий Pre-Sales, Quantum Corp, Россия. - презентация

1 Sep 2013 РЕШЕНИЯ КОМПАНИИ QUANTUM ДЛЯ BIGDATA Борщев Дмитрий Pre-Sales, Quantum Corp, Россия

2 КОМПАНИЯ QUANTUM

3 3 Крупные клиенты в России

4 4 Scalar Series StorNext - кластерная высокоскоростная файловая система для управления и обеспечения совместного доступа к данным в многоуровневых системах хранения. Lattus - высокоскоростная система объектного хранения данных нового поколения с любым уровнем отказоустойчивости. DXi – системы репликации и дедубликации данных, которые обеспечивают максимальную производительность и минимальную стоимость владения в своем классе. Scalar – ленточные системы хранения c приложением iLayer реализует долгосрочное архивное хранение данных, в т.ч. отказоустойчивые решения. Решения Quantum для защиты и хранения данных StorNext © 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. DXi-Series Lattus

5 НЕМНОГО ПРО BIGDATA

6 Где хранятся большие объемы данных Телевидение и развлечения Редактирование, кодирование и др Наборы цифровых архивов Государство Видеонаблюдение Аудит / regulatory records Наука и Здравоохранение Данные испытаний и исследований Истории болезни пациентов и др. Нефть и Газ Сейсмические исследования Большие объемы документов Видео на предприятиях Постобработка видеоматериалов Видеонаблюдение Source: File Based: 61% CAGR Block Based: 22% CAGR Worldwide File-Based vs. Block-Based Storage Capacity Shipments, 2009–2014 © 2011 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. 6

7 Требования к Системам для работы с BigData Простое внедрение и управление Отсутствие жесткой привязки к оборудованию Надежность технологии хранения Широкий выбор протоколов доступа ГЕО-распределенная инфраструктура Возможность построение иерархичной системы хранения (экономика) © 2010 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. 7

8 STORNEXT ДЛЯ BIGDATA

9 StorNext наши заслуги Более 1/2 EB данных управляется StorNext Более 60,000 file system клиентов внедрено Все 4 основные Телевещательные компании и более 20 кабельных сетей США 7 из 7 ведущих видеостудий Основные научные и геном- исследовательские институты Ведущие выскоко- технологичные комании

10 10 Заказчики в России BigData

11 Клиенты в области Науки по Миру GWDG (University of Goettingen and Max Planck Institutes of Goettingen), 2* S10K and 1*i6K and StorNext RRZ (University of Hamburg) i6K UKE (University Hospital of Hamburg) i6K MHH (Medizinische Hochschule Hannover) i6K Helmholtz Zentrum Berlin i6K Humbold Universitaet Berlin i6K FVB (Forschungsverbund Berlin) i6K FMP (Leibniz Institut fuer Molekulare Pharmakologie Berlin) i6K IAP (Institut fuer Atmosphaerenphysik Kuehkungsborn) i6K FSU (Friedrich Schiller Universitaet Jena) i6K MPI (Max Planck Institut fuer Anthropologie Leipzig) i6K Universitaets Klinikum Leipzig i6K

12 Аппаратное решение Quantum для StorNext © 2011 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. 12 StorNext SAN Clients CIFS/NFS GigE TCP/IP Infiniband IP StorNext DLC G30x Gateway Servers PRIMARY TIER QD6000/QS1200 StorNext AEL500/6000 StorNext Replication StorNext Deduplication SECONDARY TIER QD6000 StorNext Storage Manager M330 Metadata Controllers QD6000 LATTUS

13 StorNext аппаратные системы 13 Высокопроиз водительные дисковые системы M330 Controller QS1200 AEL6000 Both Come with Storage Manager and EDLM Comes with StorNext File System AEL500 Совместный доступ Подключение через SAN/LAN Системы Архивирования QM1200 QD6000 G301 G302 G300 Gateways Q-Series Storage AEL Archives Metadata Appliances Специально для Big Data applications Общая файловая система с доступом SAN / LAN Простое развертывание Многопользовательские одновмременный доступ с различных платформ и к различным системам хранения Гарантированная производительность Уверенность в стабильноести, все оборудование сертифицировано Quantum Комплексное решение от единого поставщика Простое унифицированое решение для Big Data Встроенная система Storage Manager, управление иерархичным хранением данныз Встроенный функционал EDLM автоматически проверяет и переносит данные с плохих лент Ниже TCO с новой моделью лицензирование (по слотам)

14 14 Stornext для BigData Quantum Stornext – уникальное решение для высокоскоростного доступа и хранения больших объемов данных. Quantum Stornext – практически единственный продукт, который поддерживает все популярные платформы,ОС (Win/Lin/Mac/Unix) и протоколы (FC,IP,NFS/CIFS) Quantum Stornext – решение которое поставляется в виде отдельного ПО или в виде аппаратно-программного комплекса, рассчитанного на определенную производительность. Quantum Stornext – это отсутствие привязки к оборудованию, вы можете оптимально использовать существующую у вас инфраструктуру, а также внедрять в нее новые технологии. Quantum Stornext – это решение, позволяющее построить иерархичную систему хранения данных с оптимизацией уровней хранения, с применением дисковых массивов и ленточных библиотек. © 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only.

15 LATTUS ДЛЯ BIGDATA

16 «Длинный хвост» ценности данных 16 Все осознают ценность исторических данных Ценность Возраст Новые данные имеют высокую ценность Но возможность длительного хранения всех данных – бесценна!

17 Диски высокой емкости и время восстановления 17

18 Традиционные проблемы с репликацией 18 RAID 6 Репликация RAID Rebuilds = снижение производительности RAID Rebuilds = увеличение административных расходов Replication = дорогое решение, дублирование данных, трудное в настройке. Подверженность одиночным ошибкам bit-error Высокие затраты на Power & Cooling

19 Quantum Lattus объектное хранилище 19

20 Что такое Lattus Object Storage? Новый тип хранения основанный на алгоритме Forward Error Correction –Fountain erasure coding – надежная технология для передачи данных по плохим каналам связи (космическая связь и тп) –Подразумевает изначальное наличие ошибок– каждый компонент когда-либо сломается Долговечность данных при менее высоких CAPEX и OPEX –Low-cost, low-power, low-cooling disk –Durability protection from geographic distribution as well Подходит для большинства задач –HTTP REST, WebDAV,S3, NAS (NFS, CIFS), StorNext Минимальная конфигурация 20 storage nodes, неограниченное масштабрование 20

21 Масштабирование: сотни Петабайт Долговечность данных: целостность данных и надежность выше чем у Raid6 или Ленточек Многосайтовость: отсутствие трудностей, присущих репликации RAID Высокая производительность: Гигабайты/сек САМОВОССТАНОВЛЕНИЕ: контроль над аппаратными компонентами системы МИНИМАЛЬНО ОБСЛУЖИВАЕМАЯ СИСТЕМА: более эффективное чем обычное облачное хранение Система объектного хранения LATTUS 21 TCO Reductions of 50% to 70%

22 Конфигурации Lattus Lattus-X Lattus-M Tier 1 Disk StorNext Lattus NAS Access SDISK StorNext Clients Other Apps Lattus Tape 22

23 Lattus и технология QDynamcs Self-healing: постоянный мониторинг целостности данных на уровне объектов на S10 (ноды хранения). Высокая производительность: распределенность системы– отсутствие проблем времени Rebuild RAID Автоматическая миграция: автоматизированный процесс распределения данных при добавлении нового оборудования 23

24 Пример политики: 20/4 –20/4 означает: файлы распределяются на 20 дисках/нодах/стойках (в зависимости от того где вы поставите галочку) –Данные защищены от любых 4-х ошибок: отказы дисков/нод хранения/целых стоек в ЦОД/сайтов (в зависимости от того где вы поставите галочку диски/ноды хранени/стойки) 20/4 означают что –5 дисков/нод хранения/стоек должны единовременно выйти из строя чтобы вы потеряли данные –Вероятность возникновения bit error 0% Идеально подходит как для больших так и не очень больших файлов Примеры таких политик: Как это работает: политики отказоустойчивости данных 24 20/420/11 18/7 Политики отказоустойчивости данных предоставляют широкий выбор уровня защищенности данных

25 Как работает Lattus: Алгоритм распределения данных QSpread X+Y=12X-Y=22X+Y=19 QSpread кодирование Простая математика Алгоритм разбивает данные на блоки Из блоков составляются математические уравнения Уравнения распределяются по: Дискам Нодам хранения Шкафам Сайтам Набор таких уравнений позволяет восстановить отдельно взятый объект Ваш файл QSpread декодирование

26 Преимущество Lattus в конфигурации: Геокластер Lattus A10 StorNext MDC Lattus A10 26

27 Меньше потребление электроэнергии TechnologyRAID6 RAID6 + Mirror 3 Copy Cloud Store Lattus 18/7 QSpread Емкость ТБ на Unit Watts на доступный ТБ емкости BTU на доступный ТБ емкости Lattus оптимизирован под низкое потребление электроэнергии и высокую плотность данных Выше плотность Ниже энергопотреб. Ниже кондиционирование

28 Стоимость хранения 1ПБ данных на Lattus против. RAID6 + копия эквивалентная по надежности Cost of Ownership Standard Storage Server RAID6 + Mirror Quantum Lattus System 20/4 Durability Policy Savin gs Disk Failure Protection44 Raw Storage2.5 TB1.6 TB36% Cost per Storage Node$19,200$15,000 Raw Capacity / Node16TB20TB Number of Nodes Required15680 Total Storage Cost$2,995,200$1,200,00060% Disk Replacements / Month122 Disk Operations (FTE) % Power consumption per Node500 W140 W Total Power Consumption78,000 W11,200 W86% Rack Units per Storage Node31 Number of Datacenter Cabinets13377% Acquisition Cost$2,995,200$1,200,000 Maintenance Costs (3 Yr)$1,078,272$423,000 Power + Cooling Costs (3 Yr)$338,224$48,565 Datacenter Hosting (3 Yr)$234,000$54,000 Operations$135,000$22,500 Total 3 Year Cost of Ownership $4,780,696$1,757,06563% 28 Lower Overhead Lower CapEx Lower Maintenance Lower Power and Cooling Smaller Footprint $3M Savings over 3 Years

29 Отказоустойсивость и Динамичные политики 29 Код данных будет автоматически восстановлен независимо от ошибки: диска, ноды хранения, стойки или сайта Политики отказоустойчивости хранения (20/4) могут быть изменены в любой момент без необходимости перекопирования данных Апгрейд до многосайтовой структуры Измемение политики в зависимости от требований отказоустойчивости Коды регенерации данных (уравнения) автоматически ребалансируются при изменении конфигурации системы Нет ограничений по размерам используемых дисков и их комбинаций как у RAID Восстановление 3TB данных менее чем за 3 часа … почти в 10 раз быстрее чем RAID

30 1 шкаф = ~1ПБ данных 37 S10 storage nodes 3 C10 controller nodes 1 SSD per controller 2 rack switches 1 A10 access node Cables included 45U rack – optional S10 storage nodes 3 C10 controller nodes 1 SSD per controller 2 rack switches 20 Lattus M HW keys Cables included 45U rack – optional Lattus-X Lattus-M 1332TB raw 934TB usable durability 20/4 space used 45U 1404TB raw 985TB usable durability 20/4 space used 45U

31 Lattus 1. Неограниченное масштабирование –Масштабируется до сотен ПБ –Высокая скорость, низкая задержка –Большое количество протоколов доступа –Геокластерная конфигурация 2. Капитальные & Операционные расходы ниже –Высокая надежность –Экономия электроэнергии –Стоимость обслуживания 3. Самовосстановление и миграция –100 лет,1 триллион объектов без единой ошибки. –Экстремальная отказоустойчивость данных Lattus Вечный диск это система объектного хранения следующего поколения 31

32 ЛЕНТОЧНЫЕ БИБЛИОТЕКИ QUANTUM SCALAR ДЛЯ BIGDATA

33 Системы хранения Scalar известны более 30 лет Scalar i80Scalar i500Scalar i40Scalar i6000 Начальный уровеньСредний уровеньВысший уровень Масштаби руемость 25 – 80 cartridge slots 1 – 5 HH drives 0 – 5 I/E slots 41 – 409 cartridge slots 1 – 18 FH drives 0 – 54 I/E slots 100 – 12,004 cartridge slots 1 – 96 FH drives 24– 528 I/E slots Управле ние Monitor/Alert/Resolution, Adv. Reporting, Partitioning, Persistent SN & WWN, Autoleveling Adds Storage Networking –Native –I/O Blade EDLM Adds Dual Robot Adds EDLM Adds HighDensity Adds Extended I/E Шифрова ние SKMSKM, Q-EKM SKM, Q-EKM, RSA KMIP support Common iLayer Library Management; Vision Central Storage Management © 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only.

34 © 2010 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. Масштабирование в соответствии с ростом данных © 2010 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. Надежная роботика, которую используют даже наши конкуренты Минимальный размер 19 стойка –Наименьший размер в Enterprise секторе в области ленточных библиотек Емкость по требованию (Capacity-on-Demand) –Программная активация дополнительной емкости (слотов) –Быстрое увеличение емкости без задержек Унификация компонентов систем i500 среднего уровня, i6000 enterprise уровня

35 Ленточные библиотеки Quantum Scalar Библиотеки Quantum славятся своей качественной роботикой, более 30 лет. Основное преимущество перед конкурентами – геометрические размеры. Библиотеки Quantum Scalar встают в стандартные 19 стойки, позволяют оптимально использовать пространство серверной, не нарушая стройные ряды серверных стоек. Библиотеки Quantum обеспечивают максимальную плотность данных на единицу площади, оптимально масштабируясь. Quantum всегда находится на передовой в разработках и усовершенствованиях технологий хранения на лентах. © 2010 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only.

36 36 Подведем итог Лидирующая компания специализирующаяся на защите, архивированию и восстановлению данных Высокотехнолигичные дисковые решения интегированы с не менее известными системами хранения на лентах Комплексное решение для защиты филиалов и ГВЦ Уникальное решение для быстрого доступа к «Большим данным» StorNext интегрированное с системой дедупликации и архивирования данных, управляемое централизованно системой Storage Manager, с помощью гибких политик, с возможностью построения распределенных систем хранения, в т.ч. ГЕО-кластерных систем на платформе LATTUS © 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only.

37 37 Взаимодействие с Quantum Взаимодействие с Quantum: –Вопросы стоимости решений, выбора партнера : Александр Шмаков –Технические вопросы по конфигурации решений: Дмитрий Борщев © 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only.

38 © 2012 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties, does not necessarily represent the companys outlook and is for planning purposes only. Борщев Дмитрий Pre-Sales, Quantum Corp, Россия