Адресация по содержимому EMC 2 CENTERA. Закон Мура Экспоненциальный рост характеристик информационных технологий. - презентация

1 Адресация по содержимому EMC 2 CENTERA

2 Закон Мура Экспоненциальный рост характеристик информационных технологий

3 Обобщение Закона Мура - Первый жесткий диск был выпущен в 1954 году и имел емкость 4.5МБайт

4 - Простая архитектура - Легкое администрирование массива хранения - Невысокая цена - Возможность потери/ ненахождения данных - Неудобное масштабирование · усложнение архитектуры · усложнение администрирования массива хранения - Сложность администрирования массива данных - Иерархическое построение платформы хранения - Большая емкость - Сбалансированный уровень администрирования - Гибкое масштабирование - Возможность построения катастрофоустойчивых сетей хранения - Не эффективная запись дублирующих данных Подходы к хранению информации DAS SAN/NAS

5 Особенности Centera Хранилище фиксированного контента с адресацией по содержимому Centera Centera для предприятий среднего размера - Простая архитектура - Сбалансированное администрирование - Гибкое масштабирование - Целостность и достоверность данных - Катастрофоустойчивость - Оптимальная стоимость - Эффективное использование хранилища

6 Парадигмы построения систем хранения NAS Network-Attached Storage CAS Content Addressed Storage Информация активно модифицируется Архив жизненно важных данных IP Файл Объект SAN Storage Area Networks FC CLARiiON / SYMMETRIX Server Fibre Channel, FC IP, iSCSI Блок App Application Server IP App CENTERA Server IP CELERRA

7 Плюсы адресации по содержимому -Независимость адреса от местоположения -Хранение идентичных объектов в единственном экземпляре - Абсолютная гарантия достоверности содержимого -Использование метаданных на уровне объекта

8 Как работает Centera База данных сохраняет адрес содержимого для будущего использования Сервер приложений посылает объект хранилищу Centera через IP-сеть Объект создается и посылается на сервер приложений Локальная сеть Адрес содер- жимого Centera вычисляет адрес содержимого и возвращает адрес приложению Адресация по содержимому Алгоритм вычисления адреса содержимого Цифровой отпечаток Глобально уникальный Независимый от местоположения

9 Используемые понятия и терминология Application Programming Interface (API) - Обеспечивает интерфейс между приложениями и между приложениями и операционной системой. BLOB (Binary Large OBject) - бинарный объект - Данные пользователя ( файл ), представленные в форме упорядоченной последовательности битов (Distinct Bit Sequence (DBS)). Не зависит от имени файла и его физического размещения. Метаданные - Свойства данных.

10 Используемые понятия и терминология C-Clip – Контейнер, содержащий данные пользователя и связанные с ними метаданные. Контентный адрес - Content Address (CA) – Уникальный адрес, вычисляемый из бинарного выражения данных пользователя ( файла ). Никак не связан с физическим размещением файла. В отличие от типа адресов, зависящих от размещения файла, контентные адреса, будучи вычисленными однажды, уже не меняются и неразрывно связаны исходными данными. C-Clip Descriptor File (CDF) –XML- файл, создаваемый системой одновременно с C-Clip. Включает в себя контентный адрес связанного с ним бинарного объекта, а также метаданные этого объекта. Имеет свой контентный адрес – С -Clip ID. Идентификатор C-Clip (C-Clip ID) – Это контентный адрес CDF, возвращаемый системой приложению пользователя. Иногда его называют указателем или ссылкой C-Clip.

11 Способ хранения данных Centera Appl S BLOB1 CDF1/1 Конт. адр. Мета данные файла1 CDF1/2 Конт. адр. Мета данные файла2 CDF1/3 Конт. адр. Мета данные файла3 C-Clip BLOB2 CDF2/1 Конт. адр. Мета данные файла4 CDF2/2 Конт. адр. Мета данные файла5 Мета данные файла2 Конт. адр. CDF1/2 Мета данные файла4 Конт. адр. CDF2/1 Мета данные файла5 Конт. адр. CDF2/2 Мета данные файла1 Конт. адр. CDF1/1 C-Clip ID Мета данные файла3 Конт. адр. CDF1/3

12 Аппаратная платформа Centera Centera – это совокупность узлов, соединенных друг с другом при помощи Ethernet коммутаторов и расположенных в одной стойке. - Корпус Centera отсутствие единой точки сбоя две линии питания к одной линии питания подключается половина узлов/коммутаторов зеркалирование данных - Сетевые соединения в Centera два 48 портовых коммутатора GbE соединение для подключения дополнительных стоек - Узел Centera существует два типа узлов: доступа и хранения 2 GHz P4 процессор 512 DDR RAM 4 x 320 GB ATA 2 x 10/100BT сетевая интерфейсная плата 1 x 10/100/1000BT сетевая интерфейсная плата

13 Схема питания и доступа Подключение серверов по IP Узлы доступа Узлы хранения Внутренняя ЛВС Две линии питания Коммутатор

14 Доступ к универсальному архиву Centera API Centera NFS CIFSFTP HTTP Эмуляция ленточного накопителя Любое приложение, практически с любой платформы

15 Используемые протоколы API – application programming interface программный интерфейс приложений NFS – network file system сетевая файловая система CIFS – common internet file system общий протокол доступа к файлам Интернет FTP – file transfer protocol протокол передачи файлов HTTP – hypertext transfer protocol протокол передачи гипертекстовых файлов

16 Зеркалирование 2. Сохраняются копии различных элементов контента 1.Контент передается приложением и сохраняется на узле Коммутатор

17 Репликация Коммутатор 1. Контент передается приложением P Контент разбивается на 6 частей 3. Вычисляется четность 4. Контент и четность сохраняются на узлах

18 Автоматическая настройка и управления отсутствие сложного управления SAN; отсутствие управления файловой системой; 1.модернизация без остановки работы; 2.один адресуемый пул; 3.автоматически возрастающая емкость; 4.сохранение полной независимости от местоположения; 5.постоянная проверка объектов и структур содержимого; 6.поддержка аппаратного обеспечения разных поколений; 7.защита пользователей от изменений аппаратного обеспечения; отсутствие фрагментирования или распределения LUN и групп RAID.

19 ILM управление информацией на протяжении жизненного цикла

20 История развития EMC 2 Realtime Network Systems Management Protection / Recovery Intelligent Data Movement Server Virtualization SAN Management Content- Addressable Storage Unstructured Data Content Management Backup / Recovery for SMB Storage Resource Management Performance Monitoring Rich Media Management Storage and Performance Management Path Management Software CLARiiON Hardware, Software, and Services Network Switches / Directors Database Performance Management Networked Storage Virtualization of file services Intelligent SAN Потрачено $4.3 миллиарда за 5 лет Data input SW

21 Лаборатория EMC EMC обладает лучшим процессов тестирования и сертификации Gartner лет уникального опыта поддержания совместимости и совместной сервисной поддержки - Суммарные инвестиции только в тестирование совместимости превышают $3 миллиарда - Лаборатория занимает площадь равную площади нескольких футбольных полей - Самый крупный datacenter в мире - Более 100 инженеров сфокусированных на задачах совместимости - Более 450 Договоров о Совместном Обслуживании (CSAs) с различными производителями

22 Постоянное усложнение инфраструктур 1995 Единицы серверов Нет сетей хранения Гигабайты данных Десятки важных приложений 2005 Сотни или тысячи серверов Десятки сетей хранения Терабайты данных Сотни важных приложений

23 Управление информацией на протяжении ее жизненного цикла: Стратегия по выравниванию IT инфраструктуры в зависимости от бизнес-требований и меняющейся ценности информации Суммарные Затраты Получение максимальной пользы от информации Управление жизненным циклом информации

24 7 дней 14 дней 21 день 28 дней 3 месяца 6 месяцев 9 месяцев 1 год 5 лет 10 лет Ценность данных Данные транзакций Приложения Электронная почта Маркетинговые данные Система поддержки принятия решения Source of graph: Enterprise Storage Group Время Жизненный цикл приложений

25 ILM-Решения EMC Фаза 1: Уровни хранения App Data App Data Фаза 2: ILM для приложений App Data Фаза 3: ILM для всех приложений App Классификация и политики Консолидация Непрерывность работы Резервное копирование на диск Всеобъемлющее резервное копирование, восстановление, архив Соответствие требованиям органов Управление контентом Управление всем корпоративным контентом Автоматизация на основе политик

26 Примеры средств EMC Управление Информационной Инфраструктурой EMC ControlCenterEMC Smarts ILM для любых приложений Documentum D5 ILM для конкретных приложений DatabaseXtenderDiskXtender Xtender Уровни хранения: Защита и Восстановление PowerPath AutoStart SAN Copy Open Replicator for Symmetrix NetWorker TimeFinder family SnapView Celerra SnapSure SRDF family MirrorView family Celerra Replicator RepliStor

27 DatabaseXtender Archive Documentum DiskXtender Xtender Файлы и Содержимое Базы данныхПочта и Сообщения OLTP Streamlined Managed Online reporting Growing Read-only Identify and relocate inactive data Secondary Database Production Inactive Active Inactive НеструктурированныеСтруктурированные Полуструктурированные ILM для Всех Типов Информации

28 Центральный офис банка в Москве Шаг 1: EMC CLARiiON CX400 для консолидации данных, обрабатываемых парой серверов Sun Шаг 2: Модернизация CX400 в массив CX700 с полным сохранением данных, конфигурации - Добавление дисков ATA Шаг 3: Перевод основной обработки на EMC Symmetrix DMX - Использование CX700 в качестве резервной системы хранения - Передача данных DMX -> CX с помощью EMC OpenReplicator - Копии: - snapshot внутри DMX (средство EMC TimeFinder SNAP) - постоянно обновляемая копия на CХ (средство EMC OpenReplicator) - дополнительные копии на CLARiiON (средство EMC SnapView)

29 Оператор мобильной связи EMC Symmetrix DMX Основные данные биллинговой системы EMC CLARiiON CX Копия данных биллинговой системы – для тестов, статистики, разработчиков EMC Centera Архив почтовой системы: большие вложения, старые письма Создание копий биллинговых данных: EMC OpenReplicator + EMC SnapView Архив почты: EMC Xtender

30 АКБ «РОСБАНК» Синхронное удаленное зеркало, 22 километра Основной том Семь snapshot-копий, период 30 минут Полная копия, обновление раз в сутки CLARiiON CX600 Источник: выступление на ILM-Forum 2005

31 Десятки серверов под управлением Sun Solaris, Linux, Novell NetWare, Windows Каждый «промышленный» том имеет несколько копий - Создаются автоматически - Возможность мгновенного восстановления - Полные копии используют диски ATA в системах CLARiiON Ленточные библиотеки в сети хранения Наиболее активно растущие типы данных - СУБД банковских приложений - Почта пользователей - Файлы пользователей В данный момент прорабатывается проект создания архива АКБ «РОСБАНК»