Сергей Данилов Oracle СНГ Ведущий консультант по Базовым технологиям Государственный сектор Анатолий Барышников Oracle СНГ Менеджер проектов Государственный сектор

Введение в Oracle Enterprise Grid

The best thing about the Grid is that it is unstoppable. The Economist, June 21,

40 лет назад... Начинается гонка по созданию больших серверов В 1964 году компания IBM создала первый mainframe под управлением OS/360 Gene Amdahl (Джин Эмдал) покинул IBM чтобы основать собственную компанию Admahl Computing

Через 40 лет... В гонку включается даже компания Microsoft! Продемонстрирована работа SQL Server на 64 процессорной машине под Windows Общая тенденция: Всем нужны все более и более крупные серверы

3. Один большой компьютер –недублированная точка отказа (single point of failure) - Все равно не надежно Недостатки такой архитектуры 2. Большие компьютеры дороги. Один процессор стоит тыс. долларов. 1. Приложения перерастают даже самые большие компьютеры

Модель Grid вычислений Oracle (Enterprise Grid Computing) Объединение Виртуализация и распределение ресурсов Выравнивание нагрузки Качество сервиса Автоматизация

Идея GRID Computing Объединение множества компьютеров в один суперкомпьютер («Сеть – это Компьютер») Вычисления как коммунальная услуга (Computing Utility) – Аналог: Электрические сети (power grid) Следующий шаг развития Internet (вторая, после Web, революция в Сети) С точки зрения потребителя вычислительных ресурсов: – Не важно, где в сети размещаются данные и какой компьютер обрабатывает запрос на их обработку – «Обработка данных по требованию»

В мировом масштабе, компании тратят более чем $49 миллиардов в год на серверы, а опросы IT-директоров показывают, что утилизация серверов составляет 60% или менее. – Forrester Research, April 2002

Уровень информированности об утилизации инфраструктуры Насколько Вы уверены в знании уровня утилизации инфраструктуры? Вполне уверен = Не уверен = QNB Intelligence Beyond Infrastructure, Sep.2003

Стиль мышления, далекий от стратегического Какая из приведенных фраз в наилучшей степени отражает Ваш подход к решению проблемы перегрузки инфраструктуры? Мы настраиваем сеть QNB Intelligence Beyond Infrastructure, Sep.2003 Мы ре-конфигурируем серверы Мы немедленно покупаем дополнительные серверы Мы ограничиваем требования пользователей Мы ищем иные способы решения проблем Мы не знаем

Проблема: «островки» приложений Готовность < 99.x%, недублированные точки возможного отказа, проблемы безопасности Ограниченная масштабируемость Специальное конфигурирование оборудования и ПО с учетом требований пиковой нагрузки Financials Procurement Service SupplyChain Files Sales HR

Enterprise Grid решает проблему «островков» приложений Обособленные ресурсы Высокая стоимость Сложное реконфигурирование Возможны отказа Сложное администрирование Разделяемые ресурсы Недорогие компоненты Динамическое выделение ресурсов Высокая надежность Унифицированное управление Решение в GRID Проблема Coordinated use of many small servers acting as one large computer.

Определение Grid Grid представляет собой кластеры компьютеров или серверов, специальным образом связанных между собой, что позволяет использовать их как общий пул вычислительных ресурсов – Defining Grid Computing, Giga Research, August 2002

Новые термины Grid – сеть распределенной обработки данных Grid Computing – технология распределенной обработки данных Enterprise Grid – корпоративная сеть распределенной обработки данных

Эволюция GRID Научный GRID Технический GRID Корпоративный GRID Универсальный GRID Совместное использование ресурсов в академической среде для решения сложных вычислительных задач Технические распределенные приложения Распределение ресурсов внутри корпораций Создание универсальной среды предоставления вычислительных услуг

Идеи GRID Утилизация неиспользуемых ресурсов Разделение ресурсов (resource pooling) Выделение ресурсов (resource provisioning)

Решение: Computing On Demand Партиционирование одного большого сервера Дорогие элементы Полное, интегрированное ПО Высококачественный сервис за большую цену Скоординированное использование множества маленьких серверов Дешевые, стандартные, модульные элементы Открытое, полное, интегрированное ПО Высококачественный сервис за низкую цену Mainframe МодельGrid Computing Модель

Why Grid is the Next Big Thing? Новая экономика управления данными («affordability») Развитие компьютерных платформ – Blade-servers (серверы-лезвия) – Blade-farms (фермы серверов-лезвий) Развитие операционных систем: – Высокая динамика развития Linux как серверной ОС – Linux – основная ОС для серверов-лезвий Внимание ведущих игроков рынка IT – HP (Computing Utilities), Sun (N1), IBM (On Demand) *Benny Souder, Vice-President, Distributed Database Development

Программная инфраструктура сети распределенных вычислений организации

Технологический стек прикладных программных систем Общая инфраструктура Общие Сервисы СУБД Транзакционные системы Сервер приложений Приложения оперативной обработки транзакций Аналитические приложения Бизнес- анализ Приложения Средства разработки Управление сообщениями Управление потоками работ Средства защитыОбработка транзакций Планировщик и маршрутизатор Oracle Application Server Oracle Database Инфраструктура

Концепции самоуправления Концепция Содержание Самоконфигурация Самооптимизация Самовосстановление Самозащита Автоматическое конфигурирование компонентов и систем в соответствии с высокоуровневыми правилами Компоненты и системы постоянно ищут возможность увеличить свою производительность и эффективность Система автоматически выявляет, диагностирует и исправляет локализованные программные и аппаратные проблемы Система автоматически защищается от вредоносных атак или ошибок, использует средства раннего предупреждения для прогнозирования сбоев

Oracle Enterprise Grid Корпоративная сеть распределенной обработки данных

Oracle Enterprise Grid Database GridApplication Server GridStorage Grid Grid Control Согласованное использование множества серверов, работающих как один большой компьютер

Storage Grid Корпоративная сеть устройств хранения данных

Oracle Storage Grid Проблема: изолированные устройства хранения данных –Утилизация емкости устройства хранения данных составляет 50%, но возрастает ежегодно на 30% Решение: ASM

Управление системой хранения данных* Переносимая файловая система Нет томов: только виртуальный диск Высокая гранулярность – Диск разбит на фрагменты по 1 Мбайт каждый Исключается необходимость использования традиционных файловых систем и менеджеров томов (volume manager) Автоматическое зеркалирование (mirroring) Автоматическая настройка ввода/вывода – Распределяет данные по дискам, чтобы сбалансировать использование их емкостей *Automatic Storage Management - ASM

Сбалансированное использование суммарной емкости устройств хранения ASM: Добавление нового устройства

Дисковая группа 1 ASM - Добавление новой группы устройств хранения Автоматическая балансировка «на лету» при любых изменениях конфигурации Данные автоматически переносятся пропорционально на новые носители Дисковая группа 2 1

Автоматическая балансировка «на лету» при любых изменениях конфигурации Данные автоматически переносятся пропорционально на новые носители Оперативная миграция на новую группу устройств хранения ASM - Добавление новой группы устройств хранения Дисковая группа 1Дисковая группа 2 2

Автоматическая балансировка «на лету» при любых изменениях конфигурации Данные автоматически переносятся пропорционально на новые носители Оперативная миграция на новую группу устройств хранения ASM - Добавление новой группы устройств хранения Дисковая группа 1Дисковая группа 2 3

Автоматическая балансировка «на лету» при любых изменениях конфигурации Данные автоматически переносятся пропорционально на новые носители Оперативная миграция на новую группу устройств хранения ASM - Добавление новой группы устройств хранения Дисковая группа 2 4

Oracle ASM Стек технологий Disks Logical Vol File System Files Tablespace Tables Disk Group Logical Vol File System Files Tablespace Tables СЕГОДНЯ ASM Лучший способ снизить стоимость управления – уменьшить сложность

Сокращение затрат на управление системой хранения данных Число шагов УстановкаДобавить устройство Oracle ASM Удалить устройство Переместить устройство Настройка ввода/вывода Управление памятью Традиционная архитектура

Поддержка сверхбольших баз данных Размер базы данных увеличен до миллионов террабайт (8 Exabytes) Неограниченный размер данных типа LOB (террабайты) Ultra Large Data File – террабайты в одном файле Хранение данных в файлах: тип данных BFILE Хранение таблиц в файлах: внешние таблицы (external tables)

Поддержка сверхбольших баз данных France TelecomHP Superdome49 TB 2 AcxiomHP Alpha GS32012 TB 2 AcxiomHP Alpha GS320 6 TB (9i RAC) 2 Amazon.comHP Superdome13 TB 2 ОрганизацияПлатформа Размер БД #DBAs

Database Grid Корпоративная сеть серверов баз данных

Oracle Database Grid Проблема: «островки» обработки данных –Вычислительные ресурсы серверов баз данных используются только на 15% Решение: консолидация процессов обработки данных, объединение серверов промышленных стандартов в вычислительные пулы – Стандартные серверы невысокой стоимости (Intel, Linux) – Вычислительные мощности по требованию – Кластеры баз данных (shared disk)

Три способа организации данных в Enterprise Grid Централизация данных в единой базе данных – Кластеризация на основе Oracle10g Real Application Clusters Множество самостоятельных независимых баз данных – Федеративные (распределенные) базы данных Временный перенос данных из основной базы данных в удаленную – Перемещение блоков данных (табличные пространства) в удаленную базу данных – Последующая синхронизация блоков данных в основной и удаленной базах данных

Топология Enterprise Grid Централизация Федеративные базы данных Oracle Real Application Clusters Oracle Distributed Database Oracle Gateways

Топология Enterprise Grid Механизм SELF PROPELLERING Удаленная БД Основная БД UNIXWindowsLinux Oracle Streams

Enterprise Grid: система высокой готовности Стандарт Enterprise Grid: недорогие узлы и модульные дисковые массивы Основа - Oracle Real Application Clusters Восстановление после сбоя может произойти на любом узле Grid Балансировка нагрузки в Grid

Enterprise Grid: Управление нагрузкой Штатный режим работы ОтчетыПроцессингЗапасной Узлы (серверы) 1

ОтчетыПроцессинг Пиковый режим работы (обработка заказов) Узлы (серверы) Enterprise Grid: Управление нагрузкой 2

ОтчетыПроцессинг Узлы (серверы) Завершение квартала (отчетность) Enterprise Grid: Управление нагрузкой 3

Enterprise Grid: Восстановление после сбоя Ситуация сбоя узла ОтчетыПроцессингЗапасной Узлы (серверы) 1

Миграция сервисов на резервный узел ОтчетыПроцессинг Узлы (серверы) Enterprise Grid: Восстановление после сбоя 2

Сбой другого узла ОтчетыПроцессинг Узлы (серверы) Enterprise Grid: Восстановление после сбоя 3

Миграция сервисов на резервный узел ОтчетыПроцессинг Узлы (серверы) Enterprise Grid: Восстановление после сбоя 4

Application Server Grid Корпоративная сеть серверов приложений

Oracle Application Server Свыше 16 тыс. заказчиков Более 1000 компаний – разработчиков прикладного ПО Свыше 1400 системных интеграторов 99 технологических патентов Источник: IDC, Application Deployment Platform Software Market, , June 2003 Worldwide Application Server Platform Software Market*

Application Server Grid Кластеризация сервера приложений – Кластеризация всех типов серверов: HTTP, Cache, J2EE – Автоматическое удаление/добавление узлов в кластер – Автоматическое распределение нагрузки между узлами кластера Балансировка нагрузки на основе: – Метрик потребления ресурсов – Метрик, специфические для конкретных приложений – Планов и политик

Виртуализация сервисов промежуточного слоя Серверы: – HTTP – Web Cache – J2EE Процессы – EJB Сервисы – Portal – Wireless Services – Web Services – Directory Services – Authentication – Authorization Инфраструктура прикладной системы: объединение ресурсов и сервисов HTTP Сервер Web Cache J2EE Сервер

Запланированное перераспределение ресурсов Отчетность банка Начало месяца:Конец месяца:

Менеджер политик Управление репозиторием политик Менеджер ресурсов Управление статусом и доступом к ресурсам Диспетчер и Планировщик Распределяют нагрузку на основе политик Менеджер нагрузки Управление на основе политик

Информационная безопасность Централизованное администрирование и отзыв пользователей – Централизованное управление привилегиями пользователей для доступа к ресурсам и определение тождественности пользователя – Обеспечение возможности однократной регистрации для доступа к корпоративным приложениям – Разделение политик безопасности в рамках единой инфраструктуры

Grid Control Управление корпоративной сетью распределенной обработки данных

Функции Grid Control Управление структурой Grid Распространяется на тысячи серверов Управление качеством прикладных сервисов Управление конфигурациями – Снабжение ПО – Клонирование – Управление патчами Приложения

Управление конфигурациями Исследование и анализ конфигураций – Полная информация о всем ПО Oracle (версии, патчи) – Детали конфигураций продуктов Oracle – Поиск и сравнение конфигураций – Отслеживание изменений конфигураций – Эталонные конфигурации Автоматическое клонирование ПО – Массовое тиражирование эталонных конфигураций Автоматическое управление патчами – Оперативное обнаружение новых патчей – Автоматическая доставка и применение

Затраты на сопровождение ПО 1 Установка 2 Создание и конфигурирование 3 Загрузка данных 4 Текущее управление системой и ее настройка 5 Поддержка программного обеспечения 6 Прочее

Самоуправляемая СУБД Функции встроенной системы самоуправления – Настройка – Фиксация проблем – Извещения – Консультации Инфраструктура самоуправления Запросы SQL Системные ресурсы Управление памятью Резервирование И восстановление Устройства хранения Ресурсы: Automatic Workload Repository Automatic Diagnostic Monitor Automatic Maintenance Task Advisory Infrastructure

ADDM Performance Monitoring Snapshots ADDM MMON In-memory statistics AWR SGA ADDM Results EM 30 minutes ADDM Results

Plan Tuning Flow Optimizer (Tuning Mode) create submit output SQL Profile Database Users Well-Tuned Plan SQL Tuning Advisor use No application code change Optimizer (Normal Mode)

Database Performance 824,164 As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824, tpmC, $8.28/tpmC, available 12/31/03. Source: Transaction Processing Council (TPC), World Record TPC-C

Database Performance 824,164 As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824, tpmC, $8.28/tpmC, available 12/31/03. Oracle Database 10g Enterprise Edition, HP 9000 Superdome Enterprise Server, 541,673 tpmC, $10.69/tpmC, available 12/31/03. Oracle9i Database Enterprise Edition, HP 9000 Superdome Enterprise Server, 423,414 tpmC, $15.64/tpmC, available 12/31/03 Source: Transaction Processing Council (TPC), 541, ,414 28% Faster than Oracle9 i World Record TPC-C

Database Performance 824,164 As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824, tpmC, $8.28/tpmC, available 12/31/03. NEC Express5800/1320Xd, Oracle Database 10g Enterprise Edition, 521, tpmC, $11.77/tpmC, available February 15, Source: Transaction Processing Council (TPC), 521,440 World Record on Windows World Record TPC-C

Database Performance 824,164 As of September 5, 2003: Oracle Database 10g Enterprise Edition, HP Integrity Superdome, 824, tpmC, $8.28/tpmC, available 12/31/03. NEC Express5800/1320Xd, Oracle Database 10g Enterprise Edition, 521, tpmC, $11.77/tpmC, available February 15, HP Integrity rx5670, (Oracle Database 10g Standard Edition), 136, tpmC, $4.09/tpmC, available December 31, Source: Transaction Processing Council (TPC), 136,111 World Record on Linux 521,440 World Record TPC-C

1,165 (2 procs) Application Server Performance As of September 12, 2003: HP ProLiant ML370G3 (2 CPUs); Red Hat Linux AS 2.1; Oracle Application Server 10g; HP rx5670 (4 CPUs); HP-UX 11i; BEA WebLogic Server 7.0; Source: SPEC ( 1,037 ? BEA IBM World Record Linux SpecjAS2002 (4 procs)

Oracle Grid Примеры построения корпоративных систем распределенной обработки данных

Electronic Arts Компания – производитель игровых систем Игра «The Sims Online» на Oracle 18 кластеров баз данных (Intel-Linux) – 100, ,000 пользователей – 30,000 SQL-операторов в секунду Существенная экономия ($M) за счет использования серверов невысокой стоимости и подхода «pay-as-you-grow» Высокая надежность – непременный атрибут игровых систем

CERN Европейская организация по ядерным исследованиям (Conseil Europeen de la Recherche Nucleaire - CERN) – На оборудовании CERN работает 7 тыс. ученых из 500 научных центров Большой Адронный Коллайдер (Large Hardon Collider – LHC) – Крупнейшая в мире установка для ускорения, накопления и столкновения пучков частиц сверхвысоких энергий – Длина вакуумного кольца – 27 км., глубина тоннеля – 100 м. – Запуск в 2007 году

CERN Openlab for Grid Applications Партнеры лаборатории: – Entrasys (сетевое оборудование), HP (серверы), IBM (устройства хранения), Intel (процессоры Itanium), Oracle (программное обеспечение Grid) Крупнейший в мире вычислительный комплекс* – Около 3,300 серверов, от 50 до 10 тыс. процессоров – Проектный объем базы данных – минимум 15 Петабайт Использованы программные продукты Oracle – Oracle9 i Database – Oracle9 i Real Application Clusters – Oracle9 i Application Server *По классификации GRID – разделение ресурсов

Oracle University Grid 2 дня на установку недельного курса 108 часов в неделю на системное администрирование 13 секунд на курс, одновременная установка всех курсов 2 часа в неделю 1999 год 2003 год 240 Linux-серверов для 6 тыс. студентов

Oracle Outsourcing Grid Центр аутсорсинга Oracle E-Business Suite (г.Остин, Техас) – Более 500 серверов поддерживают Outsourcing Grid – Свыше 1000 Oracle DB, объем баз данных - 80TB Каждому заказчику предоставлен набор серверов (slice of grid) – Дополнительные slice of grid выделяются из пула зарезервированных серверов – Использован Oracle9i Real Application Clusters По классификации Grid – выделение ресурсов

Oracle Grid в России Значение Grid: Mainstream развития инфраструктуры На сегодняшний день: – Понимание целей и задач построения Grid – Стабильно высокий уровень интереса заказчиков – Первые пилотные проекты – Oracle Enterprise Grid – программная инфраструктура центров обработки данных Перспективы – В ближайшие 2-3 года: построение первых промышленных Grid – Эволюционный характер построения Grid: включение в процесс по мере готовности заказчиков

Из всех видов сильнейшим является тот, который лучше всех реагирует на изменения. – Чарльз Дарвин

Информация для контактов Сергей Данилов Oracle СНГ Тел Ведущий консультант по Базовым технологиям Государственный сектор Анатолий Барышников Oracle СНГ тел Менеджер проектов Государственный сектор