4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г. Copyright © 2003 Intel Corporation. Все права защищены. 1 Oracle * 9i Real Application Clusters на серверах Intel ® Андрей Сёмин Старший Инженер Служба решений Интел, Россия Intel Corporation * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.2 О чем мы будем говорить… Кластеры баз данных Кластеры баз данных Архитектура и компоненты Oracle * 9i Real Application Clusters Архитектура и компоненты Oracle * 9i Real Application Clusters –Технология Cache Fusion –Сбой и перераспределение ресурсов –Клиенты - TAF & балансировка нагрузки –Резервирование БД –Параллельное исполнение запросов Внедрение в России Внедрение в России * Другие наименования и товарные знаки являются собственностью своих законных владельцев. Intel, Intel Inside, Itanium, Xeon и Pentium являются торговыми марками или зарегистрированными товарными знаками Intel Corporation или ее подразделений в США и других странах.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.3 Кластеры Особенности… Два или более узла Два или более узла В качестве узлов используются SMP или NUMA серверы или «лезвия» В качестве узлов используются SMP или NUMA серверы или «лезвия» Малые SMP системы дешевле Малые SMP системы дешевле Предоставляют недорогую возможность для достижения масштабируемости Предоставляют недорогую возможность для достижения масштабируемости Обеспечивают высокую надежность, производительность решения Обеспечивают высокую надежность, производительность решения Решают проблему балансировки нагрузки Решают проблему балансировки нагрузки Помогают в консолидации Помогают в консолидации Определение: Определение: Кластер – это совокупность соединенных между собой компьютеров используемых как единый вычислительный ресурс.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.4 Кластеры баз данных Отказоустойчивые кластеры Активный/Активный или Активный/Пассивный Активный/Активный или Активный/Пассивный Работа с одним экземпляром базы Работа с одним экземпляром базы Когда один из экземпляров выходит из строя стартует новый экземпляр Когда один из экземпляров выходит из строя стартует новый экземпляр Кластеры параллельного исполнения Активный/Активный Активный/Активный Конкурентный доступ – разделяемые файлы БД Конкурентный доступ – разделяемые файлы БД Сложный механизм управления блокировками Сложный механизм управления блокировками Единый образ системы Единый образ системы Высокая масштабируемость, производительность и балансировка нагрузки Высокая масштабируемость, производительность и балансировка нагрузки

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.5 Oracle * 9i Real Application Clusters Узел 1 Узел2 Узел 2 Разделяемый диск Встроенный диск ПО Oracle Архивные логи ПО Oracle Архивные логи Фийлы данных Control файлы Redo логи SPFILE Обзор физического размещения * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.6 Архитектура Oracle * 9i RAC Основные компоненты Узлы / Серверы Узлы / Серверы Кластерное межсоединение Кластерное межсоединение Клиентская сеть Клиентская сеть Менеджер кластера или кластерное ПО ОС Менеджер кластера или кластерное ПО ОС Разделяемая система хранения Разделяемая система хранения Кластерная файловая система (CFS) или Raw разделы Кластерная файловая система (CFS) или Raw разделы Менеджер томов Менеджер томов Глобальный кэш Глобальный кэш Global Cache (GCS) и Global Enqueue (GES) Services Global Cache (GCS) и Global Enqueue (GES) Services * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.7 RAC: Архитектура SGA Экземпляр 1 SGA Экземпляр 2 Разделяемая система хранения Меж- соединение Глобальный кэш Клиентская сеть

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.8 Узлы кластера: подходы к многопроцессорности SMP Symmetric Multi Processing NUMA Non Uniform Memory Blades Nodes Clusters

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.9 Сколько узлов включить в кластер? См. сертификационную матрицу Oracle См. сертификационную матрицу Oracle Максимальное количество узлов зависит от используемого кластерного ПО и типа системы хранения Максимальное количество узлов зависит от используемого кластерного ПО и типа системы хранения Например: Например: Sun * Cluster 3.0 от 2 до 4 узлов Linux * RAC 8 узлов и до 20 Veritas * RAC 4 узла TruUnix * Cluster 8 узлов * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.10 Кластерное межсоединение Соединение узлов Может быть простейшим Ethernet соединением Может быть простейшим Ethernet соединением или специализированным высокоскоростным или специализированным высокоскоростнымФункции Мониторинг статуса узлов Мониторинг статуса узлов Сообщения Distributed lock manager (DLM) и GCS Сообщения Distributed lock manager (DLM) и GCS Доступ к файлам всех узлов Доступ к файлам всех узлов Передача данных специфичных для приложений Передача данных специфичных для приложений node1 node2 node3 switch

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.11 Кластерное межсоединение основные требования Малая латентность для коротких сообщений Малая латентность для коротких сообщений Высокая пропускная способность для больших объемов данных Высокая пропускная способность для больших объемов данных Малые накладные расходы на процессор Малые накладные расходы на процессор Контроль потока и ошибок Контроль потока и ошибок Возможность работы напрямую с процессором в обход ОС Возможность работы напрямую с процессором в обход ОС Наличие коммутаторов для лучшей масштабируемости Наличие коммутаторов для лучшей масштабируемости ХарактеристикаТипичная SMPшина Memory Channel Myrinet Infini- Band Gigabit Ether. Латентность ( µs )0.537 to 93 to 5100 CPU overhead (µs)< 1 Сообщений в секунду (миллионов) > 10> 2 Пропускная способность(MB/sec) > 500> 100~ 250> 250 ~ 50

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.12 Кластерное ПО Функции Мониторинг и управление кластерными компонентами Мониторинг и управление кластерными компонентами Обнаружение сбоев программными средствами, изоляция сбоев и ограничение распространения последствий неисправности Обнаружение сбоев программными средствами, изоляция сбоев и ограничение распространения последствий неисправности Менеджер кластера работает совместно с сервисом глобального кэша (Global Cache Service) Менеджер кластера работает совместно с сервисом глобального кэша (Global Cache Service) Защищает от разделения кластера на подкластеры Защищает от разделения кластера на подкластеры Примеры кластерного ПО Oracle * Cluster Manager для Windows * / Linux *Oracle * Cluster Manager для Windows * / Linux * Veritas * Cluster for RAC HP * Service Guard RAC Edition HACMP для AIX * Sun * Cluster 3.0 Fujitsu * PrimeCluster * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.13 Кластерное ПО Oracle разработал менеджер кластера для Linux Oracle разработал менеджер кластера для Linux Cluster Manager (oracm) Cluster Manager (oracm) –Регистрирует экземпляры Oracle * –Выполняет мониторинг экземпляров БД кластера –Предоставляет согласованный подход к экземплярам БД hangcheck-timer hangcheck-timer –Начиная с версии , заменяет watchdogd –Реализован как модуль ядра –Следит за ядром Linux * для обнаружения системных сбоев –Перегружает узел, если произошел серьезный сбой ПО * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.14 Файлы RAC файлы данных Redo файлы Control файлы Архивные файлы spfile oracle home/ util dir/ разделяемые разделяемые разделяемые локальные разделяемые локальные локальные В случае CFS может быть разделяемым

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.15 Логические тома Дисковый массив LUN`ы / Физические тома VG_1 Группы томов / Volume Groups Логические тома vol1vol2vol3vol4 vol5vol6 VG_2 /db01/db02 /db03 /db04 /dev/raw/rac_spfile.dbf Точки монтирования /dev/raw/rac_users_01.dbf /dev/raw/rac_contr.ctl Raw устройства

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.16 Raw устройства или кластерная файловая система? Raw устройства OPS использовал raw устройства, RAC также поддерживает размещение данных на raw OPS использовал raw устройства, RAC также поддерживает размещение данных на raw Raw позволяет избежать накладных расходов ОС Raw позволяет избежать накладных расходов ОС Raw единственный выбор если CFS недоступна Raw единственный выбор если CFS недоступна Raw устройства сложнее администрировать Raw устройства сложнее администрировать –Менеджер Логических Томов (LVM) помогает создавать и управлять raw разделами Кластерная файловая система (CFS) Проста в управлении Проста в управлении Авто-увеличение файлов данных Oracle * Авто-увеличение файлов данных Oracle * Единый образ инсталляции Oracle * Единый образ инсталляции Oracle * * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.17 Кластерная файловая система Oracle * Для Linux * и Windows * Linux * Высокая производительность I/O Высокая производительность I/O Монтирование устройств по меткам (нет необходимости в LVM) Монтирование устройств по меткам (нет необходимости в LVM) Поддерживает файловое кэширование Поддерживает файловое кэширование Том OCFS может быть смонтирован 32 узлами кластера Том OCFS может быть смонтирован 32 узлами кластера Windows * NT сервис контролирует диск OCFS NT сервис контролирует диск OCFS SAN диск подключается как OCFS диск SAN диск подключается как OCFS диск * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.18 Как это работает… Множество узлов работают с единственным экземпляром базы данных Множество узлов работают с единственным экземпляром базы данных Технология Cache Fusion (агрегация кэша БД с различных экземпляров) Технология Cache Fusion (агрегация кэша БД с различных экземпляров) Межузловые пересылки Межузловые пересылки Global Enqueue Service и Global Cache Service Global Enqueue Service и Global Cache Service Координация ресурсов Координация ресурсов Останов и восстановление узлов Останов и восстановление узлов GES SGA GCS GES SGA GCS Cache Fusion БД

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.19 Содержимое SGA Общая/разделяемая часть SGA Библиотечный кэш Словарь данных Буфера для параллельно исполняемых запросов и управляющие структуры. Библиотечный кэш: SQL запросы, PL/SQL процедура и пакеты, и управляющие структуры, такие как блокировки и идентификаторы библиотечного кэша. Словарь данных: Коллекция таблиц и представлений содержащих информацию о структурах БД и ее пользователях. Buffer Cache Shared Pool Redo Buffer Large Pool Разделяется между экземплярами Data Buffers Синхронизуется между экземплярами Dict. Cache Library Cache Локальна для каждого экземпляра PGA

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.20 Cache Fusion Управление общим кэшем Управление общим кэшем Эффективное управление ресурсами Эффективное управление ресурсами Выполнение конкурентных задач Выполнение конкурентных задач –чтение / чтение –чтение / запись –запись / запись Пересылка данных Кэш данных Узел 1 Узел 2 БД

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.21 Основы отказоустойчивости Обнаружение факта отказа при помощи процесса LMON Обнаружение факта отказа при помощи процесса LMON Один из экземпляров (Recovering Instance) контролирует восстановление отказавшего экземпляра Один из экземпляров (Recovering Instance) контролирует восстановление отказавшего экземпляра Все незаконченные транзакции откатываются (transaction recovery) Все незаконченные транзакции откатываются (transaction recovery) Восстановление не подразумевает перезапуск остановившегося экземпляра Восстановление не подразумевает перезапуск остановившегося экземпляра Восстанавливаются только ресурсы, управляемые GCS Восстанавливаются только ресурсы, управляемые GCS Процесс SMON оставшегося экземпляра производит восстановление отказавшего экземпляра Процесс SMON оставшегося экземпляра производит восстановление отказавшего экземпляра

22 Восстановление клиентских соединений Состояние PL/SQL пакетов не восстанавливается Состояние PL/SQL пакетов не восстанавливается ALTER SESSION выражения не восстанавливаются ALTER SESSION выражения не восстанавливаются Запросы в процессе выполнения перезапускаются сначала Запросы в процессе выполнения перезапускаются сначала Метод TAFs PRECONNECT позволяет избежать необходимость восстановления соединения с сервером Метод TAFs PRECONNECT позволяет избежать необходимость восстановления соединения с сервером Методология Добавить опции для отказоустойчивости в конфигурационные файлы TNS Добавить опции для отказоустойчивости в конфигурационные файлы TNS Отказоустойчивость описывается в секции CONNECT_DATA описания соединения Отказоустойчивость описывается в секции CONNECT_DATA описания соединения Опции по отказоустойчивости Опции по отказоустойчивости –TYPE : определяет тип TAF, если используется –METHOD : как быстро произойдет восстановление –BACKUP : определяет имя резервного экземпляра –RETRIES : ограничивает количество попыток для восстановления соединения –DELAY : устанавливает задержку между попытками восстановления соединения

23 Описание соединений для отказоустойчивости RAC_LB= (DESCRIPTION= (FAILOVER=on) (ADDRESS= (PROTOCOL=tcp) (HOST=host1) (PORT=1521)) (ADDRESS= (PROTOCOL=tcp) (HOST=host2) (PORT=1521)) (CONNECT_DATA= (SERVICE_NAME=RAC) (FAILOVER_MODE= (TYPE=select) (METHOD=basic) ))) RAC_PC= (DESCRIPTION= (ADDRESS= (PROTOCOL=tcp) (HOST=host1) (PORT=1521)) (ADDRESS= (PROTOCOL=tcp) (HOST=host2) (PORT=1521)) (CONNECT_DATA= (SERVICE_NAME=RAC) (INSTANCE_NAME=RAC1) (FAILOVER_MODE= (BACKUP=prod2) (TYPE=select) (METHOD=preconnect) ))) Соединения установленные заранее Базовая отказоустойчивость

24 Transparent Application Failover Автоматически восстанавливает соединение с БД (через другой экземпляр) Автоматически восстанавливает соединение с БД (через другой экземпляр) Сессия пере-аутентифицируется заново Сессия пере-аутентифицируется заново –Незаконченные выборки перезапускаются (FAILOVER_MODE=SESSION) –Незаконченные выборки продолжаются (FAILOVE_MODE=SELECT) Необходима поддержка клиентских библиотек OCI Необходима поддержка клиентских библиотек OCI OCI API позволяет реагировать на 7 событий в процессе падения- восстановления экземпляра FO_BEGIN = обнаружено потеря соединения и начат процесс восстановления. FO_END = Успешное окончание восстановления. FO_ABORT = Неудача восстановления сессии и нет надежды на повторную удачу. FO_REAUTH = пользовательская сессия была пере-аутентифицирована. FO_ERROR = Восстановление было временно неудачным FO_RETRY = повторная попытка FO_EVENT_UNKNOWN = Такого быть не должно FO_EVENT_UNKNOWN = Такого быть не должно

Балансировка нагрузки Необходима динамическая балансировка сервисов, чтобы процесс Listener имел информацию об экземплярах и диспетчерах Критерии, используемые при балансировке Выделенные сервис (Dedicated) Наименее загруженный узел Наименее загруженный экземпляр Разделяемый сервис (Shared) Наименее загруженный узел Наименее загруженный экземпляр Наименее загруженный диспетчер

Балансировка нагрузки Конфигурация параметров TNS клиента для балансировки нагрузки RAC.russia.intel.com= (DESCRIPTION= (LOAD_BALANCE=on) (FAILOVER=on) (ADDRESS= (PROTOCOL=tcp)(HOST=host1)(PORT=1521)) (ADDRESS= (PROTOCOL=tcp)(HOST=host2)(PORT=1521)) (CONNECT_DATA= (SERVICE_NAME=RAC.russia.intel.com) (FAILOVER_MODE= (TYPE=select)(METHOD=basic) ))) init.ora file service_names = RAC db_domain = russia.intel.com

Вопросы дизайна кластера ResultComponent Effect of Failure Ok CPU panic / crash Node Failed, other node still active Ok Memory crash Node Failed, other node still active OkInterconnect With dual Interconnects, OK Down Interconnect Switch Nodes can not communicate Ok OS failure / freeze Node Failed, other node still active Down Cluster Manager s/w Custer freezes, all nodes go down Ok DB Instance Crash Instance running on other node provides database service Ok Control File (Corrupt / Lost) Multiplexed control file will be used Ok Redo log file Multiplexed redo file Down Lost Data File Requires Media recovery Down Human Error Depends on type of mistake Down Dropped Object DB is available but applications stall Down DB software bug DB may stall on all instances.

Вопросы дизайна кластера Надежность системы хранения – ключевой элемент надежности всей системы Следуйте рекомендациям по строительству отказоустойчивых систем хранения аппаратный RAID программный RAID (например с использованием Logical Volume Manager) Множественные пути доступа к массиву Избыточные адаптеры Избыточные источники питания

Вопросы дизайна кластера Сеть межсоединение eht2 Узел - 1 eth0 eht3eht1 eht2 Узел - 2 внешний интерфейс eht0 HBA eth1eth3 HBA S.C hub Элемент хранения FC switch внешний интерфейс

Мониторинг производительности Представления, которые помогают оценивать производительность RAC v$class_cache_transferv$cache_transferv$cachev$lock_activityv$ges_statisticsv$bh v$sysstat и V$SYSTEM_EVENT Наиболее важная статистика (из v$sysstat): Статистика по кэшу такая как consistent gets, db block gets и db block changes Статистика по Cache Fusion, например global cache current block receive time global cache current block send time global cache lock open convert requests global cache wait times: global cache gets, global cache converts, и ожидания при конвертациях Null-to-X Статистика по вводу-выводу, такая как physical reads, physical writes, DBWR cross-instance writes, времена ожидания при чтении и записи

Резервное копирование в RAC Архивные логи Архивные логи – –Архивные логи ведутся несколькими узлами – –При использовании кластерной файловой системы – –Необходимо сконфигурировать файл параметров Oracle как: sid1.log_archive_dest_1 = (location=/data/arch) sid2.log_archive_dest_1 = (location=/data/arch) sid3.log_archive_dest_1 = (location=/data/arch) – –Не-CFS – –Каждый узел ведет логи в файлы с уникальными полными именами Резервирование RMAN Резервирование RMAN – –Несколько каналов для различных экземпляров БД – –> BACKUP DATABASE PLUS ARCHIVELOG DELETE INPUT;

Параллельное исполнение запросов RAC может использовать несколько процессоров на нескольких узлах для выполнения задачи Достигается дополнительный параллелизм невозможный при использовании больших SMP систем Например: – –2-х узловая конфигурация RAC – –Делаем «параллельный запрос» с хинтом Parallel для использования процессоров нескольких узлов SELECT /*+ FULL(data) PARALLEL(data, 3,2) / count(*) FROM sales ; В примере уровень параллелизма (Degree of Parallelism, DOP) выбран 3 и используется 2 экземпляра. Тем самым запрос исполняется на 6 процессорах, по 3 на каждом экземпляре

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.33 Внедрение в России Миграция Техпортала АвтоВАЗа на Oracle * 9i RAC на серверах Intel ® Itanium ® 2 Миграция Техпортала АвтоВАЗа на Oracle * 9i RAC на серверах Intel ® Itanium ® 2 Оптимизация криптографического программного обеспечения Оптимизация криптографического программного обеспечения * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.34 Миграция Техпортала АвтоВАЗа 3-х уровневая архитектура – –Сервер приложений: Apache * + SSL – –Сервер БД: Oracle * До миграции… – –Сервер приложений: UltraSparc * III/Solaris * – –Сервер БД: Alpha * /Tru64 * – –«Холодное» резервирование После миграции… –Itanium ® 2/Linux * –Сервер приложений: Itanium ® 2/Linux * –Itanium ® 2/Linux * –Сервер БД: Itanium ® 2/Linux * –9i RAC Active/Active * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.35 … Уже в прошлом году АВТОВАЗ наряду с мировыми лидерами автомобилестроения начал использовать мощную архитектуру Intel Itanium для функционирования технологического портала, благодаря которому бизнес- партнеры АВТОВАЗа имеют постоянный доступ к центральным базам данных завода из любой точки страны. Применение сервера на базе Intel Itanium обеспечивает надежную и высокоскоростную работу с большими объемами шифрованной информации. Испытания, проведенные специалистами АВТОВАЗа совместно с представителями компании Intel, показали высокую производительность серверов, оснащенных процессорами семейства Intel Itanium 2, при невысокой цене. … * Другие наименования и товарные знаки являются собственностью своих законных владельцев.

4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.4 ноября 2012 г.Copyright © 2003 Intel Corporation. Все права защищены.36 A Q & Вопросы ?