Машина баз данных Oracle - Oracle Exadata Марк Ривкин Oracle CIS Шестнадцатая ежегодная техническая конференция «Корпоративные базы данных-2011»

Время доступа к сверхбольшим ХД Table Scan Time Table Size 1TB10 TB100TB 1 Hour 10 Hour 5 Hour Обычное хранилище Exadata

Большие хранилища сканируют десятки, сотни и тысячи дисков Соединения между дисками и серверами ограничивают скорость передачи данных в десятки и сотни раз В результате хранилища становятся медленнее по мере роста Проблема производительности сверхбольших ХД

Решение проблемы Прокачивать меньше данных Увеличить количество каналов связи Сделать каналы связи шире

Пропускная способность Infiniband MB/sec В 12 раз медленнее В 3 раза медленнее Пропускная способность одного соединения

Конфигурация системы с Exadata Каждая ячейка Exadata – самостоятельный сервер с установленными дисками и ПО Exadata Данные «размазаны» между многими ячейками Exadata Нет ограничения на количество ячеек в системе Exadata Cell InfiniBand Switch/Network Single-Instance Database RAC Database Exadata Cell

Традиционное выполнение запроса Пример: Оператор хочет найти клиентов, которые тратят больше $200 на один звонок С традиционным хранилищем, анализ данных производится сервером БД Большая часть данных отсеивается за ненадобностью Данные, которые отсеиваются, тем не менее тратят время на их передачу Поиск завершен: 1 ТБ данных возвращается на сервер БД уменьшает терабайт данных до 1000 имен, которые возвращаются клиенту Возвращается результат SELECT customer_id FROM calls where amount > 200; Определяются экстенты таблиц Выполняется поиск

Выполнение запросов с Exadata Только нужные колонки customer_id И нужные записи where amount>200 Возвращаются на сервер БД Разгружается процессор БД Не передается лишний объем данных 2MB данных возвращается на сервер Возвращаются записи Умный запрос передается ячейкам Определяются записи и колонки внутри терабайтной таблицы, удовлетворяющие условиям Обобщаются результаты полученные с разных ячеек SELECT customer_id FROM calls where amount > 200;

Exadata Smart Scan Ячейки Exadata реализуют механизм передачи запросов на сторону хранилища (scan offload) с тем, чтобы значительно уменьшить объем данных возвращаемых на сторону серверов БД Фильтрация строк на основе where предиката Фильтрация колонок Фильтрация соединений (join) Фильтрация инкрементального backup Фильтрация зашифрованных данных Работа с функциями Data Mining 10x уменьшение данных является обычным (на тестах заказчиков) Полностью прозрачно для приложения Даже если происходит сбой ячейки или диска во время запроса 11.2

Прозрачность технологии Smart Scan для приложений Smart scans прозрачен для приложения Не требуется изменения приложения или SQL кода Возвращаемые данные полностью консистентны В случае выхода из строя ячейки во время smart scan незавершенная часть запроса прозрачно перенаправляется на ячейку, содержащую копию данных Smart Scans корректно обрабатывает следующие случаи: Неподтвержденные записи (uncommitted) и заблокированные записи Цепочки строк (chained rows) Сжатые таблицы Обработку национальных языков Работа с датами Регулярные выражения Партиционированные таблицы

Database Machine Software Архитектура Oracle Database 11g на 8 или 2 узлах RAC ASM обеспечивает зеркалирование, чередование и балансировку ПО Exadata обеспечивает smart scan с помощью протокола iDB ASM Управление пулом хранения 11g Database Server Exadata Интеллектуальная система хранения

Автоматическая степень параллелизма Как это работает SQL оператор SQL разобран и оптимизатор определил план выполнения SQL выполняется без параллелизма SQL выполняется параллельно Оптимизатор определяет идеальную DOP Если оцениваемое время выполнения больше чем задано параметром Реальная DOP = MIN(default DOP, ideal DOP) Если оцениваемое время выполнения меньше PARALLEL_MIN_TIME_THRESHOLD © 2009 Oracle Corporation – Proprietary and Confidential New 11.2

Параллельное выполнение в памяти Как это работает SQL оператор Определяет размер просматриваемой таблицы Читает в буферный кэш любого узла Таблица очень маленькая Всегда использует прямые чтения с диска Таблица – хороший кандидат для параллельного выполнения в памяти Таблица очень большая Фрагменты таблицы читаются в буферные кэши каждого узла Только параллель- ный сервер того же узла RAC будет обрабатывать этот фрагмент © 2009 Oracle Corporation – Proprietary and Confidential New 11.2

Инновации Exadata Storage Server Intelligent storage Smart Scan query offload Масштабируемый storage Hybrid Columnar Compression – Сжатие до 10 раз для DW – Сжатие до15-50 раз для архивов Сжатые primary standby test devt backup Несжатые Smart Flash Cache – Ускорение случайного I/O до 20 раз – Удваивает скорость сканирования данных Данные остаются сжатыми Выгоды мультиплек- сируются Copyright © 2011, Oracle Corporation and/or its affiliates

Copyright © 2009, Oracle Corporation and/or its affiliates – 15 – Exadata Smart Flash Cache Расширяет ограничения произвольного в/в дисков Компромисс между традиционными дисками и Флэш памятью Диски дешевы, имеют большую ёмкость, но ограничены низким в/в (300 IOPS на диск) Флэш память дорогая, имеет малую ёмкость, но может поддержать тысячи операций в/в в секунду Идеальное решение - Exadata Smart Flash Cache Хранение данных на диске из-за стоимости Прозрачно перемещает горячие данные на флэш кэш Используются флэш карты вместо флэш дисков, что исключает ограничения дисковых контроллеров Флэш карты в Exadata Высокая пропускная способность, низкая лэтентность 4 x 96GB PCI Express Flash Cards на Exadata Server 300 I/O в секунду Десятки тысяч операций в секунду

Почему кэш SMART ? Exadata интегрирована с СУБД Oracle, поэтому умеет точно определять что и когда кэшировать: Согласно атрибутам объекта CELL_FLASH_CACHE NONE, DEFAULT & KEEP DB caching hint (defined for different I/O types) CACHE, NOCACHE, EVICT ASM primary/secondary IOs I/O size (Small I/O are cached if KEEP is not set) < 128KB IO is small Подозрителен к сканированию таблиц – большим операциям чтения Примеры: Операции с Control File кэшируются Заголовки файлов, блоки индексов и таблиц кэшируются Пропускает кэширование операций записи зеркальных копий Пропускает кэширование форматирования табличных пространств

Гибридное колоночное сжатие Hybrid Columnar Compression Данные группируются по колонкам и затем сжимаются Query Mode для хранилищ данных Оптимизированы для быстрого доступа 10X сжатие Время сканирования уменьшается соответственно Archival Mode для редко используемых данных Оптимизировано для уменьшения занимаемо места 15X сжатие До to 50X раз для некоторых данных Помощник по сжатию DBMS_COMPRESSION PL/SQL пакет

Exadata Hybrid Columnar Compression Как это работает Таблица делится на группы из нескольких тысяч строк Compression Units (CUs) В CU данные режутся по колонкам и затем сжимаются Колонка позволяет хранить похожие данные вместе, увеличивая степень сжатия Полезно при прямой загрузке и выборке данных Низкая активность по обновлению Степень сжатия как у лучших промышленных алгоритмов – Gzip, Bzip2 (LZO/ZLIB/BZ2 ) Exadata выгружает на ячейки фильтрацию, проекции и т д для сканирования сжатых данных Выборка по индексу возвращает сжатые блоки в БД, так что экономится буферный кэш Reduces Table Size 4x to 40x 4x to 50x Reduction Compression Unit Column 1 Column 2 Column 3 Copyright © 2010, Oracle Corporation and/or its affiliates – 18 –

Реальные результаты Oracle Production E-Business Suite Коэффициенты колоночного сжатия Query = 14.6X Archive = 22.6X Зависит от приложения 52

Copyright © 2009, Oracle Corporation and/or its affiliates – 20 – Другие возможности ПО Exadata Exadata Storage Indexes Структура в памяти, которая исключает ненужные дисковые операции В/В Хранит МИН и МАКС значения для каждой колонки Обычно одна запись в индексе для каждого Мб диска I/O Resource Manager (IORM) Обеспечивает приоритет операций В/В для обеспечения предсказуемой производительности

Copyright © 2009, Oracle Corporation and/or its affiliates – 21 – Exadata резко снижает трафик 1 TB после сжатия 10 TB данных требуют IO для 10 TB 100 GB с partition pruning 20 GB с Storage Indexes 5 GB с Smart Scans милисекунды на Database Machine Данных в десятки раз меньше, Scans в 2000 раз быстрее

Архитектура Exadata DB Server DB Instance DBRM ASM Single-Instance Database RAC Database DB Server DB Instance DBRM ASM DB Server DB Instance DBRM ASM OEL CELLSRV MS RSIORM Exadata Cell iDB Protocol over InfiniBand with Path Failover InfiniBand Switch/Network Cell Control CLI Enterprise Manager OEL CELLSRV MS RSIORM Exadata Cell OEL CELLSRV MS RSIORM Exadata Cell

Oracle Grid Computing Кластеры серверов приложений Кластеры баз данных Сетевые устр. хранения Storage Grid Database Grid Application Grid Grid Control

Архитектура Exadata X2-2 Database Grid 8 compute servers (1U) 2 Intel Sockets Storage Grid 14 storage servers (2U) 2 Xeon CPUs per server 100 TB High Speed disk, or 336 TB High Capacity disk 5 TB PCI Flash Data mirrored across storage servers InfiniBand Network Redundant 40Gb/s switches Unified server & storage net

Новая модель. Exadata X2-8 Database Grid 2 64-core Intel EX Servers 2 TB Memory Выбор: Oracle Linux Unbreakable Enterprise Kernel Solaris 11 Express Storage Grid Same Storage Grid as Exadata X2-2 CPUs updated to latest 6-core Xeon Network Redundant 40Gb/s Infiniband 10 Gb Ethernet to Data Center

Можно начать с четверти Exadata Full Rack Half Rack Quarter Rack

Масштабируемость до 8 шкафов 2368 ядер 2.6 петабайт несжатых данных

Copyright © 2009, Oracle Corporation and/or its affiliates – 28 – Радикальное упрощение развертывания Database Machine упрощает развертывание систем БД Месяцы конфигурации, разрешение проблем, настройки Database Machine готова к назначенному сроку Уже созданная, протестированная, стандартная и поддерживаемая конфигурация Прозрачно для существующих приложений – не нужно никаких изменений! Экстремальная производительностьпрямо из коробки Не месяцы, а дни Не месяцы, а дни

Sun Oracle Database Machine Экстремальная Производительность для всего Для хранилищ данных Параллельные запросы в памяти или в Flash Сжатые 4TB данных в памяти, 50 TB на flash В среднем в 10X-20X быстрее традиционных хранилищ Для OLTP-систем Масштабирование реальных приложений в grid - среде Smart flash кэш обеспечивает 1 млн операций ввода/вывода в секунду Сжатые 1.2 TB данных в памяти, 15 TB в Flash Сжатие в 50x для архивных данных Защищенность и отказоустойчивоть Для консолидации баз данных Поддерживает масштабирование любых типов нагрузки Предсказуемое время отклика в многопользовательском окружении

Машина БД Exadata Консолидация всех существующих приложений На Exadata могут совместно выполняться приложения любого типа. Это гарантируется: Широкими каналами и масштабируемой системой ввода/вывода; Instance Caging – ограничение на ресурсы ЦПУ между БД на одном узле; Менеджер ресурсов ввода/вывода; Большой объем памяти и процессорные мощности для онлайн задач; Оффлоадинг операций (smart scans, storage indexes) для пакетных задач, отчетности, хранилищ; Встроенная компрессия – существенная сэкономить на дисковом пространстве для любых приложений. Архивы и данные для отчетности ERP CRM Warehouse Data Mart HR Copyright © 2010, Oracle Corporation and/or its affiliates – 30 –

Была выпущена в 2008 Применяется в всех регионах и индустриях Exadata на рынке © 2010 Oracle Corporation 31

Итак, Exadata – это не только ценный мех высокая производительность, НО и: Поколоночное сжатие Распарралеливание запроса на 128+ процессоров Огромная память 2 Тб на 1 машине Компактность (1 холодильник вместо 22 комп + диски) Масштабируемость – > 1 -> 8 ….. HA внутри коробки Сбалансированная архитектура Предустановлено, преконфигурировано Быстрое развертывание Единая точка тех поддержки Единая консоль управления, патчи и т д Дешево (особенно если oracle уже есть) DSS+DW+OLTP+ mixed И т д И главное: ЭТО Oracle 11.2

33 Why Should Customers Upgrade to 11g Training

Сравнение моделей Exadata v2 Full Rackx2-2 Full Rackx2-8 Full Rack Database servers8 x Sun Fire x4170 1U8 x Sun Fire x4170 M2 1U 2 x Sun Fire x4800 5U Database CPUsXeon E5540 quad core 2.53GHz Xeon X5670 six cores 2.93GHz Xeon X7560 eight cores 2.26GHz Database cores Database RAM 576GB768GB2TB Storage cells 14 x SunFire X x SunFire X4270 M2 Storage cell CPUs Xeon E5540 quad core 2.53GHz Xeon L5640 six cores 2.26GHz Storage cells CPU cores Flash Cache 5.3TB InfiniBand Switches QDR 40Gbit/s wire Database Servers OS Oracle Linux onlyOracle Linux (possible Solaris later, still unclear) Oracle Linux or Solaris x86

Copyright © 2010 Oracle Corporation and/or its affiliates – 35 – X2-2 Database Server (Sun Fire X4170 M2) Processors2 Six-Core Intel® Xeon® X5670 Processors (2.93 GHz) Memory96GB (12 x 8GB) Local Disks4 x 300GB 10K RPM SAS Disks Disk ControllerDisk Controller HBA with 512MB Battery Backed Cache Network2 (Two) x InfiniBand 4X QDR (40Gb/s) Ports ( 1 Dual-port PCIe 2.0 HCA ) 4 (Four) x 1GbE Ethernet Ports 2 (Two) x 10GbE Ethernet SFP+ Ports ( 1 Dual-port 10GbE PCIe 2.0 network card based on the Intel GbE Controller technology ) Remote Management 1 Ethernet port (ILOM) Power supplies2 Redundant Hot-Swappable power supplies

X2-8 Database Server (Sun Fire X4800) Processors8 x Eight-Core Intel® Xeon® X7560 Processors (2.26 GHz) Memory1 TB (128 x 8GB) Local Disks8 x 300GB 10K RPM SAS Disks Disk ControllerDisk Controller HBA with 512MB Battery Backed Cache Network8 (Eight) x InfiniBand 4X QDR (40Gb/s) Ports ( 4 Dual-port PCE 2.0 Express Modules ) Two Network Express Modules (NEM), providing a total of 8 (Eight) x 1GbE Ethernet Ports 8 (Eight) x 10 GbE Ethernet SFP+ Ports (via 4 Fabric Express Modules (FEM) based Intel GbE Controller technology) Remote Management 1 Ethernet port (ILOM) Power supplies4 Redundant Hot-Swappable power supplies Copyright © 2010 Oracle Corporation and/or its affiliates – 36 –

Copyright © 2010 Oracle Corporation and/or its affiliates – 37 – Exadata Storage Server X2-2 (Sun Fire X4270 M2 ) Processors2 Six-Core Intel® Xeon® L5640 Processors (2.26 GHz) Memory24 GB (6 x 4GB) Disks12 x 600 GB 15K RPM High Performance SAS OR 12 x 2 TB 7.2K RPM High Capacity SAS Flash4 x 96 GB Sun Flash Accelerator F20 PCIe Cards Disk ControllerDisk Controller HBA with 512MB Battery Backed Cache Network2 (Two) InfiniBand 4X QDR (40Gb/s) Ports ( 1 Dual-port PCIe 2.0 HCA ) 4 Embedded Gigabit Ethernet Ports Remote Management 1 Ethernet port (ILOM) Power Supplies2 Redundant Hot-Swappable power supplies