0 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal

1 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Технологии и продукты Oracle для обработки и анализа Больших Данных Андрей Пивоваров Руководитель группы перспективных технологий

2 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 2 Gartner Hype Cycle 2013

3 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 3 Откуда берутся Большие данные? (1/2) Они были всегда, но не всегда обрабатываются Например, традиционные данные из RDBMS за прошлые годы В самой сущности таких данных может не быть ничего нового, их просто очень много. Возникают вопросы о целесообразности хранения и обработки таких объемов в традиционных архитектурах Это может быть просто дорого

4 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 4 Откуда берутся Большие данные? (2/2) Новые данные Логи, данные телеметрии, датчиков, полуструктурированные данные и неструктурированные данные, записи в социальных сетях, вебсайты и т.д. Данные, которые могут очень быстро накапливаться, при этом, обычно (но не всегда) информационная плотность их низкая. Данные, которые очень дорого хранить используя традиционный подход

5 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 5 Зачем обрабатывать Большие Данные? Очень многие примеры о Big Data связаны с точечным маркетингом и персонализацией Персонализированные предложения требуют очень большого количества данных о поведении клиентов. Необходимость собирать данные из многих источников

6 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для обработки Больших Данных Поток

7 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для обработки Больших Данных Поток Hadoop Oracle NoSQL Database Applications Open source R Oracle Data Integrator In-Database Analytics Data Warehouse Oracle Advanced Analytics Oracle Database Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery Oracle Event Processing Or Oracle Big Data Connectors Oracle Real- Time Decisions

8 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Exadata Database Machine

9 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 9 Что такое Oracle Exadata? Машина для СУБД Oracle – OLTP – Хранилищ данных – Смешанных нагрузок – Консолидации приложений на базе Oracle Database Построено на основе: – Oracle Database Все приложения, работающие c Oracle Database, могут работать на Exadata – Oracle Hardware

10 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 10 Exadata на аппаратном уровне Быстрая дисковая подсистема Использование 40Gb/s Infiniband Использование FLASH карт (до 22.4 TB) Много RAM (до 4TB) Много процессорных ядер (до ) In-Memory Database Machine

11 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Архитектура Exadata Каждая ячейка Exadata – самостоятельный сервер с установленными дисками и ПО Exadata Данные «размазаны» между многими ячейками Exadata Нет ограничения на количество ячеек в системе Ячейки выполняют множество операций, которые в традиционной архитектуре делает Oracle Ячейки работают в режиме MPP Exadata Cell InfiniBand Switch/Network Single InstanceRAC Exadata Cell

12 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Масштабируемость До 8 стоек без покупки доп. сетевого оборудования Тысячи процессорных ядер Петабайты данных BIG DATA???

13 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 13 Google trends. Big Data.

14 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 14 Почему о Больших Данных так много говорят? Технологии, раньше используемые только в веб-проектах стали достаточно зрелыми – Не обязательно держать штат программистов, чтобы ими пользоваться Появились новые возможности для получения конкурентных преимуществ: – Глубокий анализ поведения клиентов – Высокоточная реклама – Объединение и анализ данных из многих источников, в том числе неструктурированных – Анализ мошенничеств – и т.д. Big Data технологии позволяют существенно удешевить хранение и обработку данных

15 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 15 Недопонимания о Big Data Под Big Data разные вендоры могут понимать разное Big Data – это множество разных технологий – Hadoop – NoSQL – Event Processing –…–… Некоторые задачи из области Big Data могут решаться и с использованием обычных СУБД, но это часто будет дороже

16 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 16 Что такое Hadoop? Apache Hadoop - распределенная вычислительная архитектура: – Open source (проект Apache Software Foundation) – Включает в себя распределенную файловую систему HDFS – Служит для пакетной обработки и ETL – Обрабатывает данные в массивно-параллельном режиме (MapReduce) – Работает на очень больших кластерах (сотни и даже тысячи узлов) на дешевом «железе» – Автоматически обрабатывает отказ узлов, и перераспределение данных

17 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 17 Apache Hive – Инфраструктура, эмулирующая реляционную СУБД над Hadoop – Разработана в Facebook – Есть SQL-подобный язык HiveQL – Позволяет строить свербольшие хранилища данных в Hadoop

18 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 18 Hadoop или реляционная база данных? Реляционная база данных Hadoop

19 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal ХРАНИЛИЩЕ ДАННЫХ Классическая BI&DW система Пользователи SAP Файлы, MS Excel Oracle Database Oracle ERP, CRM Sybase, DB2, MS SQL Server

20 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal ХРАНИЛИЩЕ ДАННЫХ BI&DW система c Hadoop Пользователи SAP Файлы, MS Excel Oracle Database Oracle ERP, CRM Sybase, DB2, MS SQL Server Hadoop

21 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal BIG DATA Appliance

22 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Кластер из 18 узлов –64 GB RAM на узле = 1152 GB RAM –16 ядер Intel на узле = 288 ядер –48 TB дисков на узел = 864 TB 40 Gb p/sec InfiniBand 10 Gb p/sec Ethernet Может продаваться в конфигурации 1/3 и 2/3 стойки Oracle Big Data Appliance Машина для Hadoop и NoSQL DB

23 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Linux Java Hotspot VM Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop, Administration Tools R Distribution Oracle NoSQL Database Oracle Adapters for Hadoop: –Oracle R Connector for Hadoop –Oracle SQL to HDFS Connector –Oracle Data Integrator Application Adapter for Hadoop –Oracle Loader for Hadoop Oracle Big Data Appliance Software

24 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Анализ и визуализация данных

25 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Аналитическая платформа Oracle Интерактивные запросы и анализ, информационные панели, детализация и навигация Business Intelligence Enterprise Edition OLAP анализ, сценарное моделирование, системы планирования Essbase Исследование данных, фасетный поиск и навигация для структурированных и неструктурированных данных Endeca Information Discovery BI Foundation Suite Advanced Analytics Встроеные в Oracle Database статистика, data mining и язык R Программно-аппаратный комплекс Экстремальная производительность In-memory аналитика R

26 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 26 Oracle Business Intelligence Enterprise Edition Классическая BI система Инструменты для – Корпоративной отчетности – Интерактивных запросов и анализа – Информационных панелей Единая бизнес-модель Интеграция с любыми реляционными и многомерными базами данных, приложениями Interactive Dashboards Office Integration Secure Search Production Reporting Ad-hoc Analysis Scorecards Strategy Maps Geographic Visualization Embedded in Applications Mobile Business Processes Scenario Analysis Predictive Analysis Tablet

27 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle BI EE - гибкая аналитическая платформа Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide Единая платформа для всех видов анализа Доступ ко всем данным компании и внешним источникам Интеграция с любыми системами, приложениями и бизнес-процессами

28 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle R Enterprise Встроенный в Oracle Database язык R Open source проект, R Foundation Язык для статистических исследован ий и работы с графикой (Росс Айхэк, Роберт Джентельмен, Оклендский ун-т, 1997) Широкий спектр различных функций (временные ряды, прогнозирование, классификация и т.д.) Возможность расширения, технология разработки дополнительных пакетов участниками проекта Oracle R Enterprise -- Выполнение R- программ внутри Oracle Database

29 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal R Statistical Programming Language

30 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 30

31 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 31

32 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Exalytics

33 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Exalytics Возможности Аналитика в памяти: структурированные и неструктурированные данные Интеграция с Exadata Ускорение отчетов Ускорение задач планирования Поддержка большого количества пользователей T5-8 4 TB DRAM, 3.2TB Flash, 128 cores Приложения: Planning, ERP, CRM, Profitability, 80+ In-memory Analytic Applications BI Foundation Suite Exalytics In-Memory Software Endeca TimesTen Essbase Unstructured ROLAP MOLAP In-Memory Analytic Engines X3-4 2 TB DRAM, 2.4TB Flash, 40 cores Hardware

34 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для Big Data Поток

35 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для Big Data Поток Hadoop Oracle NoSQL Database Applications Open source R Oracle Data Integrator In-Database Analytics Data Warehouse Oracle Advanced Analytics Oracle Database Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery Oracle Event Processing Or Oracle Big Data Connectors Oracle Real- Time Decisions

36 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal

37 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 37 Oracle Essbase OLAP технология Универсальный OLAP-сервер для хранения, обработки и представления информации Высокая производительность Широкие вычислительные возможности, гибкое агрегирование, моделирование, прогнозирование Основа продукта Hyperion Planning

38 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal

39 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Event Processing

40 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Event Processing Технология обработки и анализа потока данных Непрерывный поток, часто большого объема Отсутствует конец потока Упорядочен по времени Нужно на лету уметь обнаруживать «шаблоны» Невозможно или не эффективно обрабатывать/анализировать в реальном времени с применением баз данных

41 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle OEP: Выявление шаблонов Торговля на бирже – шаблон W SELECT FIRST(x.time), LAST(z.time) FROM ticker MATCH_RECOGNIZE (ONE ROW PER MATCH PARTITION BY name PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price < PREV(price)) Y AS (price > PREV(price)) W AS (price < PREV(price)) Z AS (price > PREV(price))) days X Y W Z

42 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Eve n t Processing in Turkcell Кто из абонентов находится в данный момент на стадионе? Точечная рассылка только тем, кто заинтересован

43 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Кто из абонентов послал 5 смс из определенного торгового центра за 10 последних минут? Oracle Event Processing in Turkcell

44 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Event Processing и Oracle Spatial

45 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Кто из абонентов последовательно проехал точку A, затем точку B и затем C за последние 15 минут? Еще пример

46 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 46 Пример: Sabre Holdings Sabre Travel Networks – Авиалинии, заказ гостиниц, аренда машин, ЖД билеты, круизные корабли Sabre Airlines Solutions – – SAAS, 300 авиалиний, 100 аэропортов, 300 миллионов пассажиров каждый год. Sabre Hospitality Solutions – SAAS, Отелей Travelocity – Сервис для путешественников

47 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 47 7 ТБ данных в день

48 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Endeca Information Discovery Платформа для интуитивного исследования структурированных, слабо-структурированных и неструктурированных данных

49 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для обработки Больших Данных Поток

50 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Оптимизированный программно-аппаратный комплекс для бизнес-анализа Экстремальная производительность Неограниченные возможности визуализации и анализа Oracle Exalytics Business Intelligence Machine

51 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Exalytics – основные компоненты Программное обеспечение для In-Memory аналитики Essbase TimesTen for Exalytics Adaptive In-Memory Tools 2-4 TB RAM Processing Cores High Speed Networking Аппаратный комплекс для In-Memory аналитики Oracle Business Intelligence Suite – специальная редакция для Exalytics

52 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Times Ten for Exalytics На основе Oracle TimesTen In-Memory Database 100% In-memory RDBMS – База данных в оперативной памяти Высокая производительность – Снижение времени отклика – Высокая пропускная способность Сохранение в дисковой памяти – Транзакции и контрольные точки копируются для постоянного хранения Колоночная компрессия – Сжатие от 5 до 10 раз – Аналитические алгоритмы работают непосредственно с компрессированными данными Аналитические функции – Эффективное выполнение аналитических функций – Разгрузка BI-сервера Oracle BI TimesTen Libraries Memory-Resident Database JDBC / ODBC / OCI / PLSQL Checkpoint Files Log Files Fast data access

53 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Адаптивные in-memory акселераторы Реализация in-memory аналитики In-Memory Essbase Cubes Кэширование в оперативной памяти Essbase-кубов In-Memory Intelligent Result Cache Хранение в оперативной памяти результатов выполненных запросов In-Memory Adaptive Data Marts Кэширование в TimesTen Автоматическое формирование витрины на основе статистики запросов In-Memory Data Warehouse Хранение в оперативной памяти всего хранилища данных

54 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Oracle Exalytics Теперь 2 варианта 2 TB DRAM Exalytics X Intel Cores 2.4 TB Flash Storage 5.4 TB Hard Disk Drive 4 TB DRAM Exalytics T SPARC T5 Processor Cores 3.2 TB Flash Storage 7.2 TB Hard Disk Drive

55 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 55 Текущая ситуация (1/2) Компании и организации строят корпоративные хранилища данных – Как правило на реляционных базах, таких как Oracle. Хранилища бывают маленькие, большие и сверхбольшие – В случае сверхбольших иногда приходится не хранить данные за все периоды – А хотелось бы. Хранилище – это «память» компании (организации)

56 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 56 Текущая ситуация (2/2) Появляются новые источники данных, которые хочется обрабатывать – Социальные сети, твиттер, и проч. Появляется желание обрабатывать то, что всегда существовало, но никто не пытался хранить и обрабатывать – Очень подробные данные, логи, видео, неструктурированный контент Используя традиционные технологии это делать может быть очень дорого или невозможно – Затраты на инфраструктуру могут быть выше, чем получаемый эффект

57 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение и обработка Больших Данных

58 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для обработки Больших Данных Поток

59 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 59 Oracle NoSQL Database Распределенная, масштабируемая key-value база данных Простая модель данных Пара Key-value с подходом major+sub-key Операции read/insert/update/delete Поддержка ACID и BASE транзакций Масштабируемость Динамическое партиционирование и перераспределение Оптимизированный доступ к данным Высокая доступность Одна или более реплик Катастрофоустойчивость засчет разнесения реплик Устойчивость к отказу мастера Нет одной точки отказа Прозрачная балансировка нагрузки Чтение с мастера или реплики Драйвер знает о сетевой топологии и временах задержки Storage Nodes Data Center A Storage Nodes Data Center B NoSQLDB Driver Application NoSQLDB Driver Application

60 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 60 Зачем использовать Hadoop в хранилищах данных? Дешевое хранение всей исходной информации – Возможность построения новых витрин в любой момент. – Возможность хранения огромных объемов данных – Больше возможностей для экспериментов Дешевое хранение исторической информации – Часто используемые данные хранятся в RDBMS – Исторические, реже используемые данные, хранятся в Hadoop ХРАНИЛИЩЕ ДАННЫХ

61 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Хранение Организация Анализ Визуализация Платформа Oracle для обработки Больших Данных Поток

62 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal Инновации в Exadata Интеллектуальная СХД –Smart Scan –InfiniBand +++ Hybrid Columnar Compression – 10-кратное сжатие для хранилищ – 15-кратное сжатие для архивного хранения Интеллектуальный PCI Flash Cache – Ускоряет произвольный I/O до 30 раз – Время сканирования уменьшается в 3 раза сжатые primary DB standby test dev backup несжатые

63 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 63 Частый вопрос: почему нельзя собрать Exadata самим? Можно собрать похожий аппаратный комплекс на железе Oracle или других вендоров, но: – Exadata Software, в отличие от большинства ПО Oracle, не поставляется отдельно от Exadata – Exadata Software отвечает за большую часть преимуществ Exadata: Smart Scans Hybrid Columnar Compression Storage Indexes Работа с FLASH картами И т.д.

64 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 64 Преимущества архитектуры Exadata, которые дает СУБД Oracle Перенести приложения и особенно хранилища на Exadata достаточно легко Так как приложения работают с «обычной» СУБД Oracle 11g – Не надо переписывать приложения и запросы при миграции на Exadata – Возможна миграция данных в архитектуру с Exadata без остановки сервера – Нужно, чтобы приложение работало с Oracle DB и с RAC Exadata использует все преимущества и возможности СУБД Oracle, накопленные за 30+ лет.

65 Copyright © 2013, Oracle and/or its affiliates. All rights reserved.Confidential – Oracle Internal 65 Частые недопонимания на тему Exadata Exadata – это не просто «железо», а Oracle Database с другой архитектурой (появляются умные ячейки). Преимущества Exadata достигаются не засчет какой-то одной возможности, а засчет синергии всех возможностей Oracle DB и Exadata Software Даже если какой-то конкретный запрос не «экзадатится», в любой системе есть тысячи других запросов, которые получают преимущества от Exadata Exadata – машина баз данных, на Exadata нельзя устанавливать слой приложений