1EMC CONFIDENTIALINTERNAL USE ONLY Новые подходы к построению эффективного хранилища данных в банках Юрий Латышевский Технический консультант EMC Минск. - презентация

1 1EMC CONFIDENTIALINTERNAL USE ONLY Новые подходы к построению эффективного хранилища данных в банках Юрий Латышевский Технический консультант EMC Минск 2012

2 2EMC CONFIDENTIALINTERNAL USE ONLY Партнеры Услуги и консалтинг Полный спектр услуг доступен у наших партнеров, среди которых: Accenture, BearingPoint и CSC. Глобальный альянс Мы совместно конфигурируем, тестируем, интегрируем, поставляем и поддерживаем наши решения с такими партнерами, как Microsoft, Oracle, SAP, Cisco и др. Поставщики услуг Эти компании предоставляют доступ к масштабируемым инновационным услугам для инфраструктуры: Fujitsu Services, Bull, Dimension Data. Партнеры Организации, которые обладают экспертными знаниями и опытом для создания уникальных решений: Fujitsu Siemens, Unisys. Общие сведения о корпорации EMC Краткие сведения об EMC Выручка от продаж (2011 г.): $ 20 млрд Ожидаемая выручка от продаж (2012 г.): $ 22 млрд Место в списке Fortune 500 (2012 г.): 139 Количество сотрудников: около человек Страны, в которых работает EMC: 85 Инвестиции в НИОКР (2011 г.): около $ 2+ млрд Совокупные денежные средства и инвестиции (2011 г.): $ 10,8 млрд Рыночная капитализация: около $ 57 млрд (на ) Год основания: 1979 Признанное лидерство 1 среди поставщиков внешних СХД 1 на рынке внешних RAID-массивов 1 среди поставщиков сетевых СХД 1 NAS 1 среди поставщиков ПО для хранения данных (в целом) 1 среди поставщиков ПО для управления хранением данных 1 среди поставщиков ПО для управления устройствами Корпорация EMC завоевала репутацию мирового ИТ-лидера, помогая предприятиям совершенствовать рабочий процесс и предоставлять ИТ как услугу на основе облачной инфраструктуры. Инновационные продукты и услуги корпорации EMC ускоряют переход к облачным технологиям, помогая ИТ-отделам хранить, администрировать, защищать и анализировать информацию самый ценный ресурс более гибко, надежно и экономично.

3 3EMC CONFIDENTIALINTERNAL USE ONLY Что произойдет дальше? Что важного в документах? К чему приведут текущие тренды? Как добиться оптимального результата ? Что произошло? Стан- дартные отчеты Сколько, как часто, где? Отчеты по запросу Где конкретно проблема? OLAP Data Mining Анализ Текста Прогнози- рование Прогнози- рование Что произошло только что? Предупре ждения Очистка данных Опти- мизация Ценность для бизнеса Степень зрелости Аналитики Реактивно Отчетность Проактивно Аналитика Аналитика: от отчётов – к оптимизации будущего

4 4EMC CONFIDENTIALINTERNAL USE ONLY Типовые сценарии использования Больших Данных в финансовом секторе Банки и страховые компании Клиентская аналитика Отчетность и статистика On-line сервисы

5 5EMC CONFIDENTIALINTERNAL USE ONLY Сначала было Хранилище Данных… Архитектура для хранения данных из разных источников в целях поддержки принятия решений Зачем нужны Хранилища Данных: – Централизация ценных данных – Инструментари й для преобразования данных в информацию – Регламентированное окружение Унаследованное КХД

6 6EMC CONFIDENTIALINTERNAL USE ONLY Потом появились MPP(массовая параллельная архитектура) Для аналитической платформы потребовался новый подход к базам данных Почему существуют MPP БД: –Данные стали больше –Запросы стали сложнее –Производительность стала критичной –Обработка сценариев в Базе Данных

7 7EMC CONFIDENTIALINTERNAL USE ONLY БАЗА ДАННЫХ GREENPLUM Лидер в массово- параллельных высокопроизводительных вычислениях

8 8EMC CONFIDENTIALINTERNAL USE ONLY База данных Greenplum Производительность для аналитики Оптимизирована для BI и аналитики – Глубокая интеграция со статистическими пакетами – Высокая производительность Простота и Автоматизация – Запросы как в любой другой СУБД – Данные автоматически распределяются по узлам Линейная Масштабируемость – Массово-параллельная архитектура с разделением ресурсов – Все узлы читают обрабатывают данные параллельно – Линейная масштабируемость простым добавлением узлов

9 9EMC CONFIDENTIALINTERNAL USE ONLY Производительность через Параллелизм Вертикально-масштабируемая архитектура на стандартном оборудовании Автоматический параллелизм – Загрузка и Запросы как в любой БД – Автоматическое распределение данных по всем узлам – Нет необходимости в Секционировании или Настройке Масштабируемая МПП архитектура с разделением данных – Все узлы могут сканировать и обрабатывать параллельно – Линейная масштабируемость добавлением узлов – Отказоустойчивость обеспечена дублированием данных между узлами – Онлайн расширение системы Загрузка Межсоединение

10 10EMC CONFIDENTIALINTERNAL USE ONLY ОДНА СТОЙКА Мощные возможности загрузки данных Рекордная производительность загрузки данных. 10+TB/час на стойку Технология SC Streaming обеспечивает линейную масштабируемость загрузки Поддержка пакетной загрузки и загрузки в режиме реального времени Выполнение сложных трансформаций данных «налету» Прозрачный механизм загрузки через файлы, приложения и сервисы Для Greenplum скорость загрузки растёт линейно пропорционально количеству стоек, для остальных это не так. Например, 2 стойки= >20TB/час. GreenplumOracle Exadata NetezzaTeradata

11 11EMC CONFIDENTIALINTERNAL USE ONLY Polymorphic Table Storage TM Поддержка жизненного цикла информации (ILM) Способ организации хранения могут совмещаться как в рамках базы данных, так и таблицы – Разные типы хранения – Сжатие в блоке

12 12EMC CONFIDENTIALINTERNAL USE ONLY Оптимизатор Параллельных Запросов Стоимостной оптимизатор выбирает оптимальный план исполнения План состоит из операций сканирования, соединений, сортировки, агрегации, и т.д. Глобальное планирование позволяет избежать неоптимального исполнения SQL сегментами Обработка запросов происходит конвейерно, без сохранения промежуточных результатов на диск Например, операции сложных соединений (Join) таблиц с разными ключами в 10+ раз быстрее чем в Netezza ВНУТРЕННИЙ ПЛАН ИСПОЛНЕНИЯ ДЛЯ SQL ИЛИ MAPREDUCE

13 13EMC CONFIDENTIALINTERNAL USE ONLY Зрелая корпоративная платформа

14 14EMC CONFIDENTIALINTERNAL USE ONLY Простота управления Greenplum Command Center –Контроль и управление платформой –Мониторинг производительности и досупности системы Greenplum Package Manager –Автоматизированная установка, обновление –Миграция при переходе на новую версию, восстановлении, расширении системы, переключении на резерв

15 15EMC CONFIDENTIALINTERNAL USE ONLY Аналитика внутри Базы Данных Параллелизм для функций моделирования и аналитики Аналитика в Базе Данных –SAS – HPA, Access и Scoring Accelerator –Madlib – open-source библиотека функций глубокой аналитики –Поддержка аналитических расширений Postgis – ГИС, PL/R - Статистика, PL/Java, PL/Perl, и.т.д. MAD lib MAD lib

16 16EMC CONFIDENTIALINTERNAL USE ONLY Лидеры рынка первыми начинают и выигрывают….

17 17EMC CONFIDENTIALINTERNAL USE ONLY Банк: Он-лайн аналитика для он-лайн банка

18 18EMC CONFIDENTIALINTERNAL USE ONLY Тип тестаНазвание SAS текущее окружениеSAS + GP ЗагрузкаLOAD_CALLS_X_SERVICE_REQUEST2500 сек.22 сек. LOAD_MAILS2400 сек.26 сек. SMS_LOAD1800 сек.8 сек. mails_cut5400 сек.163 сек. АнализAnalytic1225 сек.2.37 сек. Analytic2142 сек.1.18 сек. Analytic3595 сек.7.65 сек. Основные результаты Задача. Онлайн Банк (Аналитика в реальном времени на растущих объёмах данных) Ситуация. ХД построенное на SAS IS не обеспечивало линейную масштабируемость и производительность запросов. Решение. Внедрено Greenplum DB

19 19EMC CONFIDENTIALINTERNAL USE ONLY Компания: Тройка Диалог Проект: Хранилище Данных для Отчётности/2010 год Внедрение позволило: –Ускорение отчётности. Запросы в раз. Результаты за минуты, не дни. –Разгрузка БД бэк-офисной системы –Линейно-масштабируемая платформа для развития нового функционала, например алгоритмической торговли, системы мониторинга нормативных требований, количественного анализа –Оптимизация затрат на ИТ инфраструктуру Банк: Хранилище данных для корпоративной отчетности

20