© 2007 IBM Corporation IBM Information Management IBM Dynamic Warehouse Николай Куликов Nikolay_Kulikov@ru.ibm.com March 2007. - презентация

1 © 2007 IBM Corporation IBM Information Management IBM Dynamic Warehouse Николай Куликов March 2007

2 IBM Information Management © 2007 IBM Corporation 1 Ясная, необходимая информация в Любом месте в Любое время OLAP & Data Mining Запасы, Товары, Движение Помощь в раскрытии преступлений - предоставление необходимой информации в момент прибытия офицеров на место происшествия Оптимизация работы полицейских Information On Demand Оптимизация каждой транзакции Call Центры, Сотрудники в полях Запросы и Отчеты Финансы, Продажи Статистика преступлений

3 IBM Information Management © 2007 IBM Corporation 2 Dynamic Warehousing A New Approach to Leveraging Information Dynamic Warehousing Традиционные Хранилища OLAP & Data Mining Понимаем почему произошло и рекомендуем действия на будущее Запросы и Отчеты Для понимания Что произошло Information On Demand Оптимизация реальных процессов Dynamic Warehousing Требует: 1. Встроенная аналитика которая используется как часть бизнес процесса 2. Возможность включения знаний из неструктурированной информации 3. Возможность быстрого доступа к агрегированной и очищенной информации в любом контексте 4. Полный набор средств для интеграции информации

4 IBM Information Management © 2007 IBM Corporation 3 Dynamic warehousing Традиционные Хранилища Больше примеров Dynamic Warehousing в действии Аналитика и отчетность мошенничеству в страховании Определение потенциально мошеннических заявок до согласования и оплаты Преобразование страхования Отчетность по претензиям клиентов Выявление потенциальных похожих заявок, снижение ухода клиента, возможность кросс продаж Преобразование клиентской службы Анализ и отчетность по продажам за прошедший период Выявление необходимой информации о клиенте для идентификации возможности дополнительных продаж Преобразование эффективности продаж Статистика и отчетность по преступлениям Выявление похожих инцидентов до прибытия на место происшествия Преобразование борьбы с преступниками

5 IBM Information Management © 2007 IBM Corporation 4 Вызовы стоящие перед традиционными ХД ХД должны сейчас: Адресованы к расширяющимся потребностям аналитики по запросу Использовать ВСЕ типы информации включая неструктурированную Обслуживать увеличивающиеся количество и типы приложений и пользователей с различными потребностями уровня обслуживания Увеличивающаяся Смешанная нагрузка и Постоянно изменяющиеся требования различных бизнес направлений требует более Динамичных Возможностей ХД

6 IBM Information Management © 2007 IBM Corporation 5 IBM предоставляет больше чем хранилище Встроенная Аналитика (встроенная и как сервис) Многомерный анализ Data mining,Визуализация За границами традиционных структурированных данных OLTP Преимущества транзакционного основания Оптимизация для быстрого доступаысокая доступность и надежность, Масштабируемость, безопасность, аудируемость DW DBMS Выделенные ХД Архитектура Shared- nothing Партиционирование Управление нагрузкой Высокая компрессия Сокращение затрат на диски, лучшая утилизация дисков, повышение производительности запросов As a direct effect of the mixed workload, with continuous loading and the increase in automated transactions from the functional analytics in OLTP, the transactional DBMSs have an edge that challenges the DW DBMSs (such as Teradata) Gartner Data Warehouse Magic Quadrant, 2006 IBM DB2 Warehouse Традиционное ХД Unstructured Structured

7 IBM Information Management © 2007 IBM Corporation 6 IBM Global Services SOA Infrastructure Process management Enterprise data modeling IBM Dynamic Warehousing Интегрированное предложение Information integration Search and text analytics Master data management IBM FileNet BPM WebSphere BPM IBM Rational ® Data Architect IBM Information Server IBM WebSphere Customer Center & Product Center Industry perspective IBM Industry Data Models IBM DB2 Warehouse Традиционное ХД IBM OmniFind Analytics Edition

8 IBM Information Management © 2007 IBM Corporation 7 Решение от IBM: IBM Information Server Предоставление информации которой вы можете доверять Понимание Очистка Трансформация Доставка Параллельная обработка Широкие возможности доступа к Приложениям, Данным, и Контенту IBM Information Server Обнаружение, моделирование, управление информацией Стандартизация, объединение, и корректировка информации Объединение и реструктуризация информации для нового пользования Синхронизация, виртуализация, перемещение информации Общее Внедрение Общее управление метаданными

9 IBM Information Management © 2007 IBM Corporation 8 IBM Information Server - Архитектура Интерфейс Аналитика Интерфейс Web Администрирования Интерфейс Разработчика ОБЩИЙ GUI ОБЩИЕ СЛУЖБЫ Службы Метаданных Службы безопасности Службы Журнала & Отчетности ОБЩИЕ МЕТАДАННЫЕ РазработкаОперативные ОБЩАЯ ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ПониманиеОчисткаТрансформация ОБЩИЕ ИНТЕРФЕЙСЫ ДОСТУПА Службы установки Структурированные, Неструктурированные, Приложения, Mainframe Доставка

10 IBM Information Management © 2007 IBM Corporation 9 Где необходимая информация? Как я могу ее получить если она мне нужна? Что она означает? Могу ли я ей доверять? Когда я ее получаю в какой форме она мне нужна? Как я могу ее контролировать? Почему важно начинать с Понимания?

11 IBM Information Management © 2007 IBM Corporation 10 Физические метаданные: IBM WebSphere Information Analyzer Основанный на данных анализ приложений, БД и файловых источников данных Безопастная, детальная профилировка полей, между полями и между источниками Создание метаданных как результатов профилирования Результаты постоянно доставляются посредством IBM Information Server Understand Анализ структур исходных данных и мониторинг их качества и соответствия правилам IBM WebSphere Information Analyzer Data Analysts Subject Matter Experts Physical View

12 IBM Information Management © 2007 IBM Corporation 11 Бизнес метаданные: IBM WebSphere Business Glossary Построенная на Web система для описания, управления & общего доступа к бизнес метаданным Выравнивание действий IT с целями бизнеса Предоставление бизнес контекста к информационным активам Understand Subject Matter Experts Create and manage business vocabulary and relationships, while linking to physical sources IBM WebSphere Business Glossary Business Users Business View GL Account Number The ten digit account number. Sometimes referred to as the account ID. This value is of the form L- FIIIIVVVV. Database = DB2 Schema = NAACCT Table = DLYTRANS Column = ACCT_NO data type = char(11) Technical Business

13 IBM Information Management © 2007 IBM Corporation 12 Очистка данных: IBM WebSphere QualityStage Специализированные функции очистки данных прозрачно интегрированы с DataStage Визуальные инструменты для определения комплексных отображений и логики сохранения полей Проверка очистки, стандартизации, де- дубликации информации Единая версия правды Cleanse Subject Matter Experts Standardize and correct source data fields, and match records together across sources to create a single view IBM WebSphere QualityStage Visual Match Rule Design Data Analysts

14 IBM Information Management © 2007 IBM Corporation 13 Что важно в трансформации и доставке данных? Трансформация это ключ для предоставления информации для использования ее в новых бизнес контекстах – это требует что бы эта информация была основанная на метаданных Разработана для использования экспертами по информации и управляется посредством метаданных Трансформация и доставка может быть использована множеством механизмов –Перемещение больших объемов заданиями(batch) –Ответ на событие в реальном времени –SOA –Федеративные запросы Data Analysts Data Architects DBAs Subject Matter Experts Request Response Logic Reuse Query

15 IBM Information Management © 2007 IBM Corporation 14 Трансформация & Перемещение: IBM WebSphere DataStage Визуальная разработка потоков данных с сотнями встроенных трансформаций Оптимизированное использование объектов интеграционных Возможность параллельной обработки без необходимости изменять процессы обработки Возможность работы как с batch так real- time операциями Transform Трансформация и агрегация любых объемов информации ArchitectsDevelopers IBM WebSphere DataStage ® Deliver

16 IBM Information Management © 2007 IBM Corporation 15 Федеративные данные: IBM WebSphere Federation Server Доступ к распределенной информации без ее перемещения Лучшая в индустрии оптимизация запросов с поддержкой SSO, функции компенсации Поддержка транзакций между распределенными источниками Deliver Relational databases Web, Non-Relational Sources Collaboration Systems XML Web services Packaged applications SQL Content Repositories and Imaging Systems Workflow systems Content Mainframe files Mainframe databases SQL

17 IBM Information Management © 2007 IBM Corporation 16 Федеративные запросы делают интеграцию простой как SQL SELECTparameters_return_billto_key as BILL_TO_KEY, billto_company_name, parameters_return_shipto_key as SHIP_TO_KEY, CASES_SHIPPED, GROSS_SALES, URL FROM GETKEYSSOAP_GETKEYSREALTIME_NN, GLOBAL_SALES_TRAN_NN, BILLTO_DIMENSION, URL_INVOICES WHERE getkeysrealtime_ship_to_number = '13546' and getkeysrealtime_ship_to_number = URL_INVOICES.shipno and ltrim(rtrim(translate(ship_to_number, ' ', x'0a'))) = getkeysrealtime_ship_to_number and parameters_return_billto_key = billto_key and ltrim(rtrim(translate(sales_order_number, ' ', x'0a'))) = URL_INVOICES.orderno; XML Documents Data Warehouse Unstructured Data Web Service Один запрос SQL :

18 IBM Information Management © 2007 IBM Corporation 17 Интегрированный набор инструментов для Dynamic Warehousing IBM Information Server

19 IBM Information Management © 2007 IBM Corporation 18 Интегрированный набор инструментов для Dynamic Warehousing Data Architect

20 IBM Information Management © 2007 IBM Corporation 19 Introducing IBM Balanced Warehouse TM A fast track to warehousing Простота Предопределенная конфигурация для упрощения комплекса Один номер для поддержки решения Гибкость при росте Простое Добавление BCUs для увеличивающихся потребностей Надежно, возможность повторного использования для других задач Оптимизирован для Производительности Преконфигурирован и сертифицирован для предоставления гарантированной производительности Основан на лучших практиках для уменьшения риска Balanced Configuration Unit (BCU) Преконфигурированный, Претестрированный, масштабируемый набор Программного и Аппаратного Обеспечения Balanced Warehouse IBM DB2 ® Warehouse Просто Гибко Оптимально

21 IBM Information Management © 2007 IBM Corporation 20 Гибридное партиционирование 999 Machines HASH RANGE 32K Partitions 64G A-C 64G D-M 64G N-Q 64G R-Z MDC

22 IBM Information Management © 2007 IBM Corporation 21 Компрессия строк Общая последовательность заменяется на 12 байт Страница с компрессией SOCKS BLUE DALLAS TEXAS x01C Без Компресии С Компрессией Страница без Компрессии

23 IBM Information Management © 2007 IBM Corporation 22 DB2 - More Compression Ratios (Customer Data) Compression Type32KB Page CountSpace Required on Disk No compression GB Row compression GB % Pages Saved: 76.4%

24 IBM Information Management © 2007 IBM Corporation 23 BDW (Banking Data Warehouse) Финансовые Рынки (Financial Markets Data Warehouse) Заявки Medical management Управление сетью Продажи, маркетинг and membership Финансы Прибыльность Маркетинг Управление рисками Управление активами пассивами Соответствие Требованиям Управление Рисками Управление активами пассивами Соответствие требованиям Управление Здоровьем (Health Plan Data Warehouse) Клиенты Заявки Прибыльность Соответствия требованиям Управления рисками Розница (Retail Data Warehouse) Клиенты Управление закупками Оптимизация складов Управление цепочкой Соответствие требованиям Телекоммуникации (Telecommunications Data Warehouse) Управление оттоком Управление взаимоотношениями Продажи и маркетинг Качество обслуживания Профайл пользователя Страхование (Insurance Information Warehouse) Индустриальные Модели данных

25 IBM Information Management © 2007 IBM Corporation 24 IBM Industry Data Models: Ключевые компоненты Модель данных для терминов Словарь бизнес определений для единых определений в рамках организации и индустрии Модель EDW Эта модель определяет как множество источников могут быть консолидированы в единую логическую структуру Проектные представления Логическое подмножество EDW и BSTs для решения конкретной задачи Шаблоны бизнес решений (BST) Набор Key Performance Indicators для создания OLAP кубов, витрин, шаблонов отчетности Master Data Management Business Analyst Solution Architect Data Modeler Process Modeler Project Manager Enterprise Data Warehouse Business Intelligence Enterprise Applications Entity Analytics Data Models Process Models Service Models Service Oriented Architecture Model Management Model Lifecycle and Governance Methodology

26 IBM Information Management © 2007 IBM Corporation 25 Фаза планирования Создание стандартов на данные и их управление Бизнес планирование и развития IT Стабильность проектов Business Challeng e Component Business Model Industry Models Identify Pain Pin Point Model

27 IBM Information Management © 2007 IBM Corporation 26 Фаза анализа RDA (Enterprise Model Extender) –Выявление Бизнес требований –Структурированная по области проблем –Определяет область для реализации IT реализации Дополнение Information Analyzer –Предоставление необходимого анализа данных Information Analyzer Rational Data Architect With EM Extender Project Views Analyze Source Data Business Solution Templates

28 IBM Information Management © 2007 IBM Corporation 27 Создание дизайна RDA (plus Enterprise Model Extender) –Генерация ХД, витрин/кубов –Инкрементальная, проектная, корпоративная разработка –Трассировка бизнес требований до уровня кода –Сравнение, объединение моделей Rational Data ArchitectEnterprise Data Warehouse ModelBusiness Solution Templates Create Database Schema Create OLAP or Data Marts With EM Extender

29 IBM Information Management © 2007 IBM Corporation 28 Фаза реализации Определение целевых структур Общий глоссарий Инкрементальная разработка без переписывания Business Glossary Enterprise Data Warehouse and Data Marts Analytical Application Information Server Trusted Data

30 IBM Information Management © 2007 IBM Corporation 29 Анализ требований

31 IBM Information Management © 2007 IBM Corporation 30 Mining engine CategoryItem [Call Taker] James [Date] 2002/08/30 [Duration] 10 min. [CustomerID] ADC00123 [type] complaint [issue] denied claim [service] prescription [resolution] addl info Extracted metadata Search, visualization and interactive mining Call Taker: James Date: Aug. 30, 2002 Duration: 10 min. CustomerID: ADC00123 D: Complained about rejected claim for antibiotics; form reqd more information Unstructured data Structured Data Original Data Обширные интерфейсы для объединения структурированных и не структурированных данных Объединение поиска и текстовой аналитики Unstructured analytics frameworkAnalysis tools Introducing IBM OmniFind Analytics Edition Linguistic analysis Extended Insight

32 IBM Information Management © 2007 IBM Corporation 31 Alphablox Data Warehouse Data Mart Relational Database Systems IE, Netscape Web Application Server Intranet/ Extranet Client Browser App Server Alphablox Analysts Business Users, Customers, Partners & Suppliers Data Mart

33 IBM Information Management © 2007 IBM Corporation 32

34 © 2007 IBM Corporation IBM Information Management Thank You