IBM Software Group ® DB2 Information Integrator Software Марк Ривкин IBM EE/A. - презентация

1 IBM Software Group ® DB2 Information Integrator Software Марк Ривкин IBM EE/A

2 IBM Software Group | DB2 Information Management Software 8/30/20122 Виды интеграции Интеграция интерфейсов - Portal Интеграция приложений - WS BI Server Интеграция данных Хранилища данных Information Integrator

3 IBM Software Group | DB2 Information Management Software 8/30/20123 Два подхода к интеграции данных Консолидация данных для локального доступа (DW) Высокая производительность и доступность (HA) при централизации данных. Нужны не самые свежие, а согласованные на данный момент времени данные Для семантической согласованности данных нужны сложные преобразования (ETL) Production applications, data warehouses, operational data stores Обычно используется ETL (Extract, Transform, and Load) или репликация Нужны исторические данные Большие объемы данных Структурированные данные Интегрированный доступ к распределенным источникам (II) Производительностью доступа и загрузки можно пожертвовать в угоду простоте и снижению цены Нужны самые свежие данные Политики безопасности, лицензирования или внутренние правила ограничивают возможность перемещения данных Смешение форматов данных, например customer ODS и контрактные документы или изображения Данные нужны редко и нет смысла их хранить в DW Наибольшие выгоды – при комбинации обоих подходов

4 IBM Software Group | DB2 Information Management Software 8/30/20124 DB2 Information Integrator - Зонтик Федеративный сервер данных – Работать с распределенными данными так, как будто они находятся в одном источнике данных Описать интегрированный взгляд на разнотипные распределенные данные Широкий диапазон источников данных и контента Расширяемость на любые источники данных Запросить как бы из единого источника Использовать стандартные SQL запросы и SQL выражения Использовать контекстный поиск Реализовать специализированные функции в SQL Использовать оптимизацию запросов и хэширование Работать с XML документами Комбинировать различные источники Использовать DTDs или XML схемы Единый источник, реляционное обновление Integrated SQLView DB2, Oracle, SQL Server, Sybase, Teradata, OLE DB, ODBC, Excel, XML, message queues, Web services, flat files, document repositories, content repositories, LDAP directories, WWW, databases, and more.

5 IBM Software Group | DB2 Information Management Software 8/30/20125 Сценарии использования II Business Intelligence Расширение данных хранилища свежими данными Взгляд на все данные предприятия Непрерывное пополнение DW свежими данными Portal Единый интерфейс к разным источникам Доступ к старым данным Единые портлеты Единый поиск Migration/Coexist Слияние и приобретение Миграция между БД Синхронизация БД

6 IBM Software Group | DB2 Information Management Software 8/30/20126 Расширение Data Warehouse оперативными данными Federated Server Historical Data Data Warehouse Real-time Data Operational Data Store SQL Analysis Transformation Optimize query Cache DB2 z/OS SQL Server

7 IBM Software Group | DB2 Information Management Software 8/30/20127 Обеспечение единого взгляда на данные компании Federated Server Financial Services Retail Bank Обеспечение единого взгляда на клиентов и контракты, хранящиеся в разных системах Доступ к данным на месте хранения – не надо их копировать SQL Analysis Transformation Optimize query Cache Oracle Sybase Документы, контракты, текущая инф

8 IBM Software Group | DB2 Information Management Software 8/30/20128 Ускорение разработки портала Federated Server Account Status Reference Documents Обеспечение доступа приложениям портала к множеству структурированных и неструктурированных источников данных Упрощение разработки и сопровождения SQL Analysis Transformation Optimize query Cache Oracle Логика в одном месте

9 IBM Software Group | DB2 Information Management Software 8/30/20129 Сосуществование различных СУБД Replication Server Приложения прозрачно работают с несколькими СУБД на этапе сосуществования и миграции Consolidation Transformation Manage Copies Legacy Store Oracle, IMS Strategic Store DB2 UDB Federation Server Analysis Transformation Optimize query Cache Репликация для синхронизации данных

10 IBM Software Group | DB2 Information Management Software 8/30/ Information Integration IBM DB2 Information Integrator обеспечивает: Виртуализацию данных Стандартные языки доступа SQL, XQuery, Content, Search Доступ на чтение/запись к различным источникам данных и контента Расширение доступа Data placement Кэширование, извлечение и загрузка, репликация разнородной информации Преобразование данных Контроль качества данных Data analysis and mining SQL, XML, Web services Advanced search Управление метаданными Data publishing Publishing changed data events from diverse sources MQ интеграция WebSphere business integration Federate Place Transform Publish Metadata management and interchange IBM Confidential

11 IBM Software Group | DB2 Information Management Software 8/30/ Text Sybase Informix SQL Server Oracle DB2 Information Integrator SQL, SQL/XML Federation Engine Wrappers and functions Teradata WebSphere MQ ODBC IBM Extended Search Excel … WWW, ,…XML DB2 UDB on MVS Software AG Adabas VSAM CA-IDMS CA-Datacom IMS DB2 II Classic Federation ODBCODBC DB2 UDB Integrated SQL View Федеративный доступ к распределенным данным Package d apps Web services Ne w

12 IBM Software Group | DB2 Information Management Software 8/30/ Data sources accessible by IBM Lotus Extended Search: Lotus Notes, Lotus Domino.doc, Lotus Discovery Server, Lotus QuickPlace, Lotus Sametime IBM WebSphere Portal Search Engine, Microsoft Index Server, Microsoft Site Server, Microsoft Exchange, LDAP Directories, 18 Web search engines (Yahoo!, Lycos, Excite, HotBot, Google, Alta Vista, ABCNews.com, AOL.com Search, Business Wire, CNN, Canada.com, EuroSeek, FAST Search, GoTo.com, NBCi, PR Newswire WebCrawler, and Yahoo News) Documentum, FileNet, DB2 Content Manager

13 IBM Software Group | DB2 Information Management Software 8/30/ VSAM Sequential IMS Adabas CA-Datacom CA-IDMS Federated Sources DB2 UDB Informix Oracle Sybase Teradata Microsoft SQL Server ODBC OLE DB Excel Flat files IBM Lotus Extended Search Web search LDAP Custom-built DB2 CM Family Domino.doc Documentum FileNet Open Text Stellent Interwoven Hummingbird WebSphere FileNet Lotus Notes Microsoft Index Server IBM Lotus Extended Search Sametime QuickPlace Microsoft Exchange WebSphere BI Adaptors SAP PeopleSoft Siebel Дополнительно инструменты BP предоставляют доступ к большему кол-ву источников Content & Imaging Workflow systems Relational databases Web Other Collaboration Systems XML Web services Packaged applications Mainframe files Mainframe databases SQL ContentSQL

14 IBM Software Group | DB2 Information Management Software 8/30/ Концепции Wrapper Server Nickname Wrapper: библотека, обеспечивающая доступ к отдельному классу источников данных или протоколов (Net8...). Содержит информацию о характеристиках источника Server: представляет конкретный источник данных Nickname: локальный алиас для образа данных, размещающихся на удаленном сервере (отображенных в строки и колонки) Локальные данные: Глобальный каталог Системные таблицы MQTs Пользовательские данные Global optimizer Использует инф о: Статистике источника Индексах источника Функциях источника Скорости сервера и сети

15 IBM Software Group | DB2 Information Management Software 8/30/ Выполняют 4 основные задачи: ƒМоделирование данных –Отображают исходную модель данных в реляционную модель данных (таблицы с строчками и столбцами) –Отображают функции в SQL операции ƒПланирование запроса –Предоставляют информацию об источнике –Выталкивают на источники как можно больше работы –Определяют функции, отсутствующие на источнике (их компенсирует II) –Обеспечивают информацию для оптимизатора (cost and cardinality) ƒConnection and transaction management ƒВыполнение запросов и извлечение данных –Выполняют части запроса пользователя на различных источниках данных Wrappers

16 IBM Software Group | DB2 Information Management Software 8/30/ Nicknames, Push down and Compensation Push down обработку данных, чтоб улучшить производительность Компенсация для пропущенной функции (sort) (инф о молекуле) (результаты тестов)

17 IBM Software Group | DB2 Information Management Software 8/30/ Администрирование – Control Center Create nickname wizard Помогает создать nickname Выбирает/создает wrapper, server, nickname Create cache table wizard Помогает создать кэш таблицы. Выбирает/создает nickname, cache table и конфигурирует репликацию Export/ Deploy Запоминает действия control center и записывает их в скрипт. Позволяет редактировать скрипты и выполнять их в Task Center Monitoring Мониторит набор nicknames, чтобы определить изменения в схеме данных, которые могут повлиять на эти описания nickname Определяет состояние серверов (работает или недоступен) Обновляет статистику Запускает по расписанию обновление статистики для nickname Server discovery Конфигурирование II

18 IBM Software Group | DB2 Information Management Software 8/30/ Обработка запросов к федеративным данным Разбор и семантика Query Rewrite ƒТрансформация запроса на основе эвристик и знаний об источнике Pushdown Анализ ƒАнализирует как декомпозировать запрос Cost-Based Optimization ƒГенерирует оптимальный план выполнения запроса, используя знания об источнике: database statistics, indexes, source functions, server capacity, network capacity Генерация SQL ƒПроизводит эффективный для конкретного источника данных SQL (для SQL источников) Выполняет запрос над локальными и распределенными данными Выполняет компенсацию функций и virtual database view

19 IBM Software Group | DB2 Information Management Software 8/30/ Гетерогенное кэширование Улучшает производительность и надежность выполнения запроса Администратор описывает Materialized Query Table Заранее вычисленные или часто используемые значения Любые данные из федеративных реляционных источников Неявное или явное использование (automatic routing) Разработчик включает использование кэша Если включено – читает из кэша, пишет в источник Если выключено – работает напрямую с источником Обновление кэша: Вручную Репликация Различные стратегии обновления задаются при проектировании User Application AB C ReadWriteRead DB2 Microsoft AB C

20 IBM Software Group | DB2 Information Management Software 8/30/ DB2 Information Integrator OmniFind Edition Быстрый ответ Сложные алгоритмы для корпоративного контента Intranet, file systems, collaboration systems, content managers, and databases Stemming, lexical analysis, anchor point analysis, dynamic summary, highlighted text Легко встраивается в приложения Java APIs Document level security Может работать с большими объемами 500K документов и более Тысячи одновременных пользователей Crawl Index Search GO New

21 IBM Software Group | DB2 Information Management Software 8/30/ OmniFind Crawlers Web content HTTP/HTTPS News groups (NNTP) WebSphere Portal web content sources Collaboration Lotus Notes databases MS Exchange public folders File systems Content management systems DB2 Content Manager Relational Data sources DB2 family (DB2, Informix, DB2 for z/OS) DB2 Information Integrator relational data sources (Oracle) Information Integrator DB2 CM Notes MS Exchange Crawlers Exchange DB2 II DB2 CM Domino PDM Win File WPS File Servers Unix File Servers 3 rd party Web News Web NNTP Data Listener Custom Crawler DB2 for z/OS Oracle Unix File Informix Other Other IBM Sources IBM Servers New

22 IBM Software Group | DB2 Information Management Software 8/30/ DB2 Information Integrator 8.1 A Replication Server Реплицирует данные между реляционными СУБД DB2, Informix, Microsoft, Oracle, Sybase, Teradata Поддерживает гибкие топологии Дистрибуция: один ко многим Консолидация: многие к одному Различные режимы репликации Table-at-a-time (потабличный) для пакетной загрузки DW в ограниченное время Транзакционно-консистентный для оперативных данных Выбор характеристик задержки По расписанию, через интервал, непрерывный Применение преобразований на лету Стандартные SQL выражения или выполнение хранимых процедур DB2 Microsoft

23 IBM Software Group | DB2 Information Management Software 8/30/ Staging tables Концепции гетерогенной репликации Log based Trigger based External application IMSDB2 SybaseOracle SQL Server Informix Any source Control Capture Каждая стейдж-таблица содержит изменения для одной исходной таблицы Формат стейдж-таблиы опубликован для внешнего использования Control Federation Engine DB2 Sybase Oracle SQL Server Informix Teradata Nicknames Apply

24 IBM Software Group | DB2 Information Management Software 8/30/ Control Расширение архитектуры репликации Каждое сообщение представляет транзакцию XML формат сообщения Высоко параллельный apply process Определение и разрешение конфликтов репликации Гетерогенные источники и подписчики Wizard для конфигурирования Federation Engine Log based Source WebSphere MQ Capture Target Apply Малая задержка, высокая пропускная способность Высокая надежность Database event publishing Parallel New

25 IBM Software Group | DB2 Information Management Software 8/30/ Доступ к Web Services Интегрирует SQL предложения и вызов Web Service Один оператор может работать с локальными и удаленными данными и с web services Поддержка генерации SQL функций и табличных UDFs, на основе WSDL web service description ( WebSphere Studio) We b Airline Fare Language Translate Currency Rate Temperature Stock Quote Service Providers SELECT l.city, t.degreesFahr FROM location l, temperature t WHERE t.city=l.city

26 IBM Software Group | DB2 Information Management Software 8/30/ Использование Web Services Любой Web Service становится функцией или источником данных

27 IBM Software Group | DB2 Information Management Software 8/30/ DB2 Information Integrator Classic Federation for z/OS DB2 UDB for z/OS VSAM IMS JDBC ClientODBC Client Публикация событий (или захват изменений в данных) Workflow WebSphere Business Integration XML message Асинхронная коммуникация между слоем данных и слоем приложений New

28 IBM Software Group | DB2 Information Management Software 8/30/ Связь с пакетными приложениями WBI Adapter Генерируются связанные иерархи реляционных схем для бизнес объектов пакетных приложений. Запрос через SQL. Можно соединиться с другими приложениями и БД. Websphere MQ New

29 IBM Software Group | DB2 Information Management Software 8/30/ XML wrapper –Доступ к XML документам без их занрузки –Соединение XML с другими данными XML Extender –Объектно-реляционное исполнение –Хранить, извлекать, разбирать, собирать XML –Оценивать по DTD или Схеме –Извлекать, преобразовывать –Хранение –куском –Разбросать по таблицам XML расширения в SQL –Публиковать федеративные данные как XML документы Мост в мир XML Information Integration XML world

30 IBM Software Group | DB2 Information Management Software 8/30/ Интеграция с WebSphere MQ Доступ из приложений к очередям WebSphere MQ с помощью SQL Читать очередь (destructively or non-destructively) Послать сообщение Опубликовать сообщение на определенную тему Зарегистрировать интерес к определенной теме Two-phase commit integrity Insert into PENDING_ORDERS select t.msg from table(MQRECEIVEALL());

31 IBM Software Group | DB2 Information Management Software 8/30/ Инструментарий Фокус: Сделать DB2 Information Integrator прозрачным для средств разработки DB2 Centers ( Control Center, Development Center, etc) Поддержка для ДБА и разработчиков серверных приложений WebSphere Studio (Eclipse Platform) Web разработчики, J2EE разработчики, Data разработчики, XML разработчики и т д DB2 Microsoft Visual Studio Поддержка разработчиков приложений для DB2 Business Intelligence Tools Протестировано с. Crystal Decisions, Business Objects, MicroStrategy, Brio, Cognos…

32 IBM Software Group | DB2 Information Management Software 8/30/ Ценность DB2 Information Integrator Расширяет отдачу от сделанных инвестиций Работает с существующей инфраструктурой Консолидирует данные и обеспечивает доступ к распределенным данным, включая старые системы, так, как будто они находятся в одном источнике данных Объединяет существующие данные и контент Использует знакомую SQL программную модель и существующие средства разработки Построен на стандартной платформе Уменьшает время разработки сложных приложений Уменьшает ручное кодирование 40%-65% Уменьшает требования к квалификации разработчиков Наполовину сокращает время разработки