Технологии построения хранилищ данных: Oracle Data Integrator Родион Константинов. - презентация

1 Технологии построения хранилищ данных: Oracle Data Integrator Родион Константинов

2 4 Ключевых преимущества Расширенные возможности 6 шагов к внедрению Сценарии использования План презентации

3 Информация там и в том виде в каком необходимо Данные в несогласованных источниках ERP --- CRM Legacy --- Best-of-breed Applications Business Intelligence Corporate Performance Management Business Activity Monitoring Business Process Management ИМЕЕМ… НУЖНО… Интеграция данных Data Warehousing Master Data Management SOA (Messaging) FederationMigration Data Synchronization Почему интеграция данных?

4 Oracle Data Integrator Трансформация и перемещение данных из множественных источников в гетерогенной среде 1.Скорость: Архитектура E-LT 2.Гибкость: Активная интеграция 3.Продуктивность: Декларативный дизайн 4.Расширяемость: Модули знаний ПреимуществаОтличительные возможности

5 E-LT архитектура Высокая производительность «Обычная» ETL Архитектура Extract Load Transform Архитектура нового поколения E-LT LoadExtract Transform Специализированный ETL сервер Черный ящик Слабая производительность Высокая цена Преобразования внутри СУБД Использование современных возможностей Эффективность Высокая производительность Преимущества Оптимальная производительность и масштабируемость Легкость управления и низкая цена

6 Java design-time environment Работает на любых платформах Тонкий клиент для просмотра метаданных Java runtime environment Работает на любых платформах Управляет выполнением потока задач Metadata repository Ставится на любую БД Модульность и расширяемость Design-Time Metadata Management Runtime Agent Data Flow Conductor Service Interfaces and Developer APIs User Interfaces Thin Client Data Flow Generator Knowledge Module Interpreter Knowledge Modules Master Repository Work Repositories Runtime Repositories Data Flow Generator Runtime Session Interpreter Data Flow Operator Designer Архитектура: Концепция

7 Архитектура: Компоненты ODI Design-Time EnvironmentDevelopment Servers and Applications Design-time Repositories Code Execution Execution Log Return Codes Agent Data Flow Conductor CRM Legacy ER P Data Warehouse Files / XML User Interfaces Administrators Designers Topology/Security Metadata/Rules Development ESB Production Servers and Applications ODI Runtime Environment Runtime Repository Return Codes Code Execution Log Execution Metadata Navigator Production CRM Legacy ER P Data Warehouse Files / XML ESB User Interfaces Administrators Operators Thin Client Data Stewarts Topology/Security Execution Log Metadata Lineage Agent Data Flow Conductor Scenarios and Projects Releases

8 Позволяет построить хранилища реального времени и хабы Можно использовать в SOA Oracle Data Integrator Data-oriented Integration Event Conductor Event-oriented Integration Service Conductor Service-oriented Integration Declarative Design Metadata Data Conductor Активная интеграция Cобытийная и сервис-ориентированная интеграция Переход от пакетной загрузки к хранилищам реального времени Единообразие инструмента Интеграция на лету Преимущества

9 Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services Reverse Engineer Metadata Используется опыт лучших наработок Легко администрировать Reverse Journalize Load Check Integrate Services CDC Sources Staging Tables Error Tables Target Tables WSWS WSWS WSWS SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload Type II SCD Oracle Merge Siebel EIM Schema Oracle Web Services DB2 Web Services Готовые модули знаний Преимущества Модули знаний (Knowledge Modules) Модульность, гибкость, расширяемость

10 Готовые Knowledge Modules Generic SQL DB Oracle DB 9i Oracle DB 10g Oracle DB 10g XE IBM DB2/400 IBM DB2/UDB IBM Informix SE IBM LDAP Server MS SQL Server 2000 MS SQL Server 2005 MS SQL Server 2005 SE MS Office Access 2000 MS Office Excel 2000 MS Active Directory Sybase ASA 8.x & 9.x Sybase IQ 12.x Sonic MQ v7.0 Teradata V2R5.x Teradata V2R6.x Netezza Performance Server Hyperion Essbase PostgresSQL 8.1 MySQL 4.0 MySQL 5.0 Oracle BI Suite 10g Oracle BAM 10g Oracle Internet Directory 9i OpenLDAP 2.3 Siebel CRM 7.8 JD Edwards PeopleSoft SAP R/3 Oracle EBusiness Suite Oracle AQ 10g Oracle SOA Suite Oracle ESB 10g SalesForce.com App Exchange Any JMS Standard Implementation Out-of-Box Knowledge Modules

11 Declarative Design Продуктивность разработчиков Традиционный ETL дизайн Традиционный подход Разработчик должен определить каждый шаг сложного ETL процесса Требуются специальные ETL навыки Существенные усилия по разработке и поддержке Declarative Set-based Design Уменьшается число шагов Автоматическая генерация процедур Преимущества Существенное ускорение обучения Уменьшение сроков внедрения Облегчение понимания для не-ИТ персонала ODI Declarative Design Define How : Built-in Templates Define What You Want Automatically Generate Dataflow 12

12 Oracle Data Integrator Расширенные возможности

13 Расширенные возможности Master Data Management enabled Создание унифицированных форматов Автоматическое создание канонического формата и трансформаций Встроенная проверка целостности данных Real-time enabled Захват изменений Message Oriented Integration (JMS) SOA enabled Службы доступа к данным Службы трансформации Extensibility Knowledge Modules Framework Языки сценариев Open Tools

14 MDM: Canonical Format Design Разработка и наполнение Канонического формата 1.Использование имеющихся объектов для построения MDM приложений (entities, fields, relationships) 2.Создание и поддержка структур эталонных данных CRM Enterprise Service Bus SCMLegacyERP Master Data

15 MDM: Встроенная проверка целостности данных 1.Определение ограничений (constraints) на уровне таблиц 2.Дизайн сценариев и проверка целостности 3.Просмотр, очистка или повторная обработка отброшенных записей MessageIdNameCity Duplicated Record001John DoeNew York Duplicated Record022John DoeBoston Invalid City Reference230Albert FreshMaris

16 Real-time enabled: Changed Data Capture Публикация и подписка CDC Framework Database logs Triggers Third-tier solutions Поддержка целостности транзакций затрагивающих несколько таблиц 1.Создайте или сгенерируйте сценарий 2.Выбирите Journalized Data Only 3.Запустите Журналирование CDC

17 Real-time enabled: Интеграция основанная на сообщениях Подключитесь к провайдеру публикации сообщений и подписки на них (JMS) Проверьте, что целостность сообщений не нарушается Сложные трансформации 1.Разрабатывайте сложные сценарии используя очереди, БД и приложения 2.Используйте JMS Queues как источники и приемники JMS Provider (MOM, ESB) CDC Subscribe Publish

18 SOA Enabled: Data Access Services Создавайте и публикуйте службы доступа к данным 1.Создайте службу доступа к данным 2.Протестируйте службу 3.Задействуйте службу доступа к данным в вашей SOA инфраструктуре SOA Infrastructure Services Data Access Transform Business Business Processes ESB

19 SOA Enabled: Data Flow Services Представьте сценарии как Web Services 1.Манипулируйте сценариями 2.Публикуйте сценарии как web- сервисы в вашей SOA инфраструктуре SOA Infrastructure Services Data Access Transform Business Business Processes ESB Bulk Transf.

20 Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services Reverse Engineer Metadata Reverse Journalize Load Check Integrate Services Pluggable Knowledge Modules Architecture CDC Sources Staging Tables Error Tables Target Tables WSWS WSWS WSWS Knowledge Modules 120+ KMs out-of-the-box Доступ к best practices Упрощение администрирования Уменьшение стоимости владения Переопределение и расширение KM Interpreter KMs Meta Code Metadata Executed Code

21 Scripting Framework Используйте языки сценариев Применяйте языки встроенные в базы данных SQL, PL/SQL, Transact SQL, etc. Используйте OS shell скрипты Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc. Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.

22 Open Tool Расширяйте ODI Добавляйте свои инструменты в палитру 1.Определите OdiOpenToolAbstract Java интерфейс 2.Зарегистрируйте Open Tool в Designer 3.Используйте Open Tool в среде разработки

23 Oracle Data Integrator 6 шагов к внедрению

24 ODI Design-Time EnvironmentODI Runtime Environment User Interfaces 6 шагов к внедрению 1.Получите/Создайте метаданные 2.Разработайте трансформации 3.Настройте сценарии выполнения 4.Сгенерируйте сценарии 5.Мониторинг выполнения 6.Анализируйте влияние Development Development Servers and Applications Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Files / XML User Interfaces Administrators Designers ESB Design-time Repositories Production Production Servers and Applications Agent Data Flow Conductor CRM Legacy ERP Data Warehouse Files / XML Operator Metadata Navigator ESB Runtime Repository

25 1.Reverse-engineer Автоматическая Настраиваемая 40+ технологий 2.Создание метаданных Документирование Правила для целостности данных Design-Time Environment ODI Designer Design-time Repositories Development Servers and Applications CRM Legacy ERP Data Warehouse Files / XML ESB Получите/Создайте метаданные 1 1

26 Oracle Data Integrator Interface Declarative Design 1 Определите Что Вы хотите3 Автоматически сгенерируйте трансформацию 2 Определите Как делать: Выберите шаблон Bulk Load Changed Data Capture Incremental Update Slowly Changing Dimension Разработайте трансформации 2 2

27 1.Последовательность трансформаций 2.ODI инструменты Data Quality Processes Files/Archives Management Send/Receive s Web Services Invokation Event Detection Создайте собственные инструменты 3.Используйте Цыклы Условия Обработку ошибок 3 3 Настройте сценарии выполнения

28 1.Скомпилируйте сценарии для выполнения 2.Используйте управление версиями Advanced Version Management 3.Перенесите в Production Design-time Repositories Scenarios and Projects Releases Runtime Repository Сгенерируйте сценарии 4 4

29 Просмотр выполнения сессий в ральном времени Просмотр кода Детальная статистика Перезапуск сбойных сессий 5 5 Мониторинг выполнения

30 Анализируйте влияния/зависимости Поддержка большого числа сценариев в сложных проектах Основанный на Web инструмент просмотра 1.Отследите ваши потоки данных 2.Следуйте по пути данных 3.Drill-down к трансформациям ? 6 6

31 Сценарии использования

32 E-LT для хранилищ данных Гетерогенные источники и цели Инкрементальная загрузка Медленно меняющиеся размерности Целостность данных Захват изменений (CDC) Анализ влияния Data Warehouse Cube ---- Оперативные системы Аналитика Метаданные Загрузка Преобразование Захват изменений Инкрементальное обновление Агрегация Экспорт

33 Master Data Management (Управление основными данными) Используется как инфраструктура для создания собственного хаба Описания потоков данных Захват изменений (CDC) Очистка и согласование данных Публикация эталонных данных Расширение метаданных Эталонные данные ---- Метаданные Захват изменений Загрузка основных данных Разработка Канонического формата Очистка и согласование Публикация эталонных данных ---- CDC

34 Миграция Массовая перегрузка данных в новое приложение Преобразование форматов Синхронизация старого и нового приложения в период совместного использования Двусторонний захват изменений (CDC) Старое приложение Новое приложение Метаданные Начальная загрузка CDC для синхронизации Преобразование в новый формат Двусторонний захват изменений CDC ----

35 Использование в SOA Вызов внешних сервисов для интеграции Создание сервисов Публикация сервисов Services Data Access Transformation Others ---- Оперативные системы Метаданные Создание сервисов Публикация сервисов Развертывание и использование сервисов Business Processes

36 Oracle Data Integrator: Roadmap Focus Areas for Next Major Release Deep Integration with Fusion Middleware Runtime, Design time, Security, Administration, Events Functional Integration with Oracle Warehouse Builder Runtime Integration, Metadata Sharing, Knowledge Module Sharing Deployment of ODI for Embedded Data Integration OracleBI Enterprise Edition, Data Hubs, Application Migrations Enhanced Usability and Debuggability Wizards, New Views, User-definable Debugging Improved Support for Native Oracle Database Features Oracle OLAP

37 Заказчики

38 A Q &

39

40

41 Преимущества Oracle Data Integrator «E-LT» архитектура Активная интеграция (Active Integration) Модули знаний (Knowledge Modules) Подход к проектированию основанный на бизнес правилах (Declarative Design)

42 ODI расширяет возможности Oracle BI Oracle Business Intelligence Suite EE: Бизнес модель Обработка сложных вычислений Интеллектуальная генерация запросов Оптимизация доступа к данным Oracle Data Integrator: Наполнение корпоративного хранилища данных Оптимизация производительности ETL процессов Siebel CRM Oracle EBS PeopleSoft SAP/R3 Other Sources Oracle Data Integrator E-LT Metadata E-LT Agent Oracle BI Enterprise Data Warehouse Oracle BI Suite EE Oracle BI Server Oracle BI Presentation Server Answers Interactive Dashboards PublisherDelivers Bulk E-LT

43 ODI Enhances Oracle SOA Suite Add Bulk Data Transformation to BPEL Process Oracle SOA Suite: BPEL Process Manager for Business Process Orchestration Oracle Data Integrator: Efficient Bulk Data Processing as Part of Business Process Interact via Data Services and Transformation Services Oracle SOA Suite Business Activity Monitoring Web Services Manager Business Rules Engine Enterprise Service Bus BPEL Process Manager Bulk Data Processing Oracle Data Integrator E-LT Metadata E-LT Agent

44 ODI Enhances Oracle SOA Suite Populate BAM Active Data Cache Efficiently Oracle SOA Suite: Business Activity Monitoring for Real-time Insight Oracle Data Integrator: High Performance Loading of BAMs Active Data Cache Pre-built and Integrated Data Warehouse Oracle SOA Suite BPEL Process Manager Web Services Manager Business Rules Engine Enterprise Service Bus Bulk and Real-Time Data Processing SAP/R3 PeopleSoft Me ss ag e Qu eu es CDC Business Activity Monitoring Active Data Cache Event EngineReport Cache Event Monitoring Web Applications Oracle Data Integrator Metadata Agent