® 1 Обзор технологий и продуктов Oracle для создания аналитических систем и хранилищ данных Ольга Горчинская. - презентация

1 ® 1 Обзор технологий и продуктов Oracle для создания аналитических систем и хранилищ данных Ольга Горчинская

2 ® 2 План доклада 1. Аналитическая обработка данных и средства Oracle Express 2. Технология построения корпоративного хранилища данных 3. Опыт применения

3 Аналитическая обработка данных и средства Oracle Express Аналитическая обработка данных и средства Oracle Express

4 ® 4 Рассматриваемые вопросы Аналитическая обработка данных и OLAP - технология Инструментальные средства Oracle Express Технология создания Express-приложений

5 ® 5 Задачи информационного анализа Оценка общего состояния области Прогнозирование перспектив Выявление тенденций Оценка влияния параметров Выявление взаимосвязей...

6 ® 6 Многомерная модель БД Потребители Время Энергосистемы Тариф на электроэнергию

7 ® 7 Логические представления данных конечному пользователю Энергосистемы Потребители Время Потребители Энергосистемы Время

8 ® 8 Многомерные и реляционные информационные модели Сумма Продукт Регион Время Цена Показатели и размерности Сущности и атрибуты ЗаказКлиент Продукт

9 ® 9 Сравнение моделей данных Реляционная модель данныхМногомерная модель данных Потребитель Регион Время Центр Восток НаселениеС/xПромышл ВремяТариф Регион Центр Восток Центр Потребит. Население С/x Промышл. Население Промышл ВостокНаселение ВостокПромышл.85000

10 ® 10 Сравнение моделей данных Регион Центр Восток 1 2 Время Потребит. Население С/x Промышл (1,1,1)(1,1,2)(1,1,3)(1,2,1) (2,1,1) ВремяТариф Регион Центр Восток Центр Потребит. Население С/x Промышл. Население Промышл ВостокНаселение ВостокПромышл Реляционная модельМногомерная модель

11 ® 11 Продукты Oracle Express Express Server ( многомерная СУБД ) Express Tools ( средства разработки OLAP-приложений ) Express Applications (специализированные OLAP-приложения)

12 ® 12 Oracle Express Server Многомерная модель данных Эффективные структуры хранения данных для многомерных запросов Развитые средства многомерного анализа

13 ® 13 Развитые средства многомерного анализа Oracle Express Server Поддержка аналитических запросов Встроенные статистические, финансовые функции, анализ временных рядов Гибкое определение производных данных Моделирование Прогнозирование

14 ® 14 Размерности Время, Типы налога, Территории Переменные В_федер._бюджет, Тип ории) В_ремя, Тип налога, Территории) Формулы Поступление = В_федер._бюджет + В_террит_бюджет Объекты базы данных Express Стоимость=Отпуск * Тариф Время Тариф

15 ® 15 Объекты базы данных Express Отношения Потребители Type DEM FRF Собственные USD RUR UAH Внешние Иерархии Регион BANK TFXL TFXI ACCT FXMN ACCR FUTR FDLP DGRT

16 ® 16 Продукты Oracle Express Sales AnalyzerFinancial Analyzer Express AnalyzerExpress ObjectsExpress Web Publisher Express Web AgentOracle Express Server Third Party FET Relational Access Manager Реляционные базы данных Оперативные БД и внешние источники

17 ® 17 Oracle Express Analyzer Объектно-ориентированный инструмент конечного пользователя Графический интуитивный интерфейс (drag-and-drop) Динамическое формирование запросов, отчетов, диаграмм Визуализация многомерных операций (поворот, срез) Поддержка что, если - анализа Брифинги c многомерными таблицами и графиками, кнопками и встроенными OLE-объектами Возможность распространения брифингов по

18 ® 18 Oracle Express Objects Объектно-оринтированная среда разработки OLAP- приложений Базовые и определяемые пользователем библиотеки классов Средства визуального программирования + Express Basic (Visual Basic-совместимый язык разработки ) Поддержка OLE Приложения могут выполняться под управлением Oracle Express Analyzer

19 ® 19 Приложения Oracle Express Oracle Sales Analyzer Средство анализа данных продаж, информационного обеспечения маркетинга и других подобных задач Интеграция с RDBMS с помощью механизма SQL*Bridge и использование для анализа информации в Хранилищах Данных (Data Warehouse) Oracle Financial Analyzer Распределенное приложение для финансового планирования, бюджетинга, прогнозирования и анализа финансовой информации Интерфейс с Oracle GL, Excel, различными RDBMS

20 ® 20 Технология создания OLAP Определение информационных потребностей пользователей Проектирование и реализация многомерной базы данных Разработка процедур загрузки данных из источников Создание рабочих мест конечных пользователей

21 Технология построения корпоративного хранилища данных Технология построения корпоративного хранилища данных

22 ® 22 Рассматриваемые вопросы Архитектура корпоративного хранилища данных Проектирование и поддержка хранилища данных Согласование и загрузка данных из разных источников Доступ к данным хранилища и витрин

23 ® 23 Любые данные Любой доступ Любые источники Общий подход к созданию систем поддержки принятия решений

24 ® 24 Технология Oracle для создания систем поддержки принятия решений Согласование данных Многомерные витрины РеляционноеХранилищеданных Реляционные витрины Средства анализа Средства анализа Оперативные системы Внешние источники

25 ® 25 Финансы Хранилище данных: серверы и рабочие места Хранилищеданных Витрины данных Продажи Маркетинг Операционные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Designer/2000OEM Discoverer Express Analyzer Внешние данные Метаданные Oracle Reports

26 ® 26 Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин

27 ® 27 Финансы Oracle Designer для проектирования и поддержки хранилища данных Хранилищеданных Витрины данных Продажи Маркетинг Оперативные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Oracle DesignerOEM Discoverer Express Analyzer Внешние данные

28 ® 28 Инструментальные средства проектирования хранилища Oracle Designer (Oracle Data Mart Designer) Хранение в репозитарии метаданных о локальных данных источников; структуре и объектах хранилища Спецификация информационных требований (информационная модель) Средства анализа существующих источников данных Средства визуального проектирования объектов хранилища Генерация скриптов создания хранилища Поддержка и сопровождение

29 ® 29 Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин

30 ® 30 Финансы Data Mart Builder для согласования и загрузки данных Хранилищеданных Витрины данных Продажи Маркетинг Оперативные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Oracle DesignerOEM Discoverer Express Analyzer Внешние данные

31 ® 31 Согласование и очистка данных Согласование однотипных данных из разнородных источников Согласование и очистка исторических данных из одного источника Примеры согласования Нестандартный формат дат Различная степень детализации Согласование данных по времени Различные способы идентификации

32 ® 32 Инструментальные средства согласования и загрузки данных Oracle Data Mart Builder Связь с различными источниками Формирование общего логического метапредставления данных (MetaView) Построение плана загрузки с использованием визуальных графических средств и техники drag and drop Выполнение плана загрузки

33 ® 33 Связь с источниками Прямая связь с Oracle, Sybase, SQL Server и др. Связь через ODBC с базами данных Использование шлюзов (Transparent Gateway)

34 ® 34 Создание представления об источниках

35 ® 35 Создание общего метаописания исходных данных Создание метапредставлений (MetaView) Метапредставление состоит из категорий и атрибутов (аналог сущности в ER модели) При спецификации атрибута указывается связь со столбцами таблиц источника непосредственно имя столбца или формула вычисления атрибута (для вычислимых атрибутов) При создании метапредставлений частично решается задача согласования данных

36 ® 36 Формирование плана загрузки План загрузки -- блок-схема процесса извлечения, преобразования и загрузки данных План представляет собой диаграмму потока данных, которые преобразуются с помощью стандартных блоков преобразования -- трансформеров Удобный графический интерфейс формирования и выполнения планов Использование техники drag and drop

37 ® 37 Библиотека трансформеров

38 ® 38 Трансформеры плана загрузки Трансформер определяет тип преобразования и имеет определенные параметры настройки Более 20 типов предопределенных трансформеров Примеры: извлечение данных (SQL Query); фильтры; загрузка в таблицу (Batch Loader, SaveToTable) Программирование и включение в состав общей библиотеки пользовательских трансформеров

39 ® 39 Библиотека трансформеров Извлечение из источника (SQL Query, чтение из текстовых файлов) Операции над столбцами (отбор столбцов) Операции над строками (фильтры) Действия с потоком (расщепление, условное расщепление, объединение, соединение) Загрузка в таблицу Трансформеры согласования : генерация таблицы дат; генерация основных ключей; подстановка ключей при загрузке фактических таблиц

40 ® 40 Генерация таблицы дат

41 ® 41 Генерация ключей для справочника

42 ® 42 Выполнение плана загрузки

43 ® 43 Выполнение плана загрузки Непосредственный вызов плана с помощью специальной кнопки Формирование расписания выполнения планов загрузки

44 ® 44 Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин

45 ® 45 Создание витрин данных Проектирование структуры и объектов витрины Разработка процедур загрузки данных из хранилища Технология и регламент пополнения и обновления витрин

46 ® 46 Основные задачи разработки Проектирование хранилища данных Разработка процедур согласования, очистки и загрузки данных из разных источников в хранилище Создание многомерных и реляционных витрин данных Организация доступа к данным хранилища и витрин

47 ® 47 Финансы Доступ к данным хранилища и витрин Хранилищеданных Витрины данных Продажи Маркетинг Оперативные системы Сервер согласования данных Oracle Server Data Mart Builder Oracle Server, Express Server Администратор перемещения данных Администратор хранилища Системный администратор Подготовка отчетов Анализ Приложения Oracle Server Oracle DesignerOEM Discoverer Express Analyzer Внешние данные

48 ® 48 Доступ к данным хранилища и витрин Хранилищеданных Реляционная витрина Oracle Server Регламентированные отчеты Многомерный анализ Сложный анализ данных Discoverer Express Analyzer Oracle Reports Произвольные запросы Многомерная витрина Data Mining... Express Objects Oracle ServerExpress Server

49 ® 49 Oracle Reports для хранилищ данных Режим клиент-сервер Пакетный режим обновление отчетов по расписанию адресная рассылка электронных документов Работа с выделенным сервером через Web централизованное администрирование простота получения отчетов ограничение нагрузки на сервер баз данных Документы в формате HTML и PDF

50 ® 50 Доступ к данным хранилища и витрин Хранилищеданных Реляционная витрина Oracle Server Регламентированные отчеты Многомерный анализ Аналитические приложения Discoverer Express Analyzer Oracle Reports Произвольные запросы Многомерная витрина Data Mining... Express Objects Oracle ServerExpress Server

51 ® 51 Oracle Discoverer Произвольные запросы к реляционным данным Создание бизнес-представлений данных (End User Layer) для конечных пользователей Для конечного пользователя: Визуальные средства формирования запросов в терминах бизнес-области Динамическое агрегирование, сортировка и группировка данных Цветовое кодирование Использование многомерных представлений данных

52 ® 52 Дополнительные возможности Вычисление предполагаемого времени запроса (по стандартной статистике Oracle) Возможность для конечного пользователя выполнить запрос; отменить выполнение; назначить выполнение по расписанию в пакетном режиме Оптимизация схемы данных (индексы, промежуточные таблицы)

53 ® 53 Доступ к данным хранилища и витрин Хранилищеданных Реляционная витрина Oracle Server Регламентированные отчеты Многомерный анализ Аналитические приложения Discoverer Express Analyzer Oracle Reports Произвольные запросы Многомерная витрина Data Mining... Express Objects Oracle ServerExpress Server

54 ® 54 Партнеры Oracle в области Data Mining DataMind Information Discovery NeoVista Thinking Machines ISL - Clementine Data Distilleries SPSS

55 ® 55 Доступ к данным хранилища и витрин Хранилищеданных Реляционная витрина Oracle Server Регламентированные отчеты Многомерный анализ Аналитические приложения Discoverer Express Analyzer Oracle Reports Произвольные запросы Многомерная витрина Data Mining... Express Objects Oracle ServerExpress Server

56 Опыт использования технологий Oracle для создания хранилищ и витрин данных Опыт использования технологий Oracle для создания хранилищ и витрин данных

57 ® 57 Опыт применения технологии хранилищ данных и OLAP Налогообложение Анализ задолженников (Госналогслужба) Аналитические приложения для налоговых инспекций Банки и финансы Прогнозирование балансов многофилиального банка Анализ рынка государственных ценных бумаг (ЦБ) Анализ состояния кредитно-депозитной деятельности в республике Узбекистан (ЦБ Узбекистана) Анализ открытой валютной позиции банка

58 ® 58 Опыт применения технологии хранилищ данных и OLAP Энергетика Анализ полезного отпуска электро- и теплоэнергии Анализ данных по абонентской плате Другие области Анализ статистики преступности (по Москве) Анализ демографических данных (Вологодская обл.) Маркетинговый анализа продаж на рынке нефтепродуктов