Решение задач BI и BAM на платформе InterSystems Ensemble Вадим Федоров

Мониторинг бизнес активности Эволюция бизнес-аналитики Мониторинг бизнес-активности InterSystems Ensemble и BI

Поддержка принятия решения У Вас в транзакционной (OLTP) информационной системе есть данные: 1 миллион записей о банковских транзакциях или2 миллиона записей о посещении Web-сайтов или5 миллионов записей о телефонных звонках или… Это ДАННЫЕ, но это не ИНФОРМАЦИЯ

Данные против Информации ДанныеИнформация Данные о телефонных звонках Каковы доходы от услуги роуминга за последний месяц по всем тарифным планам? Данные о посещении Web-сайтов Какие разделы сайтов наиболее популярны? Данные о банковских транзакциях На сколько больше денег клиенты перевели в Швейцарию за последний квартал?

Классическая архитектура построения аналитических систем Приложение 1Приложение 2 Операции чтения/записи над базой данных Периодическое пополнение содержимого хранилища данных Информационные запросы Хранилище данных Операционная база данных Операции чтения/записи над базой данных Система поддержки принятия решений

Два типа информационных систем OLTPOLTP Business Intelligence Запросы Повторяющиеся простые запросы Непредсказуемые сложные запросы ПользователиМногоМало Данные Динамически изменяются Остаются неизменными

Системы поддержки принятия решений (DSS) Хранилища данных (Data Warehouse) Хранилища данных (Data Warehouse) OLAP OLAP Data Mining Data Mining Средства построения отчетов Средства построения отчетов

Хранилища данных Предметная ориентированность Предметная ориентированность Интегрированность Интегрированность Неизменчивость Неизменчивость Поддержка хронологии Поддержка хронологии

On-Line Analytical Processing (OLAP) Тест FASMI Тест FASMI –Fast –Analysis –Shared –Multidimensional –Information

История систем бизнес-аналитики Генераторы отчетов Информационные системы для руководителей OLAP 1994 Хранилища и витрины данных 1996 Мониторинг бизнес- активности Data Mining

Мониторинг бизнес активности Эволюция бизнес-аналитики Мониторинг бизнес-активности InterSystems Ensemble и BI

Мониторинг бизнес-активности Концепция мониторинга бизнес-активности была предложена аналитической компанией Gartner Концепция мониторинга бизнес-активности была предложена аналитической компанией Gartner Gartner определяет мониторинг бизнес-активности как концепцию предоставления доступа в режиме реального времени к наиболее важным индикаторам производительности бизнеса с целью увеличения скорости и эффективности бизнес-операций Gartner определяет мониторинг бизнес-активности как концепцию предоставления доступа в режиме реального времени к наиболее важным индикаторам производительности бизнеса с целью увеличения скорости и эффективности бизнес-операций

Мониторинг бизнес-активности Ключевое понятие – событие Ключевое понятие – событие Примеры событий Примеры событий –Коммерческая сделка –Появление нового заказа –Приземление самолета –Аварийная ситуация на производстве

Мониторинг бизнес-активности Ответное действие Представление Захват события Установка контекста Аналитика Мониторинг бизнес- активности

Эволюция систем мониторинга бизнес-активности Первое поколение систем мониторинга бизнес-активности обеспечивает «захват» бизнес-событий, обрабатывает эти события и предоставляет информацию пользователям на специальных инструментальных панелях. Бизнес события извлекаются из различных приложений и источников данных, затем фильтруются, объединяются со связанной информацией и преобразуются для формирования информации для пользователей Первое поколение систем мониторинга бизнес-активности обеспечивает «захват» бизнес-событий, обрабатывает эти события и предоставляет информацию пользователям на специальных инструментальных панелях. Бизнес события извлекаются из различных приложений и источников данных, затем фильтруются, объединяются со связанной информацией и преобразуются для формирования информации для пользователей Следующий этап развития мониторинга бизнес-активности позволяет пользователям не только получать информацию о событиях на предприятии, но и осуществлять «ответные действия», влияющее на работу предприятия, на основании полученной информации Следующий этап развития мониторинга бизнес-активности позволяет пользователям не только получать информацию о событиях на предприятии, но и осуществлять «ответные действия», влияющее на работу предприятия, на основании полученной информации Дальнейшее развитие – это предсказывающий и адаптивный мониторинг бизнес-активности, который позволяет предоставить пользователю информацию с несколькими возможными вариантами ответных действий, что позволяет оптимизировать бизнес-процессы в реальном времени Дальнейшее развитие – это предсказывающий и адаптивный мониторинг бизнес-активности, который позволяет предоставить пользователю информацию с несколькими возможными вариантами ответных действий, что позволяет оптимизировать бизнес-процессы в реальном времени

Мониторинг бизнес-активности Инструментальные средства для решения задачи мониторинга бизнес- активности: Инструментальные средства для решения задачи мониторинга бизнес- активности: –Средства интеграции корпоративных приложений (Enterprise Application Integration) для «захвата» событий в любом приложении и источнике данных на предприятии –Системы интеграции корпоративной информации (Enterprise Information Integration) для извлечения контекста событий из разнообразных источников данных –Аналитические средства для анализа событий и исторических данных в реальном времени –Портальные решения для представления информации пользователям –Системы управления бизнес-процессами, которые позволяют пользователям, используя полученную информацию, влиять на выполнение бизнес-процессов на предприятии

Мониторинг бизнес-активности и бизнес аналитика Хранилища данных и OLAP Хранилища данных и OLAP –Не подходят для анализа событий в режиме «реального» времени Мониторинг бизнес-активности Мониторинг бизнес-активности –Не подходит для сложного анализа исторических данных Мониторинг бизнес-активности дополняет традиционные приложения бизнес аналитики Мониторинг бизнес-активности дополняет традиционные приложения бизнес аналитики

Мониторинг бизнес-активности Эволюция бизнес аналитики Мониторинг бизнес-активности InterSystems Ensemble и BI

Композитные приложения Координация данных Бизнес-процессы/ WorkFlow Мониторинг бизнес-активности InterSystems Ensemble Технологии Приложения Данные

Единая архитектура ХранениеУправлениеРазработка InterSystems Ensemble: Интеграционный серверИнтеграционный сервер СУБДСУБД Сервер приложенийСервер приложений Платформа для портальных решенийПлатформа для портальных решений Объединение технологий в рамках Ensemble Общее хранение метаданных и данных, общие средства разработки и администрирования

Ensemble для бизнес-аналитики Ensemble – платформа для создания хранилищ данных Ensemble – платформа для создания хранилищ данных Ensemble предоставляет инструменты ETL Ensemble предоставляет инструменты ETL В Ensemble встроена объектная СУБД с поддержкой SQL В Ensemble встроена объектная СУБД с поддержкой SQL –Высокая производительность –Быстрый SQL –Bitmap-индексы, BitSlice-индексы, полнотекстовый поиск Bitmap-индексыBitSlice-индексыBitmap-индексыBitSlice-индексы –Возможность создавать собственные механизмы индексирования –Компактное хранения данных –Поддержка многопроцессорных и многосерверных конфигураций –Высокая надежность –Реляционные и объектные интерфейсы к данным

Подсистема мониторинга бизнес-активности в Ensemble Хранилище сообщений в реальном времени Компоненты для мониторинга бизнес-активности Интегрируемые системы Мониторинг и «ответные действия» SQL + Объекты + Внешние источники данных

Мониторинг бизнес-активности в InterSystems Ensemble В Ensemble встроено хранилище - высокопроизводительная объектная СУБД с поддержкой SQL, предназначенная для хранения метаданных, сообщений, состояний бизнес-процессов, данных композитных приложений. В Ensemble встроено хранилище - высокопроизводительная объектная СУБД с поддержкой SQL, предназначенная для хранения метаданных, сообщений, состояний бизнес-процессов, данных композитных приложений. Хранилище сообщений – один из основных источников информации о бизнес-событиях Хранилище сообщений – один из основных источников информации о бизнес-событиях Реляционный, объектный и прямой доступ к хранилищу из генераторов отчетов, OLAP и Data Mining Реляционный, объектный и прямой доступ к хранилищу из генераторов отчетов, OLAP и Data Mining

Мониторинг бизнес-активности в InterSystems Ensemble Бизнес-метрики – специальные службы, которые собирают или вычисляют значения одной или нескольких метрик (например, KPI) Бизнес-метрики – специальные службы, которые собирают или вычисляют значения одной или нескольких метрик (например, KPI) Инструментальные панели (Dashboards) – Web-страницы, предназначенные для показа в режиме реального времени значения одной или нескольких метрик с помощью специальных графических компонент Ensemble Инструментальные панели (Dashboards) – Web-страницы, предназначенные для показа в режиме реального времени значения одной или нескольких метрик с помощью специальных графических компонент Ensemble Возможность реализовать «ответные действия» на основании полученной информации Возможность реализовать «ответные действия» на основании полученной информации

Бизнес-метрики Ensemble Класс бизнес-метрик Ensemble содержит свойства - бизнес-метрики и метод, вычисляющий значения этих метрик Класс бизнес-метрик Ensemble содержит свойства - бизнес-метрики и метод, вычисляющий значения этих метрик Метод, вычисляющий значения бизнес-метрик, запускается автоматически через заданный промежуток времени Метод, вычисляющий значения бизнес-метрик, запускается автоматически через заданный промежуток времени Метод может содержать: Метод может содержать: –Обращение к интегрированным внешним приложениям –SQL-запрос по данным в Ensemble. Например, выбор информации из сообщений –Запуск расчетного алгоритма –Запуск бизнес-процесса Ensemble («ответное действие») Результаты вычислений помещаются в высокопроизводительный кэш, используемый инструментальными панелями и другими компонентами отображения информации Результаты вычислений помещаются в высокопроизводительный кэш, используемый инструментальными панелями и другими компонентами отображения информации

Инструментальные панели Инструментальная панель (Dashboard) – это Web- страница, на которой с помощью одного или нескольких графических компонент показываются значения бизнес- метрик Инструментальная панель (Dashboard) – это Web- страница, на которой с помощью одного или нескольких графических компонент показываются значения бизнес- метрик Ensemble предоставляет набор готовых графических компонент: спидометр, светофор, диаграммы и т.д. Ensemble предоставляет набор готовых графических компонент: спидометр, светофор, диаграммы и т.д. Компоненты реализованы с помощью Structured Vector Graphics (SVG). Установка дополнительных ActiveX или Java компонент не требуется Компоненты реализованы с помощью Structured Vector Graphics (SVG). Установка дополнительных ActiveX или Java компонент не требуется

Компоненты Ensemble для создания инструментальных панелей

Компоненты для отображения аналитической информации в ZEN

Инструментальные панели Инструментальные панели доступны в Ensemble Management Portal Инструментальные панели доступны в Ensemble Management Portal Инструментальные панели можно встраивать в Web-приложения Инструментальные панели можно встраивать в Web-приложения У инструментальной панели есть URL, по которому можно к ней обратиться У инструментальной панели есть URL, по которому можно к ней обратиться DrillDown – можно открыть подготовленный отчет с уточняющей информацией DrillDown – можно открыть подготовленный отчет с уточняющей информацией

Создание решений мониторинга бизнес-активности в Ensemble Определяем интересующие заказчика метрики Определяем интересующие заказчика метрики Создаем класс со свойствами-метриками и методом, который вычисляет их значения Создаем класс со свойствами-метриками и методом, который вычисляет их значения Создаем инструментальную панель, используя готовые компоненты Ensemble Создаем инструментальную панель, используя готовые компоненты Ensemble Встраиваем инструментальную панель в приложение (или просматриваем её в Ensemble Management Portal) Встраиваем инструментальную панель в приложение (или просматриваем её в Ensemble Management Portal)

Практический опыт Элементы BAM присутствуют в большинстве интеграционных проектов на InterSystems Ensemble Элементы BAM присутствуют в большинстве интеграционных проектов на InterSystems Ensemble На InterSystems Ensemble реализовано ряд проектов, где задачи BI и BAM имеют первостепенное значение На InterSystems Ensemble реализовано ряд проектов, где задачи BI и BAM имеют первостепенное значение На InterSystems Ensemble реализовано ряд проектов, где задачи BI и BAM имеют первостепенное значение На InterSystems Ensemble реализовано ряд проектов, где задачи BI и BAM имеют первостепенное значение

Заключение Мониторинг бизнес-активности – новое направление аналитических систем Мониторинг бизнес-активности – новое направление аналитических систем Мониторинг бизнес-активности дополняет традиционные решения бизнес аналитики Мониторинг бизнес-активности дополняет традиционные решения бизнес аналитики InterSystems Ensemble – платформа для создания решений для бизнес-аналитики, в том числе решений для мониторинга бизнес- активности InterSystems Ensemble – платформа для создания решений для бизнес-аналитики, в том числе решений для мониторинга бизнес- активности

Решение задач BI и BAM на платформе InterSystems Ensemble Вадим Федоров

BitMap-индексы. Что это такое? BitMap индекс – это тип индекса, который показывает удовлетворяет ли каждая запись некоторому условию Условие бинарное Условие бинарное –Пациент – мужчина –Сумма заказа - 33 руб. –Город – Архангельск –День заявки - Понедельник

Типы индексов ЧерныйЧерный БелыйБелый Традиционные индексы BitMap-индексы ЧерныйЧерный БелыйБелый

BitMap-индексы Пол - мужской Пол - женский Условия Город - Киев Возраст 25 лет Записи

Как можно применять BitMap-индексы? Поиск и подсчет записей в очень больших таблицах Поиск и подсчет записей в очень больших таблицах Поиск записей, удовлетворяющих сложным логическим условиям Поиск записей, удовлетворяющих сложным логическим условиям

BitMap-индексы в Caché Index HC on HairColor [type=bitmap]; Index HC on HairColor [type=bitmap]; Index CS on (State,City) [type=bitmap]; Index CS on (State,City) [type=bitmap]; Любой неуникальный индекс может быть Bitmap индексом Любой неуникальный индекс может быть Bitmap индексом Специальный Extent индекс отражает существование записи Специальный Extent индекс отражает существование записи

Реализация Bitmap индексов в Caché и Ensemble Надежность: Реализованы на уровне ядра СУБД Надежность: Реализованы на уровне ядра СУБД Производительность: Bitmap-операции атомарные Производительность: Bitmap-операции атомарные Производительность: Оптимизация журналирования Производительность: Оптимизация журналирования Масштабируемость: Используется компрессия Bitmap-индексов Масштабируемость: Используется компрессия Bitmap-индексов Гибкость: Возможность использования Bitmap- функций разработчиками Гибкость: Возможность использования Bitmap- функций разработчиками

BitSlice-индексы Задача Задача –Пока мы использовали Bitmap-индексы для подсчета записей Сколько человек живет в Киеве? Сколько человек живет в Киеве? –Хотелось бы быстро подсчитывать итоговые и средние значения На какую сумму были выставлены счета какой-либо группе людей ?На какую сумму были выставлены счета какой-либо группе людей ? Какой средний размер счета выставлялся конкретному человеку ?Какой средний размер счета выставлялся конкретному человеку ?

BitSlice-индексы Концепция Концепция –Возьмем числовое значение (например, поле счет человека) –Переведем его в двоичное представление –Построим условие для каждого бита

BitSlice-индексы Пример У Человека 1 счет $27 (11011) У Человека 3 счет $17 (10001) Пол - мужской 3.Bill бит Условия Bill бит 4 5.Bill бит Записи Bill бит 2 7.Bill бит

BitSlice-индексы Как подсчитать все счета мужчин ? Как подсчитать все счета мужчин ? (условие2 AND условие3)*16 + (условие2 AND условие4)*8 + (условие2 AND условие5)*4 + …(условие2 AND условие3)*16 + (условие2 AND условие4)*8 + (условие2 AND условие5)*4 + … Пол - мужской 3.Bill бит Условия Bill бит 4 5.Bill бит Записи Bill бит 2 7.Bill бит

Проект в Красноярском крае Московский филиал InterSystems International Corporation являлся генеральным подрядчиком по лотам 1, 2 и 4 Краевой программы «Информатизация Красноярского края на годы» и выполнял следующий работы: Создание системы ведения единых территориальных справочников и классификаторов (АИС ЕС, лот 1) Разработка централизованного хранилища данных и регистра информационных ресурсов Единой краевой информационной системы (АИС ИР, лот 2) Развитие краевой системы электронного обмена и сбора данных (АССД, лот 4)

Проект в Красноярском крае - результаты Разработана базисная технология для интеграции информационных систем, используемых в администрации края Создано централизованное хранилища данных для получения агрегированных данных по согласованным форматам из витрин данных департаментов и агентств администрации или первичных данных из ведомственных информационных систем, а также для централизованного ведения НСИ Создана технология, позволяющая, на базе существующих ИС, расширять круг решаемых в администрации задач, в т.ч. осуществлять мониторинг критичных показателей Все эти задачи были решены в рамках единого интегрированного решения (АИС KrAI), построенного на базе платформы для интеграции и разработки приложений InterSystems Ensemble

Аналитическая информационная система KrAI

Развитие проекта в Красноярском крае В году запланировано развитие проекта в Красноярском крае В году запланировано развитие проекта в Красноярском крае 12 марта 2007 года Мининформсвязи России подвело итоги конкурса по отбору регионов для отработки и внедрения типовых решений в сфере региональной информатизацииинформатизации в рамках федеральной целевой программы «Электронная Россия ( годы)». 12 марта 2007 года Мининформсвязи России подвело итоги конкурса по отбору регионов для отработки и внедрения типовых решений в сфере региональной информатизацииинформатизации в рамках федеральной целевой программы «Электронная Россия ( годы)». По типовому решению «Информационная система планирования и мониторинга социально-экономического развития субъекта Российской Федерации» одним из регионов выбран Красноярский край По типовому решению «Информационная система планирования и мониторинга социально-экономического развития субъекта Российской Федерации» одним из регионов выбран Красноярский край