Объединенный открытый семинар Архитектура предприятия. Управление развитием предприятий и их информационных систем Апрель 2013 г., Москва, НИИПС Артемьев Валерий Иванович (Банк России) © 2013 Интеграция данных – трудности перевода

1 (1) Принципиальные схемы интеграции данных Интеграция данных – обеспечение единого согласованного представления данных для ряда информационных ресурсов, объединенных общим смысловым содержанием, и/или на основе общего представления – частных представлений. Источники Потребители Объединение данных Распределение данных Объединение и распространение данных Интегрированные данные EDI EDR ETL CDC EII ECM MOM ESB MDM

2 Подходы к интеграции данных 1. Синтаксический подход основан на внешнем сходстве интегрируемых данных, семантика второстепенна, своеобразный подстрочник. Фокус на технические метаданные – отображение и преобразование данных на основе физических, реже логических схем. Первые роли у ИТ. 2. Семантический подход основан на содержательном сходстве объединяемых данных, синтаксис второстепенен, профессиональный перевод. Фокус на бизнес–метаданные (онтологии, семантические сети, концептуальные схемы, таксономии, каталоги и модели показателей, глоссарии). Первые роли у бизнеса. Имеются удачные примеры (Home Credit Bank), когда методическая проработка при интеграции данных дала больший эффект, чем внедрение новых технологий. Интеграция данных – прежде всего, организационно- методическая, а не техническая задача. Общее у интеграции данных и перевода текста – преобразование формы представления с максимальным сохранением смысла. Интеграция данных – перевод с разных языков и на разные языки посредством общего языка предметной области.

3 Проблемы качества данных Многие проекты интеграции данных потерпели неудачу из-за плохого качества данных КАЧЕСТВО ДАННЫХ ЗАВИСИТ ОТ ИХ ПРИМЕНЕНИЯ! Контроль и очистка данных решают лишь малую часть проблем качества данных Большая часть проблем связана: –отсутствие единой терминологии, –разная интерпретация бизнес–правил, –фрагментарное покрытие, –несогласованность уровней детальности, –несовместимость справочников Кроме усилий по контролю и очистке данных, требуются: –методическая проработка, –согласование терминов, –структуризация показателей на основе таксономии и/или многомерной модели –согласование формул и алгоритмов расчётов производных показателей. Что влияет на качество данных? Согласованный бизнес–словарь Устойчивые классификационные схемы и справочники Временная привязка показателей Охват наблюдаемых явлений Идентификация участников бизнес– процессов Подходы к определению показателей Полнота именования Трактовка содержания данных Однозначно определенные формулы или алгоритмы расчета для производных показателей Предварительный анализ качества данных источников Согласованное ведение НСИ Аудит и мониторинг качества данных

4 С чем столкнулись при интеграции данных в Банке России? Отчетная дата (периодичность сбора) или период (периодичность) наблюдения? Фрагментарность наблюдений по времени (7 уровней) Десятидневка (декада) не состоит из пятидневок Размыто понятие «кредитная организация» Территория РФ или территориальное учреждение Банка России? «Арест платежа» в одной УОС отсутствовал в другой Индивидуальный предприниматель – юридическое лицо? Нет уникального идентификатора КО (рег., БИК, ОГРН) Неустойчивые частные классификации, неполные группы Много новых классификаторов и справочников вне НСИ Нормативный расчет или мотивированное суждение бухгалтера Неполные наименования, относительные этикетки Элемент данных может содержать разные домены значений Сбор аналитических отчетов, а не данных для построения отчетов Из-за безопасности не проводился анализ качества источников

5 Зачем нужны метаданные? Изменчивость бизнес–среды привела к использованию метаданных для параметризации и настройки процессов сбора, хранения и обработки данных 75% успеха в обеспечении качества данных зависит от методической проработки семантики данных специалистами предметной области, т.е. от бизнес–метаданных (Gartner) Бизнес–аналитика как основной потребитель КХД основана на описаниях данных в терминах предметной области Важна фиксация проектных решений по КХД в виде электронных моделей и других видов метаданных для автоматизации его разработки и сопровождения. семантика синтаксис Период Год Квартал Месяц День Объем продаж Магазин Продукт

6 Подходы к управлению метаданными Федеративная схема управления метаданными – децентрализованное ведение частных метаданных, централизованное их хранение Консолидация метаданных – импорт и связывание частных метаданных в общем репозитории метаданных Интеграция метаданных – согласованность описаний и свойств данных как основа семантической интеграции данных Фокус на бизнес–метаданные – ведение и использование бизнес– метаданных для понимания данных и результатов анализа в терминах предметной области Множество представлений и связность метаданных – основа для преобразования метаданных, отображения одних данных на другие, анализа зависимости и происхождения Унификация форматов обмена метаданными Историчность и версионность метаданных Коллективное ведение метаданных Ведение каталога показателей банковской статистики (КПБС)

7 Метаданные и их связывание Операционные метаданные ETL (Job Run Information) Физические схемы Задания ETL (разработка) Отчеты BI Бизнес глоссарий Бизнес–метаданные Термины и категории предметной области, их классификации (глоссарий и концептуальная модель) Перечень и описание измерений и фактов, многомерные модели показателей (кубы) Связи терминов, описаний показателей, измерений, логических моделей Представление семантических слоев пользователей для витрин данных (метамодели, юниверсы) Точность и единицы измерения значений показателей Логические модели компонентов КХД и источников данных Бизнес-правила контроля и очистки данных Формулы (алгоритмы) расчета производных показателей

8 КХД на основе готовых моделей IBM Banking Data Warehouse Бизнес –глоссарий Концептуальная и логическая модели Модель аналитических требований Шаблоны расчётов Представления Источники Корпоративное хранилище данных Управление и администрирование хранилища Управление метаданными. Репозиторий метаданных Бизнес приложения Анализ данных и отчётность Витрины данных и другие БД

9 Концептуальная модель IBM BDW Концептуальная модель задает рамки для предметной области и логической модели на основе «концепций»: Вовлеченная сторона (Involved Party) – клиент, банк, физическое лицо, … Местоположение (Location) – местоположение банка или клиента банка Единица учета (Accounting Unit) – учетные данные Классификация (Classification) – понятия для классификации информации Продукт (Product) – проданные/приобретенные товары или услуги Условие (Condition) –требования к финансовой деятельности Элемент ресурсов (Resource Item) – материальные и нематериальные стоимостные позиции Классификационные иерархии: реализует декомпозицию самой концепции на более «узкие» категории классификации атрибутов, относящихся к данной концепции (Descriptor) связи между сущностями разных «концепций» (Relationship)

10 Модель аналитических требований ProfitabilityRiskCompliance Asset & Liability Management

11 Архитектура подсистемы управления метаданными Мосты метаданных Каркас информационных сервисов IBM InfoSphere Репозиторий метаданных Сервисы анализа Операционные метаданные Общая модель Сервисы доступа Сервер метаданных CASE- средство Модели BDW Метаданные источников BI-метаданные Анализ и профили- рование данных Управление сервисами Отчётность админист- ратора Извлечение, преобразо- вание и загрузка данных Обеспечение качества данных Бизнес – глоссарий Рабочее место админист- ратора метаданных

12 (3) Организационно-методические проблемы создания КХД Отсутствие координации подразделений при расширении состава собираемых данных Слабо вовлечены бизнес– подразделения в управление метаданными Недостаток компетенции по концептуальным моделям, CASE и другим новым средствам – требуется расширенное обучение По соображениям ИБ затруднен анализ качества реальных данных (профилирование) Нужна оргструктура и новые роли для корпоративного управления данными (Data Governance) Нужны стратегия, концепция, стратегический план и корпоративный бизнес–проект Необходимы службы для непрерывной разработки и сопровождения КХД Нежелание разработчиков использовать визуальные средства разработки ETL-процедур Трудности адаптации моделей BDW в части концептуальной модели, многомерных моделей показателей и бизнес–глоссария Методология разработки КХД не адаптирована для его сопровождения Разрыв в создании и сопровож- дении метаданных КХД, мета- данных форматов сбора и бизнес– аналитики Нарушение принципа неизменяемости КХД Нужна четкая политика формирования витрин Для нерегламентированных отчетов и OLAP нужно повышение качества данных Нужен переход от сбора отчетов к сбору показателей

13 Подход к управлению корпоративными данными Data Governance Data Governance – политический процесс изменения поведения организации по распоряжению данными как стратегическим корпоративным активом += + Внедрение Data Governance – фундаментальное изменение в методах и строгости определения, управления и использования данных как со стороны бизнеса, так и со стороны ИТ. Основные задачи Data Governance: Руководство принятием решений по управлению информацией Обеспечение согласованности определения и понятности информации Увеличение степени использования и доверия к данным как корпоративному активу Улучшение согласованности проектов в масштабе корпорации

14 Новые роли по управлению корпоративными данными Руководство Распорядители данных Стюарды данных Политики Требования Принятые решения Создание ценности данных, управление рисками, требования регуляторов. Политические решения и требования в групповых и корпоративных интересах. Управление качеством данных, ILM, защита данных, архитектура данных, управление бизнес–метаданными, аудит, мониторинг, протоколирование, отчетность. Пользователи, клиенты и др. Тестирование

15 Технология Master Data Management Собирает мастер–данные из отдельных приложений Создает центральный ресурс, независимый от приложений Упрощает текущие задачи интеграции и разработку новых приложений Гарантирует cогласованность мастер–данных для транзакционных и аналитических систем Разрешает ключевые проблемы качества и согласованности данных проактивно до поступления данных в КХД (CDI&PDI)

Референсная модель интеграции данных Распоряжение данными и управление метаданными Ведение метаданных –Модели данных источников, –Бизнес–глоссарий, –Таксономии, –Многомерные модели данных, –Бизнес–правила, –Модели данных КХД и ВД, –Отображения и преобразования данных (ETL), –Метаданные бизнес–аналитики –Формулы / алгоритмы расчёта Сбор и обмен метаданными (импорт / экспорт и мосты) Связывание метаданных Анализ зависимости и происхождения данных Генерация артефактов 16 Управление мастер– данными Согласованное ведение классификаторов и справочников Распространение классификаторов и справочников Сервисы доступа к мастер–данным Профилирование мастер–данных Обеспечение качества данных о клиентах и продуктах (CDI&PDI) Управление интеграцией данных Профилирование данных Извлечение, преобразование и загрузка данных в ХД и витрины данных (ETL, CDC) Федерация данных (EII) Репликация данных (EDR) Сбор данных и обмен сообщениями (EDI, MOM) Обеспечение качества данных (контроль и очистка данных) Обогащение данных Сглаживание данных Расчёт сводных и аналитических показателей Управление данными (SQL, ROLAP, MOLAP, NOSQL, in-memory)

17 Терпения и удачи всем, кто занимается интеграцией данных Спасибо за внимание! Валерий Иванович Артемьев Центр информационных технологий Банка России Тел.: +7(495)