Убей своего дракона или управление качеством данных в АБС Докладчик: Газизов А.А. Вице-Президент,Директор Департамента Практик Прикладных Решений, Компания. - презентация

1 Убей своего дракона или управление качеством данных в АБС Докладчик: Газизов А.А. Вице-Президент,Директор Департамента Практик Прикладных Решений, Компания ОТР.

2 2 История вопроса

3 3 Путь ОТР АСФК

4 4 Путь ОТР АСФК

5 5 Реализованы все справочники для обеспечения бюджетного процесса РФ 133 сложносоставных справочника (примеры) Перечень участников бюджетного процесса Сводный перечень заказчиков Перечень государственных (муниципальных) учреждений Коды доходов бюджета, коды расходов и коды ИФДБ (ФБ) Коды глав (ФБ) ЕГРЮЛ Российские банки Коды субсидий 72Н Реализованы процедуры: Ведения справочников; Загрузки и обновления; Публикации; Маштабируемость и нагрузка: За месяц обрабатывается 20 млн документов Путь ОТР АСФК

6 6 Путь ОТР ЭБ

7 7 Проблемное поле высокие трудозатраты при подготовке отчетности в Агентство по Страхованию Вкладов, Федеральную Налоговую Службу, Пенсионный фонд и другие надзорные органы Отчетность невозможно обеспечить веб-доступ клиентов сразу ко всем их продуктам по причине того что различные продукты ведутся в разных системах отсутствие представления компании о всех клиентах проверки через Бюро Кредитных Историй не выявляют мошенников Взаимодействие информационных систем Маркетинг ошибки в написании имен и фамилий при отправке клиентам персонализированных обращений дополнительные трудности при сегментировании аудитории и индивидуализации маркетинговых материалов

8 8 Потери от некачественных данных Штрафы регуляторов за ошибки в отчетности Дополнительные трудозатраты на формирование отчетности и проведение ошибочных операции Возвраты почтовых отправлений выписок, целевых предложений и других почтовых отправлении Ошибки и простои интеграционных проектов Ошибки в BI исследованиях и формировании целевых предложений Потеря конкурентных преимуществ от ошибок в веб-доступе и в других сервисах для клиентов Прямые потери Косвенные потери

9 9 АБС КредитовАБС ВкладовАБС Карт АБС Ценных бумаг ФИО, паспорт Кредиты ВкладыЦБ Web банк ФИО, паспорт Кредиты Вклады Карты ЦБ Интеграция сервисов (как должно быть) Карты СЕРВИСНАЯ ШИНА

10 10 АБС КредитовАБС ВкладовАБС Карт АБС Ценных бумаг ФИО паспорт ФИО (девичья фамилия) Кредиты ВкладыЦБ Web банк ФИО, паспорт Карты Кредиты Вклады ЦБ Интеграция сервисов (как получается) Карты СЕРВИСНАЯ ШИНА ? ФИО загранпаспорт ФИО, ошибка в паспорта

11 11 Откуда берутся плохие данные? Ошибки ввода Опытный оператор в среднем вводит от 1 до 3% ошибочных данных, неподготовленный оператор допускает ошибки в каждой пятой записи Устаревание персональных данных Изменение фамилий, телефонов, адресов приводят к ежегодной потере актуальности 1-3% данных Устаревание справочников Переподчинение регионов, замена телефонных кодов и другие изменения на федеральном уровне приводят к ежегодной потере актуальности 3-5% данных Использование старых БД Во многих организациях используются данные введенные с бумажных носителей лет назад при запуске ИТ систем Ошибки ПО Неправильная структура БД, потери данных при передаче и миграции данных (более 50% ошибок в данных связано именно с системными решениями и технологическими ошибками)

12 12 Что делать?

13 13 Что делать? Ошибки ввода опытный оператор в среднем вводит от 1 до 3% ошибочных данных, неподготовленный оператор допускает ошибки в каждой пятой записи Устаревание персональных данных Изменение фамилий, телефонов, адресов приводят к ежегодной потере актуальности 1-3% данных Устаревание справочников Переподчинение регионов, замена телефонных кодов и другие изменения на федеральном уровне приводят к ежегодной потере актуальности 3-5% данных Использование старых БД во многих организациях используются данные введенные с бумажных носителей лет назад при запуске ИТ систем Ошибки ПО Неправильная структура БД, потери данных при передаче и миграции данных (более 50% ошибок в данных связано именно с системными решениями и технологическими ошибками) Проверять полноту, целостность и корректность Обновлять, актуализировать Приводить к единому формату, дедуплицировать, обогащать Стандартизировать ввод, хранение и обмен информацией

14 14 Эффективность и стоимость ручного труда Среднее кол-во исправленных ошибок в час Без привлечения документов и контактов с клиентом При работе с электронными архивами 7-15 При работе с бумажными документами 2-7 При телефонном контакте с клиентом 4-5

15 15 MinMax Зарплата оператора исправляющего ошибки Накладные затраты рабочего места Кол-во исправленных ошибок (в месяц) Стоимость исправления 1 ошибки 5, 68 руб.170,45 руб. Эффективность и стоимость ручного труда

16 16 Ручной труд или автоматизация? Кол-во учетных записей Издержки До Годовые прямые потери меньше стоимости автоматизации (но это зависит от эффективности контроля ввода данных, и количества критически важных полей в системах) От Стоимость автоматизации сопоставима с годовыми прямыми потерями От Ежемесячные прямые потери превышают стоимость автоматизации

17 17 АБС КредитовАБС ВкладовАБС Карт АБС Ценных бумаг Кредиты ВкладыЦБ Web банк Кредиты Вклады Карты ЦБ Интеграция сервисов с помощью MDM Карты СЕРВИСНАЯ ШИНА ФИО паспорт ФИО (девичья фамилия) ID MDM MDM ФИО загранпаспорт ФИО, ошибка в паспорта

18 18 С чего начать? Найди 2 отличия? DWH предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации MDM совокупность процессов и инструментов для постоянного определения и управления основными данными компании (в том числе справочными).

19 19 С чего начать? MDM Задачи Для реализации MDM и DWH решаются одинаковые, результат по MDM - достижим, можно быстро измерить, сжатые сроки внедрения Вывод MDM является пререквизитом, для внедрения современного DWH => сокращение сроков внедрения и стоимости* * Достигается при выборе одного вендора и исполнителя

20 Определение перечня систем входящих в рамки проекта, Определение реестра справочников в системах, Определение списка атрибутов справочников в системах, Определение общих «знаменателей» для найденных справочников и атрибутов, Определение возможностей использования единых справочников в различных бизнес процессах, Определение перечня перекодировок для приведения к общим «знаменателям». 20 Обследование ИС и текущих процессов управления справочными данными

21 21 Качество данных и внедрение MDM-решения Показатели качества информации Репрезентативность СодержательностьДоступность АктуальностьСвоевременность Точность Достоверность Устойчивость Внедрение MDM- решения улучшает показатели качества информации Показатели качества Доступность АктуальностьСвоевременность ТочностьДостоверность

22 Обследование ИС и текущих процессов управления справочными данными Неполное и/или противоречивое описание объектов НСИ (нормативно-справочной информации), в том числе наличие дублей или неоднозначная классификация объектов НСИ Невозможность обеспечения бизнес процесса из-за отсутствия НСИ Сложность поддержки НСИ и/или множества интерфейсов репликации, влияние недостатков текущей архитектуры на планы развития ИС Отсутствие возможности развития в направлении анализа данных (analytical MDM) Средняя периодичность обновления данных справочника Использование справочника в двух и более системах Обследован 61 справочник (зафиксировано протоколами) К внедрению в составе MDM- решения по результатам обследования предложено включить 32 справочника Фаза 1. Этап 1 – Реестр справочников. Основные критерии отбора справочников для включения в MDM-решение Показатели качества Доступность АктуальностьСвоевременность ТочностьДостоверность

23 23 Масштаб проекта - 32 справочника присутствуют в 239 копиях в 25 системах п\п Названия справочников/Названия системDWH Diasof t 1C Lotus Notes Интер банк ЮЛ Интер банк ФЛ Filenet (AXP) Filenet (Кред. процесс) RS- Bank OmniT racker Life Servic e CRM ДКБ CRM ДМСБ Way4 Treasu ry АСВК Б Collab oratio n Front Касса Front Dealin g Front SME Front Dema nd Front ДКБ Front Retail Front ДЭК Front Факто ринг 1 БИК 2 Бюджетная структура 3 Валюты 4 Взаимосвязанные клиенты 5 Выходные дни 6 Группы операций по выплатам 7 Группы пользователей 8 Источники финансирования 9 Кассовые символы 10 КБК 11 КЛАДР 12 Клиенты 13 Контрагенты 14 Направления и задачи для управления отчетностью 15 Офисы 16 Подразделения (штатная структура) 17Получатели 18 Продукты 19 Проекты, задачи 20 Регионы 21 Сотрудники 22 Ставки по депозитам и кредитам 23 Статьи УУ 24 Статьи финансового учета 25 Страны 26 Стратегии 27 Счета 28 Территории 29 Типы операций Фронт 30 Услуги 31 Участники группы Life 32 Форматы

24 Пример атрибутивного состава справочников Проведено сопоставление атрибутов во всех системах Составлен список атрибутов для MDM-системы по каждому справочнику Спроектированы уникальные ключи для MDM-системы Выделены первичные ключи для систем Банка DWHДиасофт 1CLotus notes Наименование атрибута Тип данных Наличие в системе Тип данных Наличие в системе Тип данных Наличие в системе Тип данных Наличие в системе ФамилияVARCHAR2(200)даvarchar(500)даvarchar(500)да текст(20)да ИмяVARCHAR2(200)даvarchar(50)даvarchar(50)да текст(20)да ОтчествоVARCHAR2(800)даvarchar(50)даvarchar(50)да текст(20)да Предыдущая фамилия varchar(100)даvarchar(100)да текст(20)да Дата смены фамилии ФИО VARCHAR2(4000)да Первая буква имени Первая буква отчества Табельный номер varchar(255)даvarchar(255)да номер(20)да Персональный код числовой(20)да Пол char(1)даchar(1)да выпадающий список да Клиент Контрагент Телефон внутренний текст(20)да Телефон городской текст(20)да Телефон мобильный текст(20)да Факс общий(20)да Признак руководителя char(1)да char(1)да Подчиненные ФИО непосредственного руководителя varchar(500)даvarchar(500)да текст(100)да Персональный код непосредственного руководителя int(20)даint(20)да числовой(20)да Телефон руководителя числовой(20)да Наименование должности VARCHAR2(640)да varchar(200)даvarchar(200)да текс(100)да ЦФО1VARCHAR2(255)да ЦФО2VARCHAR2(255)да ДивизионVARCHAR2(255)да VARCHAR2(255)да ЦФО банкаVARCHAR2(255)да Код подразделенияVARCHAR2(20)да ИД бюджетного подразделенияVARCHAR2(25)да текст(20)да Подразделение Наименование подразделенияVARCHAR2(200)да

25 25 Примерный перечень «знаменателей» для атрибутов клиента Фаза 1. Этап 1 – Реестр справочников. Содержание Гос. эталон Виды экономической деятельностиОКВЭД Виды рисканет Организационно правовых формОКОПФ Офисовнет Полнет Признаков резидентанет Семейных положенийнет Статусынет СтранОКСМ Типов адресовнет Областей ответственностинет Типов документов физических лицнет Типов документов организациинет Типов контактного лицанет Типов контактанет Типов координатнет Типов групп взаимосвязанныхнет Флаговнет Форм собственностиОКФС БИК Тарифынет Роли в договоренет Типов лимитовнет Типов группнет Адресный классификаторКЛАДР / ФИАС Знаменатель – список значений описывающих все возможные варианты значения атрибута. К данному списку должны быть приведены все значения описывающие данную область данных. Цель – гармонизация вариантов написания. Например, страна, краткое наименование «РОССИЯ» – правильное, а «РФ» не правильное. «Рос. Фед.» не правильное, а «Российская Федерация » правильное в полном наименовании.

26 Пример «знаменателя» отсутствующего в государственных и мировых эталонах Фаза 1. Этап 1 – Реестр справочников. id Код документа ИФНС Код документа ПФРКраткое наименование Полное наименование Формат серии Формат номера Уникальност ь Возраст получения 121ПАСПОРТ РОССИИПаспорт гражданина РФПаспорт гражданина Российской Федерации Y14 222ЗГПАСПОРТ РФЗагранпаспорт гражданина РФЗагранпаспорт гражданина Российской Федерации Y14 34УДОСТ ОФИЦЕРАУдостоверение личности офицера ББ999999N18 47ВОЕННЫЙ БИЛЕТВоенный билет солдата Военный билет солдата (матроса, сержанта, старшины)ББ999999Y18 510ИНПАСПОРТИностранный паспорт Паспорт иностранного гражданинаSSSSSSSSSSSSSSSSSSSSSSN0 61ПАСПОРТПаспорт гражданина СССРПаспорт гражданина Союза Советских Социалистических РеспубликR-ББ999999Y16 72ЗГПАСПОРТЗагранпаспорт гражданина СССРЗагранпаспорт гражданина Союза Советских Социалистических Республик N16 89ДИППАСПОРТ РФДип. Паспорт РФДипломатический паспорт гражданина Российской Федерации Y0 93СВИД О РОЖДСвидетельство о рождении Свидетельство о рождении гражданина Российской ФедерацииR-ББ999999Y0 1027ВОЕН БИЛЕТ ОЗВоенный билет офицера запаса ББ Y18 116ПАСПОРТ МОРФЛТПаспорт Минморфлота ББ999999Y0 1226ПАСПОРТ МОРЯКАПаспорт моряка ББ Y0 1314ВРЕМ УДОСТВрем. удост. личн. гражд. РФВременное удостоверение личности гражданина Российской ФедерацииSSSSSSSSSSSSSSSSSSSSSSY0 1412ВИД НА ЖИТЕЛЬВид на жительство Вид на жительство на территории Российской федерацииSSSSSSSSSSSSSSSSSSSSSSY0 1513УДОСТ БЕЖЕНЦАУдостоверение беженца в РФУдостоверение беженца в Российской ФедерацииSSSSSSSSSSSSSSSSSSSSSSN0 1611СВИД БЕЖЕНЦАСв-во о рег. ход-ва имигранта Свидетельство о регистрации ходатайства иммигранта о признании его беженцем SSSSSSSSSSSSSSSSSSSSSSN0 175СПРАВКА ОБ ОСВСпр. об осв. из мест лиш. cв.Справка об освобождении из мест лишения свободыSSSSSSSSSSSSSSSSSSSSSSN ПРОЧЕЕИные документы Иные документы удостоверяющие личность гражданина Российской Федерации SSSSSSSSSSSSSSSSSSSSSSN Разрешение на врем. проживание Разрешение на временное проживание в Российской ФедерацииSSSSSSSSSSSSSSSSSSSSSSN Св-во о рождении иностранное Свидетельство о рождении, выданное уполномоченным органом иностранного государства SSSSSSSSSSSSSSSSSSSSSSN0 21 Удост-е работника прокуратуры Служебное удостоверение работника прокуратурыSSSSSSSSSSSSSSSSSSSSSSN18 22 Служебный паспорт Служебный паспорт гражданина Российской ФедерацииSSSSSSSSSSSSSSSSSSSSSSN0 23 Дип. Паспорт иностранный Дипломатический паспорт иностранныйSSSSSSSSSSSSSSSSSSSSSSN0 24 Не определено SSSSSSSSSSSSSSSSSSSSSSN0 25 Виза SSSSSSSSSSSSSSSSSSSSSSN0 26 Миграционная карта SSSSSSSSSSSSSSSSSSSSSSN0 27 Пенсионное удостоверение N0 28 Свид. о регистрации Свидетельство о регистрацииSSSSSSSSSSSSSSSSSSSSSSN0 29 Лицензия SSSSSSSSSSSSSSSSSSSSSSN0 30 Водительское удостоверение SSSSSSSSSSSSSSSSSSSSSSN0 31 Полис медицинского страхования SSSSSSSSSSSSSSSSSSSSSSN0 32 ИНН или N0 33 Карточка соц. страхования SSSSSSSSSSSSSSSSSSSSSSN0 34 Справка по инвалидности SSSSSSSSSSSSSSSSSSSSSSN0 35 Разрешение SSSSSSSSSSSSSSSSSSSSSSN0 36 Св-во о праве на наследство Свидетельство о праве на наследствоSSSSSSSSSSSSSSSSSSSSSSN0 37 Свидетельство о регистрации ТС SSSSSSSSSSSSSSSSSSSSSSN0 38 Учетный код ФМС РФ SSSSSSSSSSSSSSSSSSSSSSN0 39 Паспорт предыдущий SSSSSSSSSSSSSSSSSSSSSSN0

27 Разработка схемы потоков данных между системами, Разработка таблиц перекодировок, Разработка методики решения неоднозначных преобразований при «свертке данных» на перекодировках, Подготовка целевой архитектуры МДМ-системы, Определение критериев качества значений атрибутов, кортежей, значений справочников. Разработка условий автоматической дедубликации, Разработка условий «выживания» значений при дедубликации, обновлении данных. 27 Формирование целевой архитектуры Фаза 1. Этап 2 – Потоки данных справочников. Кортеж – набор значений атрибутов описывающих одну бизнес сущность. Например, Документ, удостоверяющий личность Значение справочника – набор кортежей, описывающий основную бизнес сущность справочника. Например. Значение справочника клиент. Описывает физическое лицо и его взаимоотношение с банком. Содержит кортежи. Перс. данные, документы, контакты, адреса, взаимоотношения и так далее.

28 28 Пример функциональной модели Data Steward Технолог MDM

29 29 Пример критериев качества Соответствие справочнику Фамилия – Пол Словесное описание: Определение корректности Пола и Фамилии. Если Фамилия и введенный Пол есть в справочнике, и нет альтернативного значения с той же Фамилией и другого Пола, то устанавливается валидность по наполнению гарантированная; Если Фамилия и введенный Пол есть в справочнике, но есть альтернативное значения с той же Фамилией и другого Пола, то устанавливается валидность по наполнению надежная; Если Фамилия отсутствует в справочнике, то устанавливается валидность по наполнению рискованная; Если Фамилия есть в справочнике, но имеет противоположный Пол, то устанавливается валидность по наполнению критическая; Блок схема:

30 30 Сопоставление сущностей Персона Условия кластеризации 1. Кластера по сущности Персона строятся по следующим условиям 2. Первые три буквы имени + первые три буквы фамилии + первые три буквы отчества 3. Город + улица 4. Серия+номер документа 5. Фамилия + дата рождения Условия гарантированного дубля 1. У сущностей совпадают Фамилия, Имя, Даты рождения, Место рождения. Остальные атрибуты или отсутствуют или не совпадают 2. У сущностей совпадают Серия+номер документа + тип, даты рождения, фамилии, имена, для граждан РФ - отчество. Остальные атрибуты или отсутствуют или не совпадают. 3. У сущностей совпадают Серия+номер документа + тип, адреса регистрации, даты рождения. Остальные атрибуты или отсутствуют или не совпадают. 4. У сущностей совпадают Серия+номер документа + тип, фамилии, имена. Остальные атрибуты или отсутствуют или не совпадают. 5. У сущностей совпадают Серия+номер документа + тип, имена, даты рождения, адреса регистрации. Остальные атрибуты или отсутствуют или не совпадают. 6. У сущностей совпадают Серия+номер документа + тип, дата рождения, адреса регистрации. Остальные атрибуты или отсутствуют или не совпадают. Нечеткая логика так же используется при определении критериев дублей Пример критериев качества

31 31 При объединении двух объектов справочника объединяемые объекты справочника деактивируются, и создается новый объект справочника на основе значений атрибутов объединяемых объектов. Деактивированные объекты справочника помечаются как родительские по отношению к созданному объекту. При объединении данных по объектам следует опираться на следующие критерии выбора значения атрибутов или кортежа для использования в результирующей записи: Верифицированность Валидность Актуальность При выборе значения атрибута или кортежа устанавливается следующий набор приоритетов: 1. Приоритет доверенных систем над не доверенными 2. Приоритет верифицированных значений над не верифицированными 3. Если значение доверенности систем равное, то учитываются показатели валидности и актуальности 4. Приоритет актуальных значений над неактуальными 5. Приоритет валидных значений над невалидными 6. Приоритет заполненного значения атрибута над пустым 7. Приоритет показателя валидности над показателем актуальности 8. Равенство валидных значений атрибутов и значений атрибутов исключений. 9. В случае совпадения значений атрибутов или кортежей дата актуальности устанавливается в результирующую запись наиболее актуальная. Пример критериев качества

32 32 MDM – в Банки Отчеты по качеству данных Статистика DQ Потенциальные дубликаты Валидность атрибутов, кортежей атрибутов

33 33 Рекомендации по организации ЖЦ справочников в MDM-решении Стили ведения справочников «Transaction style» для справочников, ведущихся в МDM системе«Coexistence style» для справочников с одной и более мастер-системами Объекты для рекомендаций Процедуры обработки ввода, редактирования и удаления данных Процедуры очистки данных (поиск дубликатов, принципы формирования «золотой» записи)Логика обеспечения целостности данных Аудит данных, ведение журнала действий пользователя Периоды доступности данных в MDM-системе…

34 Процессы управления мастер-данными «to be» Описание процессов управления данными справочников содержит: схему каждого процесса; событие, инициирующее каждый процесс; системы, которые затрагивает процесс; взаимосвязи процессов (предшествующие, последующие); пояснения шагов процесса (шаги приведены на схеме). 34 Пример. Справочник «Сотрудники», схема из проекта Вертикальные дорожки - системы Горизонтальные дорожки - операции

35 35 Архитектура приложений, включая интеграцию MDM-системы В рамках проекта описаны: информационные системы и интерфейсы между ними; данные, передаваемые между системами; характеристики интерфейсов, режимы передачи данных (on-line или регламент), временные окна взаимодействия. Обмен данными между системами происходит через единую шину данных (ESB).

36 Проведение тестовых операций полного цикла (ввод в источнике, получение в МДМ, чистка, дедубликация, возврат в систему источник, распространение по системам получателям) Проведение бизнес тестов, нагрузочных тестов Реализация на стороне систем источников инкрементной и потоковой догрузки и получения данных после чистки. Реализация на стороне систем получателей интерфейсов получения данных Организация службы НСИ на стороне Заказчика, проведение обучения. Тестирование обработки данных, тестирование интеграционных взаимодействий 36 Интеграция с системами Заказчика

37 37 Задачи «Подразделения MDM» Рекомендации по управлению MDM-решением; Описание взаимодействия подразделений Группы и подразделения, управляющего MDM; Должностная инструкция технолога (руководителя) группы поддержки процессов MDM; Ориентировочный бюджет технологического подразделения, отвечающего за ведение и развитие процессов MDM в Группе. Взаимодействие подразделений Для «Подразделения МДМ» в рамках проекта подготовлена документация Операционная деятельность при ведении справочников Технологическая поддержка процессов MDM Развитие процессов MDM и MDM-системы, управление изменениями

38 «Чистовая» загрузка данных из систем источников и систем получателей, Догрузка «дельты» после окончания загрузки пакетов данных и чистки, Определение объема ручной обработки данных, Оптимизация ручного труда средствами частичной автоматизации, Изучение вопроса возможности подключения внешних источников валидации и обогащения данных. 38 Загрузка и чистка данных Фаза 3. Этап 6 – опытная эксплуатация

39 Полная загрузка данных из всех систем; Массовая чистка с применением полностью настроенных алгоритмов чистки и ведением истории изменений; Запуск получения данных от систем источников в промышленную эксплуатацию; Запуск тиражирования данных в системы получатели; Проведение ручных чисток данных силами службы НСИ; Контрольные испытания перед тиражированием. 39 Промышленная эксплуатация

40 40 Исполнение проекта

41 41 MDM – в Банки В 2013 году Компанией ОТР в ходе проекта внедрения MDM решения в Финансовой группе Life выполнена локализация функциональности и интеграция продуктов ORACLE c целью создания универсального MDM решения для кредитных и финансовых организаций. Решение содержит в себе продукты, задействованные в едином технологическом процессе обработки данных: Oracle Customer Hub (OCH) - универсальная платформа управления мастер данными, реализующая фоновые автоматизированные процессы обработки данных и работу пользователей; Oracle Enterprise Data Quality (EDQ) - система, реализующая процессы стандартизации, валидации, восстановления и дедубликации данных; Oracle Policy Automation (OPA) - реализация сложных правил выживания данных. => Выбор продуктов одного вендора позволит бесшовно интегрировать их с другими продуктами + использование СУБД Oracle Продукт ОТР

42 42 Модульный состав Название компонента ТипНазначение Siebel Applications Группа компонентов Реализация прикладной функциональности OCH Siebel Web Server Extensions Программная библиотека под управлением web-сервера MS IIS или Oracle HTTP Server Генерация пользовательских интерфейсов OCH, публикация стандартных web-сервисов OCH Siebel Gateway Server Программная библиотека Программный комплекс, обеспечивающий взаимодействие серверов OCH (хранение информации о запущенных компонентах Siebel Application Server) Siebel Application Server Программная библиотека Комплекс обеспечивающий работу пользовательских, системных и вспомогательных сервисов Siebel Repository (SRF)Файловая база данных Хранилище определений метаданных в OCH на файловой системе Siebel Management Agent Программная библиотека Процесс, отвечающий за выполнение задач, полученных от Siebel Management Server Siebel DBБаза данныхБД, хранящая данные OCH, под управлением СУБД Oracle EDQ Applications Группа компонентов Реализация прикладной функциональности Oracle EDQ Oracle EDQПрограммная библиотека Сервисы обеспечения качества данных под управлением сервера приложений Oracle WebLogic EDQ DBБаза данныхБД, хранящая данные EDQ, под управлением СУБД Oracle Web services Программная библиотека Реализация web-сервисов на стороне MDM-системы в согласованном с Банком формате Load Balancer Инфраструктурный сервис Балансировщик нагрузки на web-серверы, поддерживающий балансировку HTTP-запросов (рекомендуется аппаратная реализация) ESBСистема Банка Интеграционная шина Active Directory LDAPИнфраструктурный сервис Служба каталогов MS Active Directory Siebel Management Server (ADM)Программная библиотека Сервис управления Siebel Application Server Siebel Tools Программная библиотека Инструментарий разработки Siebel Enterprise Manager Grid Control Программная библиотека Инструментарий управления, содержащий модули управления СУБД Oracle и Siebel Application Server

43 43 MDM – в Банки При поступлении данных в MDM решение последовательно выполняются процедуры Data Quality, унифицированные для пакетной загрузки данных и on-line транзакций: Сервисы EDQ Clean Сервисы EDQ Cluster и Match Survivalship Engine OCH, Сервисы OPA Около 50 т.н. «опорных» справочников, в т.ч. справочников от регуляторов Реализованные процессы обеспечения качества данных Стандартизация данных (приведение данных к единым правилам представления) Валидация и восстановление данных (по справочникам и/или алгоритмически), в т.ч. с использованием алгоритмов нечеткой логики Кластеризация записи кандидата по заданным критериям и поиск дубликатов в кластерах мастер записей. Объединение (merge) записи - кандидата и мастер записи с учетом выживания отдельных атрибутов или кортежей атрибутов из записей по критериям: Валидность атрибута (для атрибута, кортежа) Приоритет системы - источника данных (для атрибута, кортежа) Дата /время внесения изменения (для записи)

44 MDM – в Банки Простое внесение изменений в процессы Data Quality Настройка процессов Data Quality открыта пользователям EDQ

45 45 MDM - в Банки Справочники, отражающие структуру Банка Штатная структура Бюджетная структура Офисы Территории Сотрудники Клиенты Клиенты ФЛ, ЮЛ и ИП Группы взаимосвязанных клиентов Оперативные Банковские справочники Продукты Курсы валют Контрагенты Вспомогательные Реализованные группы мастер данных Модель данных содержит общие структуры данных для всех справочников, избыточные для каждого справочника в отдельности, что позволяет создавать новые справочники и подключать новые мастер системы путем настроек

46 46 MDM - в Банки Сущность Кол-во бизнес атрибутов Кол-во атрибутов валидности Кол-во атрибутов актуальности Основная сущность физ лица Документы физ лица Адрес Контакты телефоны 361 Контакты коммуникационные адреса 481 Место работы 121 Ответственные лица Офис клиента 5101 Флаги клиента Итого Сущность Кол-во бизнес атрибутов Кол-во атрибутов валидности Кол-во атрибутов актуальности Наименование организации 7141 Документы организации 9181 Адрес Контакты телефоны 361 Контакты коммуникационные адреса 481 Ответственные лица Офис клиента 5101 Флаги клиента Итого Физические лица Юридические лица Реализованная карточка клиента

47 47 Бизнес атрибут – значащий атрибут бизнес данных используемых в системах для проведения операций. Пример: Бизнес атрибуты документа физ лица Атрибуты валидности – показатели качества данных содержащихся в бизнес атрибуте. По 2 на один бизнес атрибут по длине и по наполнению. Пример: Бизнес атрибут – Фамилия. Значение атрибута – Смирнов. Атрибут валидности по длине атрибута фамилия – Надежная (не пустое + выполняются условия Мини Макс) Атрибут валидности по наполнению атрибута фамилия – Гарантированная (допустимые символы, наличие в справочнике корректных фамилий и др) Возможные значения атрибута валидности: Атрибут актуальности – значение «Дата + время» показывающее когда последний раз данная сущность была изменена. Позволяет избежать обновления более старыми данными при схеме «много источников обновления» Статус документа Тип документа Фамилия Имя Отчество Пол Дата рождения Место рождения Серия документа Номер документа Дата выдачи документа Планируемое окончание срока действия Кем выдан документ Код подразделения, выдавшего документ Критическая Рискованная Надежная Гарантированная MDM - в Банки Реализованная карточка клиента

48 48 MDM – в Банки Для всех справочников реализованы интерфейсы ведения данных с разграничением полномочий доступа по ролям (бизнес пользователь, владелец справочника, datasteward). При внедрении MDM может быть принято решение вести справочник в MDM системе, отказавшись от существующих мастер-систем. Изменение данных пользователем инициирует процессы Data Quality Некорректные данные, фигурирующие в отчетах Data Quality для ручного разбора могут быть исправлены пользователем с соответствующими полномочиями, объединены потенциальные дубликаты Интерфейсы

49 49 Визуализация исторической информации по элементам справочников в разрезе транзакций из систем источников и идентфикаторов элемента в системах MDM – в Банки Интерфейсы

50 50 MDM – в Банки Web сервисы на платформе Weblogic, реализующие бизнес API для передачи данных типовых справочников в MDM систему и запросов данных из MDM системы, инкапсулирующие сложный «технологический» API OCH, а также отслеживающие логическую целостность при интеграционных взаимодействиях (FIFO и др.). При этом сохраняется возможность использовать непосредственно сервисы OCH Механизм преобразования значений элементов опорных справочников в разрезе систем при входящих и исходящих интеграционных взаимодействиях (настраивается в OCH). Механизм on-line и периодической публикации измененных данных в системы получатели в соответствии с настроенным регламентом (настраивается в OCH). Механизм публикации данных в отдельные системы получатели в зависимости от значений параметров бизнес объектов (настраивается в OCH). В результате реализуется вся логика интеграции и шина данных используется только как транспорт => уменьшение scope задач интеграции, стоимости и сроков внедрения Легкая интеграция Реализовано

51 51 Основные решения реализованы в ходе масштабного проекта в внедрения MDM решения в Финансовой Группе Life Стратегические цели внедрения: Снижение операционных рисков (использование неверной информации при совершении операций); Снижение издержек на поддержание актуальных мастер - данных; Получение непротиворечивой отчетности, снижение издержек на подготовку управленческой и аналитической отчетности; Развитие анализа данных оперативных справочников на платформе MDM - решения в целях маркетинга в связи с наличием на одной платформе связанных справочников клиентов и продуктов; Снижение кредитных рисков; Упрощение процессов модернизации ИС (замена компонентов), включения новых бизнес структур в состав Группы при наличии единого центра консолидации дистрибуции мастер – данных.

52 52 Модульная архитектура

53 53 MDM – в Банки Документация* – решение полностью документировано Сервер Безопасности** В рамках проекта ФК был реализован отдельный сервер безопасности – сертифицирован ФСБ и ФСТЭК; * Сотрудники Заказчика должны быть обучены продуктам Oracle ** Отдельная позиция решения Бонус

54 54 Адрес: ФИО: Тел: Сайт: , Россия, г. Москва, Дмитровское шоссе, 60А Газизов Алексей Асхатович +7 (495) (многоканальный) Контактная информация