Обработка структурных изменений источников данных в ETL процессах Долбешкин Андрей Николаевич, 445 группа Руководитель: Александр Сергеевич Дольник. - презентация

1 Обработка структурных изменений источников данных в ETL процессах Долбешкин Андрей Николаевич, 445 группа Руководитель: Александр Сергеевич Дольник

2 О предметной области ETL процесс – процесс извлечения- преобразования-загрузки данных. External data sources Local DBs Operational DBs ETL Datawarehouse Reports OLAP Statistics Data analysis

3 Описание модели Модель данных представляется в виде графа В основе лежит преобразование графов Проектирование ETL процесса на основе онтологий

4 Описание модели SrcNode TrgNode Operation FILTER IntmNode Operation OntNode Is-a

5 Задача Разработать метод поддержки структурных изменений Автоматизировать процесс

6 Описание метода Модификация операции «Фильтр» Создание «корзины» данных Предложение внести изменение в процесс в терминах предметной области

7 Описание метода LHS OntNode IntmNode 1 Operation Type=FILTER Intmode2 OntNode2 [Member] OntNode2 [Member] Is-a Yes RecNode: Operation Type=EXT_FILTER No RHS (and NAC) RecNode OntNode ?is-a Ont Node3[Member]

8 Заключение Разработан метод поддержки структурных изменений Разработан прототип системы

9 Планы на будущее Апробация прототипа на примерах Интеграция с Kettle