Microsoft SQL Server 2005 Analysis Services – мощная аналитическая платформа нового поколения Ирина Горбач Александ Бергер. - презентация

1

2 Microsoft SQL Server 2005 Analysis Services – мощная аналитическая платформа нового поколения Ирина Горбач Александ Бергер

3 Аннотация (скрытый слайд) Необходимость анализа данных и трудности связанные с созданием и использованием аналитических систем. Что такое Analysis Services и единая многомерная модель(UDM)? Архитектура Analysis Services. Создание широко масштабируемых моделей данных на основе Analysis Services. Средства доступа к данным, хранящимся в многомерной модели. Полная и глубокая интеграция Data Mining.

4 Зачем нужен Business Intelligence? Возможность быстрой адаптации к изменениям рынка Глубокоe понимание нужд потребителей Оптимизация спроса и предложения Отслеживание состояния производства Знания о наиболее прибыльных продуктах и важных заказчиках Но пока… 80% бюджета IT идет на «поддержание производства»

5 Улучшение работы организации путем обеспечения доступа ВСЕХ работников к информации, необходимой для принятия своевременных и правильных решений Microsoft Business Intelligence Vision Комплексная BI платформа Известные методы доступа к данным через Microsoft Office Высокий уровень и доступная цена

6 Data Analysis: Challenges Разнообразие доступа к данным Меняющиеся задачи Жесткие архитектуры Разные средства обработки Разнородные данные Множество источников данных Как же …….. Построить инфраструктуру для решения различных задач? Предоставить простой доступ к информации? Обеспечить удобную навигацию по данным и их анализ? Обеспечить нужную информацию в правильное время?

7 Информация загружается из различных источников и интегрируется Информация трансформируется и дополняется Информация обогащается логикой производства и иерархическими моделями Поиск информации с помощью data mining Визуализация и распространение данных Информация доступна широким массам Отчет Анализ Интеграция

8 Качественный анализ данных возможен только при качественных данных Неоходимо объединить данные из неоднородных источников Текст. файлы Mainframes Электр.табл. Реляционные БД Очистка и корректировка данных при загрузке Высокоскоростная загрузка данных в online transaction processing (OLTP) и online analytical processing (OLAP). Integration Services Почему ETL необходимо?

9 Data Integration Architecture With Integration Services Предупреждения Данные извлекаются из источника, подготавливаются и загружаются единым процессом. может происходить параллельно с загрузкой данных Создание отчетов и обработка сигналов может происходить параллельно с загрузкой данных. Интеграция и складирование Integration and warehousing – плавные и управляемые операции. Масштабируется для поддержки больших объемов и сложных требований. SQL Server Integration Services Компоненты для текстового анализа Специальные программы Стандартные приложения Компоненты для очистки данных Слияние Компоненты для Data mining Хранилище данных Отчеты Переносные данные Архитектура интеграции данных : Используя Integration Services От потребителя : полу-структурированные Старые данные: двоичные файлы Базы данных

10 Промышленная ETL платформа Высокая производительность Высокая масштабируемость Высокая надежность Удобный интерфейс пользователя Богатые средства разработки Контроль кода (Source control) Визуальный отладчик потоков управления и потоков данных Широкий спектр трансформаций out-of-the-box Легко расширяемый Индивидуальные задачи Индивидуальные перечисления Индивидуальные преобразования Индивидуальные источники данных Integration Services Прорыв в ETL обработке

11 Информация загружается из различных источников и интегрируется Информация трансформируется и дополняется Информация обогащается логикой производства и иерархическими моделями Поиск информации с помощью data mining Визуализация и распространение данных Информация доступна широким массам Отчет Анализ Интеграция

12 BI система - Вчера DW Datamart Модель Данных Reporting Tool (3) MOLAP Reporting Tool (1) Средства просмотра и анализа и анализаИсточники OLAP Browser (2) OLAP Browser (1) Reporting Tool (1)

13 Business Intelligence c UDM DW Datamart BI Applications MOLAP Reporting Tool (1) Средства просмотра и анализа Источники OLAP Browser (2) OLAP Browser (1) Reporting Tool (1) UDM Модель Данных

14 DW Datamart Модель Данных BI Applications MOLAP Reporting Tool (1) Средства просмотра и анализа Data Source OLAP Browser (2) OLAP Browser (1) Reporting Tool (1) UDM Единая Многомерная Модель для всех BI приложений Business Intelligence c UDM

15 DW Datamart BI Applications MOLAP Reporting Tool (1) Средства просмотра и анализа Источники OLAP Browser (2) OLAP Browser (1) Reporting Tool (1) UDM Мощное хранилище данных (MOLAP) Настраиваемый доступ к основным RDBMS Analysis Services Стандартные средства доступа к данным (OLE DBб XML/A) Интерфейсы поддерживается почти всеми постовщиками BI Analysis Services Мощный сервер поддержки Многомерной Модели XML/A

16 DW Datamart BI Applications MOLAP Reporting Tool (1) Средства просмотра и анализа Источники OLAP Browser (2) OLAP Browser (1) Reporting Tool (1) UDM MOLAP хранилище становятся внутренними данными поддержки Многомерной Модели Analysis Services Cache Analysis Services Прозрачное хранение MOLAP данных

17 Analysis Services Единый источник данных DW Datamart BI Applications Reporting Tool (1) Средства просмотра и анализа Источники OLAP Browser (2) OLAP Browser (1) Reporting Tool (1) UDM Многомерная модель обеспечивает различные перспективы представления данных Синхронизации данных с единым источником упрощается и автоматизируется Analysis Services Cache XML/A

18 Ага … Я продал товаров на $100M Измерения: Продукты, Регионы, Время Суммирование по иерархическим путям Продукт Регион Время Индустрия Страна Год Категория Регион Квартал Продукт Город Месяц Неделя Офис День Многомерная модель Месяц Продукт Апельсины Груши Бананы Вишни Лимоны Яблоки Регион W S N

19 Измерения основанные на атрибутах Измерения в Analysis Services 2005 представляют полный производственный компонент Например, Покупатель, Продукт, Магазин Измерение хранит в себе все, что мы знаем о компоненте через атрибуты и отношения между ними Например, Имя, Адрес, Возраст, Пол Покупатель Город Пол Возраст Область Страна ВозрастнаяГруппа

20 Иерархии как средства навигации Иерархии это только путь, позволяющий навигировать через атрибуты В дополнение к иерархиям созданным разработчиками модели, каждый аттрибут получает свою собственную иерархию Покупатель Город Область Страна Покупатель Пол Покупатель Возраст ВозростнаяГруппа

21 Куб Продукт Апельсины Банан ы Вишни ЛимоныЯблоки РЕГИОН Москва Рязань Санкт-Петербург Ярославль Январь Март Февраль Время Сколько кг яблок проданно в Москве в январе

22 демо Доступ к многомерным данным

23 Кубы с множеством фактов Куб может иметь несколько фактов Измерение может быть подсоединено к факту через другой факт Над мерами можно производить простейшие операции

24 The UDM – Мощная Аналитическая Платформа MDX – язык многомерных вычислений MDX Scripts – простота разработки и поддержки модели Пошаговый отладчик Встроенные в систему правила производственных расчетов: Time Intelligence Account intelligence Financial Aggregations Currency Conversion Semi-additive measures Stored Procedures

25 Полный набор инструментов для разработки Многомерной модели Стандартная среда разработчика: Используется Visual Studio.NET Стандартные средства разработки и хранения кода группой разработчиков Поддержка полного цикла работы с моделью от разработки до использования UDM Инструменты разработчика

26 Поддержка многонациональных предприятий Для представления данных на нескольких языках, поддерживается: Перевод модели на любые языки Данные измерений могут содержать переводы на любые языки Данные мер могут форматироваться для любых языков

27 демо Средства работы с Многомерной Моделью

28 Value of Data Mining 8 алгоримов Графические средства создания и использования SQL Server 2005 сделал простым и доступным Интегрированная часть BI SQL Server 2005 OLAP Reports (Adhoc) Reports (Static) Data Mining Business Knowledge Easy Difficult Usability Relative Business Value

29 Complete Set of Algorithms Decision Trees Clustering Time Series Sequence Clustering Association Naïve Bayes Neural Net Introduced in SQL Server 2000 LogisticRegression Linear Regression

30 Задачи для Data Mining Задачи Алгоритмы Предсказание значений дискретных аттрибутов. Пример: предсказать успешность рекламной компании для конкретного покупателя. Decision Trees Naive Bayes Clustering Neural Network Logistic Regression Linear Regression Предсказание значений непрерывного аттрибута. Пример: предсказать объемы продаж в следующем году Decision Trees Time Series Предсказание последовательность событий. Например: проанализировать последовательность просмотра сайта компании. Sequence Clustering Поиск групп с общими параметрами в транзакции. Например: рекомендовать дополнительные товары для покупателя. Association Rules Decision Trees Поиск групп со сходными элементами. Пример: Разбить пользователей на группы по демографическим данным. Clustering Sequence Clustering

31 Analysis Services 2005 Architecture AnalysisServices AMO XML Files DevelopmentStudio OLE DB FOR OLAP.Net App Storage Engine MOLAP ManagementStudio DDL Formula Engine XML/A VB App ADOMD ADOMD.NET C++ App.Net App DМLDМLDМLDМL MDX

32 Analysis Services 2005 Architecture Analysis Services Analysis Services Data Source MOLAP Relational Engine Session Session Trace FormulaEngine Metadata Request DDL / DML/MDX Storage Engine Engine Trace Events ConfigurationManager ConfigurationFile

33 Analysis Services 2005 Architecture Analysis Services Analysis Services Data Source Session Session Trace Parser Request DDL / DML/MDX Trace Events Thread Pool ConnectionPool JobCoordinator Scheduler Serializer MemoryManager

34 Analysis Services 2005 Architecture Master-Publisher Storage Engine MOLAP DDL Formula Engine XML/A DМLDМLDМLDМL Subscriber Link Measures Link Dimension XML/A Slave Slave MOLAP Remote Partitions MDX Link Dimension Slave Slave MOLAP Remote Partitions Link Dimension Slave Slave MOLAP Remote Partitions Link Dimension Slave Slave MOLAP Remote Partitions Link Dimension

35 Надежная платформа… Защищенность Масштабность Безотказность Обслуживаемость Управляемость Защищен по умолчанию Несколько уровней защиты Настраиваемый доступ для Администаторов Кодирование данных и паролей Трассировка важных событий Защита Локальных Кубов Специальный контроль качества кода и его тестирование

36 Надежная платформа… Защищенность Масштабность Безотказность Обслуживаемость Управляемость Отсутствие ограничений, 64 bit. Высокий уровень паролельности выполнения операций Высокий уровень компрессии данных и протоколов Новая архитектура измерений Оптимизация интерфейсов (для записи x10)

37 Надежная платформа… Защищенность Масштабность Безотказность Обслуживаемость Управляемость Транзакции управления даными Тестирование под полной нагрузкой Улучшено управления памятью Возможность специализации (staging-synchronization) Усовершенствован backup/restore

38 Надежная платформа… Защищенность Масштабность Безотказность Обслуживаемость Управляемость Трассировка всех событий Запросы состояния Индикаторы состояния Системные и специальные журналы Flight Recorder, Dr. Watson, Full dump.

39 Надежная платформа… Защищенность Масштабность Безотказность Обслуживаемость Управляемость Языки описания и управления данными на основе XML Транзакции управления данными Скрипты, Обьектные модели Общие программы управления: Development Studio Management Studio (with MDX) Profiler with AS events

40 Дополнительная информация Русскоязычные форум: SQL Server webpage: TechNet learning resources: /default.mspx XML and Databases whitepapers: Online WebCasts: Newsgroups & Forums: microsoft.public.sqlserver Полезная информация: mosha.com Наш

41 Вопросы?

42 Ask the Expert В течение часа после доклада я буду присутствовать на стенде Спроси эксперта

43 © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

44 демо