Хранилища данных. Анализ данных Модуль 9: SSAS проект: развертывание, система безопасности и оптимизация. - презентация

1 Хранилища данных. Анализ данных Модуль 9: SSAS проект: развертывание, система безопасности и оптимизация

2 Хранилища данных. Анализ данных Изучаемые темы Развертывание OLAP проекта Архитектура системы безопасности SSAS сервера Оптимизация производительности в кубах

3 Хранилища данных. Анализ данных Тема 1. Развертывание OLAP проекта Методы развертывания BI Development Studio: интерактивно Сценарии XML/A XMLA-сценарии формируются в среде SQL Server Management Studio, для чего сначала нужно задать в BI Dev Studio процесс развертывания, внести исправления и сохранить в XMLA-сценарии. Мастер развертывания: Analysis Services Deployment Wizard Сценарии можно сохранять. Запуск: интерактивно или из командной строки. Развертывание при помощи мастера синхронизации ( Synchronize Database Wizard ) Копирование данных куба и метаданных из исходного сервера на целевой сервер: создается новый куб или обновляется существующий Автоматизация объектов AMO Создание резервной копии и ее восстановление ( Backup and Restore )

4 Хранилища данных. Анализ данных Развертывание OLAP проекта Новый куб Проверить, что все необходимые сервисы запущены и настроены Выбрать один из пяти способов развертывания Проверить наличие достаточных прав доступа для развертывания Отразить в документации процесс внесения изменений Подготовить документ о выбранном и методе развертывания и выбранных настройках, сохранить его для дальнейшего использования Обновление существующего куба Такая же подготовка, как для нового куба Синхронизировать изменения в существующем кубе, сделанные непосредственно на сервере, с новым сценарием развертывания

5 Хранилища данных. Анализ данных Настройки конфигурации для развертывания Настройки хранятся в файле.configsettings Data Source Connection Strings. Пароли для доступа к БД шифруются при развертывании или удаляются. Если пароль пустой, OLAP-сервер запрашивает пароль у пользователей интерактивно при соединении с БД. Impersonation Accounts Имя пользователя для запуска инструкций в каждом источнике данных. Key Error Log Files Имя и путь файла журнала ошибок ключа для каждого куба, группы мер, секции и измерения в базе данных. Storage Locations Место хранения для каждого куба, группы мер и секции в БД. Report Server Имя сервера отчетов и местоположение папки для каждого отчета, определенного в каждом кубе в БД.

6 Хранилища данных. Анализ данных Тема 2. Архитектура системы безопасности SSAS сервера Роли Server role Встроенные роли с фиксированным набором разрешений к SSAS Database roles Роли в БД для групп пользователей с одинаковым видом разрешений. Permissions Каждому пользователю назначается вид доступа к каждому объекту БД Разрешения (Permissions) Административные Привилегии для просмотра или обновления данных на уровне всего куба, источника данных, измерения, ячейки Разрешения для моделей Data Mining: чтение или drillthrough Разрешения drill through для реляционного источника данных, разрешения создавать локальные кубы Разрешения на хранимые процедуры и CLR сборки.NET Шифрование передачи данных между сервером и клиентом

7 Хранилища данных. Анализ данных Демонстрация: Роли и разрешения SQL Server Management Studio: Roles

8 Хранилища данных. Анализ данных Планирование безопасности SSAS Безопасность операционной системы Специальные группы пользователей, (глобальные группы в домене) Убрать учетную запись Everyone Защищенные сетевые протоколы Безопасность файловой системы Все файлы на NTFS раздел Минимальные права на системные папки \Microsoft SQL Server Ограничить доступ к файлам Backup и файлам SSAS проекта Защищенный доступ к источникам данных Выделенным группам пользователей дать права на чтение таблиц, создание таблиц и индексированных Views для агрегаций Минимизировать количество пользователей с правами OPENQUERY на Remote Server

9 Хранилища данных. Анализ данных Административный доступ на SSAS сервер Фиксированные серверные роли Дополнительные права администраторов Full Control Process БД, кубы, измерения, структуры и модели data mining Read definition на объекты SSAS куба Административные разрешения (permissions) Членство администраторов в локальных группах: локальная группа домена Domain Admins из домена SSAS сервера автоматически добавляется к локальной группе Administrators на сервере Окружение домена Windows

10 Хранилища данных. Анализ данных Пользовательский доступ Роли БД Доступ пользователей к объектам БД SSAS Разрешения доступа пользователей к кубу, измерению, ячейкам на уровне мер MDX фильтры – динамическая безопасность на уровне доступа к измерениям и ячейкам Создается одна роль, например Manager. Далее используется MDX- скрипт. Скрипт получает имя пользователя сеанса UserName(), сравнивает со списком пользователей в БД, и ограничивает возвращаемое из запроса MDX-множество только данными, которые разрешено читать этому пользователю, например, возвращает данные только его продаж по UserID, не давая доступ к продажам других менеджеров.

11 Хранилища данных. Анализ данных Динамический доступ к ячeйкам Filter ( [Store].[Stores].[Store].Members, [Store].[Stores].CurrentMember.properties(key) = Exists( [Employee].[Stores].Members, StrToMember(Employee.[ + UserName() + ], CONSTRAINED) ).Item(0).Properties(key) )

12 Хранилища данных. Анализ данных Оптимизация производительности в кубах Разработка индексов Оптимизация запросов Оптимизация кеширования

13 Хранилища данных. Анализ данных Разработка индексов Преимущества индексирования SSAS БД OLAP БД – Read-only, редко и мало обновляются Индексы на все Foreign keys в фактовых таблицах со 100% заполнением Fill Factor Создание и удаление индексов Processing – индексы используются, существенное ускорение Load Data (особенно MOLAP секции) – удалить индексы перед загрузкой большого объема данных, потом создать заново Анализ использования индексов Database Engine Tuning Advisor

14 Хранилища данных. Анализ данных Оптимизация запросов Выбор уровней и данных для агрегирования Агрегирование на отдельных (не всех) уровнях измерений Для операций агрегирования выбирать уровни, содержащие большое количество элементов Запись MDX-запросов в журнал (Query Log) Записи в журнале запросов используюся вручную или мастером The Usage-Based Optimization Wizard для подбора оптимальных способов агрегирования The Aggregation Design Wizard Задавая различное количество места в кубе (MB или %) для хранения агрегированных данных, можно существенно поднять производительность. Мастер сравнивает варианты (теоретически). The Usage-Based Optimization Wizard The Usage-Based Optimization Wizard анализирует Query Log по реальным запросам, помогает подобрать оптимальные агрегации.

15 Хранилища данных. Анализ данных Оптимизация кеширования Упреждающее кеширование При использовании MOLAP возникает установленная проектом задержка в поступлении новых данных (latency) По окончании задержки куб MOLAP начинает обрабатываться, в течение процесса обработки запросы могут использовать – устаревшие MOLAP данные (out-of-date) из кеша (быстрый ответ на запрос) – агрегации в режиме Real-Time ROLAP (долгий ответ на запрос) «Подогреваемый» кеш (Warming cash) После процессирования куба или секции куба кеш пустой По мере выполнения запросов кеш заполняется результатами A cache-warming приложение – любое приложение, скрипт, или процесс, выполняющие типовой набор запросов после процессирования куба. Тогда к моменту следующего процессирования куба кеш будет содержать множество ответов на типовые запросы и пользователи смогут в момент обработки куба быстро получать данные из сформированного кеша, а не из Real-Time ROLAP.

16 Хранилища данных. Анализ данных Лаб.работа: Оптимизация запросов 1.Открыть SQL Server Management Studio Подсоединиться к OLAP серверу 3.Выбрать куб AdvantureWorks из Samples 4.Задание– см. файл Module_09_Optimization.doc Сконфигурировать LogTable для записи результатов запросов в QueryLog БД. Запустить скрипт SimulateQueries.sql Открыть SQL Server Profiler, просмотреть файл трассировки выполнения запросов. Нажать кнопку Start Replay button. После окончания закрыть SQL Server Profiler. Запустить The Usage-Based Optimization Wizard, получить рекомендации по агрегированию для секции куба [Fact Internet Sales] из группы мер [Internet Sales] куба Sales, находящего в БД Sales. Запустить мастер для создания агрегаций на основе информации, содержащейся в журнале запросов (Query Log) с режимом «standard MOLAP storage model» Убедиться, что производительность увеличилась на 30%