С высоты Килиманджаро Алексей Шуленин Эксперт по технологиям обработки и анализа информации Всеволод Грабельников Консультант Демо 1 R2 Алексей Козлов. - презентация

1 С высоты Килиманджаро Алексей Шуленин Эксперт по технологиям обработки и анализа информации Всеволод Грабельников Консультант Демо 1 R2 Алексей Козлов Консультант Демо 2 Алексей Буфетов Консультант Демо 3

2 Disclaimer Microsoft SQL Server 2008 R2, он же Kilimanjaro, он же SQL Server 10.5 запланирован к выпуску на 1-ю половину 2010 года В настоящее время имеется Community Technology Preview (CTP) 3, который выложен в открытый доступ вчера, 11 ноября 2009 г. milyID=fe0c6a31-5ad6-4eea-a865-73bbe2608bd1 На него, в основном, опирается данный рассказ Несмотря на то, что данный СТР считается «feature complete», детали реализации могут претерпевать изменения по мере готовности продукта

3 SQL SQL SQL SQL SQL SQL SQL CE bit 2001 From: Deskside servers To: Cell phone to Scale-Out Utility to Cloud From: Tables and BLOBs To: Objects, Places, Documents, XML, Cubes, … From: CRUD, Backup/Restore To: Analyze, Synchronize, Integrate, Mine, Extend, … Small Server Desktop to SMP (New Architecture) SQL-CE Device and Desktop 64-bit Megaserver + Relational OLAP and ETL XML (SQL-XML) XML Objects Files Spatial CLR Functions, Procedures in DBMS Engine Enterprise Class ETL Backup/Restore Data Mining Managed Reporting Replication XQuery Enterprise Data Platform Platform for all Data Dynamic Development Краткая история SQL Server Pervasive Insight From: BI as a specialization To: BI for everyone Data Warehousing BLOB Ad-hoc Reporting DW Scale Data Profiling Data Visualizations VS Integration KPIs Multiple sources Office Integration Scripting GUI Management Studio Policy-Based Management Auditing Log Shipping Failover Clustering Database Mirroring Partitioning ADO.NET Entity Framework ADO.NET Data Services ODBC OLE DB

4 Динамическая разработка Платформа для всех типов данных Комплексный анализ Корпоративный бизнес Mobile and Desktop OLAP FILE XML RDBMS Services Query AnalysisReportingIntegrationSynch Search Cloud Комплексная платформа данных Data Center Обеспечивает жизненный цикл данных от их рождения до архивации и позволяет предприятиям любого размера получать ценную информацию на основе их анализа

5 Надежность Эффективность BI Новые возможности

6 # of CVE – Software Flaws Кол-во выявленных уязвимостей Источник: National Institiute of Standards and Technology (NIST)

7 7 Newest performance record by NEC 27 TPC-E benchmarks reported to date TPC-E 300GB: 3 price/performance 10TB: 1 price/performance TPC-H 34,000 SAP 3-tier benchmark SD Users. World Record Scale Set 4-Proc Server SAP Record scale at 50K concurrent users and 2.9 million daily transactions with sub-second response rate Microsoft Dynamics CRM Load 1 TB of data in less than 30 minutes using SSIS ETL Performance Forrester Research: SQL Server is pretty much the hands-down winner in any dollars- per-unit performance or features-per-dollar kind of benchmark* Ключевые клиентские сценарии Время отклика < 1 сек. в NASDAQ, LSE, Barclays, McLaren F-1 Крупнейшие инсталляции SAP в Unilever, Fuji, Lockheed Martin Масштабируемая высокопроизводительная платформа

8 20 TB 15 TB 5 TB 30 TB 5 TB 7 TB 5 TB Daggett Research 12 TB 27 TB 20 TB 10 TB 8 TB 30 TB 8 TB Терабайтные внедрения на SQL Server

9 Петабайтное хранилище Pan-STARRS Система телескопов панорамного обзора и быстрого реагирования Контроль всех околоземных объектов Раннее предупреждение об астероидной опасности Каждый телескоп = 1.4 мегапиксельная камера, > 1 терабайта за ночь Петабайтное хранилище на SQL Server

10 SQL Server 2008 R2 aka Kilimanjaro Впервые объявлен на Microsoft Business Intelligence (BI) Conference 2008 в Сиэтле Пресс-релиз 06BI08PR.mspxhttp:// 06BI08PR.mspx Анонсирован общий состав планируемой функциональности Self-service analysis capabilities code-named Project Gemini Self-service reporting Advanced data warehousing being developed under the project code-named Madison (DATAllegro) Augmenting enterprise-class capabilities with acquisition of data quality vendor Zoomix Таким образом, R2 позиционируется в основном как BI release Более того, People-Ready BI Madison - build a strong ecosystem В партнерстве с производителями HW: (Bull, Dell, EMC, HP, Unisys) Providing appliance-like buying experience for customers подобно приобретению домашней бытовой техники Впоследствии список функциональности R2 пополнился за счет Synthesis - расширения к SSMS для централизованного администрирования и к VS для удобства деплоймента SQL Serverных проектов Stratature (MDM) StreamInsight

11 Повышенные требования к масштабируемости корпоративного BI Тенденции таковы, что данных становится все больше, больше, больше!!! Как и пользователей, которым требуется с ними работать Разные факторы способствуют взрывному росту Удешевление цен на носители Различные форм-факторы устройств и повсеместность доступа Да и вообще мир не становится проще

12 До недавнего времени Windows Server (и SQL Server) не поддерживали более 64 логических процессоров Однако современные тенденции в индустрии таковы, что стандартная 8 процессорная платформа может вполне обернуться 128-ю логическими процессорами Поэтому теперь Windows Server 2008 R2 их поддерживает на 64-битных платформах (X64 & IA64), включая приложения и драйверы устройств А следом за ним и SQL Server Это что касается SMP

13 Madison Массивно-параллельные системы для SQL Server 2008 Microsoft BI Reference Hardware Platforms Стандартные промышленные серверы Стандартные промышленные серверы Аналогично - сетевое оборудование Аналогично - сетевое оборудование И массивы хранения

14 Ускорение и масштабирование внедрений промышленных хранилищ ценой меньшего TCO Заранее сконфигурированные и протестированные шаблонные аппаратные архитектуры (4-32 TB) SI Solution Templates Fast Track DW «Тостерное» время развертывания Гибкость за счет выбора аппаратной платформы Снижение стоимости благодаря использованию стандартного оборудования (commodity) Снижение рисков благодаря предварительной конфигурации и настройке Легкость в апгрейде до Madison благодаря подходу Hub/Spoke

15 Ultra Shared Nothing Расширение традиционного подхода shared nothing Точнее, углубление внутрь SMP-узла IO и CPU affinity в SMP Маска может быть назначена любому пользовательскому запросу Уменьшается конкуренция между запросами за ресурсы Множественные физические экземпляры таблиц Партиционируем (на основе хэша) большие таблицы Реплицируем маленькие Средние - реплицируем и/или распределяем Также поддерживаются компрессия и TDE Записи могут перераспределяться на лету по мере надобности

16 Составные части MPP Madison Control Node & Client Drivers Клиентские соединения всегда входят через управляющий узел Может быть активным или пассивным Узел обрабатывает поступающий запрос и приготавливает план выполнения (с учетом распределения данных) Короче, дирижирует распределенным выполнением Локальный SQL Server производит финальный план, отработку своего куска и агрегирование результата Используется тот же набор драйверов, что и в DATAllegro Обеспечивается DataDirect ODBC, OLE-DB, JDBC и Ado.Net client drivers Wire protocol (SeQuel Link) Доступны как 32-, так и 64-битные драйвера

17 Compute Nodes Экземпляр SQL Server 2008 R2 Автономный DB engine на локальных данных Первичный интерфейс - SQL Допускается запасной (spare) узел на каждые 6 х вычислительных узлов Landing Zone Высокоемкий сторидж для файлов данных из ETL-процессов В зоне посадки доступны Integration Services Присоединена к внутренней сети Возможно использовать как «песочницу» для других приложений/скриптов, работающих во внутренней сети Backup Node Основывается на встроенных возможностях SQL Server по резервному копированию Использует интерфейс VDI interface для подключения в конвейер бэкапа Координирует бэкапы между узлами Составные части MPP Madison

18 Роли узлов и архитектура решения Control Node Active/Passive Control Node Active/Passive Backup Compute Nodes Client Drivers ETL Load Interface Corporate Backup Solution Corporate Network Private Network Spare Node Industry Standard SAN Storage Distributed DB Microsoft Cluster Server Landing Zone Configuration & Monitoring

19 Интеграция с MS BI Integration Services Madison может выступать источником данных Data movement, lookup operations,... Добавлено новое SSIS destination Reporting Services Полностью поддерживают Madison, включая параметризованные запросы Report Builder, Report Designer,... Analysis Services Будет достигнута возможность соединения при помощи OLE- DB-провайдера Возможно создавать как MOLAP, так и ROLAP-кубы

20 Типы данных DA = DATAllegro В preview только Latin1_General с бинарным сравнением Синтаксис SQL - в основном ANSI 92 Базовые INSERT, UPDATE, DELETE, SELECT Поддерживается CREATE TABLE AS SELECT Некоторые аналитические ф- ции Напр., терадатовские расширения Quantile, Sample,… SQL Server Data TypesDAv3Madison bigintPP binary bitP char / ncharPP date, timeP datetime (was date in DA) PP datetime2P datetimeoffsetP decimalPP floatPP geometry / geography hierarchyid Int (was integer in DA) PP moneyP realP smalldatetimeP smallintPP smallmoneyP sql_variant text / ntext / image timestamp tinyintPP varchar / nvarchar / varbinary PP v*(max) uniqueidentifier xml

21 Инструменты запросов SSMS пока не поддерживается Используется GUI Nexus (CoffingDW.com) Она также применяется в Netezza, Teradata,... Имеется object explorer и возможность оперативного выполнения запросов Утилита командной строки DA-SQL уже заменена разновидностью SqlCmd

22 Некоторые тенденции Например, Microsoft IT: 5000 экземпляров SQL Server 100,000 баз данных Утилизация CPU < 10% Знакомые реалии Обилие небольших БД, каждая, как правило, из не более, чем 1 файла, и объемом не более 4 ГБ Трудно централизованно управлять окружением Недостаточные возможности дизайнера запросов T-SQL для разработчиков широкого профиля Приложение привязано к физическому местоположению строкой соединения Number of database apps Number of DBAs Hardware computing capacity Недоиспользуе мое оборудование Перегруженные администраторы

23 Инвестирования в разработку Новая T-SQLная IDE в Visual Studio 2010 Единый проект типа Data Tier Application Интегрированный редактор, отладчик и дизайнер политик Анализ статического кода и сервис построения приложения Упрощенное управление жизненным циклом T- SQLного приложения Data Tier Application для эффективного деплоймента и администрирования Connection plans (напр., DNS для SQLных соединений) абстрагируют физическое нахождение экземпляра SQL Server Utility Централизованная проверка политик и использования Data Tier Application Анализ утилизации приложением ресурсов и рекомендации по экономии

24 Data Tier Application Data Tier Application Component (DAC) Единица деплоймента для T-SQLных приложений Содержит намерения разработчика (каким требованиям должна отвечать среда внедрения) в виде политик Имеется определение всех составных частей приложения вкупе с сервисными (Install, Uninstall, возможно,Upgrade и Repair) Data Tier Application Общая единица управления или развернутый экземпляр Data Tier Application, который отображается на БД Поддерживается связь с определением Data Tier Обеспечивает пространство имен и разделение ресурсов Connection plans абстрагируют местоположение физического экземпляра (DNS для строк соединений) Data Tier Application Component SchemaSchema DAC Deployment Profile Deployment Requirements, Management Policies, Failover Policies Logical Tables, Views, Constraints, SProcs, UDFs Users, Logins Physical FileGroups … Unit of Deployment Data Tier Application SchemaSchema Properties & Metadata Deployment Requirements, Management Policies, Failover Policies Schema Tables, Views, Constraints, SProcs, UDFs Users, Logins, FileGroups Unit of Management DAC

25 Централизованное управление SQL Serverным окружением Расширения SSMS Новые визарды позволят быстро подключать БД на разных серверах и проводить контроль их утилизации DBA может определять политики, задающие пороги утилизации на целевых серверах и приложениях, из центральной консоли управления Имеются различные дэшборды, отображающие утилизацию, здоровье систем, нарушение политик,...

26 StreamInsight Отход от идеи Кимбалла анализа более-менее устоявшихся данных Когда хранилище в конце дня пополнено, кубы отпроцешены,... Здесь предполагается, что анализ может происходить в режиме времени, близком к реальному Даже с точки зрения классического SQL запрос делается по статическому снэпшоту А здесь входные данные все льются и льются потоком и никогда не кончаются Примеры Точечные события: приход письма, веб-клик, событие в журнале, замер счетчика произв-ти,... Интервальные события: длительность торгов, электронный импульс Луч (edge) - когда конец неизвестен: сессия в SQL Server, процесс в Windows, квантование аналогового сигнала Для каждого события пишется свой адаптер, который может извлекать из него полезную нагрузку Либо нетипизированный провайдер, основанный на порядковых номерах полей Бывают входные и выходные провайдеры Запросами (LINQ) из входных стримов можно извлекать события, фильтровать, комбинировать, упорядочивать, агрегировать, выполнять пользовательскую обработку и кидать в выходной стрим

27 Complex Event Processing CEP Engine Output Adapters Input Adapters Event Standing Queries Статичные справочные данные Event sources Event targets Devices, Sensors Web servers Event stores & Databases Stock tickers & News feeds Event C_IDC_NAMEC_ZIP Event stores & Databases Pagers & Monitoring devices KPI Dashboards, SharePoint UI Trading stations Event CEP Application

28 Complex Event Processing Дальнейшая информация В докладе Никиты Шамгунова Microsoft StreamInsight: извлечение знаний из потоков реляционных данных в реальном времени DT302, 18: :00, Cиний зал

29 Управление мастер-данными Определение A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associatedwith the key business entities of an organization Kirk Haselden, Product Manager for Master Data Services, Microsoft MASTER DATA MANAGEMENT: Creating a Single View of the Business Там же приводятся еще два: Master data management – or the management of master data. These are the applications for managing the creation and maintenance of data of data. These include customer data integration (CDI), product information management (PIM), and other applications that deal with such data subjects. Master data management – or the management of the processes behind data management. This refers to the infrastructure and technologies for integrating enterprise data (including master data) such as ETL (extraction, transformation, and load) and EII (enterprise information integration) technologies. Несмотря на это считается заблуждением отождествлять MDM с DW, BI, Data Integration Однако же надо нам от чего-то отталкиваться

30 Управление мастер-данными Здесь aster-data-management- defined.html есть еще на 3 стр.определений aster-data-management- defined.html Поэтому перейдем к осн.понятиям Основные понятия Как правило, хранилище предоставляет данные для многих витрин Одни и те же справочники для разных таблиц фактов Иначе целостность в масштабе предприятия будет потеряна и аналитические отчеты не удастся состыковать Например, план с фактом, склад с продажами,... Единая система справочников означает Единую систему координат Единую разметку по каждой оси

31 Требования к MDS Как и транзакции, мастер-данные поступают из разных OLTP-систем MDS должна уметь разбираться, означают ли эти две похожие записи одну сущность или разные Matching rule на основе совпадения атрибутов Например, производитель, модель, разрешение, зум, фокусное расстояние, выдержка, диафрагма, чувствительность,... Если одну, то какую? Survivor rule: кто остается, кого отбрасываем или как комбинируем атрибуты MDS должна поддерживать иерархии Н апр., продукт подчинен категории продукта. Это единый справочник. MDS должна поддерживать версионность Напр., если две записи справочника были отождествлены ошибочно и их надо снова рассплитить Или изменение атрибута или места сущности в иерархии не должно влиять на прошлую картину Сейлз перешел в другой регион, но его предыдущие продажи должны за ним остаться MDS для CRM называется CDI (Customer Data Integration), для ERP – PIM (Product Information Management)

32 История MDS в SQL Server Решения и рекомендации по MDM на основе SSIS существовали еще для SQL Server 2005 См., напр., Data Integration Solutions for Master Data Management, March 2006 (MS SQL Server 9.0 Technical Articles)Data Integration Solutions for Master Data Management, March 2006 (MS SQL Server 9.0 Technical Articles) Более того, в Microsoft это же время шли работы над созданием собственного инструмента MDM I've been very busy on a new project building a strategy for MDM at Microsoft. After 14 months of studying, thinking, discussing,... (июнь 2007 г.) Когда вдруг была куплена Stratature вместе с ее продуктом +EDM Частная фирма из 16 чел. 7eaef3e4466d/MSMDMRoadmap.pdf Stratatures technology and product portfolio will become a core part of Microsofts product offering, and will significantly enhance the value delivered to customers to manage their important business hierarchies. Совместный проект получил кодовое название «Бульдог» On initial scoping, it was determined that 'Bulldog' would ship as part of Microsoft Office SharePoint in the O14 wave См. Project "Bulldog"

33 MDM & Data Quality Но в мае этого (2009) года на Teched было объявлено, что Master Data Services will be shipping in SQL Server 2008 R2 Что логично, ибо Data Quality (Zoomix) изначально предполагалась в составе SQL Server А качество данных – это в первую очередь инструмент обеспечения matching rules Zoomix изначально позиционировался как акселератор для MDM Zoomix Accelerator easily integrates with leading PIM, BI, and MDM solutions to provide in-line "data excellence" services acquires-zoomix-a-data-quality-golden-goose

34 Компоненты решения Master Data Services Hub Авторитетный источник, истина в последней инстанции Гибкая гранулярная система прав доступа Напр., не всем, пользующимся системой, дозволяется видеть все атрибуты клиента Централизованное хранение и обслуживание НСИ (сущностей и иерархий) Работает под управлением SQL Server Поддерживает WCF API Выступает как система ввода, система записи или одновременно Обеспечивает Stewardship and Integration Клиентский интерфейс = ASP.NET + AJAX Модели данных Decide what the master records look like: what attributes are included, what size and datatype they are, what values are allowed, and so forth Определяют сущности, атрибуты, иерархии, бизнес-правила для хранения и валидации мастер-данных в комплексе

35 MDM-портал и эксплорер

36 Stewardship Portal Data stewards (эксперты НСИ) Люди, обладающие знанием о текущем источнике и пониманием, как преобразовать из него данные в формат НСИ Как правило, назначаются из предметных областей каждого источника Также выделяют data-governance council Ответственные за управление НСИ: что она содержит, сколько хранится, как вносить и аудировать изменения

37 Характеристики SQL Server MDS Версионность Транзакционность Каждое изменение в данных оформляется как транзакция Транзакции могут быть аннотированы комментариями «Оптимистичное» создание члена MDS позволяет создать члена с неполными или некорректными атрибутами, но отслеживает эти ошибки и извещает ответственных Правила качества данных Defaults Validations Actions Human Workflow Все изменения в мастер-данных проверяются на предмет соответствия бизнес-правилам, определенных для сущностей и иерархий Нарушения записываются и назначаются владельцу сущности, атрибута или иерархии, нарушающей бизнес-правило Еmail посылается на каждое нарушение или извещения могут быть сгруппированы за период

38 Экстерьер MS-бульдога Усовершенствования по сравнению со Stratature +EDM в областях Setup and Deployment Web Services Integration Integration with PerformancePoint, Dynamics, SharePoint, Excel Security, Identity and AD Enablement Сериализация моделей мастер-данных и данных моделей для облегчения процесса деплоймента Добавлен специальный тип модели, документирующей все модели, сущности, атрибуты, иерархии на инстансе MDS Введена поддержка Unicode и пр.интернационализация

39 BI: корпоративный подход Централизованная разработка хранилища, витрин и системы отчетности Да, но с другой стороны, сколь бы масштабируемой ни была система... Централизованная разработка хранилища, витрин и системы отчетности Да, но с другой стороны, сколь бы масштабируемой ни была система...

40 Персональный BI... пользователи зачастую рассматривают продукцию корпоративной системы как полуфабрикат и продолжают проводить собственный анализ в зависимости от своих узких задач

41 SQL Serverные дополнения к MS Office Excel де-факто в большинстве случаев является составной частью рабочего места аналитика Почему не включить его в состав решения? Движение в этом направлении наблюдается давно Возможность работы с кубами вошла в состав штатной функциональности Excel практически сразу с выходом OLAP Services в SQL Server 7.0 Бесплатный Data Mining Add-On к MS Office (Excel, Visio) для SQL Server 2005, us/data-mining-addins.aspx Gemini (официальное название - PowerPivot) развивает и усиливает эти возможности

42 Self Service Analysis 42 Основанные на Excel аналитический клиент и инструментарий отчетности In-memory BI engine Совместная работа при помощи SharePoint Интеграция с Analysis Services

43 Представляем PowerPivot PowerPivot add-in for Excel PowerPivot add-in for SharePoint

44 Self Service Reporting Часто для принятия оперативных решений недостаточно предподготовленных отчетов Требуется быстро создать отчет «по ходу дела» SQL Server 2008 R2 Reporting Services упрощают подготовку отчетов конечными пользователями, вооружают их возможностью подготавливать отчеты независимо от IT Report Builder 2.0 в 2008 уже имел интерфейс Office 2007 и сочетал возможности работы с моделями с Report Designer R2 позволяет публиковать компоненты отчета в общую библиотеку Переиспользуемый контент централизованно хранится на сервере, который блюдет его целостность Конечные пользователи получают возможность повторно использовать компоненты отчета (запросы, таблицы, графики, приборы, карты) как строительные блоки при подготовке новых отчетов Карты являются новой функциональностью отчетов в R2

45 Геопространственные отчеты Поддержка геопространственной визуализации с использованием карт, маршрутов и пользовательских областей Сочетание бизнес-информации с географическим представлением дает новую почву для анализа Поддержка геопространственных типов SQL Server и интеграция с Microsoft Virtual Earth

46 Распределение новой функциональности по редакциям SQL Server 2008 R2 Datacenter Поддержка > 8 физических (до 256 логических) процессоров Application & Multi-Server Management на > 25 экземпляров Сложная обработка событий (StreamInsight) SQL Server 2008 R2 Parallel Data Warehouse Madison SQL Server 2008 R2 Enterprise Application & Multi-Server Management на <= 25 экземпляров PowerPivot for SharePoint MDS Поддержка UCS-2 Unicode при сжатии данных SQL Server 2008 R2 Standard Сжатие бэкапов (раньше было только в Enterprise)

47 Итоги Managed Self-Service BI Multi-Server Management Виртуализация & Живая миграция Масштабируемая реляционная платформа данных Целостная знакомая модель и инструменты Самоуправляемый высокодоступный облачный сервис Поддержка MPP на сотни терабайт хранилища DW Высокоскоростное протестированное оборудование Гладкая интеграция с Microsoft BI

48 Материал для самостоятельных упражнений Microsoft® SQL Server® 2008 R2 November CTP Feature Pack SQL Server® 2008 R2 Evaluation Edition: X86, X64, IA64 Master Data Services: X64 StreamInsight: X86, X64 Обновленная документация на Вебе

49 Microsoft® SQL Server® 2008 R2 November CTP Feature Pack SQL Server 2008 R2 Report Builder 3.0 SQL Server 2008 R2 Reporting Services November CTP Add-in for Microsoft SharePoint Technologies 2010, 2007 Также входят: SQL Server 2008 R2 Upgrade Advisor SQL Server 2008 Native Client, JDBC Driver 2.0, OLEDB Provider for DB2, SQL Server Driver for PHP 1.1 CLR Types, Powershell Extensions, SMO, AMO, BOL,... Материал для самостоятельных упражнений

50 © 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

51