Microsoft SQL Server 2005 Новые возможности Основа построения систем обработки данных масштаба предприятия Дмитрий Артемов Консультант Microsoft Corporation. - презентация

1 Microsoft SQL Server 2005 Новые возможности Основа построения систем обработки данных масштаба предприятия Дмитрий Артемов Консультант Microsoft Corporation

2 SQL Server 7.0 SQL Server 2005 SQL Server 2000 Высокая доступность Высокая доступность Высокая масштабируемость Высокая масштабируемость Безопасность Безопасность Продуктивность разработчиков Продуктивность разработчиков Глубокая поддержка XML Глубокая поддержка XML Первый кто включил Enterprise ETL & глубокий Data Mining Первый кто включил Enterprise ETL & глубокий Data Mining Акцент на производитель- ность и масштабирование Акцент на производитель- ность и масштабирование Поддержка XML Поддержка XML Первый кто включил уведомление Первый кто включил уведомление Первый кто включил Data Mining & Reporting Первый кто включил Data Mining & Reporting Пересмотр архитектуры реляционного сервера Пересмотр архитектуры реляционного сервера Первый кто сделал автоматическое управление и оптимизацию использования ресурсов Первый кто сделал автоматическое управление и оптимизацию использования ресурсов Первый кто включил OLAP & ETL Первый кто включил OLAP & ETL SQL Server 6.0/6.5 Глубокая интеграция с Windows Глубокая интеграция с Windows 1 -е Поколение2 е Поколение3 е Поколение Эволюция SQL Server

3 Внутри Microsoft Все базы данных под управлением SQL Server Microsoft на себе тестирует свои продукты перед их выпуском Более 15 приложений работали на SQL Server 2005 уже в октябре Более 50 приложений к RTM Ключевые для бизнеса приложения работают на Beta 2 Развернут SAP R/3, 1.7 TB Feedstore: Хранилище всех данных Microsoft 2 TB данных, более 1800 таблиц, 500 подписанных систем 2 TB данных, более 1800 таблиц, 500 подписанных систем Системы Microsoft Sales Revenue Reporting и BI 9,000 пользователей по всему миру 9,000 пользователей по всему миру 25,000 отчетов в неделю 25,000 отчетов в неделю Полный цикл жизни данных в SQL Server 2005 [Sales] SAP Feedstore Microsoft Sales Microsoft IT Ранняя и глубокая адаптация

4 Продукты Microsoft использующие SQL Server Commerce Server (DM) MSTVAxaptaBiz#BizTalk Commerce Server (OLAP) FRx MBS (Green) NavisionProjectSharePoint Visual Studio Office (Excel) Analysis Services DTS Commerce Server (2000) FRx Host Integration Server Navision BI Apps – EIP (2005) Biz#NavisionProject SharePoint Portal Server SQM (Windows Client) MSDE.NET Framework SDK Active Directory Migration Tool Application Center 2000 ASP.NET Web Matrix Project Automated Deployment Systems Back Office Server BizTalk Server 2002 Partner Edition CRM for Great Plains CRM Sales for Outlook Great Plains Standard Host Integration Server 2000 Internet Acceleration Server 2004 Longhorn Driver Kit Navision Axsapta Office Live Communications Server 2003 Office XP Developer, Professional Operations Manager 2000 Project Server 2003 RMS Headquarters RMS Store Operations Rights Management Server Sharepoint Portal Server Small Business Server 2003 Ultralight Visio 2000 Enterprise Edition Visio Enterprise Network Tools 2002 Visual Studio.NET Standard, Pro, Acad., Ent Visual Studio Professional (and above) Visual Studio Tools for Office Windows XP Embedded Tools with SP1 … plus eight others Reporting Services BizTalkBiz# Commerce Server Data Protection Server Excel Server MBS CRM MBS Enterprise Reporting / FRx MBS Payroll MBS PSA Time and Expense Microsoft Business Framework Operations Manager (MOM) Project SharePoint Portal Server / Report Center Report CenterSMS Speech Server SQM (Windows Client) Visual Studio Burton Visual Studio Whitehorse Baseline Security Analyzer Microsoft Management Console Visual Studio Visual Studio Express SQL Server Express Visual Studio WMSDE ACSADSSRMSUDDIWSSWUS SQL Server BizTalk Server Commerce Server CRMMOMMSN SMO MBF Visual Studio VDT

5 SQL Server 2000 – что было нового XML support XML support SELECT … FOR XML SELECT … FOR XML OpenXML OpenXML XML Views XML Views XML Updategrams XML Updategrams XML View Mapper XML View Mapper XML Bulk Load XML Bulk Load URL and HTTP db access URL and HTTP db access HTTP access to cubes HTTP access to cubes Multi-instance support Multi-instance support Integrated Data Mining Integrated Data Mining Full-Text Search in formatted docs Full-Text Search in formatted docs English Query for the Web English Query for the Web C2 security rating (NSA) C2 security rating (NSA) Installation disk imaging Installation disk imaging Active Directory integration Active Directory integration Self-management and tuning Self-management and tuning Distributed Partitioned Views Distributed Partitioned Views Log Shipping Log Shipping Parallel CREATE INDEX Parallel CREATE INDEX Parallel scan Parallel scan Parallel DBCC Parallel DBCC Failover clustering Failover clustering Failover cluster management Failover cluster management 32 CPU SMP system support 32 CPU SMP system support 64 GB RAM support 64 GB RAM support VI SAN support VI SAN support Indexed views Indexed views ROLAP dimension storage ROLAP dimension storage Distributed Partitioned Cubes Distributed Partitioned Cubes Online index reorganization Online index reorganization Differential backup Differential backup User-defined functions User-defined functions Server-less snapshot backup Server-less snapshot backup SQL Query Analyzer debugger SQL Query Analyzer debugger New data types New data types Column-level collations Column-level collations Virtual Cube Editor Virtual Cube Editor Linked cubes Linked cubes MDX Builder MDX Builder Dimensions Dimensions Security in Analysis Services Security in Analysis Services OLAP Actions OLAP Actions Custom rollups Custom rollups Cascading referential integrity and actions Cascading referential integrity and actions INSTEAD OF triggers INSTEAD OF triggers Indexes on computed columns Indexes on computed columns Queued replication Queued replication DTS enhancements DTS enhancements Online reorg Online reorg Copy Database Wizard Copy Database Wizard

6 SQL Server 2005.NET Framework Common Language Runtime Integration User-defined Aggregates User-defined Data Types User-defined Functions SQL Server In-Proc Data Provider Extended Triggers Data Types File Stream Storage Attribute Managed SQL Types New XML Datatype SQL Server Engine New Message Service Broker HTTP Support (Native HTTP) Database Tuning Advisor Enhanced Read ahead & scan Extended Indexes Multiple Active Result Sets Persisted Computed Columns Queuing Support Snapshot Isolation Level Scale Up Partitioning VIA support NUMA support Database Failure and Redundancy Fail-over Clustering (up to 8 node) Enhanced Multi-instance Support Database Mirroring Database Viewpoints XML XQUERY Support (Server & Mid Tier) XML Data Manipulation Language FOR XML Enhancements XML Schema (XSD) Support MSXML 6.0 (Native) XQuery Designer Database Maintenance Backup and Restore Enhancements Checksum Integrity Checks Dedicated Administrator Connection Dynamic AWE Fast Recovery Highly-available Upgrade Online Index Operations Online Restore Parallel DBCC Parallel Index Operations Management Tools MDX Query Editor MDX Intellisense T-SQL Intellisense Version Control Support XML/A SQLCMD Command Line Tool Performance Tuning Profiler Enhancements Profiling Analysis Services Exportable Showplan Exportable Deadlock Traces Full-text Search Indexing of XML Datatype MDAC Side by Side installation Microsoft Installer base setup Support for Active Directory Deployment SQL Client.NET Data Provider Server Cursor Support AsynchSecurity All Permissions Grantable Fine Grain Administration Rights Separation of Users and Schema Replication Auto-tuning Replication Agents Oracle Publication Improved Blob Change Tracking OLAP and Data Mining Analysis Management Objects Windows Integrated Backup and Restore Web Services/XML for Analysis DTS and DM Integration Eight new DM algorithms Auto Packaging and Deployment Data Transformation Services New Architecture (DTR + DTP) Complex Control Flows Control Flow Debugging For Each Enumerations Property Mappings Full Data Flow Designer Full DTS Control Flow Designer Graphical Presentation of Pkg Execution Immediate Mode and Project Mode Package (Advanced) Deployment Tools Custom Tasks and Transformations Reporting Services Multiple Output Formats Parameters (Static, Dynamic, Hierarchical) Bulk Delivery of Personalized Content Support Multiple Data Sources Sharepoint Support Visual Design Tool Charting, Sorting, Filtering, Drill-Through Scheduling, Caching Complete Scripting Engine Scale Out architecture XML Report Definition

7 Продуктивность разработчиков.NET framework внутри Yukon Глубокая поддержка XML технологий Интегрированные веб-службы Распределенный каркас приложений Бизнес аналитика Полная ETL платформа Аналитика в режиме real-time Доступный, легкий data mining Полный цикл работы с отчетами Управление данными Гибкость, управляемость, масштабируемость Улучшенная надежность Самооптимизация и настройка Быстрое восстановление Безопасность и качество Более 3 лет в разработке Многократный анализ безопасности Масштабируемость, Безопасность, Платформа управления данными класса предприятия для Windows Server System

8 Основные подсистемы Database Engine до 50 экземпляров в Enterprise Edition Analysis Services Возможность кластеризации, множество экземпляров Notification Services Reporting Services SQL Server Agent Fulltext Search Service Broker Все имеют 32-х и 64-х разрядную версии

9 Безопасность информации Off by Default Сокрытие метаданных Парольная политика Новые разрешения и уровни разрешений Разделение схемы и владельца Контекст выполнения хранимого кода Безопасность.NET кода

10 Увеличение доступности данных Сбои сервера БД Failover Clustering (кластеризация) Database Mirroring (зеркалирование БД) Эксплуатация и оперативная деятельность Операции с индексами в режиме реального времени Быстрое восстановление Более высокая гранулированность восстановления Ограничения использования данных при параллельном доступе Snapshot Isolation (версионность на уровне строк) Ошибки пользователей и приложений Database snapshots (моментальные снимки БД)

11 Database Mirroring Высокая доступность при небольших затратах Отказоустойчивость баз данных Быстрое восстановление…менее 3 секунд Восстановление автоматическое или ручное Автоматическое, прозрачное для клиентов, перенаправление запросов Database Snapshots для работы с отчетами Работает на стандартном оборудовании Резервный сервер Основной сервер Свидетель LogLog Приложение SQL Server DataDataDataDataLogLog

12 Database Snapshots Снимки БД на определенный момент времени Создание на том же самом экземпляре сервера БД Доступны только на чтение Не требуют полной копии данных Неизменяемые страницы находятся в совместном доступе Требуют места на диске только для измененных страниц Используют механизм копирование в момент записи Оберегают от ошибок пользователей, приложений или DBA Откат данных в основной БД на момент создания снимка

13 Доступность данных (продолжение) Восстановление страниц и файлов в режиме реального времени БД остается доступной – недоступны только те данные, которые восстанавливаются Выделенное соединение администратора Доступ к серверу даже тогда когда обычные соединения не проходят Не нужен рестарт для прекращения работы вышедших из под контроля сессий Быстрое восстановление БД доступна в момент начала операции undo UndoRedo Доступна

14 Oracle Publishing Репликация транзакций Создано специально для Oracle Publishers v8+ на любой операционной системе Администрирование подобно SQL Server и из SQL Server Не требуется устанавливать ПО на стороне Oracle Требует минимальных знаний Oracle Требуются только знания SQL Server стандартные публикации транзакций и моментальных снимков SQL Server 2005 Distributor Подписчики

15 Задачи управления Интегрируемое управление, богатый пользовательский интерфейс Сокращение времени и усилий для общих задач управления Прозрачность сервера Все операции можно скриптовать

16 Управление - Management Studio Интегрированное управление реляционная БД, Analysis Services, Reporting Services, Notification Services, SQL Server CE… Управление разными версиями SQL Server из одного интерфейса Интегрирован с DTS Богатые средства управления и разработки Производительность Управление большим количеством серверов, огромное кол-во объектов

17 Управление - Инструменты SQL Trace Запрос к данным из запущенных трасс SQL Profiler Визуализация мертвых блокировок (deadlocks) и плана исполнения (ShowPlan) Новое: Management Objects (SMO) Управляемый код, новые шаблоны для разработки Улучшенное масштабирование и скриптование Новое: SQLCMD Новая утилита командной строки Новое: SQLiMail Поддержка SMTP, кластеров, не требует Outlook

18 Динамическая конфигурация сервера Цель: без перезапусков сервера Пример: переназначение процессоров не требует рестарт Dynamic Management Views (виртуальные представления) Отражают внутреннее состояние Прозрачность, сервера, диагностирование проблем Примеры: SysWaits (waitingTask, spid, waittime, waittype, resource, blockingtask) sys.memory_clerks – сколько памяти потребляет каждый компонент? sys.schedulers – не подвис ли планировщик? События Асинхронные события на DDL, DML Могут быть показаны как WMI события Триггеры на DDL Используются для извещений, аудита Управление - Возможности

19 Range Partitioning (секционирование по диапазонам) Range Partitioning позволяет разбить объект на множество управляемых кусочков Прозрачно для приложения Применимо к ТаблицамИндексам Строка является модулем секционирования Все секции находятся в одной базе данных

20 Экономия Масштабируемость Масштабируемая платформа БД для критичных к производительности бизнес приложений Управляемость Оптимизирован под Windows Server 2003 Поддержка AMD Opteron & Intel Itanium с Beta 2 Отличная производительность Большая адресация памяти (до 32 TB) Практически неограниченная вирт память (до 8 TB) Снижение нагрузки на I/O вследствие большого буферного пула T-SQL код совместим с SQL Server 2000 Поддержка до 8 узлов в кластере Тот же самый формат на диске как и 32-bit 64bit поддержка для реляционного движка и BI Альтернатива дорогим Unix решениям 64-разрядная платформа БД Высокопроизводительные вычисления

21 Использование существующих умений для разработки Интеграция с Visual Studio Множество языков: T-SQL, VB.NET, C#… Совместно используемые данные между платформами Поддержка на уровне ядра XML, Web служб Взаимодействие с любой платформой, приложением Расширяемость Поддержка на уровне ядра типа данных XML и типов данных, определенных пользователем Новая инфраструктура для распределенных приложений: Service Broker Продуктивность разработчиков

22 Интеграция с.NET и Visual Studio Выбор языка программирования T-SQL для функций и процедур, интенсивно работающих с данными.NET языки для функций и процедур, интенсивно потребляющих CPU Выбор где держать логику База данных или средний слой Одинаковая модель доступа к данным – ADO.NET Интегрированные средства отладки на уровне среднего слоя и уровне базы данных Бесшовные границы между языками – TSQL и.NET Точки останова где угодно, проверка чего угодно Гибкость и расширяемость Пользовательские функции, процедуры, триггеры Пользовательские типы данных и аггрегаты Тип данных XML

23 VS.NET Project Assembly: TaxLib.dll VB,C#,C++ Build SQL Server SQL Data Definition: SQL Data Definition: create assembly … create function … create procedure … create trigger … create type … SQL Queries: tax(sal,state) select sum(tax(sal,state)) from Emp where county = King Runtime hosted by SQL (in-proc) Пример разработки

24 Разработка/Отладка/Развертывание Новый тип проекта в Visual Studio 2005 для управляемого кода SQL Server 2005 Развертывание по F5 Интеграции отладки Полная видимость отладчика Контрольные точки где угодно Единая поддержка: Единая поддержка: Между языками: T-SQL, C#, VB, C++,.. Между слоями: Например ASP.NET, далее вызов процедур SQL Server и возвращение обратно

25 Интеграция SQL 2005 с.NET Framework SQL 2005 выступает хостером для in-process managed code. Это позволяет создавать внутренние объекты сервера (такие как функции, процедуры, и т.д.) на управляемом коде, используя любой из языков.NET. Для доступа к внутренним данным разработчикам доступен In-Process Managed Provider. ADO.NET - Клиентский доступ к данным. SQL Management Objects (SMO) – Коллекция классов для управления серверами Microsoft SQL Server. SQL Replication Management Objects (RMO) – Коллекция классов для управления репликацией.

26 Объекты БД допускающие реализацию в рамках.NET. Скалярные функции (возвращающие значение). Табличные функции (возвращающие таблицу). Процедуры.Триггеры. Пользовательские агрегатные функции. Пользовательские типы данных. Замена расширенным хранимым процедурам

27 WITH PERMISSION_SET= Определяет набор прав, предоставляемых коду в сборке. Может иметь одно из следующих значений: SAFE Значение по умолчанию. Самое жесткое ограничение. Доступ только к внутренним данным. EXTERNAL_ACCESS Позволяет коду обращаться к внешним ресурсам таким как файлы, реестр и т.д. UNSAFE Предоставляет коду самые широкие права (в том числе позволяет вызыватьнеуправляемый код).

28 In-Process Managed Provider (доступ к внутренним данным) In-Process Managed Provider позволяет функциям, процедурам и т.д. написанным на управляемом коде получать быстрый доступ к данным хранящимся в том же экземпляре сервера, в рамках которого они выполняются. Пространство имен System.Data.SqlServer объединяет классы реализующие функциональность In-Process Managed Provider.

29 Усовершенствования в TSQL Новые типы данных Varchar(MAX), Varbinary(MAX), XML Рекурсивные запросы (станд. синтаксис ANSI) Обработка исключений ( try / catch ) Перекомпиляция на уровне операторов Меньше перекомпиляций => меньше затрат MARS Триггеры на DDL Операторы PIVOT и UNPIVOT TOP (expression) …

30 XML и Web Services

31 Собственный тип данных XML Столбец, параметр или переменная Индексы, полнотекстовые индексы Собственная поддержка XML Web Services HTTP endpoint определяет URL, порт, запросы SOAP 1.1 и 1.2, WSDL 1.1 Аутентификация Windows и SQL (только SSL)

32 SQL Server 2005 обеспечивает ключевую инфраструктуру для архитектур, ориентированных на сервисы (SOA) Прямой доступ к SQL Server через веб (HTTP/SOAP) Service Broker – набор сервисов, разъединенный, асинхронный, надежный, распределенные сообщения Query Notifications – возможность обновлять данные в кэшах промежуточных слоев при их изменении в источнике Web Клиенты Быстрореагирующий средний слой, кэширующий данные Унаследованная не- Windows система Запросы с уведомлениями Поток транзакций, основанный на сервисах SQL запрашивает через HTTP/SOAP Архитектуры, ориентированные на сервисы

33 Собственный доступ по SOAP Доступ к SQL Server основан на стандартах Независим от клиента Улучшенная способность к взаимодействию Новый объект ENDPOINT AS HTTP Информация о конфигурации соединения Конфигурация аутентификации Возможность делать функции, процедуры и пакетные файлы TSQL доступными через веб-службы KernelModeListener SQL Web Services

34 Асинхронное, распределенное программное окружение Полностью интегрирован в движок СУБД Модели программирования - DDL и DML Интегрированное управление и развертывание Использует функциональность SQL Server 2005 – Events, Query Notifications, SQLiMail Преимущества использования: Позволяет использовать новые сценарии – асинхронные хранимые процедуры, масштабируемые распределенные приложения с множеством БД

35 Позволяет простую реализацию высокоэффективного кэширования данных на среднем слое Выгрузка результатов запроса с сервера на средний слой для кэширования SQL Server управляет актуальностью кеша Обнаруживает изменения и уведомляет клиентов при изменениях результатов запросов Интегрирован в процессор запросов Больше не нужно отслеживать самостоятельно актуальность кэша Нужно добавить только пару строк кода в существующие запросы ADO.NETOLEDB Использует архитектуру Service Broker Запрос/ Ответ IIS/ASP.Net Уведомление о неактуальности кэша Запрос & Подписка/ Результаты SQL Server 2005 Query Notifications (уведомления при изменении данных)

36 Data Transformation Services Расширение возможностей ETL Платформа ETL уровня предприятия Высокая производительность Высокая масштабируемость Очень удобный Богатая среда разработки Контроль исходного кода Визуальная отладка потока управления и потока данных Большой набор новых компонент для преобразования Хорошо расширяемый Пользовательские задачи Пользовательские преобразования Пользовательские источники данных

37 BI Development Studio Полный интегрируемый инструмент для разработки BI-приложений Полный интегрируемый инструмент для разработки BI-приложений Один инструмент, множество технологий: Один инструмент, множество технологий: Relational, OLAP, DM, DTS, Reporting, Code, Web pages … Relational, OLAP, DM, DTS, Reporting, Code, Web pages … Среда для разработки мощных приложений: Среда для разработки мощных приложений: Интегрирован в Visual Studio.NET Интегрирован в Visual Studio.NET Командная работа, контроль кода, версионность Командная работа, контроль кода, версионность Поддержка полного цикла разработки Поддержка полного цикла разработки Разработка, тестирование, развертывание, изменение, тестирование… Разработка, тестирование, развертывание, изменение, тестирование… Легкость использования Легкость использования

38 Первая версия была для SQL Server 2000 Открытое и расширяемое решение для работы с отчетами Создание отчетов, управление и доставка Интеграция с Office System Разработка в VS.NET Улучшения в SQL Server 2005 Интеграция с AS, DTS, средствами управления Еще больше интерактивности Еще больше возможностей для пользователей Reporting Services

39 Analysis Services Unified Dimensional Model Integrating relational and OLAP views Проактивное кэширование Перенос лучшего из MOLAP в ROLAP Современная бизнес аналитика KPIs (ключевые индикаторы производительности), MDX-скрипты Web Services XML/A на уровне ядра

40 Акцент на Data Mining Полный набор для анализа Наиболее популярные алгоритмы для анализа данных (5 новых) Расширенные возможности среды создания, редактирования и просмотра Встроенный интеллектуальный анализ данных Внедрение анализа данных в приложения Полноценное API на языке SQL Глубокая поддержка XML/A Интегрированное решение Тесная связь с реляционной частью сервера и технологиями OLAP, DTS, Reporting Полноценная платформа SQL Server BI Альянс с поставщиками программного обеспечения Фокус на расширение рынка Направлен на использование индустриальных стандартов DM основанных на OLE DB для DM и XML/A

41 Значимость Data Mining 5 новых алгоритмов Графические инструменты 12 встраиваемых просмотрщиков Тесная интеграция с AS, DTS, Reporting Интеграция с приложениями Web/Office SQL Server 2005 OLAP Reports (незапланированные запросы) Reports (статические) Data Mining Знания бизнеса Просто Сложно Удобство работы Относительная ценность

42 Большой набор алгоритмов Decision Trees Clustering Time Series Sequence Clustering Association Naïve Bayes Neural Net Представлено в SQL Server 2000

43 SQL Server 2005 Полная и интегрированная платформа для работы с данными

44 Миграция с SQL Server 2000: Миграция с SQL Server 2000: Migration Advisor Основной инструмент для анализа баз данных Миграция невозможна, если БД содержит пользователя с именем sysБД содержит пользователя с именем sys Миграция невозможна, если в коде есть прямая ссылка на системные объекты с типом Sесть прямая ссылка на системные объекты с типом S к системным объектам идет обращение через dboк системным объектам идет обращение через dbo есть обновления системных объектовесть обновления системных объектов есть операции над системными объектами типа GRANT, DENY, REVOKE, DROPесть операции над системными объектами типа GRANT, DENY, REVOKE, DROP предполагается доступ к метаданным пользователям из publicпредполагается доступ к метаданным пользователям из public есть обращение к недокументированным системным таблицам (н-р sysproperties) или столбцам (н-р sysobjects.status)есть обращение к недокументированным системным таблицам (н-р sysproperties) или столбцам (н-р sysobjects.status)

45 © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.