Когда засмеется Sphinx Что нового появится в SQL Server 7.0 Алексей Шуленин Системный инженер Application Developer Customer Unit Microsoft Corp.

MS SQL Server 7.0 Ожидается до конца CY1998 Улучшенный механизм хранения изменение форматов поддержка стандартных типов большей длины (var с har(8000)) Универсальный доступ к данным через OLE DB работа с произвольными нереляционными типами ( электронная почта, файловая система, multimedia, геопространственные данные, …) Улучшенный процессор запросов внутризапросный параллелизм блокировка уровня записи для всех типов транзакций новые стратегии построения join ов (hash, merge, …) полнотекстовый поиск Работа в распределенных средах добавлено 3 новых вида репликации, включая multimaster Поддержка Windows 9x Расширены возможности T-SQL, ослаблены или сняты многие ограничения, добавлена поддержка Unicode и т. д.

SELECT NEST({Nelson,White}, {USA _ North.Children, USA _ South, Japan}) ON COLUMNS, {1991Q1.Children, 1991Q2, 1991Q3, 1991Q4.Children} ON ROWS FROM SalesCube WHERE (Sales, Computers) Microsoft OLAP Server (Plato) в составе Sphinx

Ближайшие перспективы развития SQL Server. Краткий обзор новых возможностей SQL Server 11 Denali Алексей Шуленин Эксперт по технологиям обработки и анализа информации Департамент стратегических технологий Microsoft Россия

Disclaimer На момент настоящего доклада Microsoft SQL Server « Denali » находится в стадии разработки. Поэтому : На снимках экранов представлены прототипы Презентация не является полной или окончательной точкой зрения на финальную версию продукта Приводимые даты и возможности могут меняться Пакетирование новых возможностей не определено MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. Внимание! Настоящая презентация содержит предварительную информацию, которая может подвергнуться изменениям к моменту финального выпуска описываемого здесь продукта. Представленная ниже информация отражает текущую точку зрения корпорации Microsoft по вопросам, обсуждаемым на дату проведения презентации, но она способна претерпеть изменения в силу меняющихся условий рынка и не может таким образом быть интерпретирована как обязательства со стороны корпорации Microsoft. Презентация представлена исключительно для целей ознакомления. © 2011 Microsoft Corporation. All rights reserved.

Краткий курс истории SQL Server Производительность Функциональность Надежность

Новейшая история

..., Сфинкс, Шило, Юкон, Катмай, Денали,...

Высокая доступность

Failover Clustering

Log Shipping

Зеркалирование

Репликация

High-Availability and Disaster Recovery (HADR)

Создание high-availability group

Тестирование high-availability group

Управляемость

Сравнительная стоимость администрирования Исследование компании Alinean Исследование компании Alinean Известна своими методологиями в ROI и ТСО, используемыми в аналитике Gartner

Atlanta

Безопасность

Denali опирается на славные традиции

Сертификация ФСТЭК

Сертификация ФСБ Сертификат соответствия СФ / от удостоверяет Сертификат соответствия СФ / от удостоверяет что изделие СУБД Microsoft SQL Server 2008 Enterprise Edition ( ) со встроенными и дополнительно интегрируемыми механизмами обеспечения безопасности Secure Pack Rus 2.0 ( Исполнения 1 и 2), разработанными российским партнером ФГУП НТЦ «Атлас», соответствует требованиям ФСБ России по защите информации, не содержащей государственную тайну, от несанкционированного доступа в автоматизированных информационных системах класса АК 3 ( для Исполнения 1) и АК 2 ( для Исполнения 2) Получение данного сертификата означает возможность построения защищенных систем на платформе Microsoft SQL Server в Администрации Президента РФ, Государственной Думе и других органах государственной власти, требующих сертификаты безопасности подобного класса Получение данного сертификата означает

Пользовательские серверные роли --Опустошение серверной роли --Мы не можем дропнуть роль, пока в ней состоят какие-нибудь члены --Закачиваем список членов роли в таблицу: table (id int, name sysname) (id, name) select principal_id, name from sys.server_principals where principal_id in ( select member_principal_id from sys.server_role_members where role_principal_id = (select principal_id from sys.server_principals where type = 'R' and is_fixed_role = 0 and name = 'TestSrvRole') ) -- select * --И поочередно удаляем int = nvarchar(300) while (1 = 1) begin = = name where id if = 0 break exec ('alter server role TestSrvRole drop member [' + ']') end if exists (select 1 from sys.server_principals where type = 'R' and name = 'TestSrvRole') begin alter server role TestSrvRole add member [w7x64_Denali\Administrator] drop server role TestSrvRole end go create server role TestSrvRole authorization sa alter server role TestSrvRole add member [w7x64_Denali\Administrator] grant administer bulk operations to TestSrvRole grant impersonate on login::[w7x64_Denali\Administrator] to TestSrvRole grant view definition on login::[sa] to TestSrvRole grant connect on endpoint::[TSQL Named Pipes] to TestSrvRole

Осиротевшие логины и другие проблемы переноса базы

Самодостаточные (Self-contained) БД в SQL Server Denali

Новшества реляционного движка

Apollo Это классический B-Tree индекс, как описано в BOL ->BOL В отличие от обычного колоночный индекс хранит каждую входящую в него колонку в отдельном наборе страниц Ориентированы на работу с DW, star-join запросы Преимуществами при массивном чтении выступают С диска выбираются только необходимые для выполнения запроса колонки ( зачастую не превышает 15% объема таблицы ) Легче сжимать за счет избыточности в колонке Использует патентованную технологию Microsoft VertiPaq На данный момент являются readonly Чтобы отразить изменения в данных, требуется перестроить индекс Подробнее - см. статью Eric N. Hanson « Columnstore Indexes for Fast Data Warehouse Query Processing in SQL Server 11.0 » статью

FileTable

Другие улучшения в T-SQL EXEC WITH RESULT SETS EXEC WITH RESULT SETS См. также sys.dm_exec_describe_first_result_set См. также sys.dm_exec_describe_first_result_setsys.dm_exec_describe_first_result_set use [Adventure Works DW 2008R2] exec = N'select FirstName, MiddleName, LastName from DimCustomer where LastName + ''%''; select EnglishProductName, SafetyStockLevel from = = 'Y' with result sets ( ([Имя] nvarchar(5), [Отчество] nvarchar(3), [Фамилия] nvarchar(20)), ([Продукт] nvarchar(10), [Запас на складе] int) )

Другие улучшения в T-SQL Паджинация Паджинация int = int = 10 ;with cte as (select *, row_number() over (order by name) rowno from sys.objects) select * from cte where rowno + 1 select * from sys.objects order by name rows fetch rows only

Другие улучшения в T-SQL Последовательности use tempdb if exists (select 1 from sys.sequences where name = 'Seq1') drop sequence Seq1 create sequence dbo.Seq1 as int start with 1 increment by 1 maxvalue 1000 cycle select current_value from sys.sequences where name = 'Seq1' select next value for Seq1 select current_value from sys.sequences where name = 'Seq1' alter sequence dbo.Seq1 restart with 1 if object_id('TestSeq', 'U') is not null drop table TestSeq create table TestSeq (id int, fld nvarchar(50)) insert TestSeq (id, fld) values (next value for Seq1, 'aaa'), (next value for Seq1, 'bbb') select * from TestSeq select current_value from sys.sequences where name = 'Seq1' begin tran insert TestSeq (id, fld) values (next value for Seq1, 'ccc') rollback select current_value from sys.sequences where name = 'Seq1' alter table TestSeq add constraint df1 default (next value for Seq1) for id insert TestSeq (fld) values ('ccc') select * from TestSeq

Другие улучшения в T-SQL THROW varchar(10) = '0'--'0'; '0.001'; 'aaa' tinyint begin try = 1.0 / as decimal(10, 5)) end try begin catch if ERROR_NUMBER() = 8134 select 'Ошибка деления на ноль' else if ERROR_NUMBER() = 8115 select 'Арифметическое переполнение - в tinyint столько не влезает' else throw end catch

Полнотекстовый поиск

Разработка

Juneau Новая среда разработки для SQL Server, интегрированная в оболочку Visual Studio Не входила в СТР 1 Демы из блога SSDT можно посмотреть здесь здесь Официально, по - вид., будет называться SQL Server Developer Tools (SSDT) Дополняет функциональность SSMS Интегрированная среда разработки БД и приложений Разработка БД в онлайновом и отсоединенном режимах Основанный на WPF интерфейс ( как и в SSMS) Интеграция с Entity Framework Контроль исходного кода с помощью TFS Поддержка SQL Azure Вберет в себя датабазные проекты из VS 2010 Просто Database development tools in VS are now covered by SQL Server team Подробнее - здесь здесь

Бизнес-аналитика

Source: Gartner, Market Share: All Software Markets, Worldwide, 2010, March 30, 2011 Состояние рынка BI

[Gartner, Inc., Magic Quadrant for Business Intelligence Platforms, Rita L. Sallam et al, January 27, The Magic Quadrant is copyrighted 2011 by Gartner, Inc. and is reused with permission. The Magic Quadrant is a graphical representation of a marketplace at and for a specific time period. It depicts Gartner's analysis of how certain vendors measure against criteria for that marketplace, as defined by Gartner. Gartner does not endorse any vendor, product or service depicted in the Magic Quadrant, and does not advise technology users to select only those vendors placed in the "Leaders" quadrant. The Magic Quadrant is intended solely as a research tool, and is not meant to be a specific guide to action. Gartner disclaims all warranties, express or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

Семантическая модель BI – реляционный подход к моделированию аналитических данных, к - й поддерживает иерархич. навигацию, KPI, вычисления и пр. Семантическая модель создается встроенной в Excel workbook при помощи PowerPivot или для запуска на сервере Analysis Services в режиме VertiPaq при помощи нового проекта в VS2010 VertiPaq – запросный и вычислительный движок Analysis Services, обслуживающий БД семантических моделей В 2008 R2 был доступен только в режиме интеграции с SharePoint Ныне работает самостоятельно Не умеет хостить классические БД OLAP Расширения BISM к Conceptual Schema Definition Language (CSDL) Часть Entity Data Framework Напр., отчетный клиент запрашивает CSDL у сервера AS, на котором хранится модель и интерпретирует рез - т, чтобы представить поля, меры, агрегаты BISM data access в SharePoint HTTP Endpoint к базе BISM; аналог odc в Office Новая версия PowerPivot Улучшения в многомерном движке Снято ограничение на размер string store file в 4 гиг и т. д. Новшества SSAS в Denali

Создание BISM Новый тип проекта в VS 2010 Внимание : в СТР 2 в %ProgramFiles%\Microsoft SQL Server\MSAS11.MSSQLSERVER\OLAP\Config\msmdsrv.ini св-во DeploymentMode по умолчанию установлено в 0 Поэтому при создании BISM происходит ошибка workspace database server … not found Измените его на 2, чтобы перевести Analysis Services в режим VertiPaq и перестартуйте сервис MSSQLServerOLAPService

Архитектура Analysis Services MDX calculations MOLAP Multidimensional Режим OLAP/DataMining DAX calculations ( Скрипты MDX после SQL11) DAX calculations ( Скрипты MDX после SQL11) VertiPaq Multidimensional EDM Режим BISM DirectQuery ROLAP XML/AXML/A XML/A Существующие клиенты CrescentCrescent PowerPivot Business Intelligence Development Studio

Развитие подхода PowerPivot Детальный уровень безопасности Изощренная бизнес-логика Богатые возможности моделирования

Масштабируемость и производительность Корпоративный масштаб Оптимизирован под современное оборудование Высокое быстродействие

BI Semantic Model Единая модель для BI Мощная и гибкая Enterprise Ready

BI третьих фирм Отчеты Reporting Services Excel Workbooks Excel Workbooks Приложения PowerPivot SharePoint Dashboards & Scorecards SharePoint Dashboards & Scorecards ODataFeeds Модели данных Бизнес - логика Доступ к данным BI приложения Источники данных RelationalRelationalMultidimensionalMultidimensional DAXDAXMDXMDX VertiPaqVertiPaqDirectQueryDirectQuery BI Semantic Model

Crescent

Оповещения об изменении данных в отчетах

Alert Designer Alert Manager – просмотрщик оповещений в виде списка SharePoint Позволяет их удалять или открывать в Report Designer

Управление справочной информацией

Проблема качества данных ?

Плохое качество данных = ущербный бизнес While Oracle and Microsoft have both recently begun to address this market via acquisitions, their market presence is currently very limited. Oracle has just begun actively selling the acquired technology as a complementary add-on for its product MDM solution, while Microsoft will be delivering its technology to customers for the first time as part of the next major release of the SQL Server database management system (DBMS).

Data Quality Services Что логично, ибо система НСИ, по определению, должна оперировать качественными данными Участвуют люди, технологии и процессы

Общие проблемы с данными

Качество данных: типовые задачи Мониторинг – отслеживание активностей и состояния данных Профилирова ние – анализ источника данных с целью получить информацию об их устройстве Очистка – дополнение, удаление, обогащение неполных или некорректных данных Сопоставление - идентификация, связывание, слияние сущностей внутри одного или между разными наборами данных

Data Quality Knowledge Base (DQKB) содержит: Data Domains Примеры: , пол,... Составные Data Domains Напр., Full Name (Имя + Отчество + Фамилия) Address (Страна + Регион + Населенный пункт + Улица + Дом + Квартира/Офис) Domain Knowledge Св-ваНазвание, Тип ЗначенияПравильное, Ошибки, Синонимы ПравилаВалидация, Стандартизация, Бизнес Ссылки на сторонние знания Matching Policy Правила, разбивающие на кластеры в терминах близости и классифицирующие в тот или иной кластер

Доступные источники знаний Набор доменов данных в поставке SQL Server Знание «из ларца» Справо чные службы данных Веб - сайт, содержащий знания DQS ( базы знаний и домены ), доступные для скачки в DQS- приложение DQS Store And More … Два взаимодополняющих вида работы Computer-assisted Data Correction Data Correction Project в DQ- клиенте Задание SSIS Interactive Cleansing

Автоматическая очистка с использованием SSIS Source + Mapping Data correction Component SSIS Package Destination Values/Rules Reference Data Definition Matching Policy Не исправлено Правильные записи Поправленные записи Предложенные исправления