SQL 2014 Арсений Евмененко. Расписание 1. SQL Server 2014 Обзор и новые возможности 2. Производительность и обработка в оперативной памяти для OLTP 3. - презентация

1 SQL 2014 Арсений Евмененко

2 Расписание 1. SQL Server 2014 Обзор и новые возможности 2. Производительность и обработка в оперативной памяти для OLTP 3. Новые гибридные сценарии 4. SQL Server 2014 Улучшенная Доступность и Аварийное восстановление

3 Часть 1: Обзор SQL Server 2014 Обзор SQL 2014 Новые возможности По пути в облако

4 Развитие платформы данных Microsoft SQL Server 2000 SQL Server 2005 SQL Server 2008 SQL Server 2008 R2 SQL Server 2012 XML KPIs Management Studio Зеркалирование Сжатие Управление политиками Разработка PowerPivot Интеграция SharePoint Master Data Services AlwaysOn Колоночные индексы Data Quality Services Power View Облачная интеграция SQL Server 2014 Обработка в оперативной памяти Производительность и масштабируемость Оптимизировано для гибридного облака HDInsight Облачный BI

5 Новые и улучшенные возможности с SQL Server 2014 Технологии In- Memory Улучшенная высокая доступность Новые гибридные сценарии In-Memory OLTP Улучшения производительности до 10X – 30X раз с OLTP встроенным в SQL Server In-Memory DW До 100X раз увеличение производительности и сжатия данных Обновляемое и кластеризуемое SSD Buffer pool Extension От 4 до 10-кратного улучшение использования памяти и до 3- кратного улучшения производительности приложений Always On улучшения Возросшая доступность и увеличенная управляемость до 8 активных вторичных баз Работа с БД Онлайн Возросшая доступность обслуживания для для индексов/разделов Резервная копия в Azure Легкое и дешевое решение по аварийному восстановлению с Azure Storage Высокая доступность на Azure ВМ Легкое и дешевое решение обеспечения высокой доступности с Azure ВМ Развёртывание в Azure Мастер развертывания для миграции БД Вместе лучше с Windows Server Поддержка WS2012 R2 ReFS Изменение размера VHDx онлайн Hyper-V replica Улучшенный Power View Power View доступен на имеющихся аналитических моделях и поддержка новых многоразмерных моделей. Другие

6 SQL Server 2014 Редакции SQL Server возможности SQL Server редакции Standard Business Intelligence Enterprise Максимальное число ядер 16 cores 16 cores – DB OS Max – BI OS Max* Базовая поддержка OLTP Разработка (T-SQL, data types, FileTable) Управляемость (SQL Server Management Studio, основанное на политиках управление) Базовая высокая доступность (log shipping, зеркалирование БД, двухузловой кластер) Базовая безопасность (разделение нагрузок, базовый аудит) Базовый корпоративный BI (Аналитика, отчеты, многоразмерные семантические модели, data mining) Базовая интеграция (встроенные коннекторы данных, дизайн изменений) BI для пользователей (Уведомления, Power View, Power Pivot для SharePoint) Расширенный корпоративный BI (Табличная BI семантическая модель, расширенная аналитика и отчетность, аналитический движок в оперативной памяти, advanced data mining) Управление данными предприятия (Data Quality Services, Master Data Services) Расширенная интеграция (нечеткая группировка и поиск) Расширенная безопасность (SQL Server аудит, transparent data encryption) Расширенная высокая доступность (AlwaysOn, активные вторичные реплики; multi-site, геораспределенность) Расширенная производительность транзакций (In-memory OLTP)

7 Часть 2: Производительность SQL Server 2014 и возможности вычислений в оперативной памяти Возможности по производительности Вычисления в памяти Управление ресурсами

8 Ядро SQL Server In-Memory OLTP 8 Преимущества Низкая задержка Производительность выше в 30 раз Масштабируемость выше в 2–5 раз Защита инвестиций в Microsoft SQL Server Принципы работы В SQL Server интегрировано новое высокопроизводительное ядро оперативной обработки транзакций (OLTP) с оптимизацией памяти, соответствующее современным тенденциям в сфере разработки оборудования Интегрированная в SQL Server реляционная база данных Полная поддержка ACID Оптимизация памяти Многовариантное оптимистическое управление параллелизмом не блокируется (нет программной или аппаратной блокировки) Компиляция во внутренний код T-SQL Группа файлов таблиц с оптимизацией памяти Ядро In-Memory OLTP: таблицы и индексы с оптимизацией памяти Встроенные компилированные SP и схема Компилятор In- Memory OLTP Обработка TDS и управление сеансами Журнал транзакций Группа файлов данных Пул буферной памяти для таблиц и индексов Lock Manager Кэш процессов / планирования для динамического соединения, T-SQL, интерпретации, планирования и т. д. Анализатор, каталог, оптимизатор

9 Характеристики совместимых приложений 9 Приложение подходит для обработки in-memory Все данные, влияющие на производительность, уже размещаются в оперативной памяти Блокировка транзакций или физическая блокировка вызывает задержки и препятствует работе Приложение «аналогично OLTP» Относительно кратковременные транзакции Много одновременных транзакций из нескольких соединений Примеры: продажа акций, бронирование путевок, обработка заказов Приложения проще портировать, если Используются сохраненные процедуры Проблемы с производительностью отделены от поднабора таблиц

10 Оптимизация основной памяти Оптимизация для обработки данных в оперативной памяти Индексы (хэш-индексы и упорядоченные индексы) представлены только в оперативной памяти Нет пула буферной памяти Хранилище на основе потоков для длительного хранения данных Стабильное снижение цены оперативной памяти, NVRAM Тенденции в сфере оборудования Особенности конфигурации таблиц с оптимизацией памяти 10 Модели таблиц Фиксированная схема; не используется команда ALTER TABLE; сброс/повторное создание/повторная загрузка обязательны Нет типов данных для отдельных подразделений; размер строки не более 8060 Не поддерживаются ограничения (только основной ключ) Нет идентификационных данных, вычисленных столбцов и CLR Размер данных и таблиц Размер таблиц = (размер строки * число строк) Размер хэш-индекса = (число_блоков * 8 байт) Макс. размер SCHEMA_AND_DATA = 512 Гбайт Ввод-вывод для длительного хранения SCHEMA_ONLY и SCHEMA_AND_DATA Группа файлов с оптимизацией памяти Данные и дельта-файлы Журнал транзакций Восстановление базы данных Высокопроизводитель ные операции с данными Преимущест ва Главные технические особенности In-Memory OLTP Факторы развития

11 Создание таблицы: CREATE TABLE [Customer]( [CustomerID] INT NOT NULL PRIMARY KEY NONCLUSTERED HASH WITH (BUCKET_COUNT = ), [Name] NVARCHAR(250) NOT NULL INDEX [IName] HASH WITH (BUCKET_COUNT = ), [CustomerSince] DATETIME NULL ) WITH (MEMORY_OPTIMIZED = ON, DURABILITY = SCHEMA_AND_DATA); Эта таблица поддерживает оптимизацию памяти Эта таблица предназначена для длительного хранения Дополнительные индексы заданы внутри Хэш-индекс

12 Создание процедуры: CREATE PROCEDURE DATETIME WITH NATIVE_COMPILATION, SCHEMABINDING, EXECUTE AS OWNER AS BEGIN ATOMIC WITH (TRANSACTION ISOLATION LEVEL = SNAPSHOT, LANGUAGE = 'us_english') -- insert T-SQL here END Этот процесс компилируется внутри Внутренние процессы должны быть привязаны к схеме Элементарные блоки Транзакция создается при отсутствии транзакций В противном случае создается точка сохранения Необходим контекст выполнения Настройки сеанса задаются в процессе создания

13 Компиляция в машинный код T- SQL Компиляция T-SQL в машинный код с помощью генератора кода C и компилятора Visual C Активация процедуры – это просто входная точка DLL Агрессивная оптимизация во время компиляции Недостаточно быстрый рост тактовой частоты ЦП Тенденции в сфере оборудования Особенности конфигурации сохраненных процедур с внутренней компиляцией 13 Эффективная обработка на базе бизнес-логики Преимущества Главные технические особенности In-Memory OLTP Факторы развития Сохраненные процедуры с внутренней компиляцией Другие виды компиляции Производительность Высокая. Значительно меньше инструкций Не отличается от обращений T-SQL в SQL Server на данный момент Стратегия переноса Изменение приложений; дополнительная разработка Простой перенос приложений с сохранением доступа к таблицам, которые поддерживают оптимизацию памяти Доступ к объектам Взаимодействие только с таблицами с оптимизацией памяти Все объекты; доступ к транзакциям в таблицах с оптимизацией памяти и таблицах дерева B Поддержка конструкций T-SQLОграничена Контактная зона T-SQL (взаимодействие с оптимизацией памяти ограничено) Оптимизация, статистика, и планирование запросов Статистика используется в процессе создания и компиляции Обновленную статистику можно использовать для изменения плана при запуске Гибкость Ограничена (нет процедуры ALTER, уровень изоляции задается во время компиляции) Шаблоны динамических запросов

14 Интегрированный интерфейс 14 Резервное копирование и восстановление Поддерживается резервное копирование и восстановление всех компонентов и только журналов; также поддерживается частичное восстановление Кластеризация для аварийного восстановления Время аварийного восстановления зависит от размера таблиц длительного хранения с оптимизацией памяти AlwaysOn В дополнительной среде таблицы с оптимизацией памяти размещаются в оперативной памяти Время аварийного восстановления не зависит от размера таблиц длительного хранения с оптимизацией памяти DMV, страницы каталогов, счетчики мониторинга производительности, события XEvent Память для мониторинга, сбор «мусора» и сведения о транзакциях SQL Server Management Studio (SSMS) Создание, администрирование и мониторинг таблиц, баз данных и серверов

15 Длительное хранение 15 Таблицы с оптимизацией памяти могут быть временными или для длительного хранения По умолчанию они предназначены для длительного хранения Временные таблицы используются для транзитных данных Таблицы для длительного хранения содержатся в отдельной группе файлов с оптимизацией памяти У хранилища для оптимизации памяти и у таблиц на диске разные шаблоны доступа Группа файлов может содержать несколько контейнеров (томов) Дополнительные контейнеры помогают выполнять параллельное восстановление; восстановление выполняется со скоростью ввода-вывода

16 Резервное копирование таблиц с оптимизацией памяти 16 Интегрировано с резервным копированием базы данных SQL Резервное копирование группы файлов с оптимизацией памяти выполняется в ходе резервного копирования базы данных SQL Server Существующие сценарии резервного копирования выполняются с минимальными или нулевыми изменениями Резервное копирование журнала транзакций включает записи, которые относятся к оптимизации памяти Не поддерживается Дифференциальное резервное копирование

17 Миф 1 Реальность Проект «Hekaton» был запущен примерно 4 года назад в связи с новыми тенденциями в бизнесе и в сфере разработки оборудования Решение SQL Server In-Memory OLTP было создано недавно, как ответ конкурентам

18 Миф 2 Реальность In-Memory OLTP – абсолютно новая конфигурация, оптимизированная для эффективной обработки данных в оперативной памяти. Для таблиц с оптимизацией памяти не нужны страницы или пул буферной памяти. Технология In-Memory OLTP похожа на DBCC PINTABLE

19 Миф 3 Реальность In-Memory OLTP – это функция, которая полностью интегрирована в SQL Server 2014 Базы данных In-Memory – это отдельные новые продукты

20 Миф 4 Реальность Изменения обязательно потребуются: как минимум, нужно будет изменить схему Чтобы использовать In-Memory OLTP в существующем приложении SQL Server, НЕ требуется никаких изменений

21 Миф 5 Реальность Система In-Memory OLTP предназначена для длительного хранения данных и включает несколько функций обеспечения высокой доступности (например, AlwaysOn Данные хранятся на диске и не будут утеряны в случае сбоя сервера Поскольку таблицы размещаются в оперативной памяти, в них нельзя долго хранить данные и они не высокодоступны: при сбое сервера я их потеряю

22 Сводная информация по In-Memory OLTP 22 Что получает заказчик Высокопроизводительное ядро OLTP с оптимизацией памяти, интегрированное в SQL Server и соответствующее современным тенденциям в сфере разработки оборудования Основные преимущества Пропускная способность при обработки данных in-memory выше в 20–30 раз Индексы (хэш и диапазон) хранятся только в оперативной памяти (нет пула буферной памяти, B-деревьев) Компиляция T-SQL в машинный код с помощью генератора кода C и компилятора Visual C Базовое ядро использует алгоритмы без блокировки (без диспетчеров блокировки, физической или циклической блокировки) Многовариантный контроль оптимистических одновременных операций с полной поддержкой ACID Перенос существующих приложений Интегрированный интерфейс с одинаковыми возможностями управления, принципами администрирования и разработки

23 C1C1 C2C2 C3C3 C5C5 C6C6 C4C4 Схема индекса столбцового хранилища Обработка данных в оперативной памяти Хранение данных организовано по столбцам: кучи, b-деревья, ключ-значение 23 Столбцовое хранилище с обработкой в памяти Используются и память, и дисковые накопители Встроено в основной движок реляционной СУБД Преимущества: ускорение в раз более простая разработка структуры базы функционирует на уже имеющемся у заказчика оборудовании простота обновления и развертывания При использовании выполняемого в памяти столбцового хранилища SQL Server 2012 нам удается извлекать около 100 млн записей не за полчаса, как раньше, а всего за 2-3 секунды. –- Ацуо Накадзима, заместитель директора, Bank of Nagoya

24 Структура индекса хранилища данных, работающего в памяти Сегменты и группы строк 24 Сегмент содержит значения из одного столбца и набора строк Сегменты, охватывающие один и тот же набор строк, составляют группу строк Данные в сегментах подвергаются сжатию? Каждый сегмент хранится в отдельном объекте LOB-типа Сегмент единица обмена данными между диском и памятью Сегменты C1 C2 C3 C5C6C4 Группы строк

25 Индекс хранилища данных, работающего в памяти Обработка примера 25

26 Горизонтальное секционирование Группы строк 26

27 Вертикальное секционирование Сегменты 27

28 Сжатие каждого сегмента* Степень сжатия сегментов варьируется 28 *Этапы кодировки и изменения порядка следования не показаны

29 Получение только нужных столбцов Исключение сегмента 29

30 Получение только нужных столбцов Исключение сегментов 30

31 Хранилище данных с обработкой в оперативной памяти Поддержка кластеризации и обновления 31 Быстрое выполнение запросов к хранилищу Ускорение более чем в десять раз Отсутствие потребности в отдельной таблицы для базы данных Экономия места Возможность вставки, обновления и удаления данных Простота управления Экономия места и простота управления Поддержка большего количества типов данных

32 Обновляемый индекс столбцового хранилища Таблица состоит из столбцового и строкового хранилищ Для операций DML (UPDATE, DELETE, INSERT) используется дельта-хранилище Значения INSERT – Всегда выполняется в дельта-хранилище DELETE Логическая операция – Данные физически удаляются после выполнения REBUILD. UPDATE – DELETE затем INSERT. BULK INSERT – Если в пакете меньше 100 тыс. строк, вставки отправляются в дельта-хранилище, в противном случае в столбцовое SELECT – Объединяет данные из столбцового и строкового хранилищ внутренняя операция UNION – Переносчик кортежей преобразует данные в столбцовый формат после заполнения сегмента (по достижении миллиона строк). – Команда REORGANIZE запускает переносчик кортежей C1 C2 C3 C5C6C4 Столбцовое хранилище e C1 C2 C3 C5C6C4 Дельта-хранилище (строковое) Переносчик кортежей

33 Сравнение экономии места Таблица из 101 млн строк + индекс 33

34 Коротко об усовершенствовании столбцового хранилища Что нового Кластеризованный, обновляемый столбцовый индекс Дополнительный уровень сжатия архивный Глобальная пакетная агрегация Главные преимущества Высокоскоростной движок хранилища данных Возможность продолжать выполнение запросов во время обновления без сброса и повторного создания индекса или изменения секций Колоссальная экономия места на диске благодаря сжатию данных Возможность сжать данные в 5-15 раз с использованием архивной посекционной компрессии Более быстрая и эффективная (с меньшим расходом памяти) пакетная обработка запросов при использовании пакетного режима взамен строкового

35 Демо Использование оптимизированных таблиц

36 Модуль 3: Гибридные сценарии SQL Server 2014 Виртуальные машины Azure и БД Интеграция локальных сред с Azure Развертывание и бэкап в Azure

37 Гибридные облачные решения Восстановление VM Geo-replication

38 Развертывание БД на Azure ВМ

39 Резервное копирование в Windows Azure Преимущества для пользователя SQL Server поддерживает резервное копирование и восстановление из хранилища BLOB- объектов Windows Azure (командлеты UI, T-SQL, PowerShell) Основное преимущество: использование хранилища BLOB-объектов Windows Azure Гибкое, надежное (аварийное восстановление 3 копий) и безграничное хранилище Больше не нужно искать место для хранения резервных копий Не нужны дополнительные сотрудники, отвечающие за резервное копирование CREATE CREDENTIAL mystoragecred WITH IDENTITY = mystorage', SECRET = BACKUP DATABASE mydb TO URL =' bak' WITH CREDENTIAL = mystoragecred', FORMAT, COMPRESSION, STATS = 5, MEDIANAME = mydb backup ', MEDIADESCRIPTION = 'Backup of mydb'

40 SSMS 2014 графически поддерживает: Простая конфигурация UI. Легкое создание под облачными правами. Без допрасходов. Backup to Azure Tool (бесплатная) Позволяет напрямую копировать файлы с поддерживаемых версий в хранилище Azure. ( Резервное копирование в Azure из SSMS

41 Модуль 4: SQL Server 2014 высокая доступность Always on группы Отказоустойчив ые кластеры Облачное аварийное восстановление

42 Что такое Log Shipping? Log shipping состоит из 3 операций: 1. Бэкап лога транзакций с первичного сервера. 2. Копирование лога транзакций на вторичный сервер. 3. Восстановление лога на вторичный сервер. О Log Shipping: Лог может быть сохранен на несколько вторичных установок. В таких случаях операции 2 и 3 дублируются на каждую вторичную установку. Конфигурация лог шиппинга автоматически не отказоустойчива с первичного сервера на вторичный.

43 Что такое зеркалирование баз? Зеркалирование баз Сохраняет 2 копии одной базы, которые должны храниться в разных установках SQL сервера. Обычно эти установки находятся в разных локациях. Один сервер обслуживает базу для клиентов (основной сервер). Другая установка играет роль горячего или «теплого» сервера в ожидании (зеркальный сервер). Когда зеркалирование БД развернуто в рабочей среде, основной сервер является рабочей базой. Автоматическая отказоустойчивость реализуется с помощью свидетеля.

44 Группы доступности AlwaysOn Высокая производительность Одно решение для управления; группы доступности для кластера, зеркалирования, лог шиппинга и диагностики. Мастера для облегчения установки; дашборды для улучшения восприятия Высокое время доступности (Uptime) и высокая утилизация железа H/W Несколько активных вторичных установок (до 8). Отказоустойчивость баз на нескольких установках Быстрое подключение и восстановление страниц Выгрузка и распределение нагрузок на вторичные установки. Дополнительные преимущества Масштабирование по требованию; распределение нагрузки на читаемые реплики Производительность распределяется переносом нагрузок с первичного на вторичное хранилище (включая бэкапы).

45 Availability Mode Replica Property В AlwaysOn Группах доступности Режим доступности – это владение репликой, которое определяет может ли данная реплика запускаться в синхронном режиме: synchronous-commit mode Если данная реплика сконфигурирована в таком режиме, основная реплика ожидает вторичную реплику для подтверждения фиксации лога asynchronous-commit mode Если вторичная реплика сконфигурирована в таком режиме asynchronous-commit mode, первичная реплика не ожидает, что вторичная реплика зафиксирует лог

46 Демо SQL Server 2014 AlwaysOn Обзор

47 SQL Server 2012: Заказчики используют максимально 4 вторичных реплики для чтения для разгрузки задач по чтению - Одна технология для настройки и управления - Высокая пропускная способность (~7x) по сравнению с репликацией. Заказчики просят больше реплик - Сокращение времени ожидания запросов (в геораспределенных окружениях). - Масштабирование задач по чтению. SQL Server 2014: максимально 8 вторичных - Максимально 2 синхронизируемых вторичных реплики для высокой доступности. - Задержки зависят от сетевой латентности и I/O. Улучшения групп доступности Увеличенное число вторичных баз

48 Cluster Shared Volume (CSV) - Общий диск, доступны всем нодам (через SMB). - Один или более дисков на физическом диске. Отказоустойчивые кластерные экземпляры на CSV - Увеличивают использование SAN Убирают ограничение в 24 диска. - Увеличивают гибкость I/O Повторяют чтение/запись на других нодах. - Увеличивают отказоустойчивую гибкость Диски не надо монтировать/демонтировать. Поддержка кластеров на CSV Поддержка Windows Cluster Shared Volumes (Windows Server 2012 & 2012 R2)

49 Зачем нужна возможность облачного аварийного восстановления для SQL Server? 49 Из-за непредвиденного события локальный SQL Server может оказаться недоступным; - временно (например, из-за сбоя шлюза); - перманентно (например, из-за наводнения). Собственная среда аварийного восстановления это дорого: - аренда площади, техническое обслуживание; - оборудование; - эксплуатационные затраты.

50 Группы доступности для облачного аварийного восстановления 50 Группы доступности дают дополнительные преимущества: интегрированный механизм аварийного восстановления высокой готовности; соединение приложений для отчетности и аналитики; перенос приложений и их использование с локальными дополнительными копиями; соединение приложений для отчетности и аналитики. Перенос приложений и их использование с локальными дополнительными копиями соответствие нормативным требованиям Группы доступности требуют: использования единого домена Windows; наличия контроллера домена Active Directory.

51 Демо Бэкап в Azure

52 Модуль 8: Подведение итогов

53 53 Ahead of the Game Marketing Content Компетенции Microsoft Virtual Academy Учебный Центр /Training/partner-learning-center.aspx ISV Upgrade Support with app name and name of

54

55