Принципы построения БД Тема 21 Принципы построения и работы баз данных Тема 02: Технические средства и их характеристики. - презентация

1 Принципы построения БД Тема 21 Принципы построения и работы баз данных Тема 02: Технические средства и их характеристики

2 Принципы построения БД Тема 22 Основные вопросы Оборудование: Дисковая память Время доступа Пример - Megatron 747 Оптимизация Другие вопросы: –Стоимость памяти –Использование вторичной памяти –Сбои дисков

3 Принципы построения БД Тема 23 Оборудование СУБД Хранилище данных

4 Принципы построения БД Тема 24 P MC Типичный компьютер Вторичная память...

5 Принципы построения БД Тема 25 Процессор Быстрый, медленный, RISC/CISC, со встроенным кэшем, конвейерный,... Speed: MIPS Ореративная память Быстрая, медленная, энергонезависимая, только для чтения (ROM),... Время доступа: sec. 1 s 1 ns

6 Принципы построения БД Тема 26 Вторичная память Несколько видов: - Диск: Сменные (жесткие, мягкие) Сменные пакеты Обычные жесткие диски с произвольным доступом Оптические, CD-ROМ Дисковые массивы - Ленты: катушечные, кассетные - Роботизированные хранилища

7 Принципы построения БД Тема 27 Основное внимание: Типичный диск Термины: поверхность, головка, цилиндр, дорожка, сектор (физический), блок (логический), промежуток, …

8 Принципы построения БД Тема 28 Вид сверху

9 Принципы построения БД Тема 29 Tипичные значения Диаметр: 1 дюйм 15 дюймов Цилиндров: Поверхностей:1 (CDs) (дор./цил.) 2 (флоппи) 30 Размер сектора: 512B 50K Общая емкость: 360 KB (флоппи) 120 GB

10 Принципы построения БД Тема 210 Время доступа Блок Х в оп.памяти ? Запрос на блок X

11 Принципы построения БД Тема 211 Время =перемещение головок + задержка вращения + передача блока + другое

12 Принципы построения БД Тема 212 Перемещение головок (время поиска) 3 or 5x x 1N Кол-во цилиндров Время

13 Принципы построения БД Тема 213 Среднее время поиска SEEKTIME (i j) S = N(N-1) N N i=1 j=1 j i Tипичное S: 5 мсек 20 мсек

14 Принципы построения БД Тема 214 Задержка вращения Головка здесь Нужный блок

15 Принципы построения БД Тема 215 Средняя задержка вращения R = 1/2 оборота диска типичное R = мсек (7200 об/мин)

16 Принципы построения БД Тема 216 Дополнительная сложность необходимо определить начало дорожки прежде, чем можно читать нужный блок Головка здесь Нужный блок Начало дорожки

17 Принципы построения БД Тема 217 Скорость передачи: t типичное t: MB/сек время передачи: размер блока t

18 Принципы построения БД Тема 218 Другие задержки ожидание доступности процессора для выдачи команды I/O ожидание доступности контроллера ожидание доступности шины, памяти Tипичные значения : 0

19 Принципы построения БД Тема 219 До сих пор речь шла о произвольном (случайном) доступе Что изменится при чтенииследующего блока?

20 Принципы построения БД Тема 220 При эффективной организации I/O (двойной буферизации и других приемах) Время получения = размер блока + пренебрежимо блока t малое время - пропустить промежуток - перейти на другую дорожку цилиндра - время от времени перейти на следующий цилиндр

21 Принципы построения БД Тема 221 Главное Произвольный (случайный) доступ правило гораздо медленнее последовательного Пример:1 KB Block »случайный I/O: 10 мсек. »последовательный I/O: 0.5 мсек.

22 Принципы построения БД Тема 222 Время записи то же, что и время чтения За исключением записи с проверкой! надо добавить (полный) оборот + размер блока t

23 Принципы построения БД Тема 223 Для модификации блока: (a) прочитать блок (b) модифицировать в памяти (c) записать блок [(d) проверить?]

24 Принципы построения БД Тема 224 Адрес блока: Номер устройства Номер цилиндра Номер поверхности Номер сектора

25 Принципы построения БД Тема 225 Сложно обрабатывать Может программно отображаться на последовательность целых чисел 1 2. Отобра- Действительные жение адреса. m Осложнения: дефектные блоки

26 Принципы построения БД Тема 226 Диаметр 3.5 дюйма 3600 об/мин 1 поверхность 16 MB полезная емкость (16 X 2 20 ) 128 цилиндров Время поиска: среднее = 25 мсек. соседний цилиндр = 5 мсек. Пример Megatron 747 диск (устаревший)

27 Принципы построения БД Тема 227 Размер сектора = 1 KB = 1 блок 10% дорожки составляют межблочные промежутки емкость = 16 MB = (2 20 )16 = 2 24 число цилиндров = 128 = 2 7 байт/цил. = 2 24 /2 7 = 2 17 = 128 KB блок/ цил. = 128 KB / 1 KB = 128

28 Принципы построения БД Тема об/мин 60 оборотов / сек 1 об. = ms Дорожка :... Время над полезными данными: (16.66)(0.9) = 15 мсек. Время над промежутками : (16.66)(0.1) = 1.66 мсек. Время передачи 1 блока = 15/128 = мсек. Время перед.1 блока+промеж. = 16.66/128 = 0.13мсек. Макс.скорость передачи = 1/0.117 = 8.53 блок/мсек = 8.53*1KB*1000мсек/сек*1MB/1024KB = 8.33MB/сек Реальная скорость передачи (дорожки – 128KB за мсек) = 128/16.66 = 7.68 KB/мсек = 7.5MB/сек

29 Принципы построения БД Тема 229 T 1 = Время чтения случайного блока T 1 = поиск + задержка вращения + передача блока = 25 + (16.66/2) = мсек. предполагая, что мы не ждем начала дорожки

30 Принципы построения БД Тема 230 Допустим, что ОС работает с блоками размером 4 KB T4 = 25 + (16.66/2) + (.117) x 1 + (.130) X 3 = мсек [Сравните с T1 = ms] блок

31 Принципы построения БД Тема 231 TT = Время чтения всей дорожки (начиная с любого блока) TT = 25 + (0.130/2) * = ms попасть на начало первого блока * На самом деле несколько меньше; не нужно читать последний промежуток

32 Принципы построения БД Тема 232 Новый Megatron 747 (Пример 11.3) 2 4 = 16 поверхностей, 3.5 дюйма диаметр – используется только внешний 1 дюйм 2 14 = дорожек/поверхность 2 7 = 128 (в среднем) секторов/дорожку 2 12 = 4096 байт/сектор 2 37 = 128GB – общая емкость 2 19 = 512KB – емкость 1 дорожки если все дорожки по 128 секторов, то –плотность самой внешней дорожки ~ бит/дюйм –плотность самой внутр. дорожки ~ бит/дюйм Если число секторов увел. с 96 (на внутр.) до 160 (на внеш.), то плотность вырастет с до бит/дюйм Скорость вращения – 7200 об/мин

33 Принципы построения БД Тема 233 Временные характеристики нового Megatron 747 (Пример 11.5) Допустим, что для разгона и остановки блока головок требуется 1 мсек плюс 1 мсек на движение на 1000 цилиндров(в ту или другую сторону) Максим. время поиска = мсек Время полного оборота = 60/7200 = сек Угл. радиус байт блока 36*3/ *4/128 = Время чтения байт блока: –Мин.: 10.97/360*8.33 = 0.25 мсек (без задержки вращ.) –Мах: = мсек –Среднее: = мсек (5641 – среднее кол-во цилиндров между 2 случайными)

34 Принципы построения БД Тема 234 Способы оптимизации (контроллер,ОС) Алгоритмы упорядочения –Например, алгоритм «лифта» Использование буфера размера дорожки диска (или более) Предварительное чтение блока (до запроса) Дисковые массивы Зеркальные диски

35 Принципы построения БД Тема 235 Двойная буферизация Задача: Имеется файл Последовательность блоков B1, B2,... Программа Обработать B1 Обработать B2 Обработать B3

36 Принципы построения БД Тема 236 Использование одного буфера (1) Читать B1 Буфер (2) Обработать данные в буфере (3) Читать B2 Буфер (4) Обработать данные в буфере... ПустьP = время обработки 1 блока R = время чтения 1 блока n = кол-во блоков в файле Время обработки с одним буфером = n(P+R)

37 Принципы построения БД Тема 237 Двойная буферизация Память: Диск: ABCDGEFA B Обраб. A C B

38 Принципы построения БД Тема 238 Пусть P R Каково время обработки? P = время обработки 1 блока R = время чтения 1 блока n = кол-во блоков в файле Время обработки с 2 буферами = n(P+R) Время обработки с 1 буфером = n(P+R)

39 Принципы построения БД Тема 239 Выбор размера блока Большой блок уменьшает относительную стоимость I/O Большой блок приходится читать много бесполезной информации, больше затраты на чтение Тенденция – по мере удешевления памяти размер блоков увеличивается К сожалению...

40 Принципы построения БД Тема 240 Стоимость памяти Время доступа(сек) кэш оперативная память вторичная память магнитные оптические диски online ленты Опти- ческие диски offline ленты Типичная емкомть(байт) согласно Gray & Reuter

41 Принципы построения БД Тема 241 Стоимость памяти Время доступа(сек) кэш оперативная память вторичная память магнитные оптические диски online ленты Опти- ческие диски offline ленты долларов/MB согласно Gray & Reuter

42 Принципы построения БД Тема 242 Эффективное использование вторичной памяти (Раздел 11.4) Пример: внешняя сортировка Зоключение: –Стоимость I/O доминирует –Необходимость розработки алгоритмов по- возможности уменьшающих I/O Каков должен быть размер блоков?

43 Принципы построения БД Тема 243 Сбои дисков (Раздел 11.6) Частичные Полные Временные Постоянные Что делать в таких случаях? Детектирование –Например, используя контрольные суммы Коррекция –Использование избыточности

44 Принципы построения БД Тема 244 На каком уровне можно бороться со сбоями дисков? Отдельный диск –Используя коды, корректирующие ошибки Дисковые массивы Логический диск Физические диски

45 Принципы построения БД Тема 245 Уровень ОС, дублирование данных Логический блок Копия A Копия B

46 Принципы построения БД Тема 246 Системы баз данных Например, Файл протокола Текущая БД Недельная копия БД

47 Принципы построения БД Тема 247 Вторичная память, в основном, дисковая Характеристики (время) I/O Операций I/O, по-возможности, лучше избегать, особенно случайных (запросы к отдельным случайным блокам в файле или БД). Итог