Лекция 8. Проектирование БД. Архитектура построения СУБД. Все тонкости построения информационной модели некоторой предметной области деятельности человека. - презентация

1 Лекция 8. Проектирование БД. Архитектура построения СУБД. Все тонкости построения информационной модели некоторой предметной области деятельности человека преследуют одну цель – получить хорошую БД. Поясним термин «хорошая БД» и сформулируем требования, которым она должна удовлетворять. 1. Должна удовлетворять информационным потребностям и возможностям пользователей (организаций) и по структуре и содержанию соответствовать решаемым задачам. 2. Должна обеспечивать получение требуемых данных за приемлемое время, т. е. отвечать требованиям производительности. 3. Должна легко расширяться либо интегрироваться в более масштабные объекты при реорганизации предметной области. 4. Должна легко изменяться при изменении программной и аппаратной среды. 5. Корректные данные, загруженные в БД, должны оставаться корректными (данные должны проверяться на корректность при их вводе).

2 Схема проектирования СУБД

3 Этапы проектирования. Первый этап. Планирование разработки БД. На этом этапе выделяется наиболее эффективный способ реализации этапов жизненного цикла системы. Второй этап. Определение требований к системе. Производится определение диапазона действий и границ приложения БД, а также сбор и анализ требований пользователей. Третий этап. Проектирование концептуальной модели БД. Процесс создания БД начинается с определения концептуальной модели, представляющей объекты и их взаимосвязи без указания способов их физического хранения. Усилия на этом этапе должны быть направлены на структуризацию данных и выявление взаимосвязей между ними. Этот процесс можно разбить еще на несколько подэтапов.

4 а) Уточнение задачи. Перед началом работы над конкретным приложением разработчик должен явно представлять то, что он будет разрабатывать. В случаях, когда разрабатывается небольшая персональная БД, такие представления могут быть достаточно полными. В других случаях, когда разрабатывается большая БД под заказ, таких представлений или может быть очень мало, или они будут поверхностными. Сразу начинать разработку с определения таблиц, полей и связей между ними будет явно рановато. Такой подход в большинстве случаев приведет к полной переделке приложения. Поэтому следует затратить некоторое время на составление списка всех основных задач, которые должны решаться этим приложением, включая и те, которые могут возникнуть в будущем. б) Уточнение последовательности выполнения задач. Чтобы приложение работало логично и удобно, лучше всего объединить основные задачи в группы и затем упорядочить задачи каждой группы так, чтобы они располагались в порядке их выполнения. Группировка и графическое представление последовательности выполнения помогут определить естественный порядок выполнения задач. в) Анализ данных. После определения списка задач для каждой задачи необходимо составить полный перечень данных, требуемых для ее решения. После анализа данных можно приступать к разработке концептуальной модели, т. е. к выделению объектов, атрибутов и связей.

5 Четвертый этап. Построение логической модели. Этап начинается с выбора модели данных. При выборе модели важную роль играет ее простота, наглядность и сравнение естественной структуры данных с моделью, ее представляющей. Но часто этот выбор определяется успехом (или наличием) той или иной СУБД. То есть разработчик выбирает СУБД, а не модель данных. Таким образом, на этом этапе концептуальная модель транслируется в модель данных, совместимую с выбранной СУБД. Возможно, что отображенные в концептуальной модели взаимосвязи между объектами либо некоторые атрибуты объектов окажутся впоследствии нереализуемыми средствами выбранной СУБД. Это потребует изменения концептуальной модели. Версия концептуальной модели, которая может быть обеспечена конкретной СУБД, называется логической моделью. Иногда процесс определения концептуальной и логической модели называется определением структуры данных.

6 Пятый этап. Построение физической модели. Физическая модель определяет размещение данных, методы доступа и технику индексирования. На этапе физического проектирования мы привязываемся к конкретном СУБД и расписываем схему данных более детально, с указанием типов, размеров полей и ограничений- Кроме разработки таблиц и индексов, производится также определение основных запросов. При построении физической модели приходится решать две взаимно противоположные по своей сути задачи. Первой из них является минимизация места хранения данных, а второй - достижение максимальной производительности, целостности и безопасности данных. Например, для обеспечения высокой скорости поиска необходимо создать индексы, причем их число будет определяться всеми возможными комбинациями полей, участвующими в поиске; для восстановления данных требуется ведение журнала всех изменений и создание резервных копий БД; для эффективной работы транзакций требуется резервирование места на диске под временные объекты, что приводит к увеличению (иногда значительному) размера БД.

7 Шестой этап. Оценка физической модели. На этом этапе проводится оценка эксплуатационных характеристик. Здесь можно проверить эффективность выполнения запросов, скорость поиска, правильность и удобство выполнения операций с БД, целостность данных и эффективность расхода ресурсов компьютера. При неудовлетворительных эксплуатационных характеристиках возможен возврат к пересмотру физической и логической модели данных, выбору СУБД и типа компьютера. Седьмой этап. Реализация БД. При удовлетворительных эксплуатационных характеристиках можно перейти к созданию макета приложения,т. е. набору основных таблиц, запросов, форм и отчетов. Этот предварительный макет можно продемонстрировать перед заказчиком и получить его одобрение перед детальной реализацией приложения.

8 Восьмой этап. Тестирование и оптимизация. Обязательным этапом является тестирование и оптимизация разработанного приложения. Девятый этап, заключительный. Сопровождение и эксплуатация. Так как выявить и устранить все ошибки на этапе тестирования не получится, то этап сопровождения является обычным для БД.

9 Существуют два основных подхода к проектированию схемы данных: нисходящий и восходящий. При восходящем подходе работа начинается с нижнего уровня - уровня определения атрибутов, которые па основе анализа существующих между ними связей группируются в объекты, и связи между ними. Процесс нормализации таблиц для реляционной модели данных является типичным примером этого подхода. Данный способ хорошо подходит для проектирования относительно небольших БД. При увеличении числа атрибутов до нескольких сотен и даже тысяч более приемлемой стратегией проектирования является нисходящий подход. Начинается он с определения нескольких высокоуровневых сущностей и связей между ними. Затем эти объекты детализируются до необходимого уровня. Примером такого подхода проектирования является использование модели «сущность - связь». На практике эти подходы обычно комбинируются, В таком случае можно говорить о смешанном подходе проектирования.

10 Автоматизированные средства разработки БД. Проектирование БД можно проводить с помощью автоматизированных систем разработки приложений, так называемых CASE (Computer Aided Software Engineering) систем. Автоматизированные системы разработки приложений представляют собой программные средства, поддерживающие процессы создания и сопровождения информационных систем, такие как анализ и формулировка требований, проектирование приложений, генерация кода, тестирование, управление конфигурацией и проектом. Основная цель CASE систем состоит в том, чтобы отделить процесс проектирования программного обеспечения от его кодирования и последующих этапов разработки (тестирование, документирование и т. д.), а также автоматизировать весь процесс создания программных систем.

11 Для автоматизации проектирования объектно-ориентированных баз данных CASE системы предоставляют специальный язык UML (Unified Model Language), который можно определить как промышленный объектно-ориентированный стандарт моделирования. Его составляющими можно назвать языки ОМТ (Object Modeling Technique) и OOSE (Object-Oriented Software Engineering). Большую роль в создании этого языка сыграл консорциум OMG (Object Management Group), включающий ряд ведущих производителей программного обеспечения. CASE системы различаются по ориентации, функциональной полноте и по типу используемой модели. По ориентации можно выделить CASE системы, предназначенные для анализа предметной области, для проектирования БД и для полной разработки приложений. К числу последних можно отнести MS Visual Studio. По функциональной полноте они разделяются на системы, предназначенные для решения отдельных задач проектирования и на интегрированные системы, поддерживающие весь цикл разработки. По типу используемой модели они разделяются на структурные, объектно-ориентированные и комбинированные.

12 Архитектура построения СУБД. Под СУБД понимают совокупность языковых и программных средств, обеспечивающих создание, поддержание (редактирование) и доступ к данным как со стороны пользователей, так и со стороны приложений. СУБД предоставляет: средства поддержки логической модели данных; развитый пользовательский интерфейс; средства программирования высокого уровня, с помощью которых можно создавать свои собственные приложения-БД; средства администрирования, обеспечения целостности, безопасности и секретности информации.

13 Основные операции (функции) СУБД заключаются в хранении, управлении, обработке и представлении данных. Их можно условно разбить на следующие классы: а) операции определения структуры данных; б) операции изменения данных: добавление (вставка); удаление; модификация (редактирование). Все эти операции зачастую заменяются одним термином - обновление данных; в) операции поиска и доступа к информации: выборка (получение данных из БД и обеспечение пользователю доступности выбранных данных); поиск (предусматривает установку курсора на записи, удовлетворяющей определенному критерию); сортировка; фильтрация; г) операции поддержки целостности и восстановления данных; д) операции контроля за доступом; е) операции поддержки обмена данными; ж)операции администрирования. Сюда также можно отнести так называемые низкоуровневые операции: управление данными во внешней памяти; управление буферами оперативной памяти; управление параллельностью и транзакциями; ведение журнала изменений в БД (имеется не во всех СУБД).

14 Для работы с хранящейся в БД информацией СУБД предоставляет программам и пользователям следующие два вида языков: язык описания данных DDL – Data Definition Language - высокоуровневый непроцедурный язык декларативного типа, предназначенный для описания логической структуры данных. Может дополнительно подразделяться на SDL (Storage Definition Language) и VDL (View Definition Language); язык манипулирования данными (DML- Data Manipulation Language) - совокупность инструкций, обеспечивающих выполнение основных операций по работе с данными: ввод, удаление, модификацию и выборку данных. Обычно инструкции DML указывают, какие данные необходимо извлечь, а не как они должны быть извлечены, и поэтому его также называют декларативным языком.

15 СУБД представляет собой сложную систему, состоящую из многих компонентов. Структурно схему построения СУБД можно представить следующей схемой.

16 База данных и словарь данных (системный каталог, хранящий метаданные) хранятся на внешних носителях. Операции доступа к данным на низком уровне (запись/чтение) контролируются операционной системой. Если требуется высокая производительность, то такие операции могут контролироваться самой СУБД. На более высоком уровне операции доступа контролируются ядром БД, которая использует для этого информацию, содержащуюся в словаре данных. Практически всегда для каждой операции доступа в оперативной памяти (ОП) выделяется область, называемая буфером. Необходимость буферизации обусловлена тем, что объем ОП всегда меньше объема внешней памяти. Такой подход повышает производительность системы и позволяет предоставить доступ к одним и тем же данным разным процессам (в конечном случае пользователям). Ядро БД также ответственно за поддержку безопасности и целостности БД.

17 Интерпретатор DDL обрабатывает инструкции определения/изменения структуры данных и сохраняет результаты в системном каталоге. Запросы от пользователей интерпретируются интерпретатором DML и затем обрабатываются ядром БД. Так как чаще всего запросы формируются через высокоразвитый интерфейс и могут представлять собой нечто достаточно абстрактное, то они проходят предварительную предкомпиляцию в инструкции DML. Операции управления и администрирования выполняются непосредственно ядром БД и промежуточной обработки не требуют.

18 Признаки, по которым можно различать СУБД. 1. По типу поддерживаемой модели: реляционные, объектные, объектно-реляционные, иерархические, сетевые, другие (многомерные, постреляционные). 2. По количеству поддерживаемых пользователей; однопользовательские и многопользовательские. 3. По количеству компьютеров, на которых располагается СУБД: централизованные (один компьютер) и распределенные (Distributed DBMS - DDBMS). 4. По назначению: общецелевые и специальные (обслуживание банков, продажа и резервирование билетов и т. д. Часть из них образует категорию OLTP – On-line Transaction Processing Systems).

19 Реляционные СУБД обладают рядом особенностей, влияющих на организацию внешней памяти. К наиболее важным особенностям можно отнести следующие: -Наличие двух уровней системы: уровня непосредственного управления данными во внешней памяти (а также обычно управления буферами оперативной памяти, управления транзакциями и журнализацией изменений БД) и языкового уровня (например, уровня, реализующего язык SQL). При такой организации подсистема нижнего уровня должна поддерживать во внешней памяти набор базовых структур, конкретная интерпретация которых входит в число функций подсистемы верхнего уровня. -Поддержание отношений-каталогов. Информация, связанная с именованием объектов базы данных и их конкретными свойствами (например, структура ключа индекса), поддерживается подсистемой языкового уровня. С точки зрения структур внешней памяти отношение-каталог ничем не отличается от обычного отношения базы данных.

20 -Регулярность структур данных. Поскольку основным объектом реляционной модели данных является плоская таблица, главный набор объектов внешней памяти может иметь очень простую регулярную структуру. -При этом необходимо обеспечить возможность эффективного выполнения операторов языкового уровня как над одним отношением (простые селекция и проекция), так и над несколькими отношениями (наиболее распространено и трудоемко соединение нескольких отношений). Для этого во внешней памяти должны поддерживаться дополнительные "управляющие" структуры - индексы. -Наконец, для выполнения требования надежного хранения баз данных необходимо поддерживать избыточность хранения данных, что обычно реализуется в виде журнала изменений базы данных.

21 Соответственно возникают следующие разновидности объектов во внешней памяти базы данных: -строки отношений - основная часть базы данных, большей частью непосредственно видимая пользователям; -управляющие структуры - индексы, создаваемые по инициативе пользователя (администратора) или верхнего уровня системы из соображений повышения эффективности выполнения запросов и обычно автоматически поддерживаемые нижним уровнем системы; -журнальная информация, поддерживаемая для удовлетворения потребности в надежном хранении данных; -служебная информация, поддерживаемая для удовлетворения внутренних потребностей нижнего уровня системы (например, информация о свободной памяти).

22 Как бы не были организованы индексы в конкретной СУБД, их основное назначение состоит в обеспечении эффективного прямого доступа к кортежу отношения по ключу. Обычно индекс определяется для одного отношения, и ключом является значение атрибута (возможно, составного). Если ключом индекса является возможный ключ отношения, то индекс должен обладать свойством уникальности, т.е. не содержать дубликатов ключа. На практике ситуация выглядит обычно противоположно: при объявлении первичного ключа отношения автоматически заводится уникальный индекс, а единственным способом объявления возможного ключа, отличного от первичного, является явное создание уникального индекса. Это связано с тем, что для проверки сохранения свойства уникальности возможного ключа так или иначе требуется индексная поддержка. Индексация в БД

23 Поскольку при выполнении многих операций языкового уровня требуется сортировка отношений в соответствии со значениями некоторых атрибутов, полезным свойством индекса является обеспечение последовательного просмотра кортежей отношения в диапазоне значений ключа в порядке возрастания или убывания значений ключа. Наконец, одним из способов оптимизации выполнения эквисоединения отношений (наиболее распространенная из числа дорогостоящих операций) является организация так называемых мультииндексов для нескольких отношений, обладающих общими атрибутами. Любой из этих атрибутов (или их набор) может выступать в качестве ключа мультииндекса. Значению ключа сопоставляется набор кортежей всех связанных мультииндексом отношений, значения выделенных атрибутов которых совпадают со значением ключа. Общей идеей любой организации индекса, поддерживающего прямой доступ по ключу и последовательный просмотр в порядке возрастания или убывания значений ключа, является хранение упорядоченного списка значений ключа с привязкой к каждому значению ключа списка идентификаторов кортежей. Одна организация индекса отличается от другой главным образом в способе поиска ключа с заданным значением.

24 B-деревья Видимо, наиболее популярным подходом к организации индексов в базах данных является использование техники B-деревьев. С точки зрения внешнего логического представления B-дерево - это сбалансированное сильно ветвистое дерево во внешней памяти. Сбалансированность означает, что длина пути от корня дерева к любому его листу одна и та же. Ветвистость дерева - это свойство каждого узла дерева ссылаться но большое число узлов- потомков. С точки зрения физической организации B-дерево представляется как мультисписочная структура страниц внешней памяти, т.е. каждому узлу дерева соответствует блок внешней памяти (страница). Внутренние и листовые страницы обычно имеют разную структуру. В типовом случае структура внутренней страницы выглядит следующим образом: При этом выдерживаются следующие свойства: ключ(1)

25 Листовая страница обычно имеет следующую структуру: Листовая страница обладает следующими свойствами: -ключ(1) < ключ(2)

26 Поиск в B-дереве - это прохождение от корня к листу в соответствии с заданным значением ключа. Заметим, что поскольку деревья сильно ветвистые и сбалансированные, то для выполнения поиска по любому значению ключа потребуется одно и то же (и обычно небольшое) число обменов с внешней памятью. Более точно, в сбалансированном дереве, где длины всех путей от корня к листу одни и те же, если во внутренней странице помещается n ключей, то при хранении m записей требуется дерево глубиной log n (m). Если n достаточно велико (обычный случай), то глубина дерева невелика, и производится быстрый поиск. Основной "изюминкой" B-деревьев является автоматическое поддержание свойства сбалансированности. Следует заметить, что при организации мультидоступа к B- деревьям, характерного при их использовании в СУБД, приходится решать ряд нетривиальных проблем. Конечно, грубые решения очевидны, например монопольный захват B- дерева на все выполнение операции модификации.

27 Хеширование. Индекс - это внутренняя таблица, имеющая два столбца: упорядоченные значения выражения, содержащего все поля. включенные в индекс, и местоположение каждой записи сданным значением индексного выражения. В первом поле индекса можно хранить значения индексных полей таблицы либо свертку поля (так называемый хеш-код). Преимущество хранения хеш-кода вместо соответствующих значений состоит в том, что длина свертки не зависит от длины исходных значений и имеет достаточно малую величину (например, 4 байта), что существенно снижает время поиска. Недостатком хеширования является необходимость выполнения операции свертки, что требует определенных затрат времени, и возможность возникновения коллизий (свертка различных значений может дать одинаковый хеш-код). Для организации ссылки на запись таблицы часто используются абсолютные или относительные адреса дисковой памяти компьютера. Так как таблицы хранятся в виде совокупности блоков данных фиксированного размера (например, целого числа кластеров), то преимущественно в качестве адресов записей используются адреса начала этих блоков.

28 Таким образом, индекс обычно сохраняет каждое значение индексированного поля вместе со списком указателей на все блоки данных физического носителя, которые содержат записи с данным значением индексируемого поля. Значения всегда хранятся в упорядоченном виде, что позволяет применить быстрые алгоритмы поиска, например бинарный поиск. Число обращений к индексу будет log 2 n. где n - число записей в индексе. Индексный файл имеет намного меньший размер, чем файл данных, тем самым еще более повышая эффективность поиска.

29 Различают первичные и вторичные индексы в зависимости от того, определяет ли поле, на котором основан индекс, физический порядок записей в таблице или нет. Первичный (primary) индекс создается на основе первичного ключа таблицы, т. е. поля, которое определяет физический порядок следования записей в таблице и является уникальным. Так как таблица может содержать не более одного поля, определяющего физический порядок записей, то для нее может быть определен только один первичный индекс. Дополнительно для таблицы можно определить несколько вторичных (secondary) индексов, основанных на неупорядоченных физически полях. Первичный индекс состоит из двух полей. Первое поле имеет тот же тип данных, что и поле, на котором основан индекс, а второе содержит указатели на блоки данных физического носителя. Так как в одном блоке данных обычно помещается несколько записей, то первое поле индекса будет содержать не все значения индексированного поля, а только первые для блока данных. Соответственно в первом поле записывается значение первичного ключа для первой записи в блоке, а во втором - указатель на этот блок данных.

30 Число записей в первичном индексе будет определяться числом блоков данных, отведенных для хранения таблицы. Поиск некоторой записи будет вначале проводиться по первому полю индекса, затем по упорядоченным значениям индексируемого поля в блоке данных. Скорость поиска данных с использованием первичного индекса будет максимально высокой, так как число записей в индексе намного меньше, чем в таблице, и для индекса и для блоков данных можно использовать быстрый алгоритм поиска вследствие упорядоченности значений.

31 Структура вторичного индекса от первичного отличается тем, что второе поле индекса содержит указатели на блоки данных с неупорядоченными записями, и тем, что для индексируемых полей с повторяющимися значениями приходится хранить список указателей на все блоки данных физического носителя, которые содержат записи со значениями индексируемого поля. Помимо указателей на начала блоков данных применяются также указатели на записи с данным значением индексируемого поля. Иначе говоря, первое поле вторичного индекса содержит упорядоченные значения индексируемого поля, а второе - указатели на блоки данных физического носителя, которые содержат записи со значениями индексируемого поля.

32 По способу своей организации индексы разделяются на одноуровневые и многоуровневые. Разбиение некоторого индекса на несколько уровней производится для дальнейшего увеличения скорости поиска записей при увеличении числа записей в индексируемой таблице. Число записей в самом индексе и, следовательно, размер индексного файла, может быть настолько большим, что операция открытия индекса и поиск в нем могут занимать значительное время. Бинарный поиск требует приблизительно log 2 b i.обращений к индексу, ссылающемуся на b i, блоков данных. Если разбить такой индекс на блоки записей одинаковой длины и включить в дополнительный уровень только значения первых записей полученных блоков и соответствующие указатели на эти блоки, то общее число обращений к индексу значительно сократится. Количество обращений к индексу уже будет log fs b i где,fs - это число записей в блоке индекса первого уровня. В такой схеме второй уровень будет являться первичным индексом для первого уровня,

33 Если в таблице поиск часто ведется по нескольким полям одновременно, то для его ускорения необходимо определить составной индекс. Составной индекс по своей структуре от обычных индексов значительно не отличается. Отличие состоит в том, что первое поле индекса содержит свертку значений всех полей, входящих в индекс. К примеру, нам требуется часто искать некоторое предприятие по стране регистрации, городу и собственно по его имени. Тогда при создании индекса вначале производится сортировка по всем полям, включенным в индекс, в порядке их следования (т. е. будет произведена сортировка по стране регистрации, затем внутри каждой страны по городу и, наконец, внутри каждого города по названию предприятия). Затем па основе отсортированных значений происходит создание первого поля индекса и заполнение второго поля указателями на блоки данных физического носителя, содержащими записи со значениями индексированных полей. Очевидно, что совокупность вторичных индексов, созданных для каждого из полей, входящих в составной индекс, не сможет заменить составного индекса, поскольку результат вложенной сортировки не равен результату последовательной сортировки.

34 Ускорение поиска достигается возможностью применения быстрых алгоритмов поиска для всех полей составного индекса (вследствие их упорядоченности). В большинстве систем существует одно ограничение на использование составного индекса, а именно только последнее условие (т. е. сравнение с последним полем индекса) может быть неравенством. Например, Страна = 'Беларусь' And Город = 'Минск' And Предприятие