Лекция 1 Введение в базы данных. Автоматизированный банк данных

1. Введение 2. Компоненты банка данных 2.1. База данных 2.2. СУБД Функции СУБД Компоненты среды СУБД Критерии выбора СУБД 2.3. Вычислительная система 2.4. Словарь данных 2.5. Персонал банка данных 3. Взаимодействие компонентов банка данных 4. Преимущества банков данных 5. Недостатки банков данных 6. Классификация банков данных, баз данных и СУБД 6.1. Классификация баз данных 6.2. Классификация СУБД Основные вопросы

теорию построения БД (проектирование); теорию использования БД (эксплуатация); теорию функционирования БД (взаимодействие составляющих). Наиболее полно все три составляющие развиты для реляционных БД. Составляющие теории баз данных

Информационная система (ИС) представляет собой программный комплекс, функции которого состоят в поддержке надежного хранения информации в памяти компьютера, выполнения специфических для данного приложения преобразований информации и/или вычислений, предоставлении пользователям удобного интерфейса. Особенностями ИС являются: реальный масштаб времени; изменение БД практически при каждом запросе. Автоматизированный банк данных

Обычно выделяют функциональные и обеспечивающие подсистемы. Функциональные подсистемы (ФП) информационно обслуживают определенные виды деятельности, характерные для структурных подразделений ИС (ФП финансов, ФП маркетинга, ФП кадров и т.д.). Обеспечивающие подсистемы (ОП) присутствуют в любой ИС. Выделяют следующие ОП: организационно-методическая; правовая; математическая; аппаратная; программная; информационная; лингвистическая. Подсистемы ИС

Информационная система - взаимосвязанная совокупность обеспечивающих подсистем, средств, методов и персонала, используемых для хранения, обработки и выдачи информации в интересах достижения поставленной цели. Ядром информационной системы является база данных (БД). Банк данных (БнД) – это система специальным образом организованных данных (баз данных), программных, технических, языковых, организационно-методических средств, предназначенных для обеспечения централизованного накопления и коллективного многоцелевого использования данных. Основные определения

1. БД (database) – это совокупность взаимосвязанных именованных данных, описание, хранение и манипуляция которыми проводится по общим правилам. 2. СУБД (или диспетчер БД) (DBMS – Database Management System) – это специальный пакет программ, который централизованно обеспечивает контролируемый доступ к данным и управление ими. 3. Вычислительная система – это совокупность комплекса технических средств, задействованных в автоматизированном БнД (компьютеры, телекоммуникации, принтеры, сканеры, множительная техника и т.д.), и программных средств, обеспечивающих взаимодействие пользователей с базой данных. Компоненты банка данных

4. Словарь данных (data dictionary) (репозиторий), или системный каталог (system catalog) - централизованное хранилище метаинформации. Метаинформацией (или метаданными (meta-data)) называется служебная информация, сопровождающая работу БнД (например, описание структуры БД (схема БД), модель предметной области, информация о пользователях и их правах, описание формы входных и выходных документов), т.е. «информация об информации», «данные о данных». 5. Персонал БнД – это специалисты, которые обеспечивают создание, работу и развитие БнД. Компоненты банка данных

Разделение и изоляция данных. Значительная избыточность, дублирование данных. Противоречивость содержимого одноименных полей, нарушение целостности данных. Зависимость от данных. Трудности в соблюдении стандартов. Несовместимость форматов данных. Ограничения файловых систем

Все перечисленные выше ограничения файловых систем являются следствием двух факторов: 1. Определение данных содержится внутри приложений, а не хранится отдельно и независимо от них. 2. Помимо приложений не предусмотрено никаких других инструментов доступа к данным и к их обработке. Ограничения файловых систем

БД - некоторая совместно используемая совокупность логически связанных данных (и описание этих данных), предназначенная для удовлетворения информационных потребностей пользователей. Определение БД дается в Законе «О правовой охране программ и электронно-вычислительных машин и баз данных». Согласно ст.1 этого закона: БД – это объективная форма представления и организации совокупности данных, систематизированных таким образом, чтобы эти данные могли быть найдены и обработаны с помощью ЭВМ (компьютера). Определения БД

Цель БД состоит в хранении всех представляющих интерес данных в одном или нескольких местах, причем таким способом, который заведомо исключает ненужную избыточность. В хорошо спроектированной БД избыточность данных исключается, и вероятность сохранения противоречивых данных минимизируется. Создание БД преследует решение двух основных задач: понизить избыточность данных; повысить их надежность. Цель и задачи создания БД

1.Хранение, извлечение и обновление данных. 2. Наличие системного каталога. 3. Поддержка транзакций. Под транзакцией понимается неделимая с точки зрения воздействия на БД последовательность операторов манипулирования данными (чтения, вставки, удаления, модификации) такая, что возможны два итога: фиксация транзакции, при которой все операции, входящие в транзакцию, завершаются успешно, и их результаты отображаются в БД; откат транзакции, при котором воздействие всех операторов, входящих в транзакцию, полностью отсутствует. Откат транзакции осуществляется, если в процессе выполнения операторов транзакции происходит аппаратный или программный сбой. Примеры транзакций: перевод денег с одного счета на другой, прием на работу нового сотрудника, регистрация нового клиента и т.п. Функции СУБД:

4. Сервисы управления параллельностью. 5. Сервисы восстановления. 6. Сервисы контроля доступа к данным. 7. Поддержка обмена данными. 8. Службы поддержки целостности данных. 9. Службы поддержки независимости от данных. 10. Вспомогательные службы: средства мониторинга, предназначенные для отслеживания характеристик функционирования и использования БД; программы статистического анализа, позволяющие оценить производительность или степень использования БД; инструменты перераспределения памяти для физического устранения удаленных записей с запоминающих устройств, объединения освобожденного пространства и перераспределения памяти в случае необходимости. Функции СУБД:

помогать пользователю в манипулировании данными; защищать данные от пользователя. Помощь пользователю – обеспечение пользователя командами или готовыми программами, выполняющими стандартные функции (поиск или модификация информации) Уменьшение объема работ, которые должны быть выполнены для создания новых приложений Увеличение производительности компьютерных программ СУБД должна:

Представление – это динамический результат одной или нескольких реляционных операций с базовыми отношениями с целью создания некоторого иного отношения. Механизм представлений (view)

1. Упрощение работы за счет предоставления пользователям только действительно нужных им данных. 2. Обеспечение дополнительного уровня безопасности. Представления могут создаваться с целью исключения тех данных, которые не должны видеть некоторые пользователи. 3. Предоставление механизма настройки внешнего интерфейса БД. Представление обеспечивает полную независимость программ от реальной структуры данных. Достоинства применения механизма представлений

1. Ввод информации в БД. 2. Поиск информации. 3. Удаление ненужной информации. 4. Корректировка (модификация, изменение) содержимого БД. СУБД: следит за информацией внутри БД; защищает БД от случайного или неумелого вмешательства; гарантирует, что многочисленные запросы одного пользователя выполняются без помех другим пользователям. Основные операции по обработке данных в БД

Персональные - обеспечивают возможность создания локальных БД, работающих на одном компьютере. Примеры: Paradox, dBase, FoxPro, MS Access и др. Многопользовательские - позволяют создавать ИС, функционирующие в архитектуре «клиент-сервер». Примеры: Oracle, Informix, SyBase, Microsoft SQL Server, InterBase и др. В случае реляционной БД: серверная часть БД содержит таблицы с данными, схему данных, в которой отображаются взаимосвязи между таблицами, системный каталог, хранимые процедуры; клиентская часть БД включает пользовательские средства для работы с информацией БД – это запросы на извлечение и модификацию информации, экранные формы для отображения информации на экране компьютера в удобном виде, отчеты для формирования макетов вывода информации на печать. Виды СУБД по характеру применения

Компоненты среды СУБД

1.Организационно-методическое обеспечение – совокупность методов и средств, регламентирующих взаимодействие сотрудников между собой и с техническими средствами в процессе разработки и эксплуатации БнД. В состав организационно- методического обеспечения входят различные инструкции, методические и регламентирующие материалы, предназначенные для пользователей различных категорий, взаимодействующих с БнД, методики проектирования БД, документация по БнД. Это могут быть, например, инструкции конечным пользователям по работе с БД, документы, определяющие права доступа и регламент работы. 2. Правовое обеспечение – совокупность правовых норм, определяющих создание, юридический статус и функционирование БнД, регламентирующих порядок получения, преобразования и использования информации. Например, договор между разработчиком и заказчиком, характеристика статуса создаваемой системы, правовые отношения пользователей в применении технических средств и т.д. Компоненты среды СУБД

3. Математическое обеспечение – совокупность математических методов, моделей и алгоритмов для реализации целей и задач БнД. Например, средства моделирования процессов управления, методы математического программирования, математической статистики. 4. Аппаратное обеспечение – комплекс технических средств, предназначенных для работы БнД, а также соответствующая документация на эти средства и технологические процессы. Комплекс технических средств составляют: компьютеры любых моделей; устройства сбора, накопления, обработки, передачи и вывода информации; устройства передачи данных и линий связи; оргтехника. Компоненты среды СУБД

5. Программное обеспечение – совокупность компьютерных программ, описаний и инструкций по их применению на компьютере. Программное обеспечение делится на два комплекса: 1. Общее (ОС, программные среды для разработки прикладных программ, программная составляющая СУБД). 2. Специальное (совокупность прикладных программ, разработанных для конкретных задач, и контрольные примеры для их тестирования). Компоненты среды СУБД Программная составляющая СУБД Ядро СУБД Средства тестирования и отладки Трансляторы Утилиты Генераторы форм, отчетов, процессор запросов Программные средства БнД

6. Информационное обеспечение – совокупность средств и методов построения информационной базы (единая система классификации и кодирования информации, унифицированная система документации, методология построения БД). Компоненты среды СУБД

7. Лингвистическое обеспечение – совокупность терминов и других языковых средств, используемых в БнД, а также правил формализации естественного языка для повышения эффективности автоматизированной обработки информации и облегчения общения человека с БнД. Компоненты среды СУБД

Язык СУБД может быть универсальным языком программирования с включением специфического подъязыка для работы с БД, например, языки универсальных систем программирования DELPHI, Visual Basic, Visual C++ включают язык SQL. Другие СУБД имеют специализированные языки, например, dBASE, FoxPro, Clipper, Paradox. Наибольшее распространение получили два стандартизованных языка: QBE (Query By Example) – язык запросов по образцу (предложил М.М. Злуфф). QBE обеспечивает визуальное конструирование запросов к БД и обладает свойствами языка манипулирования данными. SQL (Structured Query Language) (S – Q – L или See – QueL) – структурированный язык запросов. SQL обеспечивает управление структурой БД и манипулирование данными, т.е. сочетает в себе свойства языков обоих типов – описания и манипулирования данными. Компоненты среды СУБД

8. Данные – самый важный компонент среды СУБД с точки зрения конечных пользователей. Данные играют роль моста между компьютером и человеком. 9.Процедуры. К процедурам относятся инструкции и правила, которые должны учитываться при проектировании и использовании БД. Они включают: правила регистрации в СУБД; инструкции по использованию отдельного инструмента СУБД или приложения; правила запуска и останова СУБД; инструкции по созданию резервных копий СУБД; правила обработки сбоев аппаратного и программного обеспечения, восстановления БД после устранения неисправности; инструкции по изменению структуры таблиц, реорганизации БД. 10. Пользователи – клиенты БД. Она проектируется, создается и поддерживается для того, чтобы обслуживать их информационные потребности. Компоненты среды СУБД

1. Моделирование данных: Используемая модель данных. Триггеры и хранимые процедуры. Средства поиска. Предусмотренные типы данных. Реализация языка запросов. 2. Особенности архитектуры и функциональные возможности: Мобильность. Масштабируемость. Распределенность. Сетевые возможности. Критерии выбора СУБД

3. Контроль работы системы: Контроль использования памяти компьютера. Автонастройка. 4. Особенности разработки приложений. Многие производители СУБД выпускают также средства разработки приложений для своих систем : Средства проектирования. Возможности разработки Web - приложений. Поддерживаемые языки программирования. 5.Производительность: Рейтинг. Возможности параллельной архитектуры. Критерии выбора СУБД

6.Надежность: Восстановление после сбоев. Резервное копирование. Многоуровневая система защиты. 7. Требования к рабочей среде : Поддерживаемые аппаратные платформы и минимальные требования к оборудованию. Операционные системы, под управлением которых способна работать СУБД. Критерии выбора СУБД

об объектах, свойствах и отношениях для данной предметной области; о данных, хранимых в БД (их наименование, смысл, структура, связи с другими данными); о формате и допустимых значениях данных; об источниках получения данных; о кодах защиты и разграничения доступа к данным. Основные назначения словаря данных: 1. Централизованное ведение и управление данными как ресурсом на всех этапах проектирования, реализации и эксплуатации системы. 2. Обеспечение эффективного взаимодействия между всеми участниками проекта. Словарь данных включает сведения:

1. Информация о данных централизованно собрана и сохранена, что позволяет контролировать доступ к этим данным. 2. Определяется смысл данных, что помогает пользователям понять их предназначение. 3. В системном каталоге указываются пользователи, которые являются владельцами данных или обладают правом доступа к ним. 4. Благодаря централизованному хранению избыточность и противоречивость описания отдельных данных легко обнаруживаются. 5. Вносимые изменения в БД протоколируются. 6. Последствия любых изменений определяются еще до их внесения, поскольку в системном каталоге зафиксированы все существующие элементы данных, установленные между ними связи, а также все пользователи. 7. Усиливаются меры обеспечения безопасности. 8. Появляются новые возможности организации поддержки целостности данных. Преимущества наличия словаря данных:

Администрация БнД (АБД) (Database Administrator (DBA)) – лицо или группа лиц, реализующих управление всеми информационными процессами в БнД; проектировщики информационного обеспечения; проектировщики структур данных и технологических процессов их обработки; системные и прикладные программисты; операторы БД; системные аналитики; специалисты по техническим средствам; специалисты по маркетингу. Состав персонала БнД:

1. анализ предметной области (определение потребностей конечных пользователей, построение информационной модели предметной области, выявление ограничений целостности); 2. проектирование структуры БД (определение состава и структуры файлов БД, описание ее схемы на языке описания данных); 3. задание ограничений целостности и процедур обработки БД; 4. первоначальная загрузка и ведение БД (разработка технологии загрузки и ведения (изменения, удаления и добавления записей); проектирование форм ввода данных; создание программных модулей, подготовка исходных данных, ввод и контроль данных); 5. защита данных от несанкционированного доступа (разграничение пользователей (определение прав доступа к данным, обеспечение парольного входа в систему), выбор или создание, проверка программно-технологических средств защиты данных, фиксация попыток несанкционированного доступа к информации, шифрование информации) и от разрушений (резервирование); Основные функции персонала БнД:

6. обеспечение восстановления БД (разработка программно- технологических средств восстановления БД, организация ведения системных журналов); 7. анализ эффективности функционирования БнД и развитие системы (сбор статистики обращений пользователей к БД, время выполнения запросов, анализ причин безуспешных обращений к БД, изменение состава БД, развитие программных и технических средств); 8. работа с пользователями (сбор информации об изменениях в предметной области, откликов пользователей о работе БнД, определение регламента работы пользователей с БнД, обучение и консультирование пользователей); 9. сопровождение системного программного обеспечения (приобретение программных средств, их установка, проверка работоспособности, поддержание системных библиотек, развитие программных средств); 10.организационно-методическая работа (выбор или создание методики проектирования БД, определение целей и направлений развития системы, планирование этапов развития БнД, разработка и выпуск документации, организационно-методических материалов). Основные функции персонала БнД:

1. Определение реальных операционных целей. 2.Оценка, выбор и приобретение технического и программного обеспечения. 3. Создание словаря, стандартов. 4. Разработка системного и прикладного обеспечения. 5. Разработка схемы данных, выбор методов доступа и физической организации данных. 6. Управление процессом проектирования и разработки. 7. Разработка и контроль действий по поддержанию целостности БД, включая процедуры ее копирования и восстановления. 8. Определение и реализация режимов защиты БД от несанкционированного доступа. 9. Сопровождение программного обеспечения, обучении будущих пользователей. 10. Определение перспектив расширения БД и развития технологии. Основные функции администрации БнД:

1. мониторинг работы БД, реакция на нештатные ситуации; 2. слежение за использованием ресурсов, выдача статистики; 3. обнаружение и исправление возникающих неполадок; 4. наблюдение за объектами БД, анализ, сопоставление характеристик; 5. планирование необходимых вычислительных мощностей; 6. оптимизация хранения данных, оптимизация работы сервера; 7. анализ свободного дискового пространства; 8. наблюдение за параметрами, влияющими на производительность БнД; 9. сопровождение БД; 10. перенос таблицы на новое дисковое пространство, в другую СУБД, на другой компьютер, перенос содержимого БД в другую СУБД. Основные функции средств DBA:

Взаимодействие компонентов БнД Исходное описание схем, подсхем, схем хранения Словарь Организационно- методические средства ЯОД ЯМД Языковые средства Запросы Исходные данные Технические средства Программные средства БД Выходные данные Диагностичес кие сообщения Журнал Архив БАНК ДАННЫХ Экранные формы

1. Адекватность отображения предметной области: Минимальное дублирование информации (интегрированность данных). Наличие функции контроля за избыточностью данных. Полнота, целостность и непротиворечивость данных. Актуальность информации, т.е. ее соответствие состоянию отображаемой реальной системы на данный момент времени. Независимость данных от процесса обработки. Хранение взаимосвязанных данных, что наиболее полно отражает сложную взаимосвязь объектов реальной предметной области. 2. Возможность взаимодействия пользователей разных категорий, высокая эффективность доступа к данным. Преимущества БнД:

3. Оперативность обработки запросов, поиск информации по произвольной совокупности признаков. 4. Дружелюбность интерфейсов, малое время на обучение. 5. Применение стандартов. 6. Повышение эффективности с ростом масштабов системы. 7. Возможность нахождения компромисса при противоречивых требованиях. Преимущества БнД:

8. Надежность хранения и защита данных: Защита данных от случайного и преднамеренного разрушения. Обеспечение секретности и разграничение доступа к данным для разных пользователей. Возможность быстрого и полного восстановления данных в случае их разрушения. 9. Упрощение сопровождения системы за счет независимости от данных. 10. Улучшенное управление параллельностью. Преимущества БнД:

1. Создание интегрированной системы сложнее, чем создание множества локальных систем. 2. Высокие требования к квалификации разработчиков БнД. 3. Для управления данными требуется специализированное программное обеспечение, которое может быть сравнительно дорогим, предъявляющим повышенные требования к техническим средствам. 4. Серьезные последствия при выходе системы из строя. Недостатки БнД:

Банки данных, как целое, обычно классифицируют по следующим экономико-правовым признакам: 1. По условиям предоставления услуг различают бесплатные и платные (коммерческие и бесприбыльные (научные, библиотечные или социально-значимые)) БнД. 2. По форме собственности БнД делятся на государственные и негосударственные (частные, групповые, личные). 3. По степени доступности различают общедоступные и с ограниченным кругом пользователей. Классификация банков данных

4. По охвату предметной области БнД могут классифицироваться в разных «разрезах»: территориальный (всемирный, страна, город и т.д.); временной (год, месяц, с начала века и т.п.); ведомственный; проблемный (тематический). 5. По характеру взаимодействия с пользователем БнД делятся на активные и пассивные. Классификация банков данных

или фактографические Преобладающей обработки информации

Сравнение OLTP и OLAP ХарактеристикаOLTPOLAP Преобладающие операции Ввод данных, поиск Анализ данных Характер запросов Много простых транзакций Сложные транзакции Хранимые данные Оперативные, детализированные Охватывающие большой период времени, агрегированные Вид деятельности Оперативная, тактическая, несложная обработка Аналитическая, стратегическая: прогнозирование, моделирование, анализ и выявление связей, выявление статистических закономерностей

Сравнение OLTP и OLAP ХарактеристикаOLTPOLAP Тип данных СтруктурированныеРазнотипные Период хранения данных До года До нескольких десятков лет Изменчивость данных ИзменяютсяДобавляются Упорядочение данных По любому полю По хронологии Объем обрабатываемой информации Небольшой Очень большой Скорость обработки СредняяОчень высокая Загрузка Часто и небольшими порциями Редко и очень большими порциями

1. По языкам общения СУБД делятся на открытые (используют универсальные языки программирования) и замкнутые (собственные языки общения с пользователями). 2. По выполняемым функциям СУБД делятся на информационные и операционные. Информационные СУБД позволяют организовать хранение информации и доступ к ней. Операционные СУБД выполняют достаточно сложную обработку, например, автоматически позволяют получать агрегированные показатели, не хранящиеся непосредственно в БД, и т.д. 3. По сфере возможного применения различают универсальные и специализированные, обычно проблемно-ориентированные СУБД. Классификация СУБД

4. По «мощности» СУБД делятся на настольные и корпоративные. Характерными чертами настольных СУБД являются сравнительно невысокие требования к техническим средствам, ориентация на конечного пользователя, низкая стоимость. Корпоративные СУБД обеспечивают работу в распределенной среде, высокую производительность, поддержку коллективной работы при проектировании систем, имеют развитые средства администрирования и более широкие возможности поддержания целостности. Эти системы сложны, дороги, требуют значительных вычислительных ресурсов. 5. По ориентации на преобладающую категорию пользователей можно выделить СУБД для разработчиков и для конечных пользователей. Классификация СУБД