1 ТЕМА 5. Стадия проектирования и реализации ИС. Лекция 21. Способы организации информационной базы.

2 Информационная база Информационная база (ИБ) это совокупность данных, организованная определенным способом и хранимая в памяти вычислительной системы в виде файлов, с помощью которых удовлетворяются информационные потребности аппарата управления и функциональных подсистем ИС.

3 Классификация файлов ИБ По смысловому содержанию По смысловому содержанию По этапам обработки По этапам обработки По роли в машинной обработке и технологии использования По роли в машинной обработке и технологии использования По назначению (по типу функциональных подсистем) По назначению (по типу функциональных подсистем) По типу носителя По типу носителя По типу логической организации (линейная, иерархическая, реляционная структура записи) По типу логической организации (линейная, иерархическая, реляционная структура записи)

4 Массивы данных Входные Внутренние (базовые) Постоянные Переменные (оперативные) Вспомогательные (рабочие) Промежуточные АрхивныеСлужебные Выходные (результатные) По этапу обработки По технологии использования Основные

5 Виды массивов по этапам обработки Вид массивовНазначение и содержание ВходныеСодержат исходные и текущие данные, запросы на решение задач и выполнение процессов. Предназначены для ввода данных или обновления базовых файлов. Выходные (результатные) Содержат совокупность показателей, необходимых для формирования отчетности и принятия решений в последующий период. Внутренние (базовые) Содержат справочную, нормативную, служебную информацию. Предназначены для переработки информации из входных массивов и формирования выходных массивов.

6 Виды массивов по технологии использования Вид массивов Назначение и характеристики. ПостоянныеФормируются до начала функционирования ИС. Содержат директивные, нормативные, справочные и другие, редко меняющиеся, данные. Переменные (оперативные) Формируются из первичных документов. Содержат текущую информацию о состоянии объекта управления. Вспомогатель ные (рабочие) Являются результатом логических преобразований постоянных массивов. Создаются для решения конкретных задач с целью сокращения времени обработки информации. Промежуточн ые Содержат информацию, возникающую на стыке различных задач. Не имеют самостоятельного значения для целей управления объектом. АрхивныеФормируются на основе выходных массивов. Предназначены для хранения информации, необходимой для обработки в будущих отчетных периодах, для решения аналитических, прогнозных задач. СлужебныеСодержат информацию, необходимую для обработки всех выше упомянутых массивов. Предназначены для ускорения поиска информации в основных файлах.

7 Требования к внутримашинному ИО Полнота, целостность, согласованность и непротиворечивость хранимой информации. Минимизация времени выборки данных при решении задач управления. Независимость структуры массивов от программных средств их организации. Динамичность структуры ИБ. Релевантность ИБ. Удобство языкового интерфейса. Разграничение прав доступа пользователей.

8 Способы организации информационной базы Поддерживается функциональными пакетами прикладных программ Основывается на использовании универсальных программных средств загрузки, хранения, поиска и ведения данных (СУБД). Информационная база Совокупность локальных файлов Интегрированная база данных

9 Особенности пофайловой организации ИО Специализация структуры данных под решаемые задачи высокая скорость обработки данных. Не предусматривается установления связи между файлами, исключается работа в диалоге. Применяется при решении узкоспециализированных задач с небольшим объемом данных, хранящихся в обособленных файлах.

10 Стандартные операции с файлами Файл представляет собой линейную последовательность записей, над которой можно выполнить следующие стандартные операции: создать файл (требуемого типа и размера); открыть ранее созданный файл; прочитать из файла некоторую запись (текущую, следующую, предыдущую); записать в файл на место текущей записи новую запись; добавить новую запись в конец файла.

11 Недостатки пофайловой организации внутримашинного ИО Зависимость программ от данных (структура записи файла известна только программе, которая с ним работает) Сложность авторизации (принят децентрализованный принцип управления доступом, когда администрирование режимом доступа к каждому файлу осуществляется его владельцем) Сложность реализации многопользовательского доступа (эффективный многопользовательский доступ возможен только в режиме чтения файлов)

12 Организация ИО в виде БД База данных – это интегрированная совокупность файлов, обеспечивающая хранение информационных ресурсов, удобное взаимодействие между ними и быстрый доступ к данным. Преимущества: обеспечение совместимости данных; уменьшение синтаксической и семантической избыточности; соответствие данных реальному состоянию объекта управления; обеспечение многопользовательского доступа к данным. Проблемы: необходимость усиления контроля ввода данных; необходимость разграничения прав доступа пользователей; необходимость обеспечения защиты данных.

13 Виды БД 1.По используемой модели данных: Иерархические; Иерархические; Сетевые; Сетевые; Реляционные; Реляционные; Объектно-ориентированные. Объектно-ориентированные. 2.По организации хранения данных и технологии их обработки: Централизованные; Централизованные; Распределенные. Распределенные.

14 Критерий выбора способа организации ИБ Достижение минимальных трудовых и стоимостных затрат на: проектирование структуры ИБ, проектирование структуры ИБ, проектирование программного обеспечения системы ведения файлов, проектирование программного обеспечения системы ведения файлов, перепроектирование ИБ при возникновении новых задач. перепроектирование ИБ при возникновении новых задач.

Требования к организации БД логическая и физическая независимость данных; логическая и физическая независимость данных; контролируемая избыточность данных; контролируемая избыточность данных; стандартизация данных за счет использования классификаторов; стандартизация данных за счет использования классификаторов; наличие словаря данных; наличие словаря данных; специализация интерфейса для администратора БД и пользователей системы; специализация интерфейса для администратора БД и пользователей системы; контроль целостности данных; контроль целостности данных; защита данных от несанкционированного доступа; защита данных от несанкционированного доступа; наличие вспомогательных программных средств (утилит) проектирования и эксплуатации БД. наличие вспомогательных программных средств (утилит) проектирования и эксплуатации БД. 15

16 Виды БД по технологии хранения и обработки данных Централизованные БДРаспределенные БД один компьютер Расположение: один компьютер : организация более простого и дешевого способа информационного обслуживания пользователей; Назначение: организация более простого и дешевого способа информационного обслуживания пользователей; : небольшие Объемы данных: небольшие : несложные Задачи: несложные : более высокая за счет организационной независимости Надежность: более высокая за счет организационной независимости несколько компьютеров, объединенных в единую вычислительную систему с помощью вычислительных сетей; Расположение: несколько компьютеров, объединенных в единую вычислительную систему с помощью вычислительных сетей; : предоставление более гибких форм обслуживания множеству удаленных пользователей Назначение: предоставление более гибких форм обслуживания множеству удаленных пользователей значительные Объемы данных: значительные : сложные Задачи: сложные Надежность обеспечивается за счет средств резервирования.

Принципы организации централизованной БД обеспечение логической организации данных с помощью построения глобальной модели данных; обеспечение логической организации данных с помощью построения глобальной модели данных; представление информационных потребностей для каждой задачи в виде подмоделей данных; представление информационных потребностей для каждой задачи в виде подмоделей данных; выделение специального языка описания данных для получения схем и подсхем; выделение специального языка описания данных для получения схем и подсхем; описание процедур обработки данных с использованием языка манипулирования данными; описание процедур обработки данных с использованием языка манипулирования данными; разделение доступа к полям данных; разделение доступа к полям данных; защита данных через пароль; защита данных через пароль; обеспечение доступности данных одновременно для нескольких пользователей. обеспечение доступности данных одновременно для нескольких пользователей. 17

Принципы организации распределенной БД учет территориального расположения подразделений ЭИС; учет территориального расположения подразделений ЭИС; обеспечение независимости данных от их территориального расположения; обеспечение независимости данных от их территориального расположения; оптимальное размещение БД между клиентами и серверами; оптимальное размещение БД между клиентами и серверами; сокращение стоимости информационного обслуживания клиентов; сокращение стоимости информационного обслуживания клиентов; обеспечение решения сложных межведомственных задач; обеспечение решения сложных межведомственных задач; надежность хранения обработки данных; надежность хранения обработки данных; использование СУБД, ориентированных на работу в сети; использование СУБД, ориентированных на работу в сети; возможность параллельного обращения к данным из различных узлов обработки данных. возможность параллельного обращения к данным из различных узлов обработки данных. 18

19 Условия централизации и децентрализации данных Данные централизуются, если: Данные централизуются, если: данные непрерывно обновляются, а территориально разобщенные пользователи должны получать всякий раз последнее состояние данных; данные непрерывно обновляются, а территориально разобщенные пользователи должны получать всякий раз последнее состояние данных; поиск производится во всей совокупности данных; поиск производится во всей совокупности данных; над данными осуществляются операции со вторичными ключами. над данными осуществляются операции со вторичными ключами. Данные могут быть децентрализованными, если они используются локально в точке их происхождения. Данные могут быть децентрализованными, если они используются локально в точке их происхождения. При низкой скорости обновления допустимо хранение нескольких копий данных. При низкой скорости обновления допустимо хранение нескольких копий данных.

20 Схемы распределения данных Централизованные данные Централизованная обработка Распределенная обработка Распределенные данные Иерархические данные Иерархия зависимых данных Иерархия независимых данных Неиерархические данные Разделенные данные Расщепленные данные Реплицированные данные Централизованная обработка Распределенная обработка Распределенная обработка Классификация систем по способам распределения и обработки данных

21 Централизованные данные Централизованные данные, централизованная обработка Централизованные данные, распределенная обработка

22 Иерархические данные Зависимые данныеНезависимые данные Эталонная копия данных

23 Расщепленные данные Структура данных и программы их обработки в подсистемах одни и те же. Содержание различно.

24 Разделенные данные Структура данных, их содержание и программы обработки в подсистемах различны.

25 Реплицированные данные Копии одних и тех же данных. Структура данных и программы обработки идентичны.

26 Комбинированные формы распределения данных

27 Концепция информационных хранилищ Информационное хранилище позволяет обеспечить: Информационное хранилище позволяет обеспечить: хранение разнородных данных из различных источников в течение больших периодов времени; хранение разнородных данных из различных источников в течение больших периодов времени; быстрый доступ к данным и поиск релевантной запросу информации. быстрый доступ к данным и поиск релевантной запросу информации. Знания Информация Данные

28 Причины появления информационных хранилищ Осознание руководством предприятий того, что в данных содержатся скрытые закономерности (знания), характеризующие процесс управления в целом, способные повысить его эффективность; Осознание руководством предприятий того, что в данных содержатся скрытые закономерности (знания), характеризующие процесс управления в целом, способные повысить его эффективность; снижение стоимости средств хранения информации, дающее возможность хранить данные, накопленные за длительные интервалы времени; снижение стоимости средств хранения информации, дающее возможность хранить данные, накопленные за длительные интервалы времени; снижение стоимости элементной базы сложных архитектур; снижение стоимости элементной базы сложных архитектур; переход от массового обслуживания к индивидуальному (учет разнообразных требований заказчика). переход от массового обслуживания к индивидуальному (учет разнообразных требований заказчика).

29 Проблемы интеграции данных 1.Источники могут использовать различные модели данных и предоставлять различные интерфейсы для доступа к своим данным. 2.Данные источника могут быть неструктурированными. 3.Источники могут быть автономными.

30 Решение задачи интеграции данных

31 Хранилище данных это «предметно-ориентированная, интегрированная, содержащая исторические данные, неразрушаемая совокупность данных, предназначенная для поддержки принятия управленческих решений» (Уильям Инмон, 1992). Хранилище данных это «предметно-ориентированная, интегрированная, содержащая исторические данные, неразрушаемая совокупность данных, предназначенная для поддержки принятия управленческих решений» (Уильям Инмон, 1992). Хранилище данных (Content Repository) – программная подсистема ИС, сочетающая в себе функции системы управления версиями, поисковой машины и СУБД. Хранилище данных (Content Repository) – программная подсистема ИС, сочетающая в себе функции системы управления версиями, поисковой машины и СУБД. Хранилище данных (Data Warehouse) – очень большая предметно-ориентированная корпоративная база данных, специально разработанная и предназначенная для подготовки отчетов, анализа бизнес-процессов с целью поддержки принятия решений в организации. Хранилище данных (Data Warehouse) – очень большая предметно-ориентированная корпоративная база данных, специально разработанная и предназначенная для подготовки отчетов, анализа бизнес-процессов с целью поддержки принятия решений в организации. Хранилище данных – это автоматизированная информационно-технологическая система организации, которая собирает данные из существующих баз и внешних источников, формирует, хранит и эксплуатирует информацию в виде наборов данных. Хранилище данных – это автоматизированная информационно-технологическая система организации, которая собирает данные из существующих баз и внешних источников, формирует, хранит и эксплуатирует информацию в виде наборов данных.

32 Структура хранилища данных

33 Концепция хранилищ данных 1.Интеграция ранее разъединенных детализированных данных в едином хранилище. 2.Тематическое и временное структурирование, согласование и предварительная обработка. 3.Разделение хранящихся данных по их назначению – для операционной обработки и для использования в задачах анализа. Цель использования ХД – подготовка данных к последующему анализу. OLTP () – задачи оперативной обработки данных; OLTP (On-line Transaction Processing) – задачи оперативной обработки данных; OLAP () – задачи аналитической обработки данных OLAP (On-line Analytical Processing) – задачи аналитической обработки данных

34 Свойства данных Предметная ориентированность Интегрированность Неизменяемость и целостность Хронологическая структурированность

35 Категории данных

36 Операции над данными 1.Сбор данных (пополнение хранилища данных) очистка – устранение ненужной информации; очистка – устранение ненужной информации; агрегирование – вычисление сумм, средних; агрегирование – вычисление сумм, средних; трансформация – преобразование типов данных, реорганизация структур хранения; трансформация – преобразование типов данных, реорганизация структур хранения; объединение из внешних и внутренних источников – приведение к единым форматам; объединение из внешних и внутренних источников – приведение к единым форматам; синхронизация – соответствие одному моменту времени. синхронизация – соответствие одному моменту времени. 2.Поддержка целостности и непротиворечивости данных использование репозитория (словаря-справочника) использование репозитория (словаря-справочника) проверка данных на соответствие их структуре и назначению проверка данных на соответствие их структуре и назначению 3.Организация доступа к данным

37 Требования к хранилищам данных 1.Высокая скорость загрузки данных. производительность процесса загрузки не должна накладывать ограничения на размер хранилища производительность процесса загрузки не должна накладывать ограничения на размер хранилища 2.Обеспечение полнофункциональной технологии загрузки преобразование данных преобразование данных фильтрация данных фильтрация данных переформатирование данных переформатирование данных проверка целостности данных проверка целостности данных организация физического хранения данных организация физического хранения данных индексирование данных индексирование данных обновление метаданных обновление метаданных 3.Высокое качество хранилища данных Мера качества хранилища – объективность исходных данных и степень разнообразия возможных запросов Мера качества хранилища – объективность исходных данных и степень разнообразия возможных запросов 4.Поддержка различных видов данных

38 5.Высокая скорость обработки запросов зависит от сложности запроса, а не от объема хранилища зависит от сложности запроса, а не от объема хранилища 6.Масштабируемость. поддержка СУБД параллельной обработки запросов поддержка СУБД параллельной обработки запросов сохранение работоспособности в случае локальных аварий сохранение работоспособности в случае локальных аварий обслуживание любого числа пользователей без потери производительности обслуживание любого числа пользователей без потери производительности 7.Широкие возможности администрирования контроль за приближением к ресурсным ограничениям контроль за приближением к ресурсным ограничениям анализ затрат ресурсов анализ затрат ресурсов установка приоритетов для различных категорий пользователей и операций установка приоритетов для различных категорий пользователей и операций осуществление настройки системы на максимальную производительность. осуществление настройки системы на максимальную производительность. Требования к хранилищам данных

39 Транзакционные и аналитические системы Транзакционные системы ориентированы на операционную, или транзакционную обработку данных (автоматизированные информационные системы, осуществляющие учет и хранение оперативной информации по бизнес-процессам предприятия); Аналитические системы ориентированы на анализ данных (системы поддержки принятия решений DSS - Decision Support System).

40 ПризнакТранзакционная система Аналитическая система Цель Учет, хранение и оперативная обработка непрерывно поступающих данных. Получение и хранение обобщенных данных об объекте управления, предоставление информации для принятия решений. Вид данных Детализированные данные Обобщенные данные Частота обновления данных Непрерывно, небольшими порциями Редко Представление результатов работы Составление определенного набора отчетных форм Получение большого числа разнообразных отчетов в удобном для понимания виде

41 Характер использования системы Транзакционная система Аналитическая система Автоматизация бизнес-процессов на уровне цехов, отделов, бюро. Получение на основе хранящихся данных показателей, определяющих закономерности развития предприятия и эффективность его работы. Получение на основе хранящихся данных показателей, определяющих закономерности развития предприятия и эффективность его работы. Предоставление средств и инструментов для обработки показателей с использованием различных методик анализа. Предоставление средств и инструментов для обработки показателей с использованием различных методик анализа. Взаимодействие с различными программными пакетами, осуществляющими специализированную обработку данных (статистическими методами, с помощью нейронных сетей или нечеткой логики). Взаимодействие с различными программными пакетами, осуществляющими специализированную обработку данных (статистическими методами, с помощью нейронных сетей или нечеткой логики).

42 OLTP – Online Transaction Processing OLAP – Online Analytical Processing ETL – Extract, Transformation and Load (система извлечения, преобразования и загрузки данных ) Взаимное сочетание транзакционной, аналитической систем и хранилища данных зависит от специфики деятельности организации, количества и характера информации.

43 Варианты использования ХД АС – аналитическая система ТС – транзакционная система ХД – хранилище данных Вариант 1 ТС1 2 3 ХД АС Независимые источники данных

44 Варианты использования ХД АС – аналитическая система ТС – транзакционная система ХД – хранилище данных Вариант 1 Вариант 2 ТС1 2 3 ХД АС ТС ХД Независимые источники данных Источник данных

45 Варианты использования ХД АС – аналитическая система ТС – транзакционная система ХД – хранилище данных Вариант 1 Вариант 2Вариант 3 ТС1 2 3 ХД АС ТС ХД ТС Архивные БД АС ХД Независимые источники данных Источник данных Источник данных

46 Витрины данных Витрина данных (Data Mart) – это тематическая база данных, содержащая информацию, относящуюся к отдельным аспектам деятельности организации. Витрина данных является частью хранилища данных, специфицированной для использования конкретным подразделением или определенной группой пользователей.

Независимые витрины данных 47

48 Преимущества витрин данных Недостатки витрин данных 1.Простота и невысокая стоимость реализации 2.Экономия технических ресурсов 3.Более высокий уровень безопасности данных 4.Высокая производительность 1.Дублирование данных 2.Необходимость синхронизации данных 3.Трудности расширения и объединения витрин 4.Ограниченность использования

49 Многоуровневое решение ХД

50 Концептуальная модель информационного хранилища

Шесть уровней архитектуры хранилища данных 51 SRD - Sample Restructure Deliver ETL – Extract Transformation Load

Рекомендуемая структура корпоративного хранилища данных 52

Виртуальные хранилища 53 При использовании виртуальных хранилищ данные хранятся в удаленных источниках. Запрос к источнику транслируется через систему интеграции.

54 Виртуальные хранилища ДостоинстваНедостатки Всегда обновленные («свежие») данные Всегда обновленные («свежие») данные Простота и малая стоимость реализации Простота и малая стоимость реализации Единая платформа с источником информации Единая платформа с источником информации Отсутствие сетевых соединений между источником информации и хранилищем данных. Отсутствие сетевых соединений между источником информации и хранилищем данных. Сложность оптимизации запросов Сложность оптимизации запросов Дополнительные расходы на конвертацию данных во время выполнения запроса Дополнительные расходы на конвертацию данных во время выполнения запроса Более низкая производительность Более низкая производительность Сложность интеграции данных с другими источниками Сложность интеграции данных с другими источниками Отсутствие истории чистоты данных Отсутствие истории чистоты данных Зависимость от доступности и структуры основной базы данных. Зависимость от доступности и структуры основной базы данных.

55 Логический уровень виртуального хранилища Логический уровень определяется выбором модели данных и языка запросов для этой модели. Логический уровень определяется выбором модели данных и языка запросов для этой модели. Модель используется для представления данных, извлекаемых из всех источников. Модель используется для представления данных, извлекаемых из всех источников. Модель данных должна обеспечить прозрачность доступа к внешним источникам. Модель данных должна обеспечить прозрачность доступа к внешним источникам. Пользователь получает возможность унифицированного доступа ко всем интегрируемым данным, т.е. видит внешние данные как локальные в выбранной модели и не заботится об управлении доступом к источнику. Пользователь получает возможность унифицированного доступа ко всем интегрируемым данным, т.е. видит внешние данные как локальные в выбранной модели и не заботится об управлении доступом к источнику.

56 Физический уровень виртуального хранилища Обертка (wrapper) используется для хранения информации о внешнем источнике и организации к нему доступа. Посредник (mediator) осуществляет интеграцию данных из различных источников

Облачное хранилище данных (cloud storage) Модель онлайн-хранилища, в котором данные хранятся на многочисленных распределённых в сети серверах, предоставляемых в пользование клиентам, в основном, третьей стороной. Модель онлайн-хранилища, в котором данные хранятся на многочисленных распределённых в сети серверах, предоставляемых в пользование клиентам, в основном, третьей стороной. 57

58 ДостоинстваНедостатки Клиент платит только за то место в хранилище, которое фактически использует, но не за аренду сервера, все ресурсы которого он может и не использовать. Отсутствие затрат на приобретение, поддержку и обслуживание собственной инфраструктуры по хранению данных.. Все процедуры по резервированию и сохранению целостности данных производятся провайдером облачного центра. Безопасность при хранении и пересылке данных Возможное снижение производительности по сравнению с работой в условиях собственного хранилища Возможное снижение производительности по сравнению с работой в условиях собственного хранилища. Надежность и своевременность получения и доступности данных в облаке очень сильно зависит от многих промежуточных параметров.