Учебная дисциплина «Хранилища данных» для студентов специальности Бизнес- информатика профиля «Архитектура предприятия» Лекция 12 ИНТЕГРАЦИЯ WEB-ТЕХНОЛОГИЙ И ТЕХНОЛОГИЙ ХРАНЕНИЯ ДАННЫХ Учебные вопросы: 1 Организация облачных хранилищ данных. 2 Интеграция и взаимодействие WEB-технологий и технологий хранения данных. Учебные вопросы: 1 Организация облачных хранилищ данных. 2 Интеграция и взаимодействие WEB-технологий и технологий хранения данных.

Цель лекции – сформировать представление у студентов об организации облачных хранилищ данных, интеграции и взаимодействии WEB-технологий и технологий хранения данных.

Литература 1. Информационные технологии управления : Учебник / Б. В. Черников. - М. : Форум, 2008 ; М. : Инфра-М, – 351 с.. - (Высшее образование). (ГРИФ) 2. Советов Б.Я., Цехановский В.В Информационные технологии: Учебник для вузов / - 3-е изд., стереотип. - М. : Высшая школа, [2] с. : ил, табл. - Библиогр.: с ISBN : УДК 002.6(075.8)004(075.8). 3.Консалтинг: от бизнес-стратегии к корпоративной информационно-управляющей системе / Г. Н. Калянов. - М. : Горячая линия-Телеком, с 4. Жуковский О.И. Информационные технологии: Учебное пособие. Рекомендовано СИБРУМЦ для межвузовского использования в качестве учебного пособия. – Томск : ТУСУР, с. : ил. - Библиогр.: с ISBN Проектирование реляционных хранилищ данных [Текст] : справочное издание / В. Е. Туманов, С. В. Маклаков. - М. : ДИАЛОГ- МИФИ, с 1. Информационные технологии управления : Учебник / Б. В. Черников. - М. : Форум, 2008 ; М. : Инфра-М, – 351 с.. - (Высшее образование). (ГРИФ) 2. Советов Б.Я., Цехановский В.В Информационные технологии: Учебник для вузов / - 3-е изд., стереотип. - М. : Высшая школа, [2] с. : ил, табл. - Библиогр.: с ISBN : УДК 002.6(075.8)004(075.8). 3.Консалтинг: от бизнес-стратегии к корпоративной информационно-управляющей системе / Г. Н. Калянов. - М. : Горячая линия-Телеком, с 4. Жуковский О.И. Информационные технологии: Учебное пособие. Рекомендовано СИБРУМЦ для межвузовского использования в качестве учебного пособия. – Томск : ТУСУР, с. : ил. - Библиогр.: с ISBN Проектирование реляционных хранилищ данных [Текст] : справочное издание / В. Е. Туманов, С. В. Маклаков. - М. : ДИАЛОГ- МИФИ, с

Вопрос 1. Организация облачных хранилищ данных Аналитики утверждают, что будущее IT-рынка – это облачные технологии. По подсчетам исследовательской компании Gartner, в 2013 году мировой рынок публичных облачных сервисов вырастет до $109 млрд, что на 19,6% больше чем в 2012 году. Ожидается, что к 2016 году объем рынка облачных услуг достигнет $206,6 млрд. Сюда входят пользовательские сервисы для хранения данных и корпоративные облачные сервисы. Пока эксперты размышляют, что облачная технология (Cloud computing) может стать самой востребованной технологией следующего десятилетия, крупные технологические компании, разрабатывающие облачные сервисы, активно развиваются.

Облачное хранилище данных – популярная облачная технология, которая заключается в размещении пользователем данных удаленно, а именно – в облаке, на удаленном сервере, принадлежащему третьей стороне – облачному провайдеру, с возможностью доступа к информации при помощи различных устройств, имеющих возможность доступа к Интернету Практически все "облачные" хранилища очень схожи с точки зрения клиента. Они позволяют хранить практически неограниченное количество самых разных объектов, вплоть до терабайтов размером. Они позволяют напрямую отдавать их пользователям по HTTP, HTTPS. Все хранилища имеют достаточно простой REST- или SAP-интерфейс API для работы с ними, а также отличаются невысокой ценой. Практически все хранилища декларируют крайне высокую надежность и доступность. Облачное хранилище данных – популярная облачная технология, которая заключается в размещении пользователем данных удаленно, а именно – в облаке, на удаленном сервере, принадлежащему третьей стороне – облачному провайдеру, с возможностью доступа к информации при помощи различных устройств, имеющих возможность доступа к Интернету Практически все "облачные" хранилища очень схожи с точки зрения клиента. Они позволяют хранить практически неограниченное количество самых разных объектов, вплоть до терабайтов размером. Они позволяют напрямую отдавать их пользователям по HTTP, HTTPS. Все хранилища имеют достаточно простой REST- или SAP-интерфейс API для работы с ними, а также отличаются невысокой ценой. Практически все хранилища декларируют крайне высокую надежность и доступность.

Общий принцип работы "облачных" хранилищ примерно таков. Все данные, которые туда загружаются, реплицируются сразу в несколько точек. Чаще всего, это три и более точки для того, чтобы обеспечить отказоустойчивость в случае выхода из строя двух и более узлов. Если загружается новый файл, ответ об успешной загрузке будет получен только тогда, когда файл загрузился не на одно устройство, а, как минимум, на несколько. Все это происходит прозрачно, быстро. Точки чаще всего географически распределены. Чтобы обеспечить надежность, они географически независимы друг от друга. Архитектура "облачных" хранилищ устроена таким образом, что доступность находится на уровне двух девяток после запятой, а отказоустойчивость, вероятность потери данных – одна миллиардная процента. Если загрузить 10 тысяч файлов в хранилище, то с некоторой долей вероятности один файлик примерно раз в десять миллионов лет можно потерять. Общий принцип работы "облачных" хранилищ примерно таков. Все данные, которые туда загружаются, реплицируются сразу в несколько точек. Чаще всего, это три и более точки для того, чтобы обеспечить отказоустойчивость в случае выхода из строя двух и более узлов. Если загружается новый файл, ответ об успешной загрузке будет получен только тогда, когда файл загрузился не на одно устройство, а, как минимум, на несколько. Все это происходит прозрачно, быстро. Точки чаще всего географически распределены. Чтобы обеспечить надежность, они географически независимы друг от друга. Архитектура "облачных" хранилищ устроена таким образом, что доступность находится на уровне двух девяток после запятой, а отказоустойчивость, вероятность потери данных – одна миллиардная процента. Если загрузить 10 тысяч файлов в хранилище, то с некоторой долей вероятности один файлик примерно раз в десять миллионов лет можно потерять.

С технической точки зрения отказоустойчивость обеспечена, все хорошо. Возникает вопрос: стоит ли создавать резервные копии таких данных? Даже если провайдер нас заверил, мы ему поверили, что все хранится надежно, никто не застрахован от сбоев в собственном программном обеспечении или от человеческого фактора, когда мы пошли и удалили те или иные файлы, и что-то с ними случилось. Еще один вопрос безопасности – это сохранность, конфиденциальность данных. Часто необходимо дать доступ к файлам не всем, а каким-то определенным пользователям. Практически каждый "облачный" провайдер, так или иначе, реализовал механизм access- листов, которые позволяют дать доступ на чтение, например, всем пользователям или каким-то определенным. С технической точки зрения отказоустойчивость обеспечена, все хорошо. Возникает вопрос: стоит ли создавать резервные копии таких данных? Даже если провайдер нас заверил, мы ему поверили, что все хранится надежно, никто не застрахован от сбоев в собственном программном обеспечении или от человеческого фактора, когда мы пошли и удалили те или иные файлы, и что-то с ними случилось. Еще один вопрос безопасности – это сохранность, конфиденциальность данных. Часто необходимо дать доступ к файлам не всем, а каким-то определенным пользователям. Практически каждый "облачный" провайдер, так или иначе, реализовал механизм access- листов, которые позволяют дать доступ на чтение, например, всем пользователям или каким-то определенным.

Достоинства облачного хранилища данных: облачные хранилища имеют невысокую стоимость или абсолютно бесплатны, как правило, с предоставлением виртуального места объемом до 5-7 Гб; доступ к информации в облаке осуществим с любого устройства, поддерживающего интернет-подключение, с любой страны мира; возможен коллективный доступ к чтению и редактированию файлов; абсолютная защищенность от вирусов в данной облачной технологии; отсутствие возможности потери данных. Недостатки облачного хранения данных: необходимость стабильного интернет-соединения; как правило, бесплатно предоставляется ограниченное бесплатное свободное место на виртуальном сервере; необходимость периодической синхронизации данных; привыкание к пользовательскому веб-интерфейсу компании, которая предоставляет услуги по хранению информации в облаке. Достоинства облачного хранилища данных: облачные хранилища имеют невысокую стоимость или абсолютно бесплатны, как правило, с предоставлением виртуального места объемом до 5-7 Гб; доступ к информации в облаке осуществим с любого устройства, поддерживающего интернет-подключение, с любой страны мира; возможен коллективный доступ к чтению и редактированию файлов; абсолютная защищенность от вирусов в данной облачной технологии; отсутствие возможности потери данных. Недостатки облачного хранения данных: необходимость стабильного интернет-соединения; как правило, бесплатно предоставляется ограниченное бесплатное свободное место на виртуальном сервере; необходимость периодической синхронизации данных; привыкание к пользовательскому веб-интерфейсу компании, которая предоставляет услуги по хранению информации в облаке.

Важным аспектом применения облачных хранилищ является высокая надежность хранения данных. На сегодняшний день информация, которая хранится на компьютере, может поддаваться влиянию различных опасностей. Например, она может быть уничтожена при помощи вируса или хакера, пробившегося сквозь надёжную защиту. Помимо этого нельзя исключать вероятность поломки оборудования или сбой операционной системы, который может быть связан с повреждениями таблиц размещения файлов. Также не нужно забывать о пользовательских ошибках, в результате которых могут быть уничтожены важные документы, нарушения работы ОС или любого другого программного обеспечения. Конечно, любая такая ситуация может принести большой ущерб как отдельному человеку, так и целой компании, поэтому требуется предусмотреть резервирование важной информации.

Облачные технологии позволяют использовать четыре варианта копирования данных. Первый – создаются целые образы разделов. Есть возможность восстанавливать всё, в том числе и операционную систему со всеми программами, настройками, драйверами и документами. Второй варрант копирования даёт возможность делать копии любых указанных файлов или папок. Помимо этого можно воспользоваться специальным фильтром для указания объектов для копирования. Также в утилите есть несколько фильтров, которые подразумевают копирование документов, видео, музыки, рисунков и файлов. В третьем случае пользователю предоставляется возможность копировать различные настройки программного обеспечения. В списке предлагаемого ПО есть сотни приложений, среди которых самые распространённые утилиты, предназначенные для определённых действий. Четвёртый вариант резервирования даёт возможность копировать электронную почту, то есть письма, учётные записи, календарь, задания, заметки, подписи, новости и пользовательские настройки программ Outlook Express и Microsoft Outlook. Облачные технологии позволяют использовать четыре варианта копирования данных. Первый – создаются целые образы разделов. Есть возможность восстанавливать всё, в том числе и операционную систему со всеми программами, настройками, драйверами и документами. Второй варрант копирования даёт возможность делать копии любых указанных файлов или папок. Помимо этого можно воспользоваться специальным фильтром для указания объектов для копирования. Также в утилите есть несколько фильтров, которые подразумевают копирование документов, видео, музыки, рисунков и файлов. В третьем случае пользователю предоставляется возможность копировать различные настройки программного обеспечения. В списке предлагаемого ПО есть сотни приложений, среди которых самые распространённые утилиты, предназначенные для определённых действий. Четвёртый вариант резервирования даёт возможность копировать электронную почту, то есть письма, учётные записи, календарь, задания, заметки, подписи, новости и пользовательские настройки программ Outlook Express и Microsoft Outlook.

Во многих компаниях уже сложилась тенденция предоставлять своим сотрудникам, партнерам и клиентам доступ ко всем типам информации и сервисов посредством сети WEB. Однако в корпоративных сетях компаний функционирует огромное число разнородных бизнес-приложений, созданных в различное время, различными организациями, на базе различных технологий. Задача WEB -интеграции заключается в том, чтобы объединить разнородные WEB -приложения и системы в единую среду на базе сети WEB. Вопрос 2. Интеграция и взаимодействие WEB-технологий и технологий хранения данных

Практикуются следующие подходы к WEB -интеграции: 1)Интеграция на уровне представления. Данный уровень позволяет пользователю взаимодействовать с приложением. Интеграция на уровне представления дает доступ к пользовательскому интерфейсу удаленных приложений. 2)Интеграция на уровне функциональности. Данная интеграция подразумевает обеспечение прямого доступа к бизнес-логике приложений. Это достигается непосредственным взаимодействием приложений с API (программному интерфейсу приложений) или же взаимодействием посредством веб-сервисов. 3)Интеграция на уровне данных. В данном случае предполагается доступ к одной или нескольким базам данных, используемых удаленным приложением. 4)Комплексная интеграция. Коммерческие решения по веб- интеграции, как правило, включают все три типа интеграции. Практикуются следующие подходы к WEB -интеграции: 1)Интеграция на уровне представления. Данный уровень позволяет пользователю взаимодействовать с приложением. Интеграция на уровне представления дает доступ к пользовательскому интерфейсу удаленных приложений. 2)Интеграция на уровне функциональности. Данная интеграция подразумевает обеспечение прямого доступа к бизнес-логике приложений. Это достигается непосредственным взаимодействием приложений с API (программному интерфейсу приложений) или же взаимодействием посредством веб-сервисов. 3)Интеграция на уровне данных. В данном случае предполагается доступ к одной или нескольким базам данных, используемых удаленным приложением. 4)Комплексная интеграция. Коммерческие решения по веб- интеграции, как правило, включают все три типа интеграции.

Любое Интернет-Хранилище должно состоять как минимум из четырех частей: клиентский интерфейс, Интернет-сервер, слой связи Интернет-сервера с Хранилищем данных само Хранилища данных. Пользователь получает тонкого клиента - стандартный броузер со страницами, содержащими интерфейсы запросов к данным Хранилища и интерфейсы отображения данных. Часто для получения данных в броузере применяется прямое кодирование в html-страницах SQL-запросов к таблицам РСУБД или специальных запросов к многомерным кубам OLAP-серверов, например на языке MDX. Также в страницах можно описать бизнес- логику и логику интерфейса. Однако этот путь для Хранилища данных весьма неэффективен. Хранилище должно развиваться, в нем будут появляться новые виды данных и возникать новые виды запросов. Каждая новая задача будет требовать дорогостоящего проектирования, разработки и тестирования. Любое Интернет-Хранилище должно состоять как минимум из четырех частей: клиентский интерфейс, Интернет-сервер, слой связи Интернет-сервера с Хранилищем данных само Хранилища данных. Пользователь получает тонкого клиента - стандартный броузер со страницами, содержащими интерфейсы запросов к данным Хранилища и интерфейсы отображения данных. Часто для получения данных в броузере применяется прямое кодирование в html-страницах SQL-запросов к таблицам РСУБД или специальных запросов к многомерным кубам OLAP-серверов, например на языке MDX. Также в страницах можно описать бизнес- логику и логику интерфейса. Однако этот путь для Хранилища данных весьма неэффективен. Хранилище должно развиваться, в нем будут появляться новые виды данных и возникать новые виды запросов. Каждая новая задача будет требовать дорогостоящего проектирования, разработки и тестирования.

Для сокращения трудозатрат при изменении состава данных Хранилища, создании новых отчетов и запросов требуется архитектурное решение, позволяющие разделить систему на независимые слои. Вариант задачи удобного и дешевого обеспечения доступа к данным Хранилища из броузера решается путем создания нескольких относительно независимых слоев (рисунок 1). Для сокращения трудозатрат при изменении состава данных Хранилища, создании новых отчетов и запросов требуется архитектурное решение, позволяющие разделить систему на независимые слои. Вариант задачи удобного и дешевого обеспечения доступа к данным Хранилища из броузера решается путем создания нескольких относительно независимых слоев (рисунок 1).

Рисунок 1 – Архитектура организации облачного хранилища данных с разделением системы на независимые слои

1. Слой данных. База данных содержит внутри себя большую часть бизнес-логики, что защищает данные от разрушения и делает их извлечение понятным для программиста. 2. Слой бизнес-объектов. Web-API основано на особенностях самого Хранилища. Контур Корпорация предназначена для хранения деловой и финансовой информации и содержит в себе предопределенные классы бизнес-объектов. Это: Субъекты (клиенты, партнеры, сотрудники), Организационно-штатная структура (филиалы, департаменты, отделы, штатные должности), Бизнес-операции (финансовые, хозяйственные, организационные операции), Документы (произвольные формы документов, портфели документов, многостраничные и табличные документы), Счета и показатели (произвольное количество планов бухгалтерских счетов и наборов финансовых показателей подразделений, автоматическая консолидация учетных данных корпорации) и т.д. 1. Слой данных. База данных содержит внутри себя большую часть бизнес-логики, что защищает данные от разрушения и делает их извлечение понятным для программиста. 2. Слой бизнес-объектов. Web-API основано на особенностях самого Хранилища. Контур Корпорация предназначена для хранения деловой и финансовой информации и содержит в себе предопределенные классы бизнес-объектов. Это: Субъекты (клиенты, партнеры, сотрудники), Организационно-штатная структура (филиалы, департаменты, отделы, штатные должности), Бизнес-операции (финансовые, хозяйственные, организационные операции), Документы (произвольные формы документов, портфели документов, многостраничные и табличные документы), Счета и показатели (произвольное количество планов бухгалтерских счетов и наборов финансовых показателей подразделений, автоматическая консолидация учетных данных корпорации) и т.д.

Библиотека прикладных классов ACL (Application Class Library) является объектной оболочкой над реляционными таблицами и хранимыми процедурами СУБД. Она описывает все классы объектов, которые могут существовать в Хранилище. Каждый конкретный объект является воплощением одного из классов библиотеки и имеет свойства - сами данные и методы - действия над ними. Эта библиотека является центральным звеном решения. При ее помощи очень легко загрузить или получить любые данные Хранилища, даже если структура Хранилища непрерывно развивается. Важнейшим свойством ACL является включение в нее метаданных - описаний данных. Это позволит программисту легко получить список реквизитов кредитного договора, их названий и типов. В системе Контур Корпорация метаданные охватывают все объекты системы, в ACL реализованы классы, позволяющие легко манипулировать ими. Библиотека прикладных классов ACL (Application Class Library) является объектной оболочкой над реляционными таблицами и хранимыми процедурами СУБД. Она описывает все классы объектов, которые могут существовать в Хранилище. Каждый конкретный объект является воплощением одного из классов библиотеки и имеет свойства - сами данные и методы - действия над ними. Эта библиотека является центральным звеном решения. При ее помощи очень легко загрузить или получить любые данные Хранилища, даже если структура Хранилища непрерывно развивается. Важнейшим свойством ACL является включение в нее метаданных - описаний данных. Это позволит программисту легко получить список реквизитов кредитного договора, их названий и типов. В системе Контур Корпорация метаданные охватывают все объекты системы, в ACL реализованы классы, позволяющие легко манипулировать ими.

Это дает возможность разработки не только статических страниц, и не только страниц запрашивающих фиксированный набор параметров у пользователя и выдающих фиксированную таблицу с данными, как это обычно делается в Интернет-приложениях и клиент-серверных системах. Классы метаданных библиотеки ACL позволяют создавать динамические интеллектуальные страницы. 3. Слой доступа. Существуют возможности доступа к бизнес- объектам для платформ Windows NT(IIS) и UNIX(Apache и т.д.): Вариант 1. Передача запроса к Хранилищу и получение из него данных с помощью COM-объекта с достаточно простым интерфейсом. В этот объект как XML-документ передается запрос и из него извлекается код возврата, сообщение и результат запроса. Вариант 2. Использование в качестве скриптового языка- Python, который очень для этого удобен. Кроме того именно на Python реализована библиотека ACL и программист получает непосредственный доступ к ее объектам. Это дает возможность разработки не только статических страниц, и не только страниц запрашивающих фиксированный набор параметров у пользователя и выдающих фиксированную таблицу с данными, как это обычно делается в Интернет-приложениях и клиент-серверных системах. Классы метаданных библиотеки ACL позволяют создавать динамические интеллектуальные страницы. 3. Слой доступа. Существуют возможности доступа к бизнес- объектам для платформ Windows NT(IIS) и UNIX(Apache и т.д.): Вариант 1. Передача запроса к Хранилищу и получение из него данных с помощью COM-объекта с достаточно простым интерфейсом. В этот объект как XML-документ передается запрос и из него извлекается код возврата, сообщение и результат запроса. Вариант 2. Использование в качестве скриптового языка- Python, который очень для этого удобен. Кроме того именно на Python реализована библиотека ACL и программист получает непосредственный доступ к ее объектам.

Вариант 3. Применение специально разработанного Java- скрипт для передачи XML-запросов к библиотеке ACL и получения от нее XML-ответов. 4. Слой транспорта. Запросы к Хранилищу, полученные данные и служебная информация перемещается между слоем интерфейса и слоем доступа в виде XML-документов. При этом применяется собственный диалект Dynamic XML. Основной особенностью этого диалекта является его автоматическая адаптация под изменения структуры данных Хранилища. 5. Слой интерфейса. Интерфейс создается дизайнером сайта как совокупность страниц, обращающихся к объектам на языке XML. При этом доступны все данные Хранилища, но не требуется знание его физической структуры. Никакое изменение структуры данных не приводит к необходимости изучения новых схем таблиц, или изменения существующих страниц, за счет изоляции базы данных при помощи библиотеки XML. Вариант 3. Применение специально разработанного Java- скрипт для передачи XML-запросов к библиотеке ACL и получения от нее XML-ответов. 4. Слой транспорта. Запросы к Хранилищу, полученные данные и служебная информация перемещается между слоем интерфейса и слоем доступа в виде XML-документов. При этом применяется собственный диалект Dynamic XML. Основной особенностью этого диалекта является его автоматическая адаптация под изменения структуры данных Хранилища. 5. Слой интерфейса. Интерфейс создается дизайнером сайта как совокупность страниц, обращающихся к объектам на языке XML. При этом доступны все данные Хранилища, но не требуется знание его физической структуры. Никакое изменение структуры данных не приводит к необходимости изучения новых схем таблиц, или изменения существующих страниц, за счет изоляции базы данных при помощи библиотеки XML.

Контрольные вопросы 1. Дайте понятие облачного хранилища данных. 2. Поясните общий принцип работы облачного хранилища данных. 3. Охарактеризуйте достоинства и недостатки облачных хранилищ данных. 4. Охарактеризуйте варианты копирования данных в облачных технологиях. 5. Охарактеризуйте подходы к WEB –интеграции хранилищ данных. 6. Перечислите состав и назначение составных частей интернет-хранилищ данных. 7. Приведите и охарактеризуйте архитектуру организации облачного хранилища данных с разделением системы на независимые слои. 8. Перечислите и охарактеризуйте независимые слои облачного хранилища данных. 1. Дайте понятие облачного хранилища данных. 2. Поясните общий принцип работы облачного хранилища данных. 3. Охарактеризуйте достоинства и недостатки облачных хранилищ данных. 4. Охарактеризуйте варианты копирования данных в облачных технологиях. 5. Охарактеризуйте подходы к WEB –интеграции хранилищ данных. 6. Перечислите состав и назначение составных частей интернет-хранилищ данных. 7. Приведите и охарактеризуйте архитектуру организации облачного хранилища данных с разделением системы на независимые слои. 8. Перечислите и охарактеризуйте независимые слои облачного хранилища данных.