ФОРМИРОВАНИЕ ИНТЕГРИРОВАННОЙ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННОЙ СРЕДЫ СПУТНИКОВЫХ ДАННЫХ Кудашев Е.Б. ИКИ РАН / Мех-Мат МГУ kudashev@iki.rssi.ru. - презентация

1 ФОРМИРОВАНИЕ ИНТЕГРИРОВАННОЙ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННОЙ СРЕДЫ СПУТНИКОВЫХ ДАННЫХ Кудашев Е.Б. ИКИ РАН / Мех-Мат МГУ

2 Представление данных в распределенной интегрированной среде Информационное взаимодействие в спутниковых исследованиях Международные спутниковые информационные системы Интеграция Российского сегмента в Европейскую систему спутниковых данных Открытая распределенная среда SSE Технологии интеграции гетерогенных спутниковых ресурсов План доклада

3 Формирование распределенных информацион- ных систем связано с созданием возможностей по электронному взаимодействию: Многопользовательский поиск и распределенный доступ к информационному ресурсу Хранение и обмен информацией Развитие методов и средств, обеспечивающих эффективное использования информационных ресурсов Распределенная интегрированная среда

4 Лавинообразный рост информации: петабайтные Базы данных. Необходимо уметь хранить и обрабатывать большие объемы информации. БД представляют собой массив данных самого разнообразного характера и формы представления Разнородность данных - причина значительных затрат времени на поиск информации и на преобразование данных. Формирование виртуальной распределенной информационной среды, использующей набор общих стандартов и сервисов, решает эту задачу: позволяет достичь максимальной интероперабель- ности при работе с информационными ресурсами.

5 Представление данных и метаданных в интегрированной среде неоднородных (гетерогенных) информационных ресурсов Spatial Data Infrastructure(SDI): инфраструктура для предоставления прозрачного доступа к каталогам, данным, средствам их обработки и анализа Спутниковые исследования: информационными объектами являются потоки данных в реальном времени, образующие огром- ные массивы террабайтового,петабайтового объема. Распределенные инфраструктуры спутниковых данных

6 СПУТНИКОВЫЕ ИССЛЕДОВАНИЯ

7 Спутниковые данные - основной источник информации в экологии и мониторинге природно– климатических изменений, для управления в услови- ях чрезвычайных ситуаций, геологоразведке, в исследованиях биоразнообразия. Спутниковые данные: оперативный ресурс информации о регионе. Высокие темпы развития средств аэрокосмичес- кой съемки приводят к возрастанию объема спутниковых снимков, расширению их спектраль- ных диапазонов и пространственного разрешения. Спутниковые данные

8 Эффективность информационного взаимодействия ограничивается гетерогенностью ресурсов спутниковой информации. Разнородность данных, обилие форматов представления данных, различие форматов метаописаний одних и тех же данных в различных Спутниковых центрах, необходимость дублирования данных и сервисов, несоответствие данных из-за разных межформатных преобразований данных и метаданных. Разнородность спутниковых данных

9 Проблемы эффективного информационного взаимодействия в области спутниковых исследований потребовали разработки виртуальной геоинформационной среды, обеспечивающей интероперабельность распределенного взаимодействия, много- пользовательский доступ к коллекциям и ресурсам спутниковой информации. Что понимается под виртуальной геоинформационой средой?

10 Будем рассматривать Виртуальную геоинформационную среду как некоторую распределенную Информационную архитектуру, развернутую в сетевой среде, объединяющую информационные ресурсы спутниковых исследований. Геоинформационная среда содержит базовые инфраструктурные элементы, обеспечивающие эффективное информационное взаимодействие: это аэрокосмические снимки; слои цифровой карты, привязанные к системе координат; Виртуальная геоинформационная среда

11 каталоги геопространственной информации, используемой в ходе научных исследований; сервисы обработки геопространственных данных; нормативно- правовые документы, инструкции; методики и алгоритмы обработки спутниковой информации, словари, классификаторы, эталоны, библиотеки спектральных характеристик объектов.

12 Развитие виртуальной геоинформационной среды включает разработку правил информа- ционного взаимодействия, порядка админи- стрирования данных и предоставления доступа к ним. Требуется разработать и согласовать профили стандартов на метаданные для пространственной информации. Доступ к информации, хранящейся в Виртуальной геоинформационной среде обеспечивает соответствующий Портал.

13 Национальные и глобальные инфраструктуры геопространственных данных United Nations Geographic Information Working Group EU INSPIRE GEOConnection/FGDC UN SDI GMES/GEOSS National SDI

14 Объединение информационных ресурсов спутниковых исследований в единую информационную среду требует: Решения проблем технологий Систематизации ресурсов, разработки средств каталогизации и поиска ресурсов Структурирование исходной информации, стандартизации интерфейсов. ИНТЕГРАЦИЯ СПУТНИКОВЫХ РЕСУРСОВ

15 Развитие инфраструктуры геопространственных данных Правовые акты РФ « Концепция создания и развития инфраструктуры пространственных данных Российской Федерации», Правительство РФ, 2006 г. «Типовая программа развития и использования информационных и телекоммуникационных технологий субъекта Российской Федерации», Правительство РФ, 2007 г.

16 Электронная Россия Электронное Правительство e-Science e-Learninge-Safety Digital World ГЕО-ИНФОРМАТИКА Электронная Москва Электронные библиотеки, GRID Инфраструктуры геоданных Электронная Земля

17 Геоинформационная инфраструктура спутниковых данных Архивирование и хранение больших массивов данных Интеграция разнородных коллекций в единое информационное пространство On-line доступ к ресурсам и GIS сервисам Интероперабельность между Центрами данных Гармонизация данных с мировыми стандартами и технологиями Поиск и управление электронными ресурсами в среде Web Использование космической информации для мониторинга природной среды ПОИСК И УПРАВЛЕНИЕ СПУТНИКОВЫМИ ДАННЫМИ

18 Технологии и сервисы создания ресурсов и доступа к данным Гармонизация ресурсов с мировыми стандартами и технологиями ресурсов Интеграция гетерогенных информационных ресурсов Интероперабельный доступ к распределенным ресурсам Распределенная обработка и хранение данных на основе Digital Library технологий Программа РАН ЭЛЕКТРОННАЯ ЗЕМЛЯ

19 использует приложения, основанные на Wеb и открытых стандартах и протоколах Open GIS, каталоги, основанные на Wеb и открытых стандартах и протоколах Open GIS распределенная система на технологии Grid позволяет хранить огромные массивы данных и информацию, полученную в результате их обработки поддерживаются геоданные и метаданные для поиска, обнаружения, оценки и доступа к данным

20 СПУТНИКОВЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ EOSDIS (EOS Data and Information System). EOSDIS в США сегодня: Несколько сотен гигабайт информации ежедневно, Более 1500 коллекций данных и пользователей ежегодно Развиты сети данных,предоставля- ющие данные в реальном времени государственным структурам, сотням университетов, частным пользователям.

21 ИНФРАСТРУКТУРА EOSDIS Система EOSDIS (1994) объединила 14 распределенных Центров данных, восемь из которых расположены на территории США: Центр данных NASA/Langley – тропосферная химия Центр ASF, университет Аляски – полярные исследования

22 Центр данных EROS – земная поверхность, взаимодействие океана и суши Центр NASA/Goddar – глобальная биосфера JPL – физическая океанография NSIDC – снег, лед, криосфера и климат Национальная лаборатория Oak Ridge – биохимическая динамика Центр в Алабаме – глобальная гидрология

23

24 ЕВРОПЕЙСКИЕ ИНФРАСТРУКТУРЫ INFEO (INFormation about Earth Observation) eoPortal – Портал Европейского Космического Агентства GMES (Global Monitoring for Environment and Security) GEOSS (Global Earth Observation System of Systems) Group on Earth Observations (GEO)

25 ТРЕБОВАНИЯ К ИНФРАСТРУКТУРЕ СПУТНИКОВЫХ ДАННЫХ Возможность подключения к системе любого поставщика данных, независимо от структуры его Базы Данных Оперативный доступ пользователя к информации, не требующий дополнительных знаний Распределенный поиск данных по всем архивам, зарегистрированным в системе

26 Система INFEO (Information about Earth Observation) разработана Европейским Космическим Агентством и является глобальной распределенной системой, предоставляющей доступ к данным дистанционного зондирования Земли (ДЗЗ) Основная функция системы INFEO: обеспечение доступа пользователя к информации ДЗЗ, единого поиска данных по всем архивам, зарегистрированным в системе, независимо от их географического положения. ИНФОРМАЦИОННАЯ СИСТЕМА INFEO

27 Информационная система INFEO построена на основе Web/ Middleware технологий и представляет собой распределенную сеть узлов Middleware Nodes (MWNDs). Каждый из узлов MWNDs содержит метаданные коллекций, описывающие данные. Доступ к данным предоставляется через многовходовые (Gateway) шлюзовые службы доступа к оператору БД. Технологии INFEO

28 Gateway может обеспечивать доступ как к данным ДЗЗ, так и к специальным сервисам GEO Server, Web Map Server, IMS Server. Пользователь для поиска информации обращается к системе через WWW-сервер на одном из узлов MWND, где формируется распределенный поиск, результаты которого объединяются и возвращаются пользователю. Распределенный поиск – это маршрутизация запросов и объединение ответов. GATEWAY. Шлюзовые службы INFEO

29 Структурная схема информационной системы Сеть узлов (Middleware Nodes) – промежуточный слой между пользователями и источником данных

30 Российский сегмент распределенной спутниковой системы Поставщик данных: Центр спутникового мониторинга: Владивосток, ИАПУ ДВО РАН Центр ежедневно принимает, обрабатывает, поставляет и архивирует информацию с американских спутников NOAA (более 1500 сеансов в год) и с геостационарных спутников: японского GMS-5 и китайского FY-2B (с середины 2003г. круглосуточно).

31 Поставщик данных Центр спутникового мониторинга

32 Сервер метаданных, Шлюз: Москва, Институт космических исследований РАН Узел Middleware Node: Италия, Рим, Институт Европейского Космического Агентства ESA/ESRIN

33 ПОИСК СПУТНИКОВЫХ ДАННЫХ Поисковый интерфейс: Критерии поиска Тип данных Коллекция Спутник/сенсор Координаты Дата сеанса

34 ESA SSE (Service Support Environment) Клиент TOOLBOX БД Запрос API Портал

35 Структура и схема работы российского сегмента Москва Институт Космических исследований РАН Рим ESRIN/ESA (Европ. Космическое Агентство) Владивосток Центр Спутникового Мониторинга ДВО РАН Спутники Получение данных Хранение данных Хранение метаданных, поиск EO Portal/INFEO Запрос, ответ Клиент Передача метаданных Запрос, ответ

36 SSE (Service Support Environment) Разработана единая среда для потребителей и провайдеров данных. SSE объединяет пользователей на основе: стандарт XML (Extensible Markup Language) протокол обмена сообщениями SOAP (Simple Object Access Protocol) язык описания веб-сервисов – протокол WSDL (Web Service Definition Language) Технология интеграции EOLI/ XML – внешний интерфейс для обмена сообщениями между сервером и клиентом на основе протокола SOAP.

37 Цели создания инфраструктуры SSE Предоставить среду, максимально упрощающую взаимодействие сервис-провайдер-пользователь Упростить интеграцию существующих сервисов, предоставляя универсальный интерфейс на основе XML Предоставить пользователям единую точку входа - Интернет-портал системы

38 Интеграция Российского сегмента в среду SSE Создать структуру хранилища данных Представление российских спутниковых данных в формате среды SSE Осуществить взаимодействие между средой SSE и конкретной базой спутниковых данных с собственной архитектурой Формировать многозвенную архитектуру хранилища данных

39 Стандарты спутниковых данных World Wide Web Consortium W3C Open Geospatial Consortium (OGC) ISO TC/211 International Standards Organization (ISO) / TC 211- Geographic information/Geomatics European Committee for Standardization (CEN) /TC Geographic Information Federal Geographic Data Committee (FGDC) - Федеральный комитет США по географическим данным

40 МЕТАДАННЫЕ ISO «Geographic information – Metadata» –Абстрактная модель (UML) FGDC / ANSI версия 12/24/2003: основан на различных национальных стандартах метаданных ISO «Geographic information – Metadata – XML schema implementation»– XML-Schema реализация ISO 19115

41 Прохождение запроса в SSE 1.Пользователь через интерфейс SSE посылает запрос к сервису 2.Запрос, сформированный в формате SOAP- сообщения, пересылается на URL сервиса. 3. Сообщение поступает на вход сервера веб- приложений: обработка запроса и передача его на внутренний интерфейс сервиса. 4. Обработка входного запроса и формирование ответа выполняется на основе WSDL-документа в соответствие с XML-схемой сервиса. 5. Для поиска требуемой информации пользова- тель использует поисковый интерфейс ESA.

42 SSE Портал Java Virtual Machine Toolbox engine Java сервлет XML-схема FTP JDBC Java API SOAP APISOAP Сервис (внутренний интерфейс) WSDL-описание СЦЕНАРИЙ РАБОТЫ Прохождение и обработка запроса Входной запрос Сервер веб-приложений. Обработка запроса

43 Поисковый интерфейс для поиска спутниковой информации

44 Пример сервиса: Сoastline Extractor Информация о береговой линии Параметры приливов и отливов Геологический тип береговой линии

45 Спутник ENVISAT Европейского космического агентства Масса спутника ENVISAT более 8100 кг. На борту спутника размещено 9 инструментов -сенсоров.

46 ПРОГРАММА GMES И ПРОЕКТ HMA Программе GMES – Global Monitoring for Environment and Security ESA предложило проект HMA – Heterogeneous Mission Access Расширение использования гетеро- генных спутниковых ресурсов в:

47 Особенностью программы GMES является гармонизация доступа к гетерогенным ресурсам: спутниковым данным разных провайдеров – национальных космических агентств. Проект HMA /ESA обеспечит гармонизацию сервисов и данных наземных сегментов мониторинга с помощью сервис-ориентирован. архитектуры SOA. HMA предоставляет единообразный доступ к данным и сервисам каждого из участников проекта. Проект использует общие стандарты и протоколы ISO и OGC (Open GeoSpatial Consortium).

48 Ключевым компонентом технологии HMA является интеграционный слой доступа к данным Data Access and Interoperability Layer (DALI), DALI предоставляет единый интерфейс доступа к каталогам и сервисам всех участников программы GMES на основе использования общих стандартов интеропе- рабельного доступа. Структура интеграционного слоя доступа к данным показана на следующем слайде.

49 Data Access and Interoperability Layer (DALI)

50 Пользователь авторизуется только у одного поставщи- ка сервисов (SPI) – нет необходимости выполнять аунтефикацию у каждого провайдера данных и серви- сов в процессе обработки информации. Стратегия управления доступом к данным и сервисам в HMA

51 Схема предоставления доступа к данным в проекте HMA через DAIL (Data Access and Interoperability Layer)

52 Картографическое представление данных Пользователь Портал Хочу карту Пользователь через интерфейс делает запрос и получает требуемую карту Интерфейс

53 Get Map Многослойная карта запрос GetMap: Слой «Границы» Слой «Города» Слой «Горы» Слой «Облака» Пользователь

54 Данные, поддерживаемые сервисом WMS Ro ma WMS GetMap возвращает данные только в виде картинок (JPEG, GIF or PNG) без возможности обработки Пользователь