Корпоративная океанографическая информационно-аналитическая сиcтема ДВО РАН: концепция, архитектура, реализация В.К. Фищенко, А.В. Голик Тихоокеанский океанологический институт ДВО РАН

ДВО РАН – Дальневосточное отделение Российской академии наук ~ 25 институтов (6 научных центров) ~ 12 институтов по направлению «Науки о Земле» 5 институтов связаны с исследованиями океана (литосфера, гидросфера, атмосфера) ТОИ (300 н.с.), ИБМ (200), ТИБОХ (100), ИАПУ (50), ИПМТ (100), … всего около 1000 Характер работы 1.Получение данных в экспедициях, данных от коллег и из других организаций, из интернета. 2.Обработка, анализ, интерпретация данных. 3.Формулирование теоретически и практически значимых выводов. Океанографические исследования в ДВО РАН

С момента создания ДВО РАН за несколько десятков лет накоплен огромный фактографический материал по океанографии дальневосточных морей, созданы эффективные методики анализа данных, моделирования и прогноза. Этот материал и эти методики способствовали получению нового фундаментального знания о природе Дальневосточных морей, они служат отправной точкой при планировании и проведении новых исследований Однако, по нашему мнению, этот значительный накопленный потенциал океанографических исследований все же используется в ДВО не в достаточной мере. Часто полученные в научных экспедициях данные используются исключительно их владельцами, то же самое можно сказать в отношении методик анализа данных. В целом недостаточна координация исследований между институтами и даже между научными группами внутри институтов, не в полной мере используются возможности современных информационных технологий, прежде всего СУБД, ГИС, почти не используются имеющиеся в ДВО РАН высокопроизводительные вычислительные системы с параллельной архитектурой, слабо задействована существующая высокопроизводительная телекоммуникационная инфраструктура ДВО РАН. Актуальность разработки ОИАС

Поэтому мы полагаем, что 1. для повышения общей эффективности океанографических исследований в ДВО РАН, 2. для увеличения управляемости процессом исследований, 3. для усиления координации между институтами и отдельными исследовательскими группами целесообразна разработка на базе корпоративной компьютерной сети ДВО РАН единой океанографической информационно- аналитической системы (ОИАС).

Концепция ОИАС ДВО РАН

Основные положения концепции ОИАС 1.ОИАС разрабатывается в форме Интернет-проекта на базе ГИС, Интернет, GRID –технологий и функционирует в корпоративной компьютерной сети ДВО РАН 2. ОИАС должна предоставлять всем заинтересованным специалистам ДВО РАН непосредственно на их рабочих места в институтах и на морских экспериментальных станциях с помощью стандартного Web- интерфейса оперативный доступ: а) ко всем накопленным в институтах ДВО РАН и полученным из других источников данным по состоянию морского дна, водной среды, и атмосферы на акваториях дальневосточных морей; б) к наглядным средствам совместной картографической и общенаучной визуализации всех видов данных; в) к эффективным программным средствам обработки и анализа океанографических данных, моделирования и прогноза; г) к распределенным и суперкомпьютерным ресурсам сети ДВО РАН для поддержки особо трудоемких вычислительных задач.

Требования к данным Океанографические данные по виду: 1) данные о морском дне (морская геология, геофизика, геохимия, …) 2) данные о морской среде (температура, соленость, плотность, содержание различных химических веществ, …) 3) данные о поверхности (температура, волнение, течения, …) 4) данные об атмосфере (ветер, давление, влажность, температура, …) по источникам: 1) данные ТОИ и других институтов ДВО РАН 2) данные, переданные в ДВО РАН другими организациями 3) данные, находящиеся в хранилищах данных в интернете Должна применяться гибкая система разграничения прав доступа к данным Требования к системе визуализация: ОИАС должна позволять совместное отображение различных видов океанографических данных с произвольным пространственным разрешением.

Требование к системе аналитической поддержки ОИАС должна предоставлять пользователям удобные в использовании программные средства анализа данных, представленных в ГИС Методы анализа данных: 1) Классические методы обработки и анализа данных 2) Новые методы и технологии обработки и анализа 3) Предметно-ориентированные методики моделирования и анализа океанографических данных, разрабатываемые в институтах ДВО Требование к системе поддержки высокопроизводительных вычислений Должны поддерживаться технологии распределенных вычислений (с использованием парка персональных компьютеров ДВО РАН) и суперкомпьютерных вычислений (с использованием суперкомпьютерных комплексов ДВО РАН) Пользователи: Сотрудники ТОИ ДВО РАН (пользователи локальной сети института, 350 рабочих мест) Сотрудники других институтов ДВО РАН (пользователи корпоративной компьютерной сети ДВО РАН, прежде всего ИАПУ, ИБМ, ТИБОХ, ~ 1000 рабочих мест) Студенты «океанографических» специальностей вузов Владивостока (ДВГУ, ДВГТУ, ВГУЭС) Все заинтересованные лица, имеющие доступ к сети Интернет

Архитектура ОИАС

Принципиальная схема ОИАС ДВО РАН

Реализация В ТОИ ДВО РАН с 2001 года действует рабочий макет ОИАС

Начальная HTML-страница ГИС (адрес в интернете:

Регистрация пользователя и просмотр политики доступа - granted access - denied access

Работа с интерак- тивной картой

Литосфера в ОИАС

Геология и геофизика морского дна Охотского моря

Распределение фосфатов на дне Японского моря

Карта донных осадков в Японском море

Морфогеологическая карта дна Берингова моря

Геологическая карта южной части Охотского моря

Нефтегазовые проявления на северо-востоке Сахалинского шельфа

Гидросфера в ОИАС

Работа с гидрологическими (CTD) данными (база данных ТОИ ДВО РАН)

Работа с CTD-данными (World Ocean Database 2001) Graph of salinity Graph of temperature

Работа с CTD-данными (данные попутных судовых измерений, проект NearGOOS) List of stations

Атмосфера в ОИАС

Среднее распределение облачности в мае

Маршрутов тайфунов (Июль - Октябрь 1999 г.)

Спутниковые данные в ОИАС

Запрос SAR-изображений с проявлениями различных океанических и атмосферных феноменов Select of satellite parameters Select by SAR-image phenomena

SAR-изображения со следами нефтяных загрязнений

SAR-изображения с проявлениями внутренних волн

Ледовая обстановка в заливе Анива (Март 1999)

Работа пользователя со «своими» слоями данных

Аналитическая поддержка в ОИАС 1) Экспорт данных в открытых форматах (shape, MIF/MID, текстовом) для последующего анализа математическими пакетами и настольными ГИС 2) Предобработка данных на сервере (подготовка графических образов данных, распаковка, преобразование к форматам ГИС, интерполяция, генерация preview-образов данных из океанографических хранилищ в интернете) 3) Встраивание программ обработки в виде ActiveX- компонентов в интерфейс ГИС 4) Сопровождение ГИС внешними программами обработки, понимающими форматы файлов данных ГИС

Универсальная программа обработки изображений

Корреляционно-спектральный анализ изображений ИПХ ИЧХ 1 и ее аппроксимаци я ИЧХ 2 и ее аппроксимаци я Изображ ение Фурье- спектр Коррел яция

Морфологический анализ изображений

Подсистема визуализации CTD-данных по северо- западной части Тихого океана в составе корпоративной океанографической ГИС ДВО РАН Разработана и встроена в океанографическую ГИС ДВО РАН пилотная версия системы визуализации CTD-данных. Она обеспечивает работу пользователя с тремя источниками данных: базой CTD-данных морских экспедиций ТОИ ДВО РАН, базой данных WOD-2001 Национального центра океанографических данных США, базой оперативных данных наблюдений NEAR GOOS. Общее количество гидрологических станций - более 1,6 млн. Пользователю предоставляется возможность производить выборки нужных CTD данных и получать полезные для их интерпретации визуальные отображения: вертикальных профилей различных гидрологических характеристик; плоских горизонтальных сечений гидрологических полей на заданных горизонтах; вертикальных плоских сечений полей вдоль заданных направлений и маршрутов движения судов. Основным преимуществом данной технологии по сравнению с настольными программами визуализации, например, Ocean Data View, является возможность одновременной работы большого числа пользователей с единым массивом данных с помощью стандартного Web-интерфейса.

Пространственно-временные запросы к базе CTD-данных

Построение вертикальных профилей TTSS Первая декада июняПервая декада декабря Выбранный регион южнее п-ва Камчатка

Построение горизонтальных сечений Температура Соленость

Вертикальные и временные сечения Вертикальное сечение поля солености вдоль заданного линейного разреза (усреднение по декабрьским данным) Временная динамика вертикального распределения температуры в Южно-Китайском море с января по апрель 2004 года

Анализ сейсмоакустических сигналов

Просмотр Preview-образов данных

Интерактивный анализ данных в ГИС (технология Active-X)

Вейвлет-анализ сейсмоакустических данных

Обеспечение доступа к распределенным и суперкомпьютерным ресурсам сети ДВО РАН для поддержки особо трудоемких вычислительных задач

Разработка и первичная апробация технологии поддержки распределенных вычислений в корпоративной сети ТОИ ДВО РАН С использованием системы Condor, свободно распространяемой разработки университета Madison (США), на базе нескольких компьютеров отдела Информационных технологий и ГИС ДВО РАН была развернута и исследована специальная технология поддержки распределенных вычислений. Данная технология позволяет распределять интенсивные потоки служебных задач, возникающих при эксплуатации ГИС ДВО РАН, между относительно "свободными" компьютерами корпоративной сети. Кроме этого с помощью такой технологии возможно эффективное решение вычислительно трудоемких аналитических задач, которые могут быть разделены на относительно независимые подзадачи. Для исследования возможностей разработанной технологии в систему аналитической поддержки ГИС была включена программа нелинейной пространственной фильтрации спутниковых изображений большого размера. После выбора пользователем ГИС типа фильтра и уточнения его параметров программа формирует поток задач, каждая из которых ведет обработку узкой полосы изображения, и отправляет его на обслуживание в CONDOR. После выполнения всех подзадач формируется общий результат.

Принципиальная схема организации распределенных и суперкомпьютерных вычислений в ОИАС ДВО РАН на базе средств Condor и Globus Toolkit

Распределенные вычисления: Задача нелинейной фильтрации спутниковых изображений большого размера Общая схема решения задачи фильтрации: 1.Выбор пользователем исходного изображения и алгоритма фильтрации 2.Уточнение пользователем параметров фильтра 3.Разбиение изображения на N - полос – подзадач 4.Параллельная фильтрация полос на нескольких CONDOR- машинах 5.Объединение полос 6.Предоставление результата пользователю

Нелинейная пространственная фильтрация спутниковых изображений большого размера (задание параметров)

Результат применения фильтра «Удаление тренда» Исследование вычислительной эффективности при различных конфигурациях Condor. Размер изображения 2456 х 2812 Фильтр – удаление тренда Размер окна фильтра 129х129

Разработка и первичная апробация технологии поддержки суперкомпьютерных вычислений в корпоративной сети ДВО РАН Проведена разработка и пробное исследование технологии использования суперкомпьютерных вычислительных ресурсов сети ДВО РАН для поддержки вычислительно трудоемких задач аналитической обработки в составе океанографической ГИС ДВО РАН. Технология основана на применении свободно распространяемого пакета средств разработки GRID-приложений Globus Toolkit, некоторые из компонентов которого были установлены на основном сервере ГИС и на вычислительном кластере МВС-1000 в ИАПУ ДВО РАН. Для отработки этой технологии в систему аналитической поддержки ГИС включена программа моделирования трехмерных случайных полей с заданными статистическими свойствами. Пользователь ГИС с помощью стандартного Web-интерфейса уточняет параметры модельной задачи, после чего она отправляется на выполнение на кластер МВС-1000 в ИАПУ. По окончании расчетов результат можно скачать со служебного FTP-сервера в сети ИАПУ ДВО РАН. Области применения задачи: 1 - имитация распределения гидрофизических полей в толще океана; 2 - имитация временной динамики двумерных полей, например, полей волнения на поверхности океана.

Суперкомпьютерные вычисления: Задача моделирования трехмерных случайных полей с заданными свойствами (задание параметров модели)

Мониторинг состояния кластера МВС-1000 в ИАПУ ДВО РАН при выполнении модельной задачи

Модель трехмерного случайного поля с Гауссовой спектральной плотностью Параметры модели α =1 a x = 1, a y = 1, a z =1 Nx=Ny=Nz=512 XYXZ YZ Задача 4.3

Параметры модели A = 1, B = 0.02, a = 0, α = 0.9, β = 1.66 a x = 1, a y = 1, a z =1 Nx=Ny=Nz=512 Модель трехмерного случайного поля стурбулентной спектральной плотностью XYXZ YZ

Примеры использования ОИАС в научных исследованиях

1. Поддержка сейсмоакустических исследований на МЭС м.Шульца Регистрируемый сигнал микродеформаций земной коры B AB A R R Δ R

Применение слоя «Сейсмоакустика» в ГИС (обнаружение и анализ внутренних волн)

Применение слоя «Сейсмоакустика» в ГИС (обнаружение и анализ откликов землетрясений) Землетрясения силой не менее 5 баллов, происшедшие с 1 по 10 сентября 2004 года Анализ сейсмоакустического сигнала, согласованного по времени с землетрясением силой 7.40 баллов ( , 14:57:18 GMT, СШ, ВД).

Применение слоя «Сейсмоакустика» в ГИС (обнаружение и анализ откликов океанических штормов)

2. Разработка и исследование алгоритмов восстановления физических полей океана по спутниковым данным радиометра AMSR-E с использованием подспутниковых наблюдений (Near-GOOS) Configuration of task POI FEB RAS GIS-server Server contains local copies of AMSR-E data Laboratory of satellite oceanology Client PClient Q Computing resources Client IClient JClient 1Client N Gateway Internet Server contains satellite data AMSR-E (in Japan) Server NEAR-GOOS (in Japan)

restored SST fieldrestored SSW field Restoration SST & SSW fields from AMSR-E data channel 6GHz - Vchannel 6GHz - Hchannel 10.65GHz - Vchannel 10.65GHz - H T = fT(Ch1, Ch2, Ch3, Ch4, … ) W = fW(Ch1, Ch2, Ch3, Ch4, … )

Validation of the SST field retrieval algorithm

CEARAC (Coastal Environmental Assessment Regional Activity Centre) SIMP (Slicks as Indicators of Marine Processes) GIS on arctic seas (not available) Application developed technology for realization other scientific internet projects

Заключение 1.Для ДВО РАН актуальна разработка корпоративной океанографической информационно аналитической системы, предоставляющий всем заинтересованным специалистам доступ к океанографическим данным, средствам их визуализации и анализа, к распределенным и суперкомпьютерным вычислительным ресурсам ДВО РАН 2.Такая ОИАС может быть разработана на базе корпоративной сети ДВО РАН 3. В ТОИ ДВО РАН создан и с 2001 года функционирует в сети Приморского центра ДВО РАН рабочий макет ОИАС, которые ужу показал свою эффективность для обеспечения ряда научных исследований 4. Разработчики ОИАС готовы к сотрудничеству со всеми специалистами ДВО РАН, заинтересованными в разработке информационных и аналитических продуктов коллективного пользования на базе корпоративной сети ДВО РАН

Спасибо за внимание

Электронная библиотека ОИАС (окно организации запроса)

Результат выполнения запроса

Просмотр найденной публикации