Параллельная поисковая машина для сверх-больших баз данных по окружающей среде Михаил Жижин, ИФЗ РАН Eric Kihn, NGDC NOAA

План семинара Генератор погодных сценариев ESG и нечеткий поиск данных Интерактивный ресурс данных по солнечно-земной физике SPIDR и моделирование космической погоды Архив изображений Земли из космоса SABR

Ключевые слова и технологии ООП, параллельные вычисления, распределенные базы данных Искусственный интеллект и нечеткие множества Компьютерные кластеры Linux, Web (DHTML), XML, Java, JSP, RMI, SOAP, Web services Переносимость и масштабируемость Open Source

Что мы храним и ищем? ПользователиПроектыСреды ФлотESGОкеан Авиация, экология, метеорология Климат и атмосфера Связь и навигация, GPS SPIDRИоносфера Спутниковые операторы Магнитосфера и космос Наблюдения Земли из космоса SABRСпутники

Параллельная поисковая машина Ищет события как определенные условия и/или тренды в архивах данных Реализована на вычислительном кластере с распределенными базами данных и параллельными алгоритмами их обработки Подключение сетевых клиентов к поисковой машине не требует особых вычислительных затрат и трафика

Основные модели данных Временные ряды на сетке - BLOBS Гранулирование по времени BLOBS зависит от приложений: 1 год для климатических данных, 1 день космической погоды Метаданные в формате XML, включая символьные выражения и формулы для виртуальных параметров (напр., скорость ветра) Проекция на общую терминологическую базу метаданных

Протоколы и интерфейсы JDBC (доступ к кластеру баз данных) Java RMI, JAX-RPC (модели данных высокого уровня и распределенные синхронные сервисы) JMS, JAXM (асинхронные сервисы на EJB платформe) SMTP, Java Mail (синхронизация региональных узлов) HTTP (доступ пользователей)

Модель данных ESG

Поиск событий в ESG Поиск и отбор источников данных Редактор сценариев нечеткого поиска Параллельный запрос в базы данных Нечеткий поиск событий Визуализация результатов поиска Экспорт данных, внешние сервисы

Поиск и отбор источников данных

Узлы и области на сетке

Временные ряды в узле

5-мерная визуализация в области

Поиск событий в терминах нечеткой логики «классическое» множество «нечеткое» множество

Нечеткие термины

Нечеткая логика First operand: fuzzy set A Second operand: fuzzy set B Fuzzy NOT Fuzzy AND Fuzzy OR

Нечеткое И: Т-норма Определение: Примеры:

Формулы Ягера (Yager) Пределы: Определение:

Гладкость норм Ягера a)Нечеткие функции принадлежности множеств A и B; b) T-нормы (И) для q = 1, 2, 5, и 50; c) T-конормы (ИЛИ) для q = 1, 2, 5, и 50

Случай двух переменных

Многомерный поиск в ESG Многомерные функции принадлежности в ESG задаются как конъюнкции (И) одномерных функций принадлежности для каждого параметра и узла Например, «сильный ветер» И «средняя температура» И «влажность 60%» В качестве оператора И используется Т- норма Ягера при q=5

High Wind Average Temperature About 60% Humidity

Нечеткий запрос

Сценарий ESG

Результат нечеткого поиска

Интерактивное моделирование Заполнить форму на счет модели Собрать данные из сети Рассчитать модель Визуализировать результаты Вернуть ссылки на графику и данные

Климатические модели ESG NCEP/NCAR CDAS/Reanalysis Project Output Parameters: 1) pressure level data on 10 isentropic surfaces: horizontal winds, omega (dP/dt), geopotential height, specific/relative humidity, absolute vorticity and divergence on standard pressure levels every 6 hours; 2) total cloud cover, convective and total precipitation; 3) surface wind stress, latent/sensible heat flux, soil temperature/moisture, gravity wave drag, SST, 2m temperature, 2m humidity, 10m winds, runoff, mean sea level pressure, surface pressure, and snow. The data is available every 6 hours. The above list is not complete. URL: COAMPS - Coupled Ocean/Atmosphere Mesoscale Prediction System Output Parameters: Similar to NCEP/NCAR model URL: ACMES - Advanced Climate Modeling and Environmental Simulations Output Parameters: Similar to NCEP/NCAR model URL: MM5 – 5th generation mesoscale model of atmospheric circulation Output Parameters: Similar to NCEP/NCAR model URL:

Космические модели ESG IRI - International Reference Ionosphere Model Output Parameters: Electron density, electron temperature, ion temperature, ion composition (O+, H+, He+, NO+, O+2) URL: AMIE - Assimilative Mapping of Ionospheric Electrodynamics Model Output Parameters: Ionospheric electric potential distribution URL: MSM - Magnetospheric Specification Model Output Parameters: Electron and ion fluxes in the inner and middle magnetosphere; fluxes of electrons precipitating into the ionosphere; ionospheric electric fields; magnetic- field mapping information URL: PIM - Parameterized Ionospheric Specification Model Output Parameters: Electron density profiles (EDPs) between 90 and km altitude, corresponding critical frequencies and heights for the ionospheric E and F2 regions, and Total Electron Content (TEC) URL: IONSCINT - Ionospheric Scintillation Simulation Algorithm Output Parameters: A simulated prediction of scintillation intensity throughout a specified theater for communication with a specified satellite.

Запрос модели IONSCINT

Результат моделирования