Интеграция архивов данных с вычислительной средой В. И. Одинцов, А. И. Осин, А. Н. Зайцев Научная конференция Базы данных, инструменты и информационные. - презентация

1 Интеграция архивов данных с вычислительной средой В. И. Одинцов, А. И. Осин, А. Н. Зайцев Научная конференция Базы данных, инструменты и информационные основы полярных геофизических исследований мая 2011 года, ИЗМИРАН Институт земного магнетизма, ионосферы и распространения радиоволн РАН им. Н. В.Пушкова

2 Базы данных многолетних наблюдений и экспериментов, доступные на сайте ИЗМИРАН: Наблюдения геомагнитного поля - три базы данных ftp://ftp.izmiran.ru/MAGDATA/DATABASE/ftp://ftp.izmiran.ru/MAGDATA/DATABASE/ и ; Прогноз Солнечной Активности Нейтронный монитор Радиоизлучение солнца Ионосферная погода Эксперименты на спутниках Прогноз и Интерболл КОРОНАС-Ф

3 Предпосылки к созданию виртуальных архивов данных В условиях лавинообразного нарастания объемов научных данных в геофизике, создание и сопровождение больших централизованных архивов становится практически трудноосуществимой задачей. Громадный объем и разнообразие научных данных в сети Интернет затрудняют поиск данных, относящихся к конкретным событиям; различие в форматах представления данных и интерфейсах доступа к ним вынуждают пользователей создавать свои собственные программные средства для приведения данных к единому формату обработки.

4 Решение проблемы поиска и просмотра данных в удаленных электронных архивах через создание виртуальных архивов позволяет исследователям легко и быстро находить данные различной природы и создавать локальные частные базы данных, объединенных единым форматом описания (форматом метаданных). Группами специалистов ИЗМИРАН созданы Виртуальная геомагнитная обсерватория и Виртуальный архив

5 Следующим естественным шагом является переход к созданию интегрированных систем «виртуальный архив – вычислительная среда» которые обеспечивают: поиск данных по запросам пользователей в виртуальных архивах передачу данных из виртуального архива в вычислительную среду для обработки обратную отправку пользователям результатов обработки в виде графических образов или файлов частично обработанные данные для последующего анализа средствами пользователя.

6 В результате интеграции виртуального архива с вычислительной средой снижаются требования к вычислительной мощности ПК (непременным условием является только наличие доступа в Интернет); отсутствуют требования к типу операционной системы, установленной на компьютере пользователя (это могут быть Windows, Linux и т.п.); снижаются затраты на аппаратное и программное обеспечение - не требуется установка дополнительного программного обеспечения на компьютере пользователя для доступа к виртуальному архиву; не требуется установка на компьютере пользователя вычислительных средств для типовой обработки данных и графического представления результатов обработки - экономится дисковое пространство (данные и программы хранятся в Интернете); снижается нагрузка на сетевые ресурсы по передаче по сети Интернет больших объемов необработанной информации, в результате достигается высокая скорость обработки данных.

7 Блок-схема интеграции виртуального архива данных ИЗМИРАН с вычислительной средой MATLAB Блок-схема интеграции виртуального архива данных ИЗМИРАН с вычислительной средой MATLAB

8

9

10

11

12

13

14

15 Заключение Какой эффект достигается от интеграции виртуального архива с вычислительной средой программы запускаются и выдают результаты работы в окно стандартного веб-браузера на локальном ПК; все приложения и их данные, необходимые для работы, находятся на удаленном сервере в Интернете; программно-аппаратное обеспечение доступно пользователю через Интернет (или локальную сеть) в виде сервиса; удобный веб-интерфейс для удаленного доступа к выделенным ресурсам (вычислительным ресурсам, программам и данным); компьютер пользователя выступает при этом рядовым терминалом, подключенным к сети.

16 Публикации ВАРИАЦИИ МАГНИТНОГО ПОЛЯ ЗЕМЛИ Амиантов А.С., Зайцев А.Н., Одинцов В.И., Петров В.Г. база цифровых данных магнитных обсерваторий России за период гг. на CD-ROM (гранты РФФИ , )

17 Публикации ПРИМЕНЕНИЕ MATLAB WEB SERVER В ГЕОФИЗИКЕ ДЛЯ ИНТЕРАКТИВНОЙ АДАПТИВНОЙ ОБРАБОТКИ ДАННЫХ, РАСПРЕДЕЛЕННЫХ В СЕТИ ИНТЕРНЕТ 1 Одинцов В. И., 2 Конрадов А. А., 3 Кукса Ю. И. 1. Институт Земного магнетизма, ионосферы и распространения радиоволн РАН, Троицк, Московская обл., 2. Институт биохимической физики им. Н. М. Эммануэля РАН, Москва, 3. Институт геоэлектромагнитных исследований РАН, Троицк, Московская обл. (грант РФФИ )

18 Публикации 1.A.Osin, E. Trushkina, V. Kuznetsov, V.Odintsov., Virtual Archive as an interdisciplinary distributed data system. 2.A.Zaitsev, A.Osin, V.Odintsov, V.Petrov, E.Trushkina., Russian Geomagnetic Data Base and Virtual Archive as The Elements of The Virtual Geophysical Observatory. Virtual Observatories in Geosciences (VOIG) Conference 2007, June 2007 Denver, Colorado, ABSTRACTS.

19 СПАСИБО ЗА ВНИМАНИЕ ОДИНЦОВ Владимир Иванович телефон:

20

21 Обработка геомагнитных данных с использованием адаптивных компенсаторов помех (Geomagnetic Data Processing With Use of Adaptive Noise Canceller) А.Н. Зайцев, В.И.Одинцов Институт земного магнетизма, ионосферы и распространения радиоволн им. Н.А.Пушкова РАН (ИЗМИРАН), г. Троицк, Московская область, Россия Международная конференция "Искусственный интеллект в изучении магнитного поля Земли. Российский сегмент INTERMAGNET" Сессия 3. Искусственный интеллект и моделирование в анализе геомагнитных данных января 2011 года, г.Углич

22 Постановка задачи : Что такое адаптивный компенсатор помех ??? 1.Средство которое помогает выделить нужный сигнал на фоне помех или подавить помеху как нежелательный сигнал. 2.Средство для контроля наличия определенных периодов (пульсаций) в исходном сигнале 3.Текущий анализ частотно-временных показателей сигнала (СВАН) Применение адаптивного компенсатора помех: При анализе вариаций магнитного поля возникает задача выявления характеристик вариаций, связанных с разными источниками их генерации, особенно при обработке больших массивов геомагнитных вариационных данных.

23 Вычислительный алгоритм адаптивного компенсатора помех. Алгоритм последовательного обновления коэффициентов фильтра (адаптации), аналогичный формуле метода наискорейшего спуска, получил название алгоритма метода наименьших квадратов Уидроу-Хоффа. Его можно представить следующей формулой: где: - параметр, определяющий скорость и устойчивость процесса адаптации; - сигнал ошибки; - вектор отсчетов входного сигнала фильтра; и - векторы весовых коэффициентов фильтра на текущем и следующем шаге адаптации.

24 Случай сравнения двух обсерваторий с целью разделения источников вариаций Для примера проведем сравнение вариаций Москва – Мыс Каменный, Считаем что есть локальный источник ( на станции Мыс Каменный) и глобальный (на станции Мыс Каменный и обсерватории Москва ) - суточная вариация Проводим операцию – пропускаем вариацию Москвы через фильтр и вычитаем из данных Мыса Каменного

25 Величины коэффициентов адаптивного фильтра в зависимости от их порядкового номера и времени наблюдений На левом рисунке показано, что коэффициенты адаптивного фильтра достаточно сильно меняются в зависимости от их порядкового номера. Вариации величин коэффициентов адаптивного фильтра во временной области на правом рисунке отражают изменение взаимных связей между сигналами с течением времени, их стационарность

26 Случай определения наличия колебаний (пульсаций) определенного периода Полагаем, что в сигнале есть периоды 36 минут. Подаем на опорный вход гармоничный сигнал с этим периодом. На выходе имеем сигнал ошибки и отфильтрованный сигнал станции Мыс Каменный, в котором видим наличие периодов 36 минут

27 Текущий анализ частотно-временных характеристик сигнала (СВАН) Пример спектрально-временного анализа вариаций H-компоненты геомагнитного поля режекторным фильтром на основе 1-минутных данных обсерватории Мыс Каменный 19 июня 1997 года.

28 Применение режекторных фильтров для анализа временных изменений спектра сигнала в реальном масштабе времени. Преимущества адаптивного компенсатора помех по сравнению с традиционными методами спектрально-временного анализа заключаются в простоте перестройки полосы пропускания, практически неограниченном подавлении соседних гармоник и точном слежении за периодом выделяемой гармоники.

29 Определение передаточных функций (импульсных переходных характеристик) между сигналами с помощью адаптивного компенсатора помех Можно получить передаточные характеристики между горизонтальными и вертикальной компонентами геомагнитного поля В этом случае возникает возможность : - обработка данных наблюдений вариаций естественных электромагнитных полей дает возможность выявить развитие (изменение) геодинамических процессов, связанных с изменениями геоэлектрических свойств строения среды, которые видны в характере изменений передаточных функций среды -определение секторной структуры ММП как эффект перестройки динамических параметров (наличие пульсаций) характерных периодов только при определенном знаке СС ММП

30 Обработка данных наблюдений вариаций естественных электромагнитных полей для целей электро- и магниторазведки приведена суточная реализация вертикальной компоненты магнитного поля Bz за 09 июня 1995 г. В верхней части графики отображают: 1) вариации наблюденного поля Bz, 2) вариации аномального поля DBz, 3) спектрально-временная диаграмма (разрез) аномального поля DBz. Вдоль оси абсцисс на графиках и диаграмме отложено время наблюдений.

31 Анализ крупных региональных магнитных аномалий путем изучения пространственно- временной динамики аномального магнитного поля Земли для разновысотных съемок Динамические спектры профилей аномального магнитного поля на приземных (а), стратосферных (б) и спутниковых (в) высотах отражают геологическое строение земной коры вдоль профиля пролета аэростата с магнитометром на борту. По оси X отложена географическая широта точки наблюдений.

32 Пример обработки данных наземных измерений с целью определения знака секторной структуры межпланетного магнитного поля (СС ММП). Слева – пример обработки адаптивным фильтром магнитограмм обсерватории Москва за 27-дневный период наблюдений г. (2205 оборот по Бартельсу). За опорные взяты горизонтальные компоненты магнитного поля. Самый нижний график – сигнал ошибки. Справа - графики СС ММП за период с декабря 1994 г. по июнь 1995 г. (BR ) по данным обсерваторий Резолют-Бей (верхний график по С.М.Мансурову) и Москва (нижний график – сигналы ошибки, полученные в результате обработки магнитограмм адаптивным компенсатором помех).