Интеграция программных систем поддержки астрофизических наблюдений О. П. Желенкова, В. Н. Черненков, В. С. Шергин, Т. А. Пляскина, В. В. Витковский Специальная. - презентация

1 Интеграция программных систем поддержки астрофизических наблюдений О. П. Желенкова, В. Н. Черненков, В. С. Шергин, Т. А. Пляскина, В. В. Витковский Специальная астрофизическая обсерватория РАН, Нижний Архыз

2 Инструменты Архивы данных патрульные миссии Результаты Сервисы работы с данными Анализ, раскопки данных, целевой поиск Цифровые библиотеки Виртуальная обсерватория RCDL-2012, Переславль-Залесский 2 Астрономическая информация

3 RCDL-2012, Переславль-Залесский 3 постановка задачипланирование наблюдательного времениподготовка наблюдательного эксперимента наблюдение архивизация наблюдательных данныхполучение научных данныхдоступ к данныминтерпретация полученных результатов публикация Этапы выполнение астрофизической задачи

4 4 HST Scheduling Process

5 ESO Data Flow System RCDL-2012, Переславль-Залесский 5

6 DFS поддерживает сервисы : (1) подготовка заявок на наблюдения ; (2) проверка и рецензирование заявок с планированием наблюдений ; (3) усло вия наблюдений для принятых заявок и передача их параметров в систему для последующего выполнения ; (4) динамическое планирование наблюдений с учетом требований пользователя и погодных условий ; (5) сбор данных и on-line архивирование ; (6) обработка данных с обеспечением проверки качества и создание готовых к научному анализу данных ; (7) долгосрочное хранение данных с обеспечением быстрого доступа ; (8) предоставление данных заявителям программ, а также исследователям, работающим с архивными данными. RCDL-2012, Переславль-Залесский6

7 Система базируется на : Блок наблюдений – соединение цели наблюдений и инструментальные требования Конвейер для каждого инструмента, чтобы обеспечить калибровку в реальном времени Активное планирование наблюдений и мониторинг погоды Оперативный архив и научный архив Контроль качества ( данных, калибровок, состояния инструментов ) DFSDFS ESO Data Flow System RCDL-2012, Переславль-Залесский7

8 Уровни архивной системы: Level 1 : bits in/bits out Level 2 : Storage + processing Data Association Level 3 : Archive projects Meta-data construction Data mining tools Virtual Observatory Functions

9 Proposal Preparation and Submission Observation Preparation Observation Scheduling Monitor and Control System AntennaFeedReceiverIF System Local Oscillator Fiber Optics Transmission System Correlator Image Pipeline Data Archive Data Post- Processing Principal EVLA Subsystems NRAO Data Management Group (e2e project) Canadian Partner EVLA Project Primary data flow Control and monitor flow CBE

10 RCDL-2012, Переславль-Залесский 10 постановка астрофизической задачи (выбор объектов, выбор метода наблюдений) планирование наблюдательного времени (подача заявки, рецензирование, планирование наблюдательного времени) подготовка наблюдательного эксперимента наблюдение (управление телескопом, управление приемниками, регистрация и сбор наблюдательных данных, протокол наблюдений) архивизация наблюдательных данных (помещение в область постоянного хранения, контроль корректности параметров, доступ к данным) получение научных данных (первичная обработка, фотометрическая и координатная калибровка) доступ к данным (веб-доступ, ВО-доступ) интерпретация полученных результатов (анализ, сравнение с другими данными, сравнение с теоретическими моделями) публикация Наблюдательный цикл

11 RCDL-2012, Переславль-Залесский 11 Планирование наблюдательного времени – система on-line заявки на наблюдательное время и составление расписания наблюдений

12 RCDL-2012, Переславль-Залесский 12 Наблюдение – Веб-приложение для интерактивного заполнения журнала наблюдений БТА и архивизации протоколов ночи

13 RCDL-2012, Переславль-Залесский 13 Архивизация наблюдательных данных – архивная система обсерватории файлы файлы с объектами – Небесные объекты, разрешаемык через CDS – 3909 Количество целей Число записей в БД

14 14 Архивная система включает область хранения (SF) и информационно - поисковую систему (SIS) SF CD/DVD (I) CD/DVD (II) Primary copies of CD/DVD disks CD/DVD disks description CD/DVD disks logs Soft & Docs SIS storage area SIS USB disk RCDL-2012, Переславль-Залесский

15 Схема таблиц и web- интерфейс ИПС архивной системы обсерватории RCDL-2012, Переславль-Залесский15

16 Обработка данных Коррекция инструментальных эффектов Коррекция атмосферных эффектов Выделение научных данных из фона и шума Астрономические стандарты (привязка положения, потока) Инструментальные стандарты RCDL-2012, Переславль-Залесский 16

17 Обработка наблюдений 1. Необработанное изображение 2. «плоское» поле 3. Оценка фона неба 4. Коррекция FF и вычитание фона 5. Сложение нескольких кадров 6. Астрометрия и фотометрия RCDL-2012, Переславль-Залесский17

18 Получение научных данных – координатная калибровка Автоматическая координатная привязка прямых изображений с использованием веб-сервисов IVOA Освоение и / или разработка основных модулей автоматической координатной коррекции прямых снимков ; Комплексирование в автоматический процесс ; Получение science-ready изображений и каталогов в WCS; Публикация в AstroGrid на локальном SkyNode Используемые технологии и программные средства : HTTP+XML-RPC(C, bash, Python) Linux, Apache, Tomcat+Java+PostgreSQL Gestalt (J.Brewer), DSA,ADQL (AstroGrid) wcstools(D.Mink),SExtractor,SWarp(E.Bertin) RCDL-2012, Переславль-Залесский18

19 RCDL-2012, Переславль-Залесский19

20 RCDL-2012, Переславль-Залесский 20

21 RCDL-2012, Переславль-Залесский 21

22 Спасибо за внимание! Работа поддержана грантами РФФИ , и RCDL-2012, Переславль-Залесский22