Реинжениринг данных общего архива наблюдений САО РАН Желенкова О. П., Витковский В. В., Пляскина Т. А. 1 САО РАН, 27-31 июля, 2009. - презентация

1 Реинжениринг данных общего архива наблюдений САО РАН Желенкова О. П., Витковский В. В., Пляскина Т. А. 1 САО РАН, июля, 2009

2 IAU : FITS- формат ; классификация астрономических объектов ; обозначения объектов ; резолюция 5 Комиссии IAU об открытом веб - доступе к цифровым архивам обсерваторий, финансируемых из государственных бюджетов IVOA : VOTable- формат ; Unified Content Descriptors (UCD); протоколы доступа к данным : ConeSearch, SIAP, SSAP, SLAP, TAP …; Astronomical Data Query Language (ADQL), протоколы для веб - сервисов – PLASTIC, SEA, … 2

3 Требования к организации архивного CD/DVD диска : 3 включает метку диска и каталоги с наблюдениями в каталоге хранятся данные одной ночи название каталога включает дату наблюдений наблюдение хранится в одном файле нет жестких ограничений на формат файла

4 Архивная система включает хранилище данных (SF) и информационно - поисковую систему (SIS) : 4 SF CD/DVD (I) CD/DVD (II) Primary copies of CD/DVD disks CD/DVD disks description CD/DVD disks logs Soft & Docs SIS storage area SIS

5 5 Типы архивных файлов (235578): Наблюдения – 91% Журналы наблюдений -- 1% Вспомогательные данные -- 8% АрхивCD/DVD дискиТемп прироста данных (MB) Объем (GB) Число записей Оптика (копия)150309~ Радио744~46000 Оптические и радио данные

6 6 Оптические наблюдательные данные ( файлов, 96% - FITS ):

7 САО РАН, Разделение наблюдательных данных по типу наблюдений: Прямые снимки 55% Эшелле-спектры 10% Длинная щель 17% Мультиобъектная спектроскопия 15% Фабри-Перо 12% Не определяются алгоритмом

8 Таблицы поисковой системы Таблицы, содержащие информацию для коррекции значений параметров файлов ( например : BTA, 6-m and so on) Таблицы и представления с параметрами файлов Таблица для связи параметров FITS- файлов и атрибутов поисковой системы

9 9 Схема таблиц поисковой системы

10 10

11 Деятельность International Alliance Virtual Observatory (IVOA) регистры модель астрономических данных семантика – Unified Content Descriptors (UCD) доступ к данным язык запросов к астрономическим данным программные сервисы для работы с данными в распределенной среде формат для обмена данными (VOTable) 11

12 RCDL-VIII, Суздаль, Сопровождение и хранение (1) [WG AD, IVOA IG CP] Определение процедур для сбора информации, необходимой для доступа и управления данными оценка – выбор того, что сохранять поступление – контролируемый импорт данных организация – как структурировать материал описание – метаданные для обеспечения подлинности версии, семантического описания и целостности хранение - создание архивной формы и помещение в хранилище доступ – обнаружение и манипуляции

13 RCDL-VIII, Суздаль, Сопровождение и хранение (2) Автоматизированная обработка, как в электронных библиотеках Извлечение метаданных Регистрирование метаданных и файлов Проверка семантики и синтаксиса Проверка целостности Упаковка данных и метаданных Шаблоны потока работ для контроля сопровождения и архивизации Независимость от инфраструктуры ( постоянные архивы ) Стандартные операции для взаимодействия с новой технологией

14 Спасибо за внимание ! 14 Работа поддержана грантом РФФИ