Создание программно- аппаратного комплекса архива научных космических данных Назиров Р.Р., Боярский М.Н., Шевченко М.И. Институт космических исследований. - презентация

1 Создание программно- аппаратного комплекса архива научных космических данных Назиров Р.Р., Боярский М.Н., Шевченко М.И. Институт космических исследований РАН Программа 22 ПРАН Раздел 9.5. Наземные системы обработки и распределения научной информации

2 Цель: Создание отказоустойчивого, высокодоступного и масштабируемого программно-аппаратного комплекса архива научных космических данных При выходе из строя любого элемента оборудования данные остаются доступными без необходимости замены этого элемента и восстановления данных из резервной копии Архитектура архива позволяет наращивать объемы хранимых данных без необходимости реорганизации системы хранения

3 В Институте космических исследований РАН за более чем четыре десятилетия его существования был накоплен большой объем данных научных космических экспериментов по различным направлениям космической физики: исследование Солнца и солнечно-земных связей (проект Интербол, проекты серий "Прогноз", "Магион", проекты "Аркад-3", "Активный", "АПЭКС", Интеркосмос-Болгария 1300 и другие); исследования планет и других тел солнечной системы (проекты "Вега-1,2", "Фобос-1,2). Название проектаОбъем данных, МБКоличество сеансов Активный Аркад Апэкс Интеркосмос-Болгария Прогноз Прогноз Прогноз Прогноз Вега 1,

4 Архив данных проекта ИНТЕРБОЛ содержит около 285 гигабайт научных данных проекта ИНТЕРБОЛ; из них в открытом доступе находятся 2 гигабайта данных ключевых физических параметров. В открытом доступе, осуществляемом через WWW-сервер проекта ИНТЕРБОЛ ( находятся орбитальная информация, данные ориентации и ключевые физические параметры. Авроральный Зонд Хвостовой Зонд "Сырые данные"20 ГБ "Сырые данные"74 ГБ Экспресс-анализ14 ГБ Экспресс-анализ24 ГБ Обработанные данные 32 ГБ Обработанные данные81 ГБ СТО15 ГБ Магион 4,525 ГБ ВСЕГО: 285 ГБ

5 Современные научные космические проекты характеризуются все большим объемом данных, как первичных, так и различных уровней обработки, которые нуждаются в надежном хранении (архивировании) и эффективном распределении между потребителями. Например, объем данных, полученных в результате обработки данных эксперимента «Плазма-Ф» за 5 месяцев функционирования аппарата «Спектр-Р» превзошел весь объем данных архива всех приборов двух аппаратов проекта «Интербол» за все время выполнения этого проекта, при этом планируемое время работы КА «Спектр-Р» составляет 5 лет. Архив данных плазменно-магнитного эксперимента «Плазма-Ф» (КА «Спектр-Р») содержит на 2 апреля 2012 г ГБ сырых данных (уровень 0) и 243 ГБ обработанных данных (уровень 1 и 2). Также в архиве хранятся и распространяются вспомогательные данные по орбите и ориентации.

6 Методы и подходы: Предполагается использование платформы облачных вычислений для решения проблем, связанных с обеспечением отказоустойчивости, масштабируемости и высокой доступности архива научных данных завершенных космических проектов, данных, получаемых в настоящее время и планируемых к получению с перспективных космических аппаратов ЛВС ИКИ РАНИНТЕРНЕТ

7 В качестве программной основы для построения системы архивирования предполагается использовать открытую платформу OpenNebula, предназначенную для организации управления cloud-инфраструктурой. Платформа позволяет организовать функционирование распределенной инфраструктуры динамически разворачиваемых сервисов, комбинируя ресурсы локального дата-центра и внешних облачных провайдеров. Есть средства для управления виртуальными серверами, хранилищем и сетью, для мониторинга, контроля доступа и обеспечения безопасности. Поддерживаются гибридные cloud-системы, сочетающие элементы публичных и приватных cloud-систем. Например, изначально вся система может быть построена как приватная, но при нехватке ресурсов в пиковые моменты к работе привлекаются мощности публичных сервисов. Также в перспективе возможно использование создаваемого в NASA облака хранения научных космических данных NASA Nebula Object Store для расширения объема доступных данных.

8 Ожидаемые в конце 2012 года результаты: Создание сводного каталога имеющихся в ИКИ данных Создание программно-аппаратного комплекса отказоустойчивого, высокодоступного и масштабируемого хранения данных Создание архива данных завершенных космических проектов Интербол, Прогноз 7, Прогноз 8, Прогноз 9 (Реликт), Прогноз 10, Аркад-3, Активный, Интеркосмос-Болгария 1300, Космос-900, Вега-1,2, Фобос-1,2 и текущих данных эксперимента «Плазма-Ф» проекта «Радиоастрон» В перспективе предполагается, что создаваемая система архивации научных космических данных предоставит возможность организациям-участницам Программы 22 размещать свои данные для хранения и распределения.