III рабочее совещание-семинар «Информационные системы в фундаментальной науке 26 -31 июля 2004 г. В.В.Витковский, О.П.Желенкова, Н.А.Калинина, В.Е.Панчук, - презентация

1 III рабочее совещание-семинар «Информационные системы в фундаментальной науке июля 2004 г. В.В.Витковский, О.П.Желенкова, Н.А.Калинина, В.Е.Панчук, В.Н.Черненков, В.С.Шергин

2 Развитие информационных технологий: Компьютеры (быстродействие/память/структуры) Телекоммуникации, Интернет Информационный взрыв Развитие инструментальной базы: Новое поколение телескопов (наземные + орбитальные) Новые диапазоны Цифровые приемники излучения

3 IRAS 25 2MASS 2 DSS Optical WENSS 92cm NVSS 20cm GB 6cm ROSAT Планируемые и проводимые обзоры могут увеличить это значение до нескольких петабайт. Объем астрономических данных удваивается ежегодно. Общее количество наблюдательных данных оценивается в несколько сотен терабайт.

4 Цифровые обзоры неба DPOSS DPOSS (Digital Palomar Observatory Sky Survey) 3 спектральных диапазона 50% неба ~ ТБ ~ объектов 3 ТБ изображений 2MASS 2MASS (2 micron all-sky survey) 3 спектральных диапазона 100% неба ~ ~ объектов 20 ТБ 20 ТБ изображений NVSS NVSS (NRAO VLA Sky Survey) 1 спектральный диапазон 82% неба ~ ГБ ~ объектов 5 ГБ изображений SDSS SDSS (Sloan Digital Sky Survey) 5 спектральных диапазонов 25% неба ~ ТБ 8МБ/сек ~ объектов 15 ТБ изображений 8МБ/сек поток данных

5 Прирост наблюдательных данных Общий объем хранимых данных Архив наблюдений ESO Архив наблюдений САО РАН

6 БТА6 м телескоп БТА - 6 м телескоп

7 РАТАН-600

8 Большие оптические телескопы

9 Прямой снимок БТА

10 Спектр звезды с оболочкой Спектрограммы БТА, перекрывающие диапазон нм для анализа максимального числа эмиссионных линий

11 Спекл-интерферометрия 1000 кадров занимает объем 500 Мбайт 1000 кадров занимает объем 500 Мбайт Регистрируется от 200 до 4000 кадров для отдельного объекта.Регистрируется от 200 до 4000 кадров для отдельного объекта. За ночь до 50 экспозиций, накопление свыше 30 Гбайт За ночь до 50 экспозиций, накопление свыше 30 Гбайт

12 Световое «загрязнение» Густонаселенные районы непригодны для астрономических наблюдений

13 ESO, VLT Четыре телескопа VLT на горе Paranal. На горизонте - вулкан Llullailaco (6730 м) Пункты с лучшими астра климатическими показателями непригодны для продолжительного проживания.

14 Крупные и средние оптические телескопы на территории России Н.Архыз, 6 м (ЛОМО)Н.Архыз, 6 м (ЛОМО) Н.Архыз, 1 м (Цейсс)Н.Архыз, 1 м (Цейсс) Ленинские горы, 0.7 м (ЛОМО)Ленинские горы, 0.7 м (ЛОМО) Н.Архыз, 0.6 м (Цейсс)Н.Архыз, 0.6 м (Цейсс) Звенигород, 0.6 м (Цейсс)Звенигород, 0.6 м (Цейсс) Урал, 0.5 м (ЛОМО)Урал, 0.5 м (ЛОМО) Монды, 0.5 м (ЛОМО)Монды, 0.5 м (ЛОМО)

15 Архитектура ВО Архивы данных ПО для анализа данных ПО для поиска знаний пользователь Gateway

16 Инструменты Архивы данных патрульные миссии Результаты Сервисы работы с данными Анализ, раскопки данных, целевой поиск Цифровые библиотеки Источники первичных данных Виртуальнаяобсерватория Источники вторичных данных ВИРТУАЛЬНАЯ ОБСЕРВАТОРИЯ

17 Целью проекта является обеспечение доступа российских ученых к имеющимся в стране и существующим в мире информационным и экспериментальным ресурсам. Основная задача - создание распределенной системы, объединяющей информационные и инструментальные астрономические ресурсы России с учетом международного опыта, опыта построения системы удаленного доступа к информационным и экспериментальным ресурсам САО РАН и системы диспетчеризации ресурсов. Цели и задачи проекта РВО

18 Базовые принципы построения РВО Объединение в одной распределенной системе экспериментальных комплексов, архивов и центров данных РВО, со стандартизованными средствами сетевого доступа и интерфейсами. Объединение в одной распределенной системе экспериментальных комплексов, архивов и центров данных РВО, со стандартизованными средствами сетевого доступа и интерфейсами. Организация для запросов на получение информации единого входного портала, реализующего удовлетворение запроса в существующей информационной базе, а при невозможности этого, постановку в очередь на проведение эксперимента на адекватном запросу инструментальном комплексе РВО. Организация для запросов на получение информации единого входного портала, реализующего удовлетворение запроса в существующей информационной базе, а при невозможности этого, постановку в очередь на проведение эксперимента на адекватном запросу инструментальном комплексе РВО. Реализация процедуры "сетевой транспортировки" исследователя к источникам данных, а не данных к исследователю, подразумевая под этим расширенный доступ пользователя к информационным, вычислительным и инструментальным ресурсам, включающий возможность использования на базе РВО собственных программных и аппаратных средств. Реализация процедуры "сетевой транспортировки" исследователя к источникам данных, а не данных к исследователю, подразумевая под этим расширенный доступ пользователя к информационным, вычислительным и инструментальным ресурсам, включающий возможность использования на базе РВО собственных программных и аппаратных средств. Создание Открытой виртуальной среды (ОВС) астрономического образования, выполняющей функции обучения, общения и энциклопедии. Создание Открытой виртуальной среды (ОВС) астрономического образования, выполняющей функции обучения, общения и энциклопедии.

19 Основой взаимодействия пользователя с РВО будет являться портал «Российская виртуальная обсерватория», который будет удовлетворять все запросы на имеющиеся ресурсы по следующей схеме.Первичный запрос детализируется, уточняется и корректируется в ходе интерактивного взаимодействия с порталом, после чего производится сканирование существующих баз данных. схеме. Первичный запрос детализируется, уточняется и корректируется в ходе интерактивного взаимодействия с порталом, после чего производится сканирование существующих баз данных. Схема взаимодействия пользователя с РВО

20 Заявка включается в расписание наблюдений и пользователь получает данные в ходе или после проведения наблюдений. Если выбранный инструмент полностью автоматизирован, процедура выполняется автоматически. Если запрос не может быть удовлетворен существующими данными, производится подбор доступных инструментов, составляется заявка на наблюдение.

21 Если же инструмент автоматизирован частично или существует программный комитет, распределяющий его ресурсы, пользователь получает возможность составления требуемой заявки. К оформленной заявке автоматически добавляется заключение об оригинальности запрашиваемых данных. К оформленной заявке автоматически добавляется заключение об оригинальности запрашиваемых данных. Данные, выбранные в базах или получаемые в ходе эксперимента могут быть обработаны стандартными программами из библиотеки РВО или собственными программами пользователя.

22 Структура РВО Многоуровневая сеть Web-сайтов с главным порталом Российской виртуальной обсерватории. Центры астрономических данных – каталоги, библиотеки программ. Архивы – доставка данных, наборы программных средств, стандартные процедуры обработки. Автоматические телескопы и системы сбора данных, системы удаленного доступа к информационным и техническим ресурсам, компьютерные средства и средства доступа к суперкомпьютерным центрам, системы диспетчеризации и управления ресурсами. Открытая виртуальная среда астрономического образования.

23 Базовые службы РВО поиска сервисов Discovery Servicesпоиска сервисов Discovery Services регистрации сервисов Registry Servicesрегистрации сервисов Registry Services управления именами Name Space Management Servicesуправления именами Name Space Management Services аутентификации Authentication Servicesаутентификации Authentication Services авторизации Authorization Servciesавторизации Authorization Servcies ресурсов Resource Servicesресурсов Resource Services резервирования Reservation Servicesрезервирования Reservation Services брокера запросов Brokering Servicesброкера запросов Brokering Services планирования заданий Scheduling servicesпланирования заданий Scheduling services балансировки загрузки Load Balancing servicesбалансировки загрузки Load Balancing services отказоустойчивости Fault Tolerance Servicesотказоустойчивости Fault Tolerance Services событий и оповещений Event and Notification Servicesсобытий и оповещений Event and Notification Services протоколирования Loggin Servicesпротоколирования Loggin Services мониторинга Instrumental and Monitoringмониторинга Instrumental and Monitoring биллинга Accounting Servicesбиллинга Accounting Services кэширования и репликаций Data Caches and Data Replication Servicesкэширования и репликаций Data Caches and Data Replication Services поиска метаданных Metadata Search Servicesпоиска метаданных Metadata Search Services транзакций Transaction Servicesтранзакций Transaction Services администрирования Administration Servicesадминистрирования Administration Services

24 OptoLine 200 Mbps 22 km RUNNETRBNET Система дистанционного доступа САО РАН

25 Эта система уже сейчас позволяет осуществлять удаленный контроль наблюдений на телескопе БТА

26 Реализуемые проекты ВО: Работа с архивными данными : National Virtual Observatory, Digital Sky Virtual Observatory Prototype, SkyQuery (США) - 10 млн. долларов AstroGrid (Великобритания) - 5 млн. фунтов Astrophysical Virtual Observatory (Евросоюз) - 5 млн. евро The Canadian Virtual Observatory (Канада) - 4 млн. канад. долларов The Australian Virtual Observatory (Австралия) - 1 млн. австр. долларов The German Astrophysical Virtual Observatory (Германия) - 5 млн. евро Автоматические экспериментальные комплексы: DYNAmically Configurable Remote Experiment monitoring & control (DYNACORE); Hand On Universe (HOU).

27 На Генеральной Ассамблее Международного Астрономического союза (Манчестер, Великобритания, август 2000 г.) было принято решение о создании Международной Виртуальной Обсерватории, которая объединила бы создаваемые в настоящее время национальные виртуальные обсерватории. На Генеральной Ассамблее Международного Астрономического союза (Манчестер, Великобритания, август 2000 г.) было принято решение о создании Международной Виртуальной Обсерватории, которая объединила бы создаваемые в настоящее время национальные виртуальные обсерватории. В 2002 году на конференции в ESO (Гаршинг, Германия) представителями США, ЕС, России и других стран были сделаны реальные шаги к международной кооперации работ. Был создан IVOA – альянс Интернациональная Виртуальная Обсерватория. Концепция Российской виртуальной обсерватории представлялась в 2001 году на конференции ВАК в Санкт-Петербурге и ADASS XI, Victoria, Canada. Работа над проектом РВО поддержана РФФИ.

28 IVOA I nternational V irtual O bservatory A lliance

29 Registry Layer Existing Data Centers Data Services Semantics (UCD) SIAP, SSAP VOTable FITS, GIF,… OpenSkyQuery SkyQueryVOPlot OASIS conVOT Topcat Mirage AladinDIS Disks, Tapes, CPUs, Fiber Grid Middleware SRB, Globus, OGSA SOAP, GridFTP data mining visualization image source detection Virtual Observatory Architecture Digital Library Other registries XML, DC, METS OAI ADS My Space storage services Databases, Persistency, Replication Virtual Data Workflow (pipelines) Discover Compute Publish Collaborate Authentication & Authorization crossmatch HTTP ServicesSOAP Services Grid Services stateless, registered & self-describing & persistent, authenticated Portals, User Interfaces, Tools Compute Services Bulk Access interfaces to data

30 CERN Tier3 physics department Desktop Germany UK France Italy CERN Tier1 USA Tier1 Grid project Tier2 Uni a Lab c Uni n Lab m Lab b Uni b Uni y Uni x Russia

31 RVO project Любители Унив 2 Обс 2 … … Обс 1 Унив 1 Инст 1 ??? СНГ

32 VO 1 VO 2 Виртуальная обсерватория

33 EGEE (Enabling Grids for E-science in Europe) Цель проекта EGEE - создание Грид инфраструктуры по всей Европе, доступной 24 часа в сутки. Ключевые направления проекта: -формирование согласованной, устойчивой и защищённой вычислительной сети; - совершенствование программных средств middleware с целью обеспечения надежного обслуживания пользователей; - привлечение новых пользователей из других сфер деятельности и обеспечение им высокого стандарта обучения и поддержки.

34 EGEE Timeline EU budget of 32M over 2 years

35 Pan-European Multi-Gigabit Backbone (33 Countries) January 2004

36 RBNet links. ( European part and Ural). © Copyright RIPN

37 RBNet links. (General scheme). © Copyright RIPN

38

39 GLORIAD: Global Optical Ring (US-Ru-Cn)