Фазлиев А.З. Институт оптики атмосферы СО РАН, Томск Информационные ресурсы и Интернет-технологии для наук об окружающей среде Содержание 1. Данные атмосферных наук 2. Агентные технологии 3. Семантический Интернет 4. Построение Интернет ресурсов

Принципы обращения с данными 1. Данные - критический ресурс, который необходимо сохранять, защищать и организовывать доступ для всех пользователей и в любое время суток. 2. Значимость научных данных - в их использовании. 3. Архив данных должен быть расширяемым, вместительным и доступным. 4. Адекватная документация, или метаданные, являются необходимыми для преодоления барьеров в использовании научных данных. -> Semantic Web 5. Приемлемая и эффективная стратегия архивирования данных основана на использовании распределенных архивов, управляемых теми кто обладает предметным знанием о данных. - > GRID

Данные наблюдений включают в себя числовую информацию (печатную и электронную), графический материал и словесное описание. Записи существуют на бумаге, пленке (микрофиши), магнитные диски, цифровая оптическая среда. При проведении больших проектов устанавливается единый формат данных (World Ocean Circulation Experiment, World Climate Research Project, NASAs Mission to Planet Earth). В небольших проектах не обращают внимание на форматы данных, т.к. исследователи планируют и осуществляют работу со своими данными в узком кругу научного сообщества. Проблема состоит в такой подготовке сложно структурированных научных данных при которой их структура и интерпретация доступна всем уровням пользователей. Структура данных должна допускать все возможные пути полного восстановления информации о получении, архивировании и обработке данных. Наблюдаемые данные в физических науках

Объемы некоторых наборов данных в атмосферных науках

Большая часть атмосферных данных меняется динамически, растет и модифицируется. В силу природы погоды временные ряды наблюдений никогда не будут полными. Экспедиционные программы заканчиваются конечным набором данных. Архивы глобальных данных. Наилучшее положение в США. Лучший набор данных с 1950-х. Тем не менее, многие значимые данные других стран недостижимы для ученых США (и в некоторых случаях недостижимы также для ученых представляющих эти страны). Метеорологические и другие атмосферные данные используются для разных целей в разных временных масштабах. Выделим три из них: 1.текущие (реальный масштаб времени) 2.недавнее прошлое или коротко-временная ретроспектива 3.ретроспектива или отдаленное прошлое. Данные атмосферных наук

Статистика. Научная информация удваивается за 12 лет и 90% всех ученых живут в настоящее время. Компьютеры, коммуникации, информационные технологии стали необходимым инструментом. Требования для сбора и организации доступа к массивам данных, трудности развития и работы с комплексными моделями данных, необходимость вычислений (достигаемых с помощью компьютерных систем высокой производительности или за счет распределенной сети вычислений) и растущее понимание того, что решение многих научных проблем находится на стыке научных дисциплин ставит задачи развития информационных технологий в науке. Две крайности – знать все больше и больше о все меньшем и меньшем или знать все меньше и меньше о все большем и большем. Информационные технологии для исследований и сотрудничества

Alaska Synthetic Aperture Radar (SAR) Facility (ASF) DAAC Polar processes and SAR products EROS Data Center (EDC) Land Processes DAAC Land processes Goddard Space Flight Center (GSFC) DAAC Upper atmosphere, global biosphere, atmospheric dynamics, and geophysics Jet Propulsion Laboratory (JPL) Physical Oceanography DAAC (PO-DAAC) Physical oceanography Langley Research Center (LaRC) DAAC Radiation budget, tropospheric chemistry, clouds, and aerosols National Snow and Ice Data Center (NSIDC) DAAC Snow and ice, cryosphere (non-SAR) and climate Oak Ridge National Laboratory (ORNL) DAAC Biogeochemical dynamics Socioeconomic Data and Applications Center (SEDAC) at the Consortium for International Earth Science Information Network (CIESIN) Human interactions in the environment Global Hydrology Resource Center (GHRC) at Marshall Space Flight Center Hydrological cycle National Climatic Data Center (NCDC) of National Oceanic and Atmospheric Administration (NOAA) Climate and weather National Geophysical Data Center (NGDC) of NOAA Solid Earth geophysics, marine geology and geophysics, solar terrestrial physics, and paleoclimatology National Oceanographic Data Center (NODC) of NOAA Oceanography Satellite Active Archive (SAA) of National Oceanic and Atmospheric Administration (NOAA) Satellite remote sensing Центры распределенных данных (DAAC)

Создатели ECS строят ИС для сбора и обработки данных и связи всех данных DAAC Инструментальные и научные команды развивают алгоритмы для обработки данных и генерации продуктов данных DAAC обрабатывает и обеспечивает сервисы пользователя EOSDIS устанавливает требования для ИС и координирует систему DAAC Стоимость DAAC Бюджет EOSDIS составляет $ на 10 лет. 30% каждый год тратится на ПО, аппаратное обеспечение и зарплату ( $) Остальное тратится на получение данных и оплату коммуникаций EOS DIS

Goddard Space Flight Center Основной инструмент - MODIS DAAC cоздан в 1993 Атмосферные науки и гидрология; данные по химии верхней атмосферы, глобальной биосферы, атмосферной динамики и климатологии Содержит 4Тб исторических данных и предполагается получение 2000Тб данных с платформы АМ-1 Бюджет 1997г $

Goddard Space Flight Center Источники данных TOMS - данные спутников Nimbus и Метеор ( ) UARS - результаты измерений 9 разных инструментов с TIROS, TOVS - 1-D данные SeaWiFS -локальные, региональные и глобальные данные GEDEX - локальные, региональные и глобальные данные за 1980-е ISLSCP - глобальные данные с разрешением 1гр. ( ) CZCS - данные с разрешением 1-, 4-, и 20-км. ( ) AVHRR - данные с разрешением ( ) DAO - данные с разрешением 2 и 2.5 гр. ( ) MODIS, MAS - данные на магнитной ленте (9 компаний) TOGA-COARE - данные спутниковых, самолетных и наземных измерений ( ) Interdisciplinary Climatology Data Collection - ежемесячные данные с разрешением 1 на 1 гр. (суша, океан и атмосфера)

Langley Research Center Организован в 1989 г. Построена собственная ИС ориентированная на управление данными CERES. Данные по тропосферной химии, радиационному бюджету (дистанционное зондирование и полевые измерения), облакам и аэрозолям. Объем данных - на начальной стадии 90 Гб., в Тб, после окончания эксперимента (CERES/TRMM) 155Тб, (CERES, MOPITT, MISR) Tб. Бюджет $ (1998) Формат данных - HDF и другие

Langley Research Center Источники данных ACRIM II - данные по солнечному излучению (с 1991) ERBE - радиационный бюджет, глобальные данные за сутки и месяцы (с 1989) CERES - облака и радиация (с 1986) Nimbus-7 ERB - глобальные данные (с 1975 по 1978) SRB (Surface Radiation Budget) - радиационный бюджет (с 1985 по 1988) SSE (Surface Solar Energy) - данные (с 1985 по 1988) ISCCP - глобальные суточные данные (с 1983 по 1995) FIRE - региональные суточные данные (1986, 1987, 1991, 1992) SUCCESS - самолетные и наземные измерения (1996) ARB - данные по аэрозолю (с 1982) SAGE I, II - данные по аэрозолю и газам ( , ) SAM II - данные с полярных областей (с 1978 по 1993) GTE - региональные данные (1988, 1990, 1992, 1996) MAPS - данные с полета челноков ( ) NVAP - глобальные данные по водяному пару ( ) …………...

EROS Data Center Центр создан в 1992 г. Направления : биология, гидрология, лимнология и экология Данные по процессам происходящим на поверхности и вблизи ее В настоящее время данных - 9Тб, предполагается 50Тб в год от Landsat 7 и Тб в год с платформы AM - 1. Бюджет $ в 2000г. Формат данных - HDF

EROS Data Center Источники данных AVHRR - глобальные и региональные данные с разрешением 1.1 км (с 1992) SIR-C - 6 часовые глобальные данные полета SS (1994) GNOPO30 - данные 30*30 угл. секунд Landsat Pathfinder - сезонные глобальные региональные данные ( ) Aircraft Scanners - ежемесячные локальные данные (с 1987)

References Review of the World Center-A for Meteorology and the National Climatic Data Center, National Academy Press, Washington, D.C., Data Forum: A Review of an Implementation Plan for U.S. Global Change Date and Information Systems, National Academy Press, Preserving Scientific Data On Our Physical Universe, National Academy Press, Washington, D.C A Data Foundation For The National Spatial Data Infrastructure, National Academy Press, Supporting Research and Data Analysis in NASA's Science Programs. Engines for Innovation and Synthesis, National Academy Press, Washington, D.C., National Collaboratories: Applying Information Technology for Scientific Research, National Academy Press, Review of NASA's Distributed Active Archive Centers, National Academy Press, Global Environmental Change: Research Pathways for the Next Decade, National Academy Press, The Atmospheric Sciences Entering the Twenty-First Century, National Academy Press, Washington, D.C., 1999

Dataset Index Airborne Antarctic Ozone Experiment (AAOE-87), Airborne Arctic Stratospheric Expedition (AASE), Airborne Arctic Stratospheric Expedition II (AASE II), Airborne Southern Hemisphere Ozone Experiment (ASHOE), Along Track Scanning Radiometer (ATSR-I), Atmospheric Chemistry studies in the Ocean Environment (ACSOE), Climatology Interdisciplinary Data Collection (CIDC), Cloud & Water Vapour Experiment for Model Comparisons at Chilbolton (CWAVE), Cloud Archive User Service data (CLAUS), CLOUDMAP2 ATSR cloud products, Coupled Ocean Atmosphere and European Climate (COAPEC), Cryogenic Limb Array Etalon Spectrometer (CLAES L3), Earth Radiation Budget Experiment (ERBE), ECMWF 15-year re- analysis data (ERA-15), ECMWF 40-year re-analysis data (ERA-40), ECMWF Trajectories, European Space Agency -"Measurement of H2O Absorption Cross-Sections, ……

Дополнительная информация Unidata Program Center DLESE (Digital Library for Earth System Education) Alexandria Digital Library Geospatial Network _____________________________________________________ Е.Д.Вязилов Информационные ресурсы о состоянии природной среды, М., Эдиториал УРСС, 2001, 312с.

Программные Агенты 1.Что такое программный агент? (software agent) 2.Типы программных агентов 3.Роли программных агентов 4.Будущее агентов "The bane of my existence is doing things that I know the computer could do for me." Моё существование отравляет выполнение той работы, которую мог бы за меня сделать компьютер. Dan Connolly, The XML Revolution Pattie Maes, MIT Media Group

Что такое агент? Бесполезный термин Агент теоретическая концепция из ИИ Вычислительная система, которая 1.долго живет 2.имеет цели, сенсоры и исполнительные органы 3.автономно решает какие действия принять в текущей ситуации для выполнения цели за минимальное время

Типы агентов 1.Автономные роботы 2.Синтетические характеры 3.Помощники эксперта 4.Программные агенты, знаботы (knowbots), прогботы (softbots)

Что такое программный агент? Программный агент – это один из типов агентов помогающих пользователю при решении компьютерных проблем.

Чем агент отличается от прочего программного обеспечения? Персонифицирован, ориентирован на определенную цель Инициативен Автономен и долгоживуч Адаптивен

Зачем нужны программные агенты? Большинство задач решаются на компьютерах Огромное количество неструктурированной информации Большинство пользователей не подготовлены Переход от прямой манипуляции к непрямому управлению

Прямая манипуляция Задачи, решаемые этим способом - замкнутый, статический, относительно маленький и структурированный информационный мир Используемые методы - визуализация объектов - действия на объекты в интерфейсе соответствующего действиям над реальными объектами - ничего не происходит без действий пользователя

Непрямое управление/ агенты Задачи, решаемые этим способом - открытый, динамический, огромный и неструктурированный информационный мир Используемые методы - пользователь делегирует агенту свои интересы, привычки и предпочтения - агенты делают предположения и/или действуют от имени пользователя. Действие происходит во времени независимо от того активен или нет пользователь

Критика программных агентов (Lanier, Schneiderman) Хорошо продуманный интерфейс всегда предпочтителен У меня нет желания решать задачу самостоятельно Агенты делают пользователя чайником Каждый имеет право отказаться от услуг агента Агенты никогда не будут интеллектуальными и не должны быть они получают знания от пользователя Агенты не существуют Они уже есть

Программный агент = ? экспертная система Наивный пользователь - агенты -> средние пользователи; экспертные системы -> пользователи – эксперты Задачи - агенты -> типовые задачи; экспертные системы -> комплексные задачи Персонификация агенты -> разные действия; экспертные системы -> одни и те же Активность и автономия агенты -> самостоятельны; экспертные системы -> пассивны Адаптивность агенты -> обучаемы и изменяемы; экспертные системы -> остаются неизменными

Типы программных агентов Параметры, по которым они различаются: Суть поставленной задачи - работать с пользователем или в качестве фоновой программы? Природа и источник интеллекта - Как агент построен? Кто его программирует? Мобильность/локальность - Где он находится? Может ли двигаться? Выполняемые роли - В каких задачах он может помочь пользователю?

Суть поставленной задачи Агенты пользователя: помогают пользователю, знают интересы, привычки и предпочтения, могут действовать по поручению - например, редактор личных новостей, личный гид в Интернете, личный торговый агент и т.д. Сервисные агенты: решают более общие задачи в фоновом режиме - веб-индексирование, поиск информации, балансирование загрузки телефонной сети

Природа интеллекта Программируется пользователем – пользователь непосредственно обеспечивает правила и критерии - наиболее простым образом - не очень замысловато - в соответствие с профессиональной подготовкой - коммерчески оправдано На основе искусственного интеллекта – создается традиционной основанной на знаниях техникой ИИ - очень сложные правила - замысловатые - программируются инженером по знаниям - даже коммерчески не реализовано

Программные агенты пользователя

Агенты, основанные на знаниях

Природа интеллекта Обучаемые агенты – программы сами по себе Образцы действий пользователя - средней сложности - интеллектуалы в ключевых областях (на которых сосредоточены интересы пользователей) - появляются коммерческие версии

Обучение агента пользователем

Обучение от других агентов

За и против подходов Программируемый пользователем агент: + простота настройки + приспосабливается к пользователю - пользователь не может распознать возможностей агента - пользователь не любит программировать - агент не адаптируется - агент не обладает здравым смыслом

За и против подходов Агент с искусственным интеллектом: + изощренный, основан на базе знаний + агент готов к работе без предварительной настройки - не приспосабливается к пользователю - дорогое решение - агент не адаптируется

За и против подходов Обучаемый пользователем агент: + агент адаптируется + приспосабливается к пользователю + управляемая комплексность - агенту нужно время для обучения и переобучения - агент копирует предшествующие образцы - агент не обладает здравым смыслом

Какой подход лучше? Комбинация 3 подходов: Дает агенту доступ к фоновому знанию, имеющемуся в распоряжении Позволяет пользователю программировать агента, особенно в начальной стадии или после резкой смены поведения пользователя Агент обучается адаптации и изменениям

SEMANTIC WEB

XML Популярный язык документов. Часть языка SGML. Иногда называют "ASCII для веба". Коммуникационная структура, семантика отсуствует. Дерево подобная структура. xmlns Связывает элементы и атрибуты XML с URI. Однозначно определяет элементы и атрибуты. Основание для документов со многими словарями.

Пример

Принципы Semantic web Любая вещь может иметь URI#xxx. Словари можно объединять и со временем заменять. Документы описывают себя сами. " Каждый может сказать все обо всем." Ни одна система не знает всего. Дизайн должен быть минимальным.

Любая вещь может иметь URI#xxx Не употребляйте термин Creator. Используйте Creator An entity primarily responsible for making the content of the resource. Examples of a Creator include a person, an organisation, or a service. Typically, the name of a Creator should be used to indicate the entity

Основа Semantic web для данных Можно кодировать в XML Простота и математическая обоснованность Это и есть Resource Description Framework (RDF)

Описание ресурсов по молекуляной спектроскопии

Уровень RDF схемы Минимальная модель - (thing), Class, Property Subproperty, Subclass Domain & Range Comments & labels Расширение описания метаинформации, за счет Transitive property, Unique, Unambiguous, Cardinality, etc Уровень онтологии

Semantic web

Будущее Semantic web Логика o Я сотрудник ИОА СО РАН. ИОА СО РАН входит в РАН. Сотрудники РАН имеют GET доступ к Я имею доступ к /Member/. /Member/ Доказательство o Список сотрудников Института указывает на меня как на сотрудника ИОА СО РАН. Список институтов РАН содержит ИОА СО РАН. ACL для /Member/ допускает, что сотрудники институтов РАН имеют GET доступ. /Member/ Доверие o Список сотрудников ИОА СО РАН подписан ключом которому доверяет РАН для выполнения таких операций. Сотрудникам РАН доверяется доступ к механизму контроля. ACLs для /Member/ установлено агентом которому доверен доступ к механизму контроля. /Member/

Web of Trust Все утверждения в вебе связаны с некоторым контекстом. Приложениям необходим этот контекст для оценки достоверности утверждений. Машинная обработка в вебе не предполагает, что все утверждения находящиеся в вебеистинны. Уровень доверия оценивается каждым приложением. Должен быть гибкий язык для описания существующих систем.

1.James Hendler, Agents and the Semantic Web, IEEE Intelligent Systems Journal, 2001, Vol. 16, No. 2, pp Юрий Волков, Метаданные для чайников 3.Ora Lassila, RDF Metadata and Agent Architectures 4.Sean B. Palmer, The Semantic Web: An Introduction 5.Tim Berners-Lee, James Hendler and Ora Lassila, The Semantic Web 6.Eric Prudhommeaux, Presentation of W3C and Semantic Web 7.Tim Berners-Lee, Dan Brickley, Dan Connolly, Sandro Hawke, Jose Kahan, Marja Koivunen, Eric Miller, Eric Prud'hommeaux, Ralph Swick, Danny Weitzner, in collboration with D. Karger and L. Stein/Olin, The Semantic Web. ( Литература

Построение Интернет ресурсов Построение Интернет ресурсов Построение Интернет ресурсов

Тематические приложения Информационная система Данные Алгоритмы XML- и RDF -схемы Информационно-вычислительная система Данные Математические модели Прикладные программы (С, Фортран) XML- и RDF -схемы Формирование пространства имен физических параметров и расчетных величин, используемых в вычислениях Сохранение данных пользователей на сервере и контроль их целостности Управление формированием меню

Сервисные приложения VIII Международная конференция по электронным публикациям "EL-Pub2003" октября 2003 года, г. Новосибирск Новости Форум Библиография Тематические словари Подборка интернет – ссылок Задания и задачи Веб - редактор Управление контентом Представление таблиц Вывод графики

Дерево или граф? Формирование управляющих элементов меню Единое меню или разные меню с учетом компетенции пользователя Навигация по предметной области Ввод и вывод данных Разделение по дизайну VIII Международная конференция по электронным публикациям "EL-Pub2003" октября 2003 года, г. Новосибирск ПорталСайт Административный сайт

Управление данными пользователя При проведении вычислений на сайте необходим сервис для организации данных пользователя. 1.Структурирование задач пользователя 2.Сохранение и модификация данных вычислений 3.Обеспечение целостности данных 4.Сравнение результатов вычислений однотипных задач

Системный Программист (Middleware) Прикладные программисты Инженер по знаниям Дизайнер Эксперты в предметных областях Специалисты в предметных областях Переводчик Ролевые функции

Административный сайт Создание меню

Административный сайт Формирование контекста страницы

Административный сайт Подключение приложения

Административный сайт Задание прав доступа

Административный сайт Управление данными