Распределенное хранение и визуализация массивов научных данных и изображений. А.М.Новиков МГУ, 2010

Определение и области применения Окружающая среда: геология, океанология, география, климатология, солнечно-земная физика Требуется получить возможности для: анализа трендов, поиска причин и прогноза глобальных изменений сравнения пространственно-временных полей в разных масштабах, проекциях (spatio- temporal data mining) и единицах измерения принятия решений в области сбора, отображения, обмена данными о погоде и оценки влияния окружающей среды на людей и техногенные системы Применение: распределенные ситуационные центры и учебные классы (в т.ч. научные конференции) мониторинг чрезвычайных ситуаций, метео-обстановки и космической погоды интерпретация данных дистанционного зондирования анализ микроструктуры поверхности (произведений живописи, исторических культурных памятников, кернов земной породы).

Определение и области применения Электронная карта: детализация, но также и большая площадь проекции на разные поверхности и координаты (Земли, времени, виртуального экрана) интуитивный интерфейс пользователя(-ей) большие базы данных и изображений их хранение, анализ и визуализация требуют применения параллельных баз данных, файловых систем и вычислительных кластеров визуализация: реалистичное количество пикселов многократно превышает разрешение компьютерных дисплеев нужны матрицы, объединяющие множество дисплеев, параллельно отображающих детальные фрагменты общего большого изображения. Прямоугольная матрица дисплеев под управлением параллельного вычислительного кластера (рендеринг-фермы) - многодисплейная видеостена.

Видеостена в сравнении с одним экраном

Существующие технологии Залы виртуальной реальности CAVE: стены, потолок и пол сделаны из стерео-дисплеев высокого разрешения (EVL UIC, Чикаго, 1992) Плоские мультимониторы: I.Программно: SAGE (Scalable Adaptive Graphics Environment) (начало 2000-х, EVL UIC) II.Хардварно: 1.Бесшовные экраны Radius Проекционные видео-кубы; панели (плазма, LCD) 3.Nvidia Quadro Plex (2009) объемные дисплеи высокого разрешения (Наука на сфере, NOAA; полусфера FullDome – цифровые планетарии) Стереоскопическая видеостена Varrier (EVL UIC) Мультитач-дисплеи, Lambda tables

Куб виртуальной реальности CAVE

Технология визуализации SAGE 105MP, 11x5, 28 Units 1GPU

Global Lambda Integrated Facility GLORIAD 10 Gb World Ring Source: Joe Mambrotti

GLORIAD Press Release, June 4, 2007

USA-Russia Lightpath for Fast Data Transfer of Terabyte-sized Scientific Datasets NCDM (National Center for Data Mining, University of Illinois at Chicago), ГЦ РАН и ИКИ РАН успешно передали 1.4 TB данных за 4.5 часа через выделенный 1 Gbps оптический канал между Чикаго и Москвой (как часть Teraflow Network initiative) Используя протокол передачи данных UDT (UDP-based Data Transfer protocol, основан на UDP, разработка с открытым исходным кодом NCDM), удалось передать MS SQL БД с астрономическим каталогом SDSS. Дамп БД 2.5 TB был сжат до 1.4 TB, разбит на 60 файлов, передан по оптическому каналу в 1 Gbps, а затем распакован и загружен обратно в MS SQL Server уже в Москве Портал SkyServer и БД SDSS - разработка Jim Gray, MSR и Alex Szalay, JHU. Русскоязычное зеркало находится на в Москве Прямой оптический канал из ИКИ, Москва в NGDC NOAA, Боулдер успешно протестирован

Проекционные кубы и панели

Mitsubishi, SXGA+ New Jersey Transit - New Jersey Main Wall: 177 VS–50XL21U – 50 diagonal DLP® Display Cubes ( Smart Lamp Memory Automatic Smart Lamp Digital Gradation Circuit Color Space Control True Front Access Internal Processing Dynamic Brightness Automatic Mechanical Alignment Automatic Mechanical Alignment Smart Color Wheel Smart Switch

Бесшовные мониторы Бесшовные экраны Radius 320 Объединение 3-ёх 20,24 или 30 дюймовых дисплеев в один до 77 С использованием трёх DVI выходов карт NVidia (1600x1200)

Nvidia Quadro Plex 2200 D S4 NVIDIA FX 5800 Quadro2200 D22200 S4 GPUs 2 4 Processor Cores Total Frame Buffer 8 GB 16 GB (4 GB/GPU) Display Channels 4 dual-link DVI SLI Mosaic ModeSLI Mosaic Mode(8k*8k), NVIDIA® CUDA,NVIDIA® CUDA Parallel Computing Processor Genlock/frame lock Y N/A Frame Synchronization Y N/A FSAA (Max per Channel) 64x SLI FSAA 32x FSAA StereoStereo Y N PCI Express® x16 Поддержка до 8 мониторов без дополнительной нагрузки на процессор 36Mp

Наука на сфере NOAA, USA. Технология DOME

3D кинотеатры HP Labs Идея Pluribus : вместо одного мощного проектора с дополнительным оборудованием, мы можем использовать массив из нескольких обычных потребительских проекторов по $1 000 каждый. В действующем опытном образце 12 проекторов контролируются обычным ПК так, чтобы изображения с них складывались и накладывались друг на друга для получения одной большой яркой картинки. В версии для 3D шесть из них работают для одного глаза, и шесть для другого.

Varrier, автостерео, 35 дисплеев, EVL UIC 35x x6000 lines

Управление multi-touch в проекте Rain Table, LamdaTable, EVL UIC

Интерфейсы взаимодействия Tracking systems, TUIs(tangible UIs): сенсорные, гироскопические, инфракрасные камеры(RFID or reflective markers, IR illuminators, IR LEDs), стереоочки + камера слежения, шлемы погружения

Примеры

Технология визуализации SAGE SAGE - Scalable Adaptive Graphics Environment (начало 2000-х, EVL UIC) Интерактивная визуализация изображений высокого разрешения (гигапикселы) и большого объема (десятки гигабайт) на видеостене, составленной из нескольких десятков дисплеев и управляемой параллельным визуализирующим кластером. При этом каждый компьютер кластера управляет 2-4 дисплеями из видеостены, что позволяет балансировать нагрузку на сеть, диски и графические процессоры. Приложения-клиенты подключаются к визуализационному кластеру с помощью библиотеки SAGE Application Interface Library (SAIL), которая направляет части визуализации на различные узлы кластера и синхронизирует смену кадров с помощью специального сервера FreeSpace Manager, также являющегося частью видеостены. Имеется графический интерфейс пользователя (GUI) для одновременного управления сразу несколькими видеостенами с одной консоли и ряд базовых приложений для просмотра видео и изображений, включая удалённый рабочий стол.

Архитектура видеостены по технологии SAGE

Приложения SAGE Основные классы приложений: интерактивный просмотр многослойных изображений и стереопар высокого разрешения и большой площади (гигапикселы) потоковое видео высокого разрешения (стандарты HD и 4К Video) интерактивный рендеринг трехмерных объектов (компьютерное моделирование, CAD, геологоразведка, медицина) специализированные программы для просмотра генов (GeneVand), геологических кернов (Corelizer), карты звездного неба Celestia, World Wide Telescope, и т.д. возможность удаленной трансляции окон приложений сразу на несколько видеостен для коллаборативной визуализации данных, проведения многоточечных видео-конференций и для поддержки коллективного принятия решений в распределенной сети ситуационных центров (требуются каналы связи от и более 1 Гбит/c) параллельные сетевые каналы позволяют трансляцию сразу нескольких 4К- видео потоков и одновременно полномасштабный показ на видеостене в разных окнах

SAGE pros & cons Недостатки: Ресурсы визуализационного кластера используются не полностью Невозможно использовать обычные приложения без модификации Потеря производительности при работе в 3D Достоинства: Совместимость с существующими видеостенами Есть определенный набор приложений Возможность удаленной трансляции изображения Возможность многооконной работы

Существующие технологии Ограничения и недостатки: Дорогостоящие системы слежения за положением головы пользователя, которые в реальном времени перестраивают изображение на стене в зависимости от того, куда он смотрит и движется: CAVE (+ стереочки), Varrier (стереочки заменяет непрозрачный фильтр-экран у мониторов с множеством отверстий). И только один пользователь-зритель. SAGE-видеостену могут использовать приложения, собранные с библиотеками SAIL под графическую платформу OpenGL, из-за чего есть ограничения на размер окна (графического буфера), продиктованные возможностями графического процессора и оперативной памятью рабочей станции, на которой работает это приложение. Сфера: части изображения поверхности глобуса синхронно проецируются с четырех сторон на матовую сферу-экран диаметром 2 м. При этом есть принципиальные трудности с изменением масштаба (из-за расположения проекторов снаружи к сфере нельзя близко подойти) и видимостью данных в районе полюсов.

Источники данных Информационная поддержка принятия решений и оценки влияния окружающей среды на людей, сельское хозяйство, природные и техногенные системы подразумевает параллельный анализ разнородных данных из распределенных источников с разграничением прав доступа. В рамках данной концепции мы выделяем следующие категории: Информационные сообщения. В большинстве случаев сообщения имеют геопривязку, например, временной ряд наблюдений температур на метеостанции, изображение с передвижной веб-камеры, магнитуда и гипоцентр землетрясения. Сеточные поля. Например, прогноз поля температур, скорости ветра или облачности. Электронные карты. Например, карты автомобильных дорог или рельефа местности. Мозаики спутниковых изображений. Например, мозаики орбит метеорологических спутников или географические сервисы Google Maps. В большинстве случаев доступ к различным категориям данных осуществляется через веб- сервисы по зашифрованным каналам наложенной сети передачи данных или Интернет. Для указанных категорий приняты стандарты протоколов обмена с веб-сервисами, т.е. форматы запросов на получение данных и ответов сервисов с выборкой данных.

Для информационных сообщений с геопривязкой это KML и geoRSS. В обоих случаях - XML файлы с простой схемой, в которой предусмотрены поля для географических координат, текста сообщения и дополнительных сетевых ссылок. Для сеточных полей в метеорологии приняты сетевые протоколы OPeNDAP и OGSA-DAI. Сервисы сеточных данных возвращают параметры окружающей среды для заданной области (обычно, прямоугольной) и интервала времени, при этом допуская интеграцию (одновременную выборку из нескольких файлов) и частичную обработку данных на сервере (прореживание, осреднение, арифметические операции). Формат возвращаемых данных может быть текстовым, XML, или бинарным. Стандарты протоколов обмена данных с веб-сервисами

Электронные карты предоставляются веб-сервисами в стандарте OGC ( Open Geospatial Consortium), в первую очередь сервисами WMS ( Web Map Service ). В WMS электронная карта представлена набором слоев (например, дороги, города, реки) в некоторой проекции (например, Меркатора) и диапазоне масштабов. По запросу сервис электронных карт возвращает слой или несколько слоев карты, наложенных друг на друга, для заданной прямоугольной области и в заданном масштабе в виде файла-изображения в одном из общепринятых форматов GIF, PNG, TIFF, и т.п. Мозаики спутниковых изображений в настоящее время в основном предоставляются с помощью так называемых tile -серверов ( tile это плитка). При высоком разрешении исходного материала (зачастую 1 пиксел на изображении отвечает 1 м на местности) склейки орбит для всего земного шара дают очень большие изображения (до 2^23 х2^23), которые хранятся в единой проекции (обычно, Меркатора) в виде пирамиды фрагментов (плиток размером 64х64 пиксела) с различным разрешением. Переход с одного уровня пирамиды на другой обычно удваивает разрешение снимков. Стандарты протоколов обмена данных с веб-сервисами

Пример объединения данных из различных сетевых сервисов метеоданных и электронных карт для совместной визуализации

Визуализация пространственных данных Проблема объединения данных из различных сетевых сервисов метеоданных и электронных карт на дисплее ситуацинного центра, будь то дисплей рабочей станции или видеостена, требует решения нескольких задач: все данные надо представить графически графические представления должны быть согласованы по проекции и масштабу. визуализирующий клиент должен уметь интерактивно запрашивать нужную графику с распределенных сервисов, а также управлять порядком и прозрачностью графических слоев на дисплее. В отличие от электронных карт и спутниковых мозаик, информационные сообщения и сеточные поля требуют дополнительной графической обработки. Сообщения на дисплее отображаются обычно в виде всплывающих окон (pushpins ) рядом с местом геопривязки. Сеточные поля обычно обрабатываются на сервере и передаются клиенту как электронные карты или пирамиды изображений tile -сервера. Наиболее распространенными проекциями для отображения многослойных карт являются прямоугольная (широта- долгота), Меркатора, и трехмерная сфера (виртуальный глобус). Программы визуализации метеоданных реализуются в виде тонкого или толстого клиента. В первом случае визуализация происходит внутри веб-браузера, с помощью JavaScript. Слои электронных карт и плитки спутниковых мозаик запрашиваются с распределенных сервисов в фоновом режиме по технологии Ajax. Так реализованы известные приложения Google Maps и MS Virtual Earth (оба используют проекцию Меркатора). Производительность встроенных интерпретаторов JavaScript пока не позволяет реализовать трехмерную графику внутри веб-браузера,поэтому виртуальные глобусы реализуются с помощью толстых клиентов, например, Google Earth или NASA World Wind.

Визуализация метеоданных: MS Virtual Earth и NASA World Wind

Видеостена ИКИ РАН Осенью 2007 г. в ИКИ РАН была установлена видеостена, на которой был проведен ряд экспериментов по коллаборативной научной визуализации данных с EVL UIC, Курчатовским научным центром и научными центрами РАН в г. Черноголовке. Видеостена составлена из 12 мониторов, каждый с диагональю 21 дюйм и разрешением 1920х1200 пикселей, что в целом дало возможность демонстрировать изображения и анимации на мозаике 3х4 дисплея с разрешением 26 Мп на площади около 5 кв. м. Управление осуществляется с помощью графического кластера, состоящего из десктопных машин, что существенно удешевило установку и снизило уровень шума в помещении. В кластере 6 узлов визуализации (каждый управляет двумя дисплеями); один файл-сервер с параллельным массивом дисков для локального хранения больших изображений и видеофайлов, а также сервер приложений – контроллер графического кластера. Все серверы и узлы кластера объединены коммутатором в локальную сеть 1 Гбит. Для проведения обмена данными и приложениями, параллельной визуализации на видеостенах и видеоконференций к видеостене подключен интернет- канал 1 Гбит. Маршрутизация потоков данных между узлами кластера и связь управляющих серверов с интернет реализована на двух отдельных коммутаторах. По выделенному каналу связи между ИКИ РАН и EVL UIC в своё время был установлен рекорд скорости обмена данными между Россией и США. Первоначально на видеостене использовалось программное обеспечение SAGE под управлением ОС Linux. В ходе совместных экспериментов с EVL UIC по распределенной визуализации удалось продемонстрировать возможность удаленной трансляции в реальном времени из США в Россию и обратно научных видеофильмов в формате 4К-видео и проведения видео-конференций с видеопотоком в формате HD. Использование видеостены SAGE для визуализации электронных карт и научных массивов данных по окружающей среде в ОС Windows с помощью клиента NASA World Wind стало возможным, после реализации виртуальный буфер обмена графическими данными между графическими платформами DirectX и OpenGL. При этом библиотека SAIL была перенесена на платформу. NET. В результате был получен интерактивный трехмерный виртуальный глобус с возможностью наложения различных слоев данных с геопривязкой, включая спутниковые снимки и электронные карты.

Визуализация данных на видеостене в ИКИ РАН

Видеостена в Черноголовке

Приложение для видеостен MultiViewer MultiViewer (разработка МГУ совместно с ГЦ РАН) : использует каждый узел кластера видеостены для запуска клиентов, которые синхронно управляются головным сервером, тогда как SAGE -клиент работает на отдельном сервере, не входящем в состав кластера видеостены. При этом существенно повышается эффективность использования процессоров и графических карт на узлах кластера видеостены. Каждый клиент MultiViewer сам загружает ту часть данных, которые необходимо показать на подключенных к нему дисплеях, осуществляет предварительную обработку данных на центральном процессоре и готовит графические буферы на графической карте. Смена изображений на видеостене происходит синхронно по команде с управляющего сервера по мере готовности новых графических буферов на всех клиентах. По команде Prepare frame каждый клиент загружает, обрабатывает и отображает (рендерит) свою часть данных. Работа ведется параллельно, при этом клиенты могут получать данные как из локального кеша на диске, так и из кластерной файловой системы, установленной на видеостене (еще одно возможное применение серверов) или из удаленных сервисов данных по сети интернет. По готовности нового изображения клиент отправляет на Node_0 подтверждение Commit. Когда все клиенты завершат подготовительную работу, Node_0 дает команду Swap buffer, чтобы обновить изображения сразу на всех дисплеях. Технологии SAGE и MultiViewer (Windows only) не являются взаимоисключающими. Клиенты MultiViewer на узлах видеостены в свою очередь могут быть клиентами SAGE для распределенной визуализации – транслировать свою часть изображения (графический буфер) на удаленную видеостену, возможно, с другим количеством и конфигурацией дисплеев.

Архитектура Multiviewer

Возможности MultiViewer Клиенты MultiViewer могут работать со всеми перечисленными выше распределенными источниками пространственных данных, включая информационные сообщения, сеточные поля, электронные карты и tile- серверы. Информационные сообщения загружаются по сети в формате КМL и отображаются на стене в виде пушпинов. Пушпин может так же содержать гиперссылки, при открытии которых поверх карты отображается окно веб-браузера, в котором возможна дальнейшая навигация и которое можно перемещать и масштабировать внутри группы дисплеев, подключенных к тому серверу в кластере стены, на чьем фрагменте карты находится гиперссылка. Окно веб- браузера нельзя транслировать на удаленную видеостену по технологии SAGE, т.к. браузер уже не является SAGE -клиентом. Сеточные данные загружаются с сервисов OGSA-DAI в специальном XML формате, разработанном в ИКИ РАН, или по протоколу OPeNDAP. Для подложки карты на видеостене клиент может запросить фрагмент электронной карты с сервера WMS или набор плиток с tile-сервера Microsoft Virtual Earth. Примеры: наложение сеточных данных прогноза погоды на изображение Земли со спутника и изображения с метеорологического спутника DMSP на карту Virtual Earth. Температура воздуха на поверхности отображается полупрозрачным слоем одновременно в виде растра и контурных линий. Метеоданные запрашиваются клиентами с удаленного сервера OGSA-DAI. Части изображения DMSP запрашиваются клиентами с удаленного сервера по протоколу OPeNDAP.

Совмещение разных слоев пространственных данных в MultiViewer

MultiViewer pros & cons Достоинства: Эффективное использование ресурсов визуализационного кластера Взаимодействие с существующими приложениями Windows Возможность взаимодействия с SAGE Недостатки: Технология находится в Бета-версии Мало приложений Высокие требования к машинам кластера

Фреска Дионисия 1502г.

Спасибо за внимание!