Настоящее и будущее 3D Дмитрий Ватолин. 2011 Благодарности Автор выражает благодарность Дмитрию Акимову, Денису Сумину и Антону Зачесову за помощь в подготовке. - презентация

1 Настоящее и будущее 3D Дмитрий Ватолин

2 2011 Благодарности Автор выражает благодарность Дмитрию Акимову, Денису Сумину и Антону Зачесову за помощь в подготовке этих слайдов

3 2011 Outline Введение в 3D Форматы 3D кино Современные 3D мониторы Карты глубин

4 2011 Outline Введение в 3D Форматы 3D кино Современные 3D мониторы Карты глубин

5 2011 Параллакс в стерео Параллакс расстояние между картинками для разных глаз на экране положительный: объект далеко отрицательный: объект рядом ightillusion.com

6 2011 Зоны комфортного восприятия стерео Серый: невидимая зона Красный: опасная зона – Большая нагрузка на глаза Оранжевый: быстрая зона – Объект виден только одному глазу нагрузка Зеленый: зона отдыха глаз – Рядом с плоскостью экрана – Комфортная для восприятия

7 2011 Outline Введение в 3D Форматы 3D кино Современные 3D мониторы Карты глубин

8 2011 Dolby 3D Развитие идеи анаглифного стерео, более сложное разделение изображений по длине волны света Применение интерференционных полосно-пропускающих (спектральных) фильтров Получение изображения смешиванием цветов из полос пропускания – Left eye: Red 629nm, Green 532nm, Blue 446nm – Right eye: Red 615nm, Green 518nm, Blue 432nm

9 2011 Dolby 3D Принцип работы

10 2011 Затворные форматы 3D кино Поочередное перекрывание каждого глаза В каждый момент времени вывод на экран только одного ракурса Основные форматы: – NVIDIA 3D Vision – XpanD 3D

11 2011 NVIDIA 3D Vision Оборудование Мощная видеокарта Качественный дисплей Специализированный набор IR-синхронизатор и активные очки

12 2011

13 2011 RealD 3D Версии формата RealD – стандартная с максимальной шириной экрана – 13.7 м RealD XL (в России – SuperD) – для больших экранов до 24 м RealD XLS – решение проблемы уменьшения яркости изображения, экран – до 15 м RealD LP – переносная версия для конференций и выставок, экран до 5 м

14 2011 RealD 3D Схема работы

15 2011 IMAX Не является только форматом 3D Специфицирует все элементы кинопоказа Формат фильмов и кинотеатров с большим размером экрана и эффектом погружения

16 2011 IMAX Версии IMAX GT – «Большой кинотеатр», без 3D IMAX GT 3D – Два «GT» проектора IMAX SR – мультиплексовый вариант с меньшим экраном, поддержкой 3D IMAX MPX – технология оборудования существующих мультиплексов под формат IMAX IMAX Dome – куполообразный экран

17 2011 Форматы 3D кино Заключение Dolby 3DNVIDIA 3D VisionRealD 3DIMAX СпектральныйЗатворныйполяризационный 1 проектор Дисплей с высокой частотой развертки 1 проектор2 мощных проектора Обычный экранЭкран с покрытиемБольшой экран Пассивные очки Низкая стоимость Активные дорогостоящие очки Пассивные очки Низкая стоимость Пассивные очки Низкая стоимость Самый дешевый вариант Нацелен на персональное использование Очень распространен, возможность оснащения старых залов Считается лучшим форматом, эффект погружения

18 2011 Outline Введение в 3D Форматы 3D кино Современные 3D мониторы Карты глубин

19 2011 Автостереоскопические Лентикулярные линзы При взгляде с разных углов увеличиваются разные участки изображения Neil A. Dodgson, "Multi view autostereoscopic 3D display"

20 2011 Автостереоскопические Проблема – необходимо «попасть» в правильную зону Решение – увеличение количества видов Neil A. Dodgson, "Multi view autostereoscopic 3D display"

21 2011 Мультивидовые дисплеи

22 2011 Мультивидовые Проекторные системы Wojciech et al., 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes, MERL MA 2004

23 2011 Мультивидовые Проекторные системы (Видео)

24 2011 TransCAIP Съемка 64 камеры Разрешение камеры – 320x240 Taguchi et al. TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display, ACM SIGGRAPH 2008

25 2011 TransCAIP Отображение 60 видов Разрешение экрана – 256x192 пикселя Вертикальный и горизонтальный параллакс Параметры параллакса настраиваемы Taguchi et al. TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display, ACM SIGGRAPH 2008

26 2011 TransCAIP (Видео)

27 2011 TransCAIP (Видео) Управление параллаксом

28 2011 Волюметрические Основной принцип Конечный объем дисплея Поле вокселей: – Объекты, способные пропускать или рассеивать свет – Объекты, способные излучать свет Заставляем нужные воксели светиться 28

29 2011 Волюметрические Классификация

30 2011 Волюметрические Примеры реализаций Рабочий объем задается трехмерным массивом диодов По оптоволоконным проводам передается изображение от оптомодулятора Частота обновления зависит от обновления всего куба

31 2011 Волюметрические Примеры реализаций Рабочий объем – цилиндр Отображение за счет вращающейся сетки диодов

32 2011 Волюметрические Примеры реализаций Рабочий объем задается массивом жидкокристаллических матриц У каждой матрицы два режима работы – прозрачная и отображающая определенную плоскость объекта

33 2011 Волюметрические Вращающаяся проекторная плоскость Рабочий объем – сфера Отображение за счет вращающейся плоскости, на которую проецируется изображение каждого ракурса G.E. Favalora, Volumetric 3D Displays and Application Infrastructure, IEEE Computer Society Press 2005.

34 2011 Волюметрические (Видео) Вращающаяся проекторная плоскость

35 2011 Волюметрические (Видео) Проекция на вращающуюся плоскость, находящуюся под углом 45°к проектору и нормальному углу обзора

36 2011 Голография (Видео) Пример современной голографической печати высокого качества

37 2011 Голографические дисплеи Цель – с помощью дифракционных систем плоских дисплеев в реальном времени получать интерференционную картину, соответствующую реальному световому полю наблюдаемой сцены На сегодняшний день – Слишком затратны и сложны в реализации – Способны воспроизводить только статичные изображения – Обладают только горизонтальным параллаксом

38 2011 Outline Введение в 3D Форматы 3D кино Современные 3D мониторы Карты глубин

39 2011 Карты глубин Способы получения Ручная разметка кадров Исходный рисунок -

40 2011 Карты глубин Способы получения Автоматические способы с использованием depth cues (метод Depth from defocus) CS MSU Graphics & Media Lab (Video Group)

41 2011 Карты глубин Способы получения CS MSU Graphics & Media Lab (Video Group) Автоматические способы с использованием depth cues (метод Depth from geometry)

42 2011 Билатеральная фильтрация глубины D(x, y) – глубина точки (x, y) I(x, y) – цвет точки (x, y) Ω – область ядра свертки σ s – параметр пространственного усреднения σ c – параметр цветового усреднения

43 2011 for (each pixel in image) {sum = koef = 0; for (each neighbour_pixel in kernel window) {cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial) * gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color); sum += neighbour_pixel.value * cur_koef; koef += cur_koef; } new_pixel.value = sum / koef; } Билатеральная фильтрация глубины

44 2011 фильтрация карты глубины на основе исходного кадра Burazerovic et al., Automatic depth profiling of 2d cinema- and photographic images, ICIP 2009 Билатеральная фильтрация глубины Результат

45 2011 Сглаживание глубины ровных по цвету областей Подчеркивание разницы на цветовых границах Burazerovic et al., Automatic depth profiling of 2d cinema- and photographic images, ICIP 2009 Билатеральная фильтрация глубины Результат

46 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

47 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

48 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

49 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

50 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

51 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

52 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

53 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

54 2011 Пространственная фильтрация Результаты

55 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

56 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

57 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

58 2011 Пространственная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

59 2011 Временная фильтрация Схема работы Сглаживание изменения глубины во времени – Нормализация, устранение «мерцания» – Удаление «артефактов»

60 2011 Временная фильтрация Spatio-Temporal Filtering Пиксель определяется тремя координатами – (x, y, t) положение в пространстве и времени Рассматриваем окрестность по всем трем координатам, с учетом компенсации движения

61 2011 Временная фильтрация Spatio-Temporal Filtering for (each pixel in cur_frame) {sum = koef = 0; for (each neighbour_pixel in kernel window) { for (each neighbour_frame in temporal window) { cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial) * gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color) * gaus_weight(cur_frame.count, neighbour_frame.count, sigma_temporal); sum += neighbour_pixel.value * cur_koef; koef += cur_koef; } new_pixel.value = sum / koef; }

62 2011 Временная фильтрация Результаты CS MSU Graphics & Media Lab (Video Group)

63 2011 Временная фильтрация Сравнение CS MSU Graphics & Media Lab (Video Group)

64 2011 Временная фильтрация Сравнение CS MSU Graphics & Media Lab (Video Group)

65 2011 Временная фильтрация Сравнение CS MSU Graphics & Media Lab (Video Group)

66 2011 Временная фильтрация Сравнение CS MSU Graphics & Media Lab (Video Group)

67 2011 Временная фильтрация Сравнение CS MSU Graphics & Media Lab (Video Group)

68 2011 Дополнительная информация Подробные лекции по теме можно найти по адресу Подробное задание по теме можно найти по адресу