Введение в стереозрение Дмитрий Ватолин Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) Only for Maxus План лекции Восприятие трехмерного пространства человеком. Источники информации о глубине сцены Стереоизображения. Параллакс. Запас глубины. Комфортное восприятие стерео 2

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Восприятие пространства Монокулярный стереоэффект Информация о глубине из вторичных факторов пространственного зрения Последовательно-временной стереоэффект Информация о глубине из перемещения объектов сцены Бинокулярный стереоэффект Информация о глубине из разности изображения с двух точек зрения 3

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Монокулярный стереоэффект Наложение объектов Линейная перспектива: относительные размеры объектов 4 Источники: i86.servimg.com,

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Монокулярный стереоэффект Расположение объектов относительно горизонта Воздушная перспектива: рассеяние света по мере удаления от наблюдателя 5 Источники: Wikipedia

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Монокулярный стереоэффект Текстурные градиенты Тени, блики и отражения 6 Источники: cs.ru.nl/~ths, Wikipedia

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Последовательно- временной стереоэффект Смещение точки зрения / камеры Относительная скорость объектов Источники: Wikipedia 7

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Бинокулярный стереоэффект Раскрытие наложения объектов с одной из точек зрения Стереоскопический параллакс Расположение объектов на сетчатке глаза Различие формы объекта с разных точек зрения 8 Источник:

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Бинокулярное зрение Человек видит разные картинки каждым из глаз Их объединение дает информацию о глубине 9 Источник: i.cmpnet.com

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Стереоизображения Стереоизображение делают из двух обычных картинок Разные изображения для каждого глаза 10

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Конвергенция и дивергенция При слежении за сопряженными точками зрительные оси глаз могут сходиться или расходиться в зависимости от удаленности объекта 11

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Параллакс Параллакс величина взаимного смещения сопряженных точек на сетчатках глаз или в изображениях стереопары 12 Источник:

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Параллакс в стерео Параллакс расстояние между картинками для разных глаз на экране 13 Источник:

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Параллакс в стерео Параллакс расстояние между картинками для разных глаз на экране 14 положительный: объект далеко отрицательный: объект рядом Источник: lightillusion.com

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Положительный параллакс Зрительные оси пересекаются за плоскостью изображения стереопары Восприятие почти не зависит от расстояния зрителя до экрана 15

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Положительный параллакс Максимальный параллакс: Расстояние между картинками равно расстоянию между глазами Зрительные оси параллельны Объекты находятся на стереоскопической бесконечности (воспринимаются на расстоянии 10 метров) 16

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Положительный параллакс Параллакс больше максимального: Расстояние до объектов еще больше Глаза смотрят в разные стороны дискомфорт 17

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Отрицательный параллакс Зрительные оси пересекаются перед плоскостью изображения стереопары Глубина задается относительно расстояния до экрана 18

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Отрицательный параллакс Серединный отрицательный параллакс (MDP Mid-Point Parallax) : Расстояние между картинками равно расстоянию между глазами Расстояние до объекта равно половине расстояния до экрана 19

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Отрицательный параллакс Максимальный отрицательный параллакс: зависит от времени статичные объекты: 1-2x MDP движущиеся объекты: 3-5x MDP 20

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Запас глубины Доступная глубина = (максимальный положительный параллакс) + (максимальный отрицательный параллакс) В пикселях: ±30px для разрешения 2000px, 30 –45100 для сильного эффекта 3D 21 Источник:

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Зоны комфортного восприятия стерео Серый: невидимая зона Красный: опасная зона Большая нагрузка на глаза Оранжевый: быстрая зона Объект виден только одному глазу нагрузка Зеленый: зона отдыха глаз Рядом с плоскостью экрана Комфортная для восприятия 22 Источник:

Современные стандарты 3D Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Содержание Форматы 3D кино Полосно-пропускные Затворные Поляризационные 24

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Форматы 3D кино Полосно-пропускные Разделение изображений для разных ракурсов по длинам волн Основные форматы: Анаглиф (греч. Anaglyph, выпуклая резьба «барельеф», νά «над», γλύ ϕ -ειν «вырезать») Dolby 3D 25 Рисунок -

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Полосно-пропускные Dolby 3D Разработка технологии компанией Infitec (Interference filter technologie) Объединение Infitec с Dolby Laboratories Inc. Создание стандарта Dolby 3D 26

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Dolby 3D Принцип работы Развитие идеи анаглифного стерео, более сложное разделение изображений по длине волны света Применение интерференционных полосно- пропускающих фильтров Получение изображения смешиванием цветов из полос пропускания Left eye: Red 629nm, Green 532nm, Blue 446nm Right eye: Red 615nm, Green 518nm, Blue 432nm 27 Dolby-3D-XpanD-MasterImage.html

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Dolby 3D Принцип работы 28

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Dolby 3D Оборудование Обычный матовый экран Один проектор + вращающийся диск-светофильтр 4320 оборотов в минуту Частота обновления – 72Гц для каждого глаза Очки со спектральными светофильтрами 29 Dolby-3D-XpanD-MasterImage.html

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Содержание Форматы 3D кино Полосно-пропускные Затворные Поляризационные 30

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Форматы 3D кино Затворные Поочередное перекрывание каждого глаза В каждый момент времени вывод на экран только одного ракурса Основные форматы: NVIDIA 3D Vision XpanD 3D 31

CS MSU Graphics & Media Lab (Video Group) Only for Maxus NVIDIA 3D Vision Оборудование 32 Мощная видеокарта Качественный дисплей Специализированный набор IR-синхронизатор + активные очки

33

CS MSU Graphics & Media Lab (Video Group) Only for Maxus XpanD 3D Оборудование Затворные очки Полноцветное изображение Частота развертки не ниже 100Гц (50Гц для каждого глаза) Необходимость синхронизации и элементов питания Техническая сложность и высокая стоимость ( ) 34

CS MSU Graphics & Media Lab (Video Group) Only for Maxus XpanD 3D Оборудование IR-эмиттеры синхронизации 280 инфракрасных диодов Большой радиус действия Устанавливается рядом с проектором Направляется на экран Сигнал отражается от экрана в кинозал 35

36

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Содержание Форматы 3D кино Полосно-пропускные Затворные Поляризационные 37

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Поляризация 38 Нарушение симметрии в распределении волн Неполяризованный свет Частично поляризованный свет Поляризованный свет

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Поляризация Виды поляризации 39 Линейная поляризация, применение: Ранние модели IMAX 3D Круговая поляризация, применение: Современный IMAX 3D RealD 3D MasterImage

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Линейная поляризация Теория 40 Колебания э/м возмущений в одной плоскости Принцип работы фильтров – анизотропные свойства кристалла

CS MSU Graphics & Media Lab (Video Group) Only for Maxus 41 Циркуляция вектора амплитуды э/м возмущений Круговая поляризация Теория Правая (по часовой стрелке) поляризация волны

CS MSU Graphics & Media Lab (Video Group) Only for Maxus 42 Линейная поляризатор под углом 45° Четвертьволновая пластина Круговая поляризация Устройство фильтра

CS MSU Graphics & Media Lab (Video Group) Only for Maxus 43 Вертикально- ориентированная часть волны проходит без изменений Горизонтально- ориентированная часть задерживается на четверть волны Круговая поляризация Четвертьволновая пластина Δ = λ / 4

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Экран с особым покрытием, неизменяющим поляризацию падающего света Фильтры для проекторов и очков Зависимость качества 3D эффекта от наклона головы зрителя (в меньшей степени для круговой поляризации) Существенное уменьшение яркости изображения из-за поляризации 44 Поляризационные Общие характеристики Dolby-3D-XpanD-MasterImage.html

CS MSU Graphics & Media Lab (Video Group) Only for Maxus RealD 3D Версии формата RealD – стандартная с максимальной шириной экрана – 13.7 м RealD XL (в России – SuperD) – для больших экранов до 24 м RealD XLS – решение проблемы уменьшения яркости изображения, экран – до 15 м RealD LP – переносная версия для конференций и выставок, экран до 5 м 45

CS MSU Graphics & Media Lab (Video Group) Only for Maxus RealD 3D RealD, RealD XL Один проектор с частотой 140Гц Попеременное отображение кадров Система переключаемых фильтров RealD Z screen, синхронизируемая с проектором Экран с серебряным покрытием Пассивные поляризующие очки 46 Система RealD Z Screen

CS MSU Graphics & Media Lab (Video Group) Only for Maxus 47 RealD 3D RealD, RealD XL

CS MSU Graphics & Media Lab (Video Group) Only for Maxus RealD 3D RealD XLS Использование в два раза большего проектора Одновременный показ двух ракурсов на одном кадре RealD Z Screen разделяет кадр на ракурсы и поляризует

CS MSU Graphics & Media Lab (Video Group) Only for Maxus RealD 3D RealD LP Переносной вариант Ориентирован для конфренций 2D - 120Гц / 3D - 60Гц режимы работы Совместим с уже существующими моделями проекторов 49 RealD Z Screen для RealD LP

CS MSU Graphics & Media Lab (Video Group) Only for Maxus MasterImage Более дешевая система с вращающимися фильтрами 50

CS MSU Graphics & Media Lab (Video Group) Only for Maxus IMAX Не является только форматом 3D Специфицирует все элементы кинопоказа Формат фильмов и кинотеатров с большим размером экрана и эффектом погружения 51

CS MSU Graphics & Media Lab (Video Group) Only for Maxus IMAX Версии IMAX GT – «Большой кинотеатр», без 3D IMAX GT 3D – Два «GT» проектора IMAX SR – мультиплексовый вариант с меньшим экраном, поддержкой 3D IMAX MPX – технология оборудования существующих мультиплексов под формат IMAX IMAX Dome – куполообразный экран 52

CS MSU Graphics & Media Lab (Video Group) Only for Maxus IMAX Оборудование Специализированная конструкция кинозала: Большой экран (стандарт – 20х16 м) Высокий угол наклона сидений зрителей (до 23°) Небольшое расстояние от экрана до зрителя 53 Рисунок -

CS MSU Graphics & Media Lab (Video Group) Only for Maxus IMAX Оборудование Больший размер пленки и специальные камеры 54

CS MSU Graphics & Media Lab (Video Group) Only for Maxus IMAX Оборудование Мощные ксеноновые проекционные лампы (7-15кВт) для увеличения яркости картинки 55

CS MSU Graphics & Media Lab (Video Group) Only for Maxus IMAX Технологии IMAX HD – увеличение качества картинки засчет записи 48 кадров в секунду IMAX DMR (Digital Media Remastering) – перевод 35мм фильмов в 70мм IMAX Digital Theatre System – цифровой хранения видео (введен в 2008 году) 56 IMAX DMR (1995 Apollo 13)

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Форматы 3D кино Заключение Dolby 3DNVIDIA 3D VisionRealD 3DIMAX СпектральныйЗатворныйполяризационный 1 проектор Дисплей с высокой частотой развертки 1 проектор 2 мощных проектора Обычный экранЭкран с покрытиемБольшой экран Пассивные очки Низкая стоимость Активные дорогостоящие очки Пассивные очки Низкая стоимость Пассивные очки Низкая стоимость Самый дешевый вариант Нацелен на персональное использование Очень распространен, возможность оснащения старых залов Считается лучшим форматом, эффект погружения 57

Приложения S3D-видео и связанные технологии Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Что подразумевается под «S3D-видео» Рассматриваются форматы видео, которые позволяют зрителям воспринимать глубину сцены по принципу бинокулярного стерео зрения Примеры форматов: Стереоскопический Многоракурсный Видео с произвольной точкой наблюдения (ПТН, Free Viewpoint) «2D+глубина» (становится более доступным на данный момент) 59 M.-T. Sun, Applications and Processing of 3D Video, 2011 Левый + правый канал 2D + глубина

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Приложения S3D-видео 60 M.-T. Sun, Applications and Processing of 3D Video, 2011 Применение 3D технологий Кино и телевидение Виртуальная реальность Медицина Искусство, дизайн, проектирование Стерео камеры и дисплеи

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Связанные технологии 61 M.-T. Sun, Applications and Processing of 3D Video, 2011 Область S3D-видео охватывает следующие технологии: Съемка 3D: стерео камеры, камеры глубины, многоракурсные системы, калибровка камер, сопоставление ракурсов Отображение 3D: очковые системы с поляризацией, затворные, автостереоскопические лентикулярные, параллакс-барьерные системы Конвертация из 2D в 3D: Вычисление и обработка карт глубины и диспаритета Depth image-based rendering (DIBR) – задачи генерации ракурсов: 3D warping, hole filling, blending Сжатие и кодирование: H.264/Multi-view video coding, depth coding Задачи распознавания на основе видео в различных 3D-форматах …

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Оборудование для съемки 62 M.-T. Sun, Applications and Processing of 3D Video, 2011 Появляется большое количество оборудования: Профессиональное Любительское Мобильное

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Тенденции развития видеоинформационных систем 63 В. Дворкович, М. Чобану, «Проблемы и перспективы развития систем кодирования динамических изображений», ТСПТН Телевидение с произвольной точкой наблюдения ТВЧ телевидение высокой четкости ТУВЧ телевидение ультравысокой четкости

CS MSU Graphics & Media Lab (Video Group) Only for Maxus Тенденции развития систем отображения 3D 64 C. Camaroto, 3D Display Technology and Market Forecast Report, DisplaySearch, 2010 На данный момент предполагается активный рост востребованности 3D-технологий Количество устройств с поддержкой 3D (млн) Объемы продаж (млн)

КОНЕЦ ЛЕКЦИИ 1.