Модели с неявной и дискретной геометрией Алексей Игнатенко Лекция 6 16 ноября 2006

Основы синтеза изображений 2 На прошлой лекции Пленоптик-функция задает излучение во всех возможных направлениях Задача моделирования – эффективно представить пленоптик-функцию Спектр методов: от набора изображений до полной геометрии Методы на основе интерполяции изображений: Панорамы Мозаики Световые поля Склейки «Море изображений»

16 ноября 2006 Основы синтеза изображений 3 На лекции Представления с неявной геометрией Представления с дискретной геометрией

16 ноября 2006 Основы синтеза изображений 4 Спектр моделей Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия

16 ноября 2006 Основы синтеза изображений 5 На прошлой лекции: модели использующие только изображения Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия

16 ноября 2006 Основы синтеза изображений 6 Сегодня: изображения + доп. информация Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия

16 ноября 2006 Основы синтеза изображений 7 Проблемы подходов на основе интерполяции изображений Высокие требования к количеству исходных фотографий (изображений) Сложность получения Большой объем данных Статичность Нет анимации Нельзя менять положение источников света

16 ноября 2006 Основы синтеза изображений 8 Как можно уменьшить необходимое количество фотографий? Для чего нужно много фотографий? Для плавной интерполяции Параллакс Блики Можно взять меньше фотографий, но добиться того же эффекта за счет: Более «умной» интерполяции Использования дополнительных данных о содержании изображений

16 ноября 2006 Основы синтеза изображений 9 Представления с неявной геометрией Небольшое число исходных изображений Использование дополнительной информацию о соответствиях (matches) пикселей на различных изображениях Неявная геометрия 3D положения точек не восстанавливаются целевое изображение реконструируется с помощью манипуляции с соответствиями на изображениях Подход позволяет увеличить дистанцию между изображениями

16 ноября 2006 Основы синтеза изображений 10 Интерполяция вида (view interpolation) 1994г Один из первых подходов на основе «умной» интерполяции Основан на реконструкции плотного оптического потока между соседними изображениями Далее - интерполяция

16 ноября 2006 Основы синтеза изображений 11 Интерполяция вида: алгоритм синтеза 1. Реконструируется оптический поток Методы машинного зрения 2. Для заданного положения наблюдателя репроецируются оба исходных изображения 3. Для заливания дырок используется интерполяция

16 ноября 2006 Основы синтеза изображений 12 Интерполяция вида: алгоритм синтеза 2 Одно изображение Два изображения Два изображения (исходные камеры ближе) Два изображения с интерполяцией

16 ноября 2006 Основы синтеза изображений 13 Интерполяция вида: результаты Синтез Интерполяция Найдите десять отличий

16 ноября 2006 Основы синтеза изображений 14 Интерполяция вида: свойства Небольшое число фотографий Нет предположений о геометрии, материалах Высокая скорость экранизации Необходимо вычисление плотного стерео (диспаритета для каждой точки) Как следствие, изображения расположены достаточно часто Расстояние не более одного метра

16 ноября 2006 Основы синтеза изображений 15 Видовой морфинг (view morphing) Метод похож на интерполяцию вида Но не требуется реконструкции плотного стерео Ограничение: движение только между центрами проекций изображений

16 ноября 2006 Основы синтеза изображений 16 Видовой морфинг: алгоритм синтеза 1. Регистрация двух изображений 2. Ректификация изображений Эпиполярные линии горизонтальны 3. Стандартный морфинг вдоль строк (на основе особенностей) Левое и правое – в центр 4. Де-ректификация изображений 5. Смешивание изображений

16 ноября 2006 Основы синтеза изображений 17 Видовой морфинг: морфинг параллельных видов Морфинг вдоль горизонтальных линий

16 ноября 2006 Основы синтеза изображений 18 Видовой морфинг: морфинг произвольных видов ректификация

16 ноября 2006 Основы синтеза изображений 19 Видовой морфинг: примеры

16 ноября 2006 Основы синтеза изображений 20 Видовой морфинг: примеры 2

16 ноября 2006 Основы синтеза изображений 21 Видовой морфинг: сравнение с обычным

16 ноября 2006 Основы синтеза изображений 22 Видовой морфинг: свойства Небольшое число фотографий Нет предположений о геометрии, материалах Не требуется оптический поток Ограниченная область применения

16 ноября 2006 Основы синтеза изображений 23 Пленоптик-моделирование (plenoptic modeling) Идея метода Восстановление оптического потока между двумя цилиндрическими панорамами и интерполяция между ними

16 ноября 2006 Основы синтеза изображений 24 Пленоптик-моделирование: алгоритм получения и синтеза Создание панорамных изображений из набора фотографий Регистрация Полуавтоматическая Вычисление плотного стерео Реконструкция панорамного изображения для заданного положения наблюдателя

16 ноября 2006 Основы синтеза изображений 25 Пленоптик-моделирование: пример

16 ноября 2006 Основы синтеза изображений 26 Пленоптик-моделирование: свойства Небольшое число фотографий Нет предположений о геометрии, материалах Высокая скорость экранизации Необходимо вычисление плотного стерео (диспаритета для каждой точки) Как следствие, панорамы расположены достаточно часто Расстояние не более одного метра Наилучшие результаты при движении по линии, соединяющии центры проекций панорам

16 ноября 2006 Основы синтеза изображений 27 Модели с дискретной геометрией Модели содержат явную 3D информацию в дискретной форме Обычно: глубина каждого пикселя изображения вдоль направления взгляда. Такие представления не содержат информации о том, как достраивать значения до поверхности В отличие от граничных полигональных представлений, например Полигональные представления не попадают в этот класс

16 ноября 2006 Основы синтеза изображений 28 Модели с дискретной геометрией: карты глубины Каждой точке сопоставлено расстояние до объекта Известна калибровка камеры Часто результат работы лазерных сканеров

16 ноября 2006 Основы синтеза изображений 29 Деформация карт глубины Возможно построить целевое изображение без реконструкции трехмерных точек! Исходное изображениеЦелевое изображение Точка поверхности объекта

16 ноября 2006 Основы синтеза изображений 30 Деформация карт глубины: алгоритмы синтеза Прямая деформация Обходим точки исходного, получаем координаты в целевом Обратная деформация Обходим точки в целевом, получаем координаты в исходном

16 ноября 2006 Основы синтеза изображений 31 Алгоритмы синтеза: прямая деформация Быстро! Проблемы дискретизация и реконструкции Сплаттинг ИсходноеЦелевое

16 ноября 2006 Основы синтеза изображений 32 Алгоритмы синтеза: обратная деформация ИсходноеЦелевое Проблема реконструкции заменяется на проблему сэмплирования Медленно, фактически трассировка лучей

16 ноября 2006 Основы синтеза изображений 33 Деформация карт глубины: свойства Небольшое число изображений с глубиной В несколько раз (или даже в несколько десяткой раз!) меньше, чем просто изображения для интерполяции Возможна аппаратная поддержка Сейчас уже есть реализации на шейдерах Сложность получение карт глубины Опять может потребоваться CV Обычно только ламбертовы поверхности Хотя есть методы, позволяющие использовать модели освещения

16 ноября 2006 Основы синтеза изображений 34 Многослойные карты глубины (Layered Depth Images) Одно «изображение» позволяет хранить полную информацию об объекте Трехмерная структура данных собой прямоугольная матрица каждый элемент – список точек Каждая точка содержит глубину и атрибуты в простейшем случае – цвет

16 ноября 2006 Основы синтеза изображений 35 Многослойные карты глубины: методы синтеза Модифицированный алгоритм деформации

16 ноября 2006 Основы синтеза изображений 36 Деревья многослойных карт глубины (LDI Trees) Вместо одного LDI формируется восьмеричное дерево В каждом узле которого находится свой LDI и ссылки на другие узлы В них находится LDI меньшего размера (в единицах сцены), но того же разрешения. Каждый LDI в дереве содержит информацию только о той части сцены, которая содержится в его ограничивающем параллелепипеде. Ограничивающие параллелепипеды узлов следующего уровня дерева получаются дроблением ограничивающего параллелепипеда текущего уровня на восемь равных частей.

16 ноября 2006 Основы синтеза изображений 37 Итоги Методы на основе изображений с неявной геометрией позволяют понизить требования к количеству исходных изображений Но требуются сложные алгоритмы машинного зрения для поиска соответствий Сужение области применения Методы на основе дискретной геометрии Обычно используется для работы с данными трехмерных сканеров или результатов работы алгоритмов машинного зрения Нужно еще меньше фотографий Сложности с получением (карты глубины) Ограничения на модель тонирования