Камера Вежневец Владимир, Антон Конушин Александр Вежневец Курс – «Введение в компьютерное зрение» МГУ ВМК, Graphics&Media Lab Осень 2006

На предыдущих лекциях Цель компьютерного зрения - Принятие решений о реальных физических объектах и сценах, основываясь на воспринимаемых изображениях

На предыдущих лекциях Сегментация Особенности изображения Точки Края Вычисление характеристик областей Все это – внутри изображения!

На предыдущих лекциях Классификация тип объекта по его образу Машинное обучение по набору известных образов объекта Все это – внутри картинки!

Выйти за пределы изображения! Фотография Как можно этого добиться? Фотограмметрия Реконструкция

Из трехмерного мира в изображение Вначале нужно понять, как изображение получается Изображение – это отображение сцены на плоскости Нам нужна модель этого отображения! Модель фотографической камеры!

Построим камеру

Сделаем простейшую камеру Положим кусок пленки перед объектом На каждую точку пленки падают лучи от всех точек объекта Получается бессмысленное изображение

Камера-обскура Добавим преграду с отверстием, чтобы отсечь лишние лучи На каждую точку пленки падает один луч! Картинка должна быть четкой! Отверстие в преграде называется апертурой или диафрагмой

Модель камеры-обскуры Модель: В преграде отверстие размеров в одну точку Все лучи проходят через одну точку Эта точка называется Центром Проекции (ЦП) Изображение формируется на Картинной плоскости Фокусным расстоянием f называется расстояние от ЦП до Картинной плоскости

Камера-Обскура Самая Первая Камера Была известная еще Аристотелю Глубина комнаты и есть Фокусное расстояние Camera Obscura, Gemma Frisius, 1558

Камера-обскура в домашних условиях Почему картинка такая размытая?

Апертура – не точка! Целый пучок лучей проходит через отверстие в преграде Изображение одной точки – небольшой кружок Размер кружка зависит от размера апертуры

Уменьшаем апертуру Почему бы не сделать апертуру как можно меньше? Меньше апертура – меньше света проходит При малых апертурах начинаются дифракционные эффекты

Уменьшаем диафрагму

Линза! Линза позволяет использовать большую диафрагму и увеличить поток света от каждой точки

Линза

Преломление света Луч света на стыке различных материалов преломляется Где n – коэффициент преломления, - угол между нормалью к поверхности и направлением луча В школьной оптике полагается sin(x)~x для тонких линз

Линза F N N NN – главная оптическая ось, пересекающая центры сферических поверхностей Пучок параллельных прямых пересекается в главном фокусе F ОF – главное фокусное расстояние О

Линза F О F2F2F-F-F А f uv u,v – сопряженные фокусные расстояния - Основное уравнение линзы А B B

Линза Луч, проходящий через центр линзы не преломляется! Система точно как камера-обскура, но собирает больше света! F О F2F2F-F-F А f uv А B B

Figure from US Navy Manual of Basic Optics and Optical Instruments, prepared by Bureau of Naval Personnel. Reprinted by Dover Publications, Inc., Фотоаппарат

Современный фотоаппарат Как старые, только с матрицей вместо пленки

Фокус

Идеальная камера-обскура В независимости от расстояния до объекта, через отверстие проходит один луч – изображение получается четкое

Фокусировка камеры О F2F2F-F-F f uv u,v – сопряженные фокусные расстояния uv

Пятно рассеяния Пусть матрица поставлена так, чтобы сходились лучи от объекта на расстоянии u Пучок лучей не сходится в одну точку, а образует на пленке «кружок рассеяния» или «пятно рассеяния» О uv

Фокусировка Только часть объектов оказываются «в фокусе»

Фокусировка камеры О F2F2F-F-F uv Либо смещение матрицы относительно линзы (изменение фокусного расстояния) Либо изменения степени преломления в линзе (объективе) uv

Глубина резкости «Пятно рассеяния» маленькое – объект «в фокусе» Интервал в котором объекты попадают «в фокус» называется «глубиной резкости» О «Глубина резкости» ABC

Глубина резкости Глубина резкости = Depth of field (DOF)

Управление глубиной резкости Изменяя диафрагму можно изменять размер «пятен рассеяния»

Управление глубиной резкости Диафрагма управляет глубиной резкости Уменьшение диафрагмы увеличивает интервал, на котором объект находится приблизительно в фокусе Маленькая апертура также уменьшает количество света – приходится увеличивать выдержку (время экспозиции)

Изменение глубины резкости f/2.8 Большая диафрагма = маленькая DOF f/22 Маленькая диафрагма = большая DOF

Красивый эффект глубины резкости

Трансфокация (Zoom)

Угол обзора (поле зрения) A Размер пленки и фокусное расстояние определяют угол обзора (field-of-view) камеры. Размера пленки фиксирован Изменение фокусного расстояния управляет полем зрения

f Зависимость поля зрения от фокусного расстояния Больше фокусное расстояние – меньше угол обзора Меньше фокусное расстояние – больше угол обзора f

Поле зрения и трансфокация (Zoom)

Поле зрения / Фокусное расстояние Большое поле зрения Камера близко от машины Маленькое поле зрения Камера далеко от машины

Забавные эффекты

Недостатки линз

Хроматическая аберрация Угол преломления света зависит от длины волны Лучи разного цвета преломляются по разном Лучи разного цвета от одной и той же точки расходятся по краям изображения

Хроматическая аберрация Центр изображения Край изображения

Радиальная дисторсия Прямые линии по краям изображения превращаются в кривые

Радиальная дисторсия Идеально тонких линз не бывает! Нарушается допущение sin(x) ~ x Искажения наиболее заметны по краям изображения Нет дисторсии«Подушка» (положительная) Бочкообразная

Модель камеры

Модель – перспективная проекция Фокусное расстояние О О Камера-обскура Изображение позади фокуса Изображение перевернутое Модель перспективной проекции Перенесем объект на противоположенную сторону То же самое фокусное расстояние! Изображение нормальное, не перевернутое

Модель – перспективная проекция Фокусное расстояние О Картинная плоскость Центр проекции (оптический центр) Изображение формируется на картинной плоскости

Простейший случай Поместим центр системы координат в ЦП Смотрим вдоль оси z Фокусное расстояние = 1 A =(X,Y,Z) a=(x,y) O =(0,0,0) Z

Трехмерный вид X Y Z f O A a x y - Нелинейное преобразование (Деление на Z)

Однородные координаты Мы хотим записать в матричном виде Трюк: добавим дополнительную координату! Однородные координаты точки изображения Однородные координаты точки сцены Перевод из однородных в обычные:

Однородные координаты Одна и та же точка изображения! Одна и та же точка сцены!

Преобразования - сдвиг и масштаб

Евклидово преобразование Переход от одного ортонормированного базиса к другому Поворот R и сдвиг T X Y Z O O ZXY

Матричная запись проекции

Обозначим: Матрица проецирования Поэтому простейшее уравнение центральной проекции: A – точка сцены, a – проекция

Добавим фокусное расстояние Пусть фокусное расстояние = f Фокусное расстояние = f A =(X,Y,Z) a=(x,y) O =(0,0,0) Z

Матричная запись проекции

Композиция преобразований A =(X,Y,Z) O =(0,0,0) Z 1 a=(x,y) f Картинная плоскость a=(x,y) Ретинальная плоскость (retinal plane) Рассмотрим как композицию преобразований Проецирование на ретинальную плоскость Масштабирование изображения до картинной плоскости

Композиция преобразований В матричном виде композиция преобразований записывается как: Масштабирование до картинной плоскости Проецирование на ретинальную плоскость

Получение пиксельного изображения Спроецированное изображение непрерывное, с гладкими границами На матрице оно дискретизируется По пространству (пиксельная решетка) По цвету

A Перевод в координаты изображения Умеем проецировать А на картинную плоскость, получая а Картинная плоскость состоит из пикселей Начало координат изображения – верхний левый угол Y X Zf O y x p a uv

Принципиальная точка Принципиальная точка – основание перпендикуляра из ЦП на картинную плоскость В указанной системе координат (x,y): p = (0,0) В p проецируются все точки с координатами (0,0.Z) X Y Zf O x y p u v

Перевод в координаты изображения Перевод в новую систему координат Масштабирование (в пикселах) Новая центр координат (сдвиг) v x yu Где pix – размер пикселя,- принципиальная точка в координатах изображения p

Матричная запись перевода в пиксели

Внутренняя калибровка Объединим масштабирование по фокусному расстоянию и перевод в пиксели Масштабирование до картинной плоскости Перевод в пикселиВнутренняя калибровка!

Внутренняя калибровка Объединим масштабирование по фокусному расстоянию и перевод в пиксели Текущее уравнение центральной проекции Внутренняя калибровка!

Матрица и картинная плоскость Матрица камеры конечного размера! Картинная плоскость бесконечна При проецировании точки могут выходить за пределы матрицы v x yu

Смысл внутренней калибровки для реконструкции Есть изображение и точка на нем Как проходит луч? X Y Zf O

От пикселя к лучу X Y Z O vu y x a=(x,y) b=(u,v)K b=(u,v) a=(x,y)=(x,y,1) O = (0,0,0), a = (x,y,1) – луч в пространстве Ретинальнаяплоскость Картиннаяплоскость a b

Мировая система координат До сих пор – система координат была связана с камерой Но А задается обычно в мировых координатах, как и положение камеры! Нужно перевести А из мировых координат в координаты камерыAa x y

Из мировой в координаты камеры Положение и ориентация камеры в мировых координатах задается евклидовым преобразованием С Обратное преобразование Из мировых координат в координаты камеры Обратное к C преобразование! – Inverse(C)

Внешняя калибровка Матрица преобразования из мировой системы координат в систему координат камеры называется матрицей внешней калибровки Внешняя калибровка определяется положением и ориентацией камеры в пространстве

Полная матрица проекции Скомпонуем все наши преобразования: Из мировой системы координат в систему координат камеры Центральная проекция на ретинальную плоскость Масштабирование и перевод в пиксели Внешняя калибровка Центральная проекция Внутренняя калибровка Матрица проекции

Это обманчивое изображение

При проецировании мы теряем… 3-х мерный мир2-х мерное изображение Что мы теряем? Углы Расстояния (длину)

Параллельные линии пересекаются

П – плоскость земли H – линия горизонта O – Центр Проекции

Дальше и больше, ближе и меньше

«Ames Room Настоящая комната!

Адаптация Иллюзия Мюлера-Лира (Müller-Lyer) Мы не измеряем расстояние по размеру изображения

Перспективные подсказки

Измерение расстояний Точка схода

Измерение высоты Высота камеры 3.3

Благодарности При подготовке лекции использовались иллюстрации и материалы курсов –Alexei Efros –Octavia I.Camps –Richard Szeliski –Marc Pollefeys –Adrien Bartoli –Steve Seitz