Семантическая сегментация Many slides adapted from Alexei Efros and Daniel Munoz CSEDays-2010

Наивная классификация Нужно классифицировать каждый пиксель 1 МП на картинку! Что можно сказать про 1 пиксел? Классификация окрестности пиксела

Наивная классификация Сегментируем картинку, затем классифицируем сегменты Классифицируем каждый пиксель по окрестности

Пространственная поддержка 50x50 Patch По небольшой окрестности зачастую невозможно правильно определить метку Пространственная поддержка Необходимо каким-то образом задавать метки для всех пикселов в совокупности

Построение решения Задача / Данные Элемент Пиксель Сегмент Классификация пикселов / регионов Признаки для классификации Метод классификации (бустинг, лес, SVM) Расширение пространственной поддержки Множественные сегментации Случайные поля

Цель: 7 геометрических классов Земля Вертикальные стены Плоскости: смотрящие влево ( ), Прямо ( ), Направо ( ) Другоеr: Твердые (X), Дырявые (O) Небо Уличные изображения Hoiem et al 2005

Размеченные данные 300 изображений из гугла …

Признаки Цвет Положение Текстура Перспектива

Сегментация изображений Использование нескольких вариантов сегментации (с разными параметрами) Решение, какие сегменты хорошие, откладывается на потом …

Что мы хотим узнать: Хороший ли это сегмент? Если сегмент хороший, то какая у него метка? Обучаем модель по размеченным данным Бустинг на решающих деревьях Классификация областей P(good segment | data) P(label | good segment, data)

Классификация … … Для каждого сегмента вычисляется: - P(good segment | data) P(label | good segment, data)

Разметка изображений … Размеченные сегментации Размеченные пиксели

Вероятностная разметка SupportVerticalSky V-Left V-Center V-RightV-PorousV-Solid

Результат Вход Ручная разметка Результат алгоритма

Изображения из помещений Вход Ручная разметка Результат

Рисунки Вход Результат

Приложение: Automatic Photo Pop-up (SIGGRAPH05) Изображение Метки Нижняя линия Раскладка Новый вид

Automatic Photo Pop-up

TextonBoost J. Shotton, J. Winn, C. Rother, A. Criminisi, TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation, ECCV 2006

Data and Classes Goal: assign every pixel to a label MSRC-21 database (void label ignored for training and testing)

Марковские Случайные Поля Независимая классификация Применяем обычный метод классификации (SVM, бустинг и т.д.) Схема Марковских Случайных Полей (MRF) для совместной классификации Каждый пиксел – вершина неориентированного графа Связи между пикселами задаются ребрами графа Why?

Условные случайные поля МСП для совместной оценки разметки случайных переменных (c), при условии всех данных (x) Модель совместного распределения Ψ (1) – модель локальной оценки качества метки Ψ (2)- - модель попарной оценки качества разметки c cici (ci,(ci,c i,c j c|x Images from Szummer DAR05

Вывод (Inference) Вывод = поиск наилучшей совместной разметки NP-полная задача в общем случае Argmax-разметка Попарные потенциалы должны удовлетворять условию субмодулярности –Разрезы графов (GraphCuts) Не-субмодулярные потенциалы –Quadratic Pseudo-Boolean Optimization (QPBO) Разметка с оценкой достоверности Belief Propagation, TRW Приближенное решение при наличии циклов –Сложность экспоненциально зависит от размера клики –Поэтому в основном рассматриваются модели с кликой не выше 2 (попарные)

Обзор метода Модель TextonBoost на основе CRF 4-х связанные окрестности Параметры обучаются независимо Вывод GraphCut VS

Форма и текстура (Shape & Texture) Первая и главная компонента модели Текстоны Фильтруем изображение банком фильтров (17 фильтров) Каждый фильтр – вычисление определенной характеристики/статистики окрестности точки Получаем 17 признаков для каждого пиксела (вектор-признаки) Кластеризуем список всех вектор-признаков (400 кластеров) Каждые кластер – «текст он» Квантуем каждый пиксель к ближайшему текст ону (карта текст онов)

Моделирование формы Шаг 1: получили карту текст онов Шаг 2: Фильтры формы (Shape Filters) Для каждого текст она t –Вход »Карта текст онов »(Прямоугольная маска r, текст он t) »Положение пикселя i –Выход »Площадь в маске r, отвечающая t Результат – гистограмма откликов по окрестностям

Фильтры формы Пара: Отклики v(i, r, t) Большие области обеспечивают большую пространственную поддержку Рассчет через интегральные изображения rectangle rtexton t (, ) v(i 1, r, t) = a v(i 2, r, t) = 0 v(i 3, r, t) = a/2 appearance context up to 200 pixels Slides from Shottons ECCV talk

feature response image v(i, r 1, t 1 ) feature response image v(i, r 2, t 2 ) Форма задается положением текст онов (, ) (r 1, t 1 ) = (, ) (r 2, t 2 ) = t1t1t1t1 t2t2t2t2 t3t3t3t3 t4t4t4t4 t0t0t0t0 texton mapground truth texton map Slides from Shottons ECCV talk

summed response images v(i, r 1, t 1 ) + v(i, r 2, t 2 ) Форма задается положением текст онов (, ) (r 1, t 1 ) = (, ) (r 2, t 2 ) = t1t1t1t1 t2t2t2t2 t3t3t3t3 t4t4t4t4 t0t0t0t0 texton mapground truth texton map summed response images v(i, r 1, t 1 ) + v(i, r 2, t 2 ) texton map

Обучение Используется бустинг Обычный бустинг Для каждого пикселя –Для каждой возможной маски »Для каждого текст она »Считаем признак Ускоренная версия Для каждого пикселя в уменьшенном изображении –Для 10 случайных масок »Для каждого текст она (K=400) »Считаем признаки 42 часа на 276 изображениях

Первый результат Только форма и текстура:69.6% shape-texture Точность попиксельной сегментации Slides from Shottons ECCV talk

Уточняем разметку Добавляем границы Потенциал границ Используем попарные потенциалы для определения и подчеркивания границ Идея: Если метки одинаковые, разница пикселей должна быть маленькой Если метки разные, разница пикселей должна быть большой Модель Поттса, допускает разрезы графов

Точность Форма-текстура: 69.6% + границы:70.3% shape-texture + edge Точность Попиксельной сегментации Slides from Shottons ECCV talk

Положение объектов Положение Нормализуем координаты по всем изображениям Посчитываем частоту появления объектов в данной точке изображения N cow, = 1, N = 3 Think Naïve Bayes Prevent overfit (tuned)

Моделирование цвета Цвет Обучаем модель цвета только по изображению Идея Используем классификацию по другим признакам как исходные параметры Обучаем модель смеси гауссиан (кластеризация цветов) Каждый класс – свои веса смеси Обучаем веса итеративным EM- алгоритмом

Общий результат Форма и текстура: 69.6% + границ: 70.3% + цвет: 72.0% + положение: 72.2% shape-texture + edge + colour & location Точность Попиксельной сегментации Slides from Shottons ECCV talk

Результаты Successes

Ошибки

Завтра Сказ о том, как Алеша Ефрос жульничал и грубил в компьютерном зрении за счет Гугла, Яндекса и их пользователей, и на этом прославился