8/22/2012 Graphics & Media Lab 1 Владимир Вежневец Graphics & Media Lab. Moscow State University Интерактивная сегментация изображений

8/22/2012 Graphics & Media Lab План доклада Описание задачи Хронология развития до 2001 Алгоритмы Коммерческие решения до 2005 Новые алгоритмы Новые коммерческие решения GML Grow Cut 2005 г. Новые алгоритмы Новые коммерческие решение Заключение

8/22/2012 Graphics & Media Lab Описание задачи Сегментация – важнейшая составляющая: Автоматизированного анализа изображений Редактирования изображений Входные данные: Изображение Выходные Изображение разделенное на регионы по некоторому признаку

8/22/2012 Graphics & Media Lab Интерактивная сегментация Автоматическая сегментация по-прежнему не может дать удовлетворительный результат во всех случаях: Причина – высокая сложность сегментации естественных изображений Причина – сильно разнящиеся от задачи к задаче признаки по которым требуется производить сегментацию и критерии оценки качества результата Идут активные исследования в области полуавтоматической сегментации

8/22/2012 Graphics & Media Lab Время до 2001 г Алгоритмы Color statistics (Magic Wand) Intelligent scissors (Live Wire) Intelligent paint

8/22/2012 Graphics & Media Lab Color statistics (Magic Wand) Идея: Пользователь задает пиксель, запоминается его цвет C 1 Все пиксели, цвет которых ||С - C 1 ||< - относятся к выделяемому региону

8/22/2012 Graphics & Media Lab Intelligent scissors (Live Wire) Идея: Между заданными пользователем точками считается путь «минимальной стоимости»

8/22/2012 Graphics & Media Lab Intelligent paint Идея: Предварительная иерархическая сегментация изображения Анализ «мазков» пользователя для объединения регионов предварительной сегментации

8/22/2012 Graphics & Media Lab Время до 2001 г Коммерческие решения (не рассматриваем медицину) Magic Wand (цветовая статистика) Magnetic Lasso (Live Wire, Intelligent scissors)

8/22/2012 Graphics & Media Lab до 2005 г Алгоритмы Graph cuts GrabCut GML GrowCut

8/22/2012 Graphics & Media Lab Graph Cuts Формулировка сегментации как минимизации энергии через разрез графа Это прорыв! n-links s t a cut hard constraint hard constraint

8/22/2012 Graphics & Media Lab Graph Cuts Примеры:

8/22/2012 Graphics & Media Lab GrabCut Использование итеративного пересчета цветовой модели и границ объекта через Graph Cuts, чтобы упростить интерфейс

8/22/2012 Graphics & Media Lab GML GrowCut Идея: Использование клеточного автомата

8/22/2012 Graphics & Media Lab GML GrowCut Достоинства Прост! Может поддерживать более 2 исходных меток; Не уступает в скорости конкурентам; Работает «вживую» - пользователь может корректировать по ходу сегментации; Патентно чист; Недостатки Недостаточно быстр для больших фото Получается более «рваная» граница, чем у Graph Cuts

8/22/2012 Graphics & Media Lab г Коммерческие решения (не рассматриваем медицину) Asiva selection (расширенный вариант цветовой статистики) bad lib (почему больше нет?!) Надежность недостаточна – требуется активное вмешательство человека (не страшно!) Все работает по-прежнему слишком медленно для настоящей интерактивности (а вот это плохо)

8/22/2012 Graphics & Media Lab год Алгоритмы Расширенные иерархический GML GrowCut Belief propagation Коммерческие решения GML GrowCut Fluid Mask Magic Selection Brush (Adobe Photoshop Elements 4)

8/22/2012 Graphics & Media Lab GML GrowCut 2005 Цели: Ускорение Иерархическая сегментация «Дерево наследования» при подсчете эволюции автомата Более тонкая настройка поведения Отключаемая повышенная гладкость границ Результат Реально usable плагин для сегментации Хорошие отзывы на форумах

8/22/2012 Graphics & Media Lab Belief propagation Идея: Итеративный расчет вероятностей принадлежности пикселей к объекту и фону Используется цветовая статистика и минимизация энергии через belief propagation Результат Работает 15 мин. на изображении 640x480 Проблемы с «камуфляжем» (похожими цветами на объекте и фоне)

8/22/2012 Graphics & Media Lab Коммерция - Fluid Mask Появился в августе, пока нет Windows версии Судя по демкам использует Цветовую статистику (расширенный magic wand) Возможно, GrowCut… Результат Ждем – очень интересно...

8/22/2012 Graphics & Media Lab Коммерция – Adobe Magic Selection Brush Появился недавно, обещает многое Результат Слишком тормозит для интерактивности Сегментация не всегда логична

8/22/2012 Graphics & Media Lab Заключение GML GrowCut – технология (пока) на «гребне волны» Будем развивать, улучшать Цель Обогнать всех еще сильнее, не дать догнать