Реконструкция человеческой позы по сериям изображений Котков Е. Таланов П. Терентьев А. 3057/2. - презентация

1 Реконструкция человеческой позы по сериям изображений Котков Е. Таланов П. Терентьев А. 3057/2

2 Постановка задачи Выделить человеческие фигуры из серии исходных изображений в произвольном виде (отделение силуэта, построение 3D-модели и т.д). 2

3 Рассматриваемые алгоритмы Моделирование позы человека по изображениям с разметкой суставов 1 Детализированное восстановление фигуры и позы человека по изображениям 3 2

4 Моделирование позы человека по изображениям с разметкой суставов Первый алгоритм

5 Подход к решению По набору изображений с размеченными суставами необходимо получить простую модель позы человека В качестве входных данных используются фотографии, снятые из одной точки На них должны быть отмечены 18 точек, обозначающих границы соответствующих суставов Минимальное количество снимков для точного восстановления – 5 Рабочим образцом является модель человека, состоящая из 17 костей 5

6 Этапы алгоритма (1) Нахождение размеров параметров проекций костей скелета, длин самих костей и их ограничений. Неизвестные собираются в вектор X = {l 2, s 2, dz 2, e 2 }, где l – длины костей скелета, s – параметры камеры, dz – координаты кости, e – размеры ограничений на них Решение задачи условной оптимизации: где E p – функция проектирования, E s – функция ограничений, связанных с симметрией костей и E r – функция жестких ограничений на расположение некоторых костей 6

7 Этапы алгоритма (2) После нахождения координат каждой кости еще точно не известен их знак (из-за соответствующего квадрата) Здесь снова решается задача условной оптимизации. Параметр q – вектор с размерностью 37 – углы для каждой кости с разными степенями свободы. 7

8 Не требует никакой дополнительной информации в виде размеров скелета или параметров проекции Может работать с неполными данными Нет привязки к качеству изображений Необходимо иметь несколько изображений для получения точных результатов 8

9 Детализированное восстановление фигуры и позы человека по изображениям Второй алгоритм

10 Подход к решению Алгоритм основывается на специальной модели, которая аккумулирует в себе тестовые данные Модель основывается на формате представления данных SCAPE Работа алгоритма состоит из двух фаз – фаза обучения соответствующей модели и фаза сопоставления изображений на ее базе 10

11 Модель SCAPE (Shape Completion and Animation of People) Используется в компьютерной графике для построения изображений людей разных фигур и находящихся в разных позах Включает в себя моделирование нежестких деформаций мускулов, что придаёт большую реалистичность полученным моделям 11

12 Обучение модели (1) Для обучения модели используются снимки 10 разных людей в базовой позе, и одного человека в 70 разных позах По этим данным строится преобразование, благодаря которому можно предсказать как будет выглядеть модель человека, обладающего другой фигурой и находящегося в другой позе 12

13 Обучение модели (2) Базовая поза используется как шаблон, преобразуя который можно получить все остальные позы Деформация одной триангулированной модели человека к другой задаётся с помощью преобразования каждого треугольника: R, D, Q – матрицы линейных преобразований R – преобразование твёрдого тела, зависящее только от части тела, в которой находится треугольник D – отражает особенности фигуры человека Q – отражает нежесткие деформации, зависящие от позы (например, напряжение мускулов) 13

14 Обучение модели (3) Поскольку на этапе обучения поверхности известны, то преобразование R легко вычисляется в явном виде На основе 70 тестовых примеров вычисляем коэффициенты α, характеризующие зависимость нежестких деформаций Q от параметра R: Оставшийся параметр D находим как решение задачи минимизации: 14

15 Фаза сопоставления Необходимо найти оптимальное значение вектора состояния s = f(D, R, T), где T – глобальное местоположение тела человека В связи с тем, что s может принимать множество значений, применяется стохастическая оптимизация Для проверки соответствия между гипотетической моделью и фотографией выделяем из изображения силуэт человека и строим оценку, насколько хорошо модель объясняет извлечённый силуэт 15

16 Полученная трёхмерная модель отличается высокой детализацией, данные точнее, чем у цилиндрической модели Антропометрические данные, полученные по снимку обладает достаточной точностью Большая сложность не позволяет работать в реальном времени Присутствует зависимость от особенностей тестовых образцов 16

17 Литература Alexandru O. Balan, Leonid Sigal. Detailed Human Shape and Pose from Images Xiaolin K. Wei, Jinxiang Chai Modeling 3D Human Poses from Uncalibrated Monocular Images Marcus A. Brubaker, Leonid Sigal and David J. Flee Video-Based People Tracking

18 Cпасибо!