Распознавание частей человеческого тела на сериях изображений Котков Е. Таланов П. Терентьев А. 3057/2 Выполнили:

Постановка задачи По произвольной серии изображений определить имеющиеся на ней фигуры людей и получить упрощенные модели их двумерных поз В зависимости от вида задач допускается возможность определения фигуры не полностью (например, только верхней половины) или определения ограничивающего фигуру прямоугольника Конечным результатом работы алгоритма - набор значений, состоящий из координат (x, y), ориентации Θ и масштаба s для каждой части тела 2

Примеры реальных задач Определение фигур прохожих на изображениях, полученных с камер в общественных местах Реконструкция верхних частей человеческих фигур по изображениям из сериалов и телешоу Воссоздание полной человеческой фигуры на изображениях спортсменов 3

Этапы предлагаемого подхода 1. Примерное отделение человеческих фигур на каждом кадре 2. Выделение переднего плана 3. Поиск расположения частей тела человека на выделенном переднем плане 4. Пространственно-временная обработка всего потока кадров для увеличения точности определения частей тела 4 Этапы (1) – (3) применяются к каждому изображению, этап (4) – завершающий и применяется глобально (ко всей серии) Мы рассматриваем только как происходят этапы (3) и (4) Подробное описание других этапов можно найти, например в [Ferrari, 2001], [Dalal, 2005]

Представление поз в ходе этапа (3) Некоторая поза человека может быть представлена с помощью В поза представляется в виде неориентированного графа (V, E), где V – множество частей, а E – множество связей. Целиком структура задаётся конфигурацией L = {l 1,..., l n }, где l i представляет собой набор величин, описывающих часть v i В нашем случае в l i входит расположение части тела (x, y), ориентация Θ и масштаб s. В зависимости от области применения связи могут варьироваться (на нижнем изображении введены дополнительные связи между частями, представляющими суставы рук) 5

Поиск расположения частей тела 6 Задача сопоставления и изображения выражается в терминах минимизации метрики совпадения: Функция d характеризует деформацию модели при нахождении частей v i, v j в положениях l i и l j соответственно. В случае, если положение недопустимо, то функция d очень быстро растет (штрафуется). Функция m характеризует правдоподобность расположения части v i в положении l i на текущем изображении. Например, в случае, если часть выходит за рамки силуэта, то функция штрафуется.

Результаты Реконструкция верхней части тела ГоловаПлечи (левое / правое) Предплечья (левое / правое) ТорсВ среднем 9580 / 8244 / ТорсБедра (левое / правое) Голени (левая / правая) Плечи (левое / правое) Предплечь я (левое / правое) ГоловаВ средне м 8167 / 5963 / 4647 / 4731 / В таблицах представлены результаты работы алгоритма на тестовых примерах, где настоящее расположение частей тела было определено вручную Указано отношение правильно распознанных частей тела к их общему количеству в процентах Воссоздание полной человеческой фигуры

Спасибо за внимание!

Литература [Felzenszwalb, 2003] Pedro F. Felzenszwalb, Daniel P. Huttenlocher : Pictorial Structures for Object Recognition, Massachusetts Institute of Technology, USA. [Dalal, 2005] Dalal, N., Triggs, B.: Histogram of Oriented Gradients for Human Detection, Computer Society Washington, DC, USA. [Ferrari, 2001] Ferrari, V., Tuytelaars, T., Van Gool, Real-time afne region tracking and coplanar grouping., ETH Zuerich, Switzerland [Ramanan, 2006] D. Ramanan, Learning to parse images of articulated bodies, Toyota Technological Institute at Chicago, USA.