Алгоритм многокамерного сопровождения человека используя данные от видеокамеры и тепловизора В.В. Терехов, И.Е. Ермолаев, Н.В. Птицын ООО «Синезис»,

Общая информация Цифровые системы видеонаблюдения представлены в большинстве общественных мест для увеличения охраны и анализа ситуаций. Видео данные используются операторами слежения, но по сути дела мало информативны. Желательно использовать автоматические системы охраны и анализа ситуаций с целью увеличить эффективность работы операторов и фильтрации излишних данных. Многокамерное сопровождение является обязательным для огромных пространств, где происходят события приводящие к дублированию или избытку информации поступающей к оператору. В этой презентации мы представляем алгоритм и систему для обработки видео и тепло информации поступающей от множественных источников.

Введение В соответствии с многочисленными требованиями обеспечения безопасности, многие системы оборудованы системами видеонаблюдения. Они генерируют огромное количество информации которая должна быть отфильтрована для обнаружения опасных ситуация или для последующего извлечения информации из записанного архива данных. В настоящее время эти задачи исполняются человеком оператором и количество таких операторов довольно велико для обслуживания большого количества точек снятия информации. Большинство данных обрабатывается оператором без анализа происходящего, что дает эффект потери от систем наблюдения реального времени. Тем не менее желательно иметь систему для автоматического анализа, дающую систему принятия решений для человека оператора. Это не простая задача, так как система сталкивается с огромным количеством посторонних объектов мешающих точно отследить искомый объект, сложные и быстро меняющиеся погодные условия и слишком узкие или слишком широкие поля обозрения. Наблюдение больших пространств обычно исполняется с помощью группы видеокамер для обработки движения нескольких людей или движения человека рядом с мешающим объектом или зданием.

3D проекция для Модели системы и сцены Монитор оператора Видео сервер Видеокамер а 1 Видеокамера 2 Тепловизор Видеокамеры и тепловизор имеют поля обозрения которые пересекаются между собой. Данные от источников поступают на видео-сервер где обрабатываются с помощью разработанного алгоритма. Алгоритм подавляет избыточную информацию от источников и выводит обработанный результат на монитор для человека оператора Линия горизонт а Поле обозрения видеокамеры 1 Поле обозрения видеокамеры 2 Поле обозрения тепловизора Объект наблюдени я

2D проекция для Модели системы и сцены Монитор оператора Видео сервер Видеокамер а 1 Видеокамера 2 Тепловизор Данная проекция показывает 2D сцену спроектированную с бесконечной вертикальной точки. Объект наблюдения может находится в пересечении нескольких полей обозрения или находится в одном поле обозрения. Поле обозрения видеокамеры 1 Поле обозрения видеокамеры 2 Поле обозрения тепловизора Объект наблюдени я Траектория объекта наблюдения

Информация отображаемая на мониторе оператора Траектория объекта наблюдения На вход алгоритма поступает поток метаданных от видеоаналитики, встроенной в телевизионную или тепловизионную камеру, содержащий признаки целей в поле зрений данной камеры. Признаки целей включают пространственные и временные координаты цели, а так же характеристики ее формы. Результатом работы алгоритма являются обобщение координаты цели в глобальной системе координат на карте.

Возможности и особенности алгоритма позволяют 1)повысить точность детектирования целей и уменьшить число ложных срабатываний за счет корреляции метаданных видеоаналитики смежных телевизионных и тепловизионных камер; 2) сопоставить образ сопровождаемой цели, наблюдаемый одновременно на телевизионной и тепловизионных камерах; 3) исключить повторные срабатывания видеоаналитики при переходе цели из зоны наблюдения одной камеры в зону наблюдения другой камеры; 4) отобразить цельную траекторию движения человека на карте охраняемого объекта по результатам видеоанализа сразу по всем камерам; 5) применять правила к многокамерной траектории на карте для более точного распознавания поведения человека и поиска событий в архиве; 6) автоматически выбирать оптимальный ракурс наблюдения за человека по мере его перемещения от камеры к камере.

Система калибровки камер Поле зрения камеры N1 в 3D пространстве Поле зрения тепловизора в 3D пространстве Матрицы перехода из 3-мерного в 2-мерное пространство Y X Поле зрения камеры N2 в 3D пространстве Поле зрения камеры N1 в 2D пространстве Поле зрения камеры N2 в 2D пространстве Поле зрения тепловизора в 2D пространстве Y X Z Глобальная карта местности в 2D пространстве

Система калибровки камер В процессе первоначальной калибровки системы многокамерного сопровождения производится привязка расположения камеры к карте. Наиболее оптимально это осуществлять при помощи точечной калибровки (на сцене, отображаемой камерой, выбирается набор точек с известными глобальными координатами). В процессе этой калибровки для каждой камеры определяется матрицей преобразования A, которая позволяет однозначно осуществлять преобразование экранных координат r объекта в глобальные R.

Система калибровки камер На изображении приведен пример расстановки на экране точек с известными глобальными координатами.

Алгоритм многокамерного сопровождения включает шаги 1.Предполагается, что выборочная функция для каждой камеры имеет нормальный закон распределения пространственной и временной координаты объекта в глобальной системе координаты, привязанной к карте: где параметры описывают наиболее вероятные пространственные и временные координаты объекта, параметры – дисперсию данных пространственных (вдоль и поперек луча зрения камеры) и временных координат, а - угол между направлением на север, и осью ориентации камеры. Дисперсия вдоль оптической оси камеры зависит от угла наклона камеры к горизонту и обычно существенно больше дисперсии по перпендикулярному направлению. Дисперсия по времени определяется точностью синхронизации часов, встроенных в камеру

Алгоритм многокамерного сопровождения включает шаги 2.Рассчитывается перекрытие выборочных функций распределения по всем камерам: 3.Производиться поиск локального экстремума, полученной функции перекрытия, в окрестности сопровождаемой цели.

Траектория объекта наблюдени я Ожидаемая область перемещения объекта наблюдения Так как проанализировать поведение объекта во всех возможных вариантах поведения невозможно (прыжки, длительная остановка, падение, кружение, появление сильно заслоняющих объектов), предполагается что объект находится в пределах полигона который вычисляется из данных приходящих от камеры в заданном временном интервале. Данная гипотеза верна для объекта постоянно находящегося в поле зрения камеры. Гипотеза позволяет исключить такие факторы как: нестабильность по времени скорости обработки информации на аппаратном уровне, нестабильность работы программного обеспечения при определении положения объекта и его характеристик. Поле зрения камеры Траектория объекта наблюдени я Ожидаемая область перемещения объекта наблюдения Так как объект не может находится в поле зрения камеры постоянно, предполагается вычислить ожидаемое положение объекта вне заданного временного интервала. Эта гипотеза критически важна для объекта входящего и выходящего из поля зрения камеры. Поле зрения камеры Ожидаемая область перемещения объекта наблюдения вне заданного временного интервала Определение местоположения объекта на карте для одной видеокамеры

Формулы вероятностного расчета местоположения объекта на карте для одной видеокамеры/тепловизора Траектория объекта наблюдени я Ожидаемая область перемещения объекта наблюдения Ожидаемая область перемещения объекта наблюдения вне заданного временного интервала Y0Y0 Y3Y3 X0X0 X1X1 X 2 -X 1 =F(time), Y 2 -Y 1 =F(time), где F – функция времени; time – размер временного интервала; X1-X0=F(time*kh), Y2-Y1=F(time*ky), где F – функция времени; time – размер временного интервала; kh – коэффициент аппроксимации по горизонтали; ky – коэффициент аппроксимации по вертикали; P=F(X0, X1, X2, X3, Y0, Y1, Y2, Y3, f(v)), где F – функция вероятности положения объекта на карте; f(v) – функция скорости перемещения объекта; P – вероятность обнаружения объекта единственным источником; X2X2 X3X3 Y1Y1 Y2Y2 Y X

Формула вероятностного расчета местоположения объекта на карте для нескольких видеокамер/тепловизоров P=F(P1,P2,…Pn)>=alpha где F – функция обработки вероятностей от всех источников данных; Alpha – порог срабатывания, который позволяет говорить об одинаковой цели от нескольких источников данных; P – вероятность обнаружения объекта множественными источниками; Y X Ожидаемая область перемещения объекта от источника N1 Ожидаемая область перемещения объекта от источника N2 Траектория объекта наблюдени я

Количество положительных срабатываний зависит от следующих параметров 1. Время суток или степень адаптации сенсора к изменению освещения критически влияет на все последующие алгоритмы, а именно авто-контраст и отношение сигнала к шуму; 2. Количество камер или тепловизоров (критически влияет на весь алгоритм в случае неправильной установки и калибровки источников); 3. Сложность сцены или количество мешающих объектов полностью или сильно заслоняющие объект; 4. Сложность поведения объекта (возможно постоянное появление и пропадание на краях поля обозрения); 5. Временное запаздывание между источниками; 6. Временное аппаратное или программное запаздывание при обработке сигнала видеоаналитикой; Положительное срабатывание алгоритма для нескольких видеокамер/тепловизоров

Позитивное ложное срабатывание Поле зрения камеры N1 в 2D пространстве Поле зрения камеры N2 в 2D пространстве Поле зрения камеры N1 в 2D пространстве Поле зрения камеры N2 в 2D пространстве Траектория объекта N1 в 2D пространстве Траектория объекта N2 в 2D пространстве Траектория объекта N1 в 2D пространстве Траектория объекта N2 в 2D пространстве В случае одинаковой скорости и одинаковой точки входа велика вероятность ошибки срабатывания как для одной камеры так и для системы камер. В случае получения тепловизором разных температур, возможно понизить вероятность этой ошибки В случае множественного пересечения траекторий от нескольких объектов велика вероятность ошибки срабатывания как для одной камеры так и для системы камер. В случае получения тепловизором разных температур, возможно понизить вероятность этой ошибки

Результаты и выводы В ходе проведенных исследований создана опытная зона многокамерного сопровождения из 9 камер. Получена обобщенная траектория движения цели по данным нескольким камера. Задачей будущих исследований является оценка эффективности и точности разработанного алгоритма.