Синезис
Компания
41,88
рейтинг
28 апреля 2011 в 16:08

Разное → Многокамерная видеоаналитика

В первой публикации Хабросообществу мы хотим рассказать об интереснейшем направлении работы компании «Синезис» — многокамерном видеоанализе, точнее, многокамерном алгоритме сопровождения объектов.
Многокамерное сопровождение человека
Наш коллектив занимается прикладными исследованиями в области видеоаналитики и разрабатывает быстродействующие алгоритмы машинного зрения для автоматической классификации ситуаций по данным поточного видео. Самые интересные результаты мы планируем освещать в корпоративном блоге. Будем благодарны за идеи и критику.


Сопровождение в поле зрения одной камеры


Неотъемлемым компонентом практически любой видеоаналитческой системы является алгоритм сопровождения (трекинга). Зачем он нужен умной системе видеонаблюдения? В общем случае, трекинг объектов необходим для автоматического распознавания ситуаций по правилам, например, человек вошел в контрольную зону, остановился, оставил предмет, или без правил, в самообучающихся системах. Срыв сопровождения практически всегда приводит либо к пропущенной тревожной ситуации, либо к повторным срабатываниям видеоаналитики.

Хабр уже рассказывал о сопровождении объектов в статьях о разработках Zdenek Kalal и Microsoft Research. «Однокамерное» сопровождение, например, в устройстве «MagicBox» работает так:



Результатом работы «однокамерного» алгоритма сопровождения является последовательность пространственно-временных координат каждого объекта. Возможны разрывы траекторий при выходе объекта из поля зрения камеры или при заходе объекта за препятствие.

Сопровождение в поле зрения нескольких камер


Алгоритм многокамерного сопровождения, предмет настоящей публикации, непрерывно сопоставляет данные о положении объектов с различных камер, с учетом взаимного расположения и привязке камер к карте местности. Алгоритм строит обобщенную траекторию объекта при движении от камеры к камере и проецирует эту траекторию на карту. При этом объект может наблюдаться несколькими камерам одновременно или находиться в слепой зоне. Многокамерная траектория позволяет реализовать геовизуальные средства поиска, автоматический выбор ракурса и другие функции системы безопасности, которые часто показывают в фантастических фильмах.

Пространственная калибровка камер

Перед началом эксплуатации системы производиться привязка зоны наблюдения каждой камеры к карте контролируемой территории. Наш алгоритм калибровки использует четыре точки, координаты которых пользователь должен задать одновременно на кадре камеры и на карте:

Калибровка камеры: четыре точки на кадре привязываются карте, то есть для них задается глобальные координаты

Рекомендуется использовать узловые точки на поверхности местности, которые легко определить визуально с различных ракурсов, например, деревья, углы дома и ограждений. Алгоритмы вычисляет матрицу преобразования координат методом наименьших квадратов:



где r – координаты на кадре камеры, R – глобальный координаты на карте, A – искомая матрица преобразования.

Таким образом, матрица преобразования A позволяет отобразить двумерные координаты объекта в кадре камеры в его глобальные координаты на карте.

Шаг 1: Предварительная обработка данных

Итак, на вход алгоритма многокамерного сопровождения поступает поток пространственно-временных координат подвижных объектов, регистрируемых различными камерами. Так «однокамерный» видеоанализ не синхронизирован по времени, исходные координаты приводятся к единой временной шкале методом линейной интерполяции. Затем координаты преобразуются в глобальную систему координаты при помощи матрицы A.

Так выглядят траектории объекта после проецирования на карту. На иллюстрации показаны зоны действия девяти камер, пять из которых зарегистрировали движение объекта. «Однокамерные» траектории выделены тем же цветом, что и соответствующие камеры и зоны их действия.
Зоны действия девяти камер, пять из которых зарегистрировали движение объекта, траектории выделены тем же цветом, что и камеры и их зоны действия.

Шаг 2: Предварительное выделение объектов в зоне перекрытия камер

На втором шаге производится грубое сопоставление глобальных координат наблюдаемых объектов, которые потенциально могут наблюдаться несколькими камерами, но соответствовать одному физическому объекту. Для этого рассчитывается расстояние между наблюдаемыми объектами на карте для текущего момента времени. Если расстояние меньше выбранного порога, например, 1 метр, то объекты помечаем для следующего шага обработки.

Если данные для камеры отсутствуют для рассматриваемого момента времени (объект находиться вне зоны действия данной камеры), то производиться прогнозирование местонахождение объекта. Предполагается, что скорость объекта вне зоны видимости камеры не меняется.

В результате шага 2 формируется список наблюдаемых объектов и соответствующих им «однокамерных» траекторий, которые могут соответствовать одному физическому объекту.

Шаг 3: Сопоставление «однокамерных» траекторий

На третьем шаге мы рассчитываем коэффициент корреляции Пирсона между парами координат двух «однокамерных» траекторий. Если коэффициент корреляции лежит в выбранном интервале значимости, то считаем, что две траектории принадлежат одному объекту.

Шаг 4 Обобщение траекторий

На четвертом шаге объединяем «однокамерные» траектории в «многокамерные». В области перекрытия, полученных на шаге 3, рассчитываем усредненную траекторию объекта. Если зоны действия камер не перекрываются, то происходит «сшивка» двух траекторий, где координаты слепой зоны интерполируются по граничным координатам, наблюдаемых в каждой камере.

Ниже представлена обобщененая траектория движения объекта на карте с использованием многокамерной видеоаналитики.
Обобщененая траектория движения объекта на карте с использованием многокамерной видеоаналитики

Заключение

С практической точки зрения, разработанный алгоритм многокамерного сопровождения позволяет:
  1. повысить точность детектирования целей и уменьшить число ложных срабатываний за счет корреляции метаданных видеоаналитики смежных телевизионных и тепловизионных камер;
  2. сопоставить образ сопровождаемой цели, наблюдаемый одновременно на телевизионной и тепловизионных камерах;
  3. исключить повторные срабатывания видеоаналитики при переходе цели из зоны наблюдения одной камеры в зону наблюдения другой камеры;
  4. отобразить цельную траекторию движения человека на карте охраняемого объекта по результатам видеоанализа сразу по всем камерам;
  5. применять правила к многокамерной траектории на карте для более точного распознавания поведения человека и событий;
  6. автоматически выбирать оптимальный ракурс наблюдения за человека по мере его перемещения от камеры к камере.

В ходе проведенных исследований создана опытная зона многокамерного сопровождения из 9 камер. Получена обобщенная траектория движения цели по данным нескольким камера. Задачей будущих исследований является оценка эффективности и точности разработанного алгоритма.

Дополнительная информация


Смотрите так же публикации на сайте «Синезис»:
  1. Алгоритмы сопровождения целей в системах охраны протяженных объектов
  2. Алгоритм многокамерного сопровождения человека используя данные от видеокамеры и тепловизора
  3. Сопровождение объектов в условиях их заслонения движущимися и неподвижными препятствиями
  4. Будущее систем видеонаблюдения: многокамерное сопровождение
Автор: @NikolaiPtitsyn
Синезис
рейтинг 41,88
Компания прекратила активность на сайте

Комментарии (27)

  • +12
    У кто ваш заказчик? )
    • +5
      В первую очередь планиурем внедрить (через партнеров) эту разработку на объектах ТЭК, железной дороги и аэропортов. Во вторую очередь, данная технология будет применена в торговых сетях и на спортивно-развлекательных объектах.
    • +3
      По-ошибке поставил "-1", хотел наборот, но поменять нельзя.
  • +3
    А если многолюдная улица? И как вы отличаете человека от других движущихся объектов (техника, животные)?
    • 0
      Для многолюдной улицы используются корелляционные алгоритмы сопровождения. Смотрите слайды: synesis.ru/ru/surveillance/articles/tracking-overview
      • 0
        Я так понял, предполагается, что объект не меняет резко траекторию? Обычные люди — да, а если злоумышленник и целенаправленно пытается запутать систему? Зашел в толпу, резко повернул обратно.
        • 0
          В толпе резкие изменения траектории отследить сложно, на более спокойном фоне — не проблема.
          • 0
            По одежде, лицу не ведется привязка?
            • 0
              Привязка по лицу возможна при использовании биометрических алгоритмов и специальных камер, что существенно удораживает все решение. В этом направлении мы работаем с партнером, но массовых внедрений здесь ждать не стоит, тем более на протяженных объектах, таких как железная дорога.
  • 0
    В первую очередь планиурем внедрить (через партнеров) эту разработку на объектах ТЭК, железной дороги и аэропортов. Во вторую очередь, данная технология будет применена в торговых сетях и на спортивно-развлекательных объектах.
  • 0
    Заинтересовало.
  • +11
    Вот таким и должен быть первый пост. А то одну муть постить стали.

    Статья отличная.
  • +1
    Где то слышал что в Лондоне есть система позволяющая вести любой объект в центре города с историей его передвижений в несколько часов, в реальном времени. Используются камеры наблюдения установленные по всему городу.
  • 0
    Может ли такая система распозновать унесенный объект, а не оставленный? Или объекты вообще, автомобили например? Или что-нибудь поменьше?
    • 0
      Задача определения унесенного и оставленного предмета очень близкие. Уехавший автомобиль можно детектировать на основе существующего видеоконвейера «Синезис», добавив логику более выского уровня. Тоже самое касается оставленных предметов, если их хорошо видно в кадре.
  • +4
    Осталось всё это прикрутить к пулемётной турели в качестве целеуказателя. Как упражнение со звёздочкой — оценивать точность попадания и эффективность огня. Дальше усложняем задачу и берём картинку с движущихся камер (беспилотники). Ну а дальше вообще интересное начинается :)
  • 0
    Ставим камеру на балконе, направляем на стоянку, где стоит машина. Если кто-то долго трётся у машины — включаем матюгальник :) Матюгальник можно разместить в машине и управлять им дистанционно и рассказывать «объекту» куда ему пойти в зависимости от поведения :)
    • 0
      … и любопытный сосед, которого заинтересовала марка вашей машины будет очень рад
      • 0
        Матюгальник должен быть интеллектуальным, конечно! :) Начинать надо вежливо :)
    • +1
      Я сделал систему наблюдения:

      При обнаружении движения в определенной зоне (около машины) в определенное время (ночью), включать запись и запускать файл (ярлык дозвона на определенный номер через Skype), Web-трансляция.

      Еще можно выставить колонку в окно, после соединения по Skype можно что-нибудь покричать в телефон и тот кто трется около машины может услышать.

      Софт ActiveWebCam www.pysoft.com/ActiveWebCamMainpage.htm

      • 0
        Не удалось запустить демо на unbindtv1.web2cam.com/?c=1&ButtonGo=Open на
        MacOS Leopard, Chrome 11. Какие технологии используете для декодирования видео на платорфме Windows (например, DirectShow, ffmpeg)?
  • +1
    Я так понимаю, что координаты низко парящего объекта будут определены неправильно :)
    Вопрос по существу — как там на счет погодных условий? Снег, дождь, ветер (вообще жесть). А также, солнце с изменениями освещенности? Что происходит ночью от света фар, например?
    Детектирование бега — как я понимаю, просто детектирование скорости перемещения подвижного объекта?
    • 0
      Да, оординаты низко парящего объекта будут определены неправильно. Мы отталкиваемся от гипотезы, что объект двигается в плоскости земли и не летает. К счастью, птицы имеют небольшой размер и быстро летает, мы их отсевиваем по этим двум параметрам.

      Со снегом и дождем мы боремся весьма эффективно за счет моделирования фона на многомашстабных динамических текстурах: synesis.ru/ru/surveillance/articles/multiscale-va.

      Солнце и изменения освщенности чаще всего приводят к глобальным изменениям на кадре, что мы отслеживаем и компенсируем.

      Детектирование бега сейчас основано на измерении реальной скорости движения. Можно добавить в классификатор анализ формы траектории, переодичность колебания центра масс отличается для идущих и бегущих людей.

  • НЛО прилетело и опубликовало эту надпись здесь
  • +1
    Скажите, это всё работает только на одном типе камер или можно использовать на других? Если да, то были ли тесты?
    Тема очень интересная.
    • 0
      Видеоаналитика работает со всеми типами аналоговых камер, в том числе с тепловизионными, цветными и черно-белыми.

      Видеоаналитика работает так же с мегапиксельными (HD) сенсорами, что увеличивает дальность действия в 1.5-2 раза, но только при хороших погодных условиях.

      Тестов было много разных, наиболее существенные i-LIDS и на Октябрьской железной дороге (трасса Санкт-Петербург — Москва). Описание тестов i-LIDS есть в конце статьи synesis.ru/ru/surveillance/articles/multiscale-va.

      Встроенная видеоаналитика MagicBox одобрена i-LIDS как система первичного обнаружения для формирования оперативных тревог и записи событий в приложениях видеонаблюдения стерильной зоны. i-LIDS, Imagery library for intelligent detection systems, лаборатория в научном подразделении МВД Великобритании, которая занимается тестированием технических средств обнаружения и сертифицируют оборудования для государственных проектов. Сертификат i-LIDS является общепризнанным стандартом качества видеоаналитики в отрасли.
      • 0
        Тестов было много разных, наиболее существенные i-LIDS и на Октябрьской железной дороге (трасса Санкт-Петербург — Москва).

        Точно. Вот откуда я о Вас слышал. В принципе, я сразу и подумал, что или это ваша система там, или похожая.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное