Автоматизация системы управления купольной поворотной камеры (PTZ-камеры) – интересная и актуальная задача. По мере концентрации ситуационных центров и внедрения видеоаналитики возникает потребность в интеллектуальных алгоритмах, позволяющих не только анализировать видео со стационарных (неподвижных) камер, но и наводить роботизированную камеру на цель без участия оператора. Задержка, вносимая цифровой подсистемой кодирования и декодирования видео, ограничивает возможности дистанционного слежения за целью при помощи поворотной камеры и усиливает необходимость локальной автоматизации слежения. Наш пост Хабру содержит обзор основных задач по интеллектуализации PTZ-камер, подходов к их решению и предложений на рынке.
Рассмотрим основные задачи, решаемые при автоматизации системы управления PTZ-камерой:
В рамках функции патрулирования, PTZ-камера циклически «обходит» предпозиции наблюдения, заданные оператором, останавливается в каждой позиции на заданное время и транслирует видео с выбранным увеличением. Данная функция является стандартной и встроена практически во все модели купольных поворотных камер. Преимуществом патрулирования по предпозициям является возможность охватить большую территорию и получить изображения в каждой позиции с хорошей детализацией. Недостатки функции – наличие слепой зоны во всех позициях кроме текущей и постоянное изменение фона сцены, что затрудняет анализ видео аналитикой и оператором. В режиме патрулирования сложно распознать медленные изменения сцены за короткий интервал нахождения камеры в каждой позиции. Если оператор направляет камеру в некоторую позицию, то события, происходящие в других позициях, не регистрируются в видеоархив.
Перечисленные недостатки могут быть устранены установкой обзорных неподвижных камер, полностью закрывающих охраняемую территорию. Тогда PTZ-камера используется исключительно для получения детализированного изображения целей, обнаруживаемых при помощи обзорных камер. Так же увеличивается срок службы PTZ-камеры за счет того, что уменьшается ее механическая нагрузка.
Источниками сигнала для автоматического выбора цели могу быть: а) обзорная неподвижная камера, используемая параллельно с купольной; б) купольная камера в режиме патрулирования; в) другие сенсоры, например, радиоволновые или вибрационные датчики периметральной системы. Видеосигнал с телевизионной или тепловизионной камеры обрабатывается видеоаналитикой, которая детектирует цели и определяет их местонахождения для наведения PTZ-камеры без участия оператора. Пример установки, реализуемый данных подход представлен на рис. 1. Если используется несколько обзорных камер с перекрывающимися зонами действия, то желательно многоканальная (мнокамерной) видеоаналитика. Особенно важна многоканальная видеоаналитика при частом появлении целей. Повторное детектирование цели каждой камерой будет приводить к неэффективному использованию PTZ-камер и срывам слежения, что затруднит ретроспективный анализ архива.
В случае, когда в поле зрения системы наблюдения находится несколько целей, а число PTZ-камер ограничено, требуется распределять задачи между PTZ-камерами оптимальным образом с точки зрения их важности. Алгоритм может вычислять приоритет цели с учетом нескольких критериев, таких как: а) местонахождения цели (близость к охраняемому рубежу или наиболее важному объекту); б) время слежения за объектом (например, каждая цель может должна сопровождаться PTZ-камерой не менее 10 секунд, после чего возможно переключение на другую цель); в) классификации поведения человека (например, поведение «праздношатание в зоне» может иметь более высокий приоритет, чем «вход в зону»). Все найденные цели ставятся в приоритезированную очередь для последующей обработки интеллектуальной системой видеонаблюдения.
Алгоритм должен забирать цели из приоритезированной очереди в порядке их важности и распределять цели между доступными PTZ-камерами с учетом взаимного расположения целей и доступных камер. В работу алгоритма может вмешаться оператор, подающий команды на PTZ-камеру с помощью джойстика или программного интерфейса (рис. 4). В этом случае, алгоритм должен задействовать другие PTZ-камеры для слежения за целями, оставшимися без внимания оператора. На сложных объектах необходимо применение трехмерных моделей охраняемого объекта и зон действия камер.
В простейшем случае, алгоритм наведения может быть реализован при помощи многозонного детектора движения обзорной камеры: кадр разбивается на множество зон, каждая из которых ассоциируются с препозициями PTZ-камеры. При срабатывании детектора движения в зоне (рис. 2), PTZ-камера переводится в соответствующую предпозицию (риc. 4). Чем больше зон задается при настройке, тем большее увеличение можно получить на PTZ-камере. Недостатком данного подхода являются неустойчивая работа при наличии нескольких целей и ограничения точности наведения, связанными с выбранными предпозициями PTZ-камеры.
На объекте с большим пространством наблюдения и большим числом камер рекомендуется аналитическое преобразование координат обзорной камеры в систему координаты поворотной камеры без разделения кадров на зоны (рис. 3,4).
Более качественное наведение может быть получено при помощи профессиональной видеоаналитики. Связь обзорной и управляемой камерой устанавливается через глобальную систему координат реального мира, к которой привязываются все камеры. Точность преобразования из двумерной системы координат кадра в трехмерное пространство реального мира ограничивает приближение PTZ-камеры, т.к. в случае ошибки преобразования, на сильном увеличении объект может оказаться вне поля зрения. Поэтому особенные требования предъявляются к видеоаналитики обзорной камеры: необходима качественная локализация (сегментирование) цели и качественная калибровка для связи его координат с поворотной камерой.
После того как PTZ-камера наведена на цель, желательно применение алгоритмов слежения для отображения и записи целостного фрагмента видео цели, сопровождаемой PTZ-камерой. В процессе настройки алгоритма слежения приходиться искать компромисс между степенью увеличения (и, следовательно, детализацией) цели и частотой смещений PTZ-камеры. Чем сильнее увеличение, тем чаще приходиться передвигать камеру.
Распространенные PTZ-камеры не позволяют плавно поворачивать камеру с переменно скоростью. При шаговом смещении положение PTZ-камеры изображение «дергается» и смазывается. Поэтому хороший алгоритм слежения должен минимизировать количество смещений камеры для заданного увеличения. Алгоритм слежения должен корректно работать в случае временного взаимного перекрытия целей, например, если люди идут навстречу друг-другу (см. видеодемострацию и слайды про алгоритм).
PTZ-cлежение за целью может осуществляться тремя способами: а) при помощи PTZ-камеры (самослежение); б) при помощи обзорной камеры (внешнее слежение) и в) гибридными образом. Каждый из способов имеет свои преимущества и недостатки, которые мы сравним в отдельной публикации. Алгоритм самослежения удобен в случае, когда оператор задает цель в ручную, а обзорная камера отсутствуют или не видит цель. Алгоритм внешнего слежения более устойчиво работает при наличии нескольких целей. Для объектов одинокого видимого размера, алгоритмы слежения на подвижной камере работают хуже, чем на неподвижной камере, т.к. в последнем случае алгоритм может лучше адаптироваться к неподвижному фону. В теории, гибридный способ должен обеспечить наиболее устойчивое слежение во всех ситуациях, но в известных нам системах он пока не реализован
Слежение за целью при помощи привода PTZ – задача реального масштаба времени, чувствительная к задержке. Если общая задержка видео в IP-сети превышает 500 мс (половина секунды), то эффективно управлять камерой не может ни оператор, ни серверная видеоаналитика. Как правило, около 300 мс вносится передающим устройством (камерой или кодером) и около 100 мс вносится VMS-системой, декодирующей видео.
Качественное слежение за объектом может быть реализовано при локальной обработке видео до компрессии. В этом случае координаты цели могут быть рассчитаны по данным обзорной или PTZ-камеры за 20-40 мс. Такая система может сопровождать быстродвижущиеся цели, такие как бегущий человек и транспортное средство, на хорошем увеличении.
Начиная с версии 1.02, международный стандарт ONVIF позволяет строить унифицированные решения для автоматического и ручного управления PTZ-камерами. В частности, стандарт описывает команды управления и считывания положения PTZ-камеры, системы координат, а так же формат передачи метаданных о подвижных объектов с обзорной камеры в систему управления видео (VMS) и/или иные устройства для управления PTZ-камерой.
Применение интеллектуальных функций PTZ в общественных местах ограничено возможностями видеоаналитики слежения. Сегодня на рынке не существует видеоаналитики, способной сопровождать человека в толпе без применения детектора лиц на обзорной камере. Если разрешающая способность и угол наблюдения обзорной камеры позволяет использовать детектор лиц, то возможно автоматизация наведения PTZ-камеры для более точного распознавания лиц и записи детализированного изображения. При этом необходима реализация системы слежения по данным детектора лиц, чтобы оптимизировать работу PTZ-камеры для нужного сценария, например, для слежения за одним человеком или для быстрого сканирования всех лиц в поле зрения.
Большинство PTZ-камер, представленных на рынке, с интерфейсами Pelco D (для последовательного интерфейса RS422/485) или ONVIF (для IP-сети) не имеют обратной связи системой управления, в частности, невозможно запросить текущую позицию камеры и установить камеру по абсолютным координатам. Это ограничение не позволяет использовать PTZ-камеру для слежения по координатам обзорной камеры.
В модуле Trassir ActiveDome компании DSSL реализована функция PTZ-слежения с аналитическим преобразованием координат. В кадре обзорной камеры задается область, которая путем процедуры калибровки создает связь координат с поворотной видеокамерой. По информации от разработчика, количество обзорных камер в системе видеонаблюдения может быть неограниченно и связано с размером контролируемой зоны. Например, чтобы обеспечить обзор в 360°, рекомендуется установить 4 обзорные и одну поворотную камеру.
В продукте Интеллект компании iTV может быть реализовано PTZ-слежение при помощи многозонного детектора движения обзорной камеры без автоматизации процесса калибровки. Для этого необходимо выполнить шаги: 1) разбить кадр обзорной камеры на множество зон детектирования движения; 2) запрограммировать соответствующие предпозиции на PTZ-камере; 3) написать скрипт, который будет устанавливать PTZ-камеру в предпозицию, соответствующую зоне движения. Для PTZ-слежения в условиях движения двух и более целей, необходима реализация более сложной логики, при помощи скрипта или компонента ActiveX.
Наша компания работает над реализацией PTZ-слежения с многозонным детектором движения и аналитическим преобразованием координат в IP-видеосервере MagicBox. В текущей версии прошивки устройства, передача метаданных с координатами целей и управления приводом PTZ осуществляется в рамках международного стандарта ONVIF, что позволяет реализовать внешнюю логику управления PTZ-камеры. Приложение Менеджер устройств ONVIF, с которым Хабр уже знаком, иллюстрируют взаимодействие клиента ONVIF с PTZ-камерой и видеоаналитическим сервисом (рис. 4).
Рис. 3. Слежение за целью при помощи встроенной видеоаналитики. Передача 2D и 3D координат цели в метаданных ONVIF для автоматического наведения PTZ-камеры. Буква M означает, что цель двигается (moving). Буква S означает, что цель остановилась. Фон цели подвижный (листья деревьев шевелятся).
Рис. 4. Ручное и автоматическое управление PTZ-камерой по протоколу ONVIF через Менеджер устройств ONVIF.
Технологии автоматического управления роботизированной PTZ-камерой на основе данных видеоаналитики и других сенсоров находятся на раннем этапе своего развития. На российском рынке представлены VMS-системы компаний DSSL, ITV, а так же автономное устройство MagicBox компаний Агрегатор и Синезис, позволяющие автоматизировать работу PTZ-камеры. Следует отметить перспективные направления для совершенствования этих продуктов: а) реализация алгоритмов для работы с несколькими целям при помощи нескольких PTZ-камер в едином пространстве обзорных камер; б) проработка полуавтоматического режима, например, когда оператор начинает следить за одной целью, система должна использовать свободные PTZ-камеры для слежения за другими целями; в) упрощение процесса первоначальной настройки (калибровки) системы и оптимизация пользовательского интерфейса для работы в автоматическом и полуавтоматическом режимах PTZ-слежения.
 |
 |
| Рис. 1. Экспериментальная установка для автономного PTZ-слежения: видеоаналитическое устройство MagicBox, PTZ-камера Pelco и обзорная камера CNB. | Рис. 2.Предпозиции PTZ-камеры, управляемые зональным детектором движения. |
Задачи автоматизации
Рассмотрим основные задачи, решаемые при автоматизации системы управления PTZ-камерой:
1. Автоматическое патрулирование
В рамках функции патрулирования, PTZ-камера циклически «обходит» предпозиции наблюдения, заданные оператором, останавливается в каждой позиции на заданное время и транслирует видео с выбранным увеличением. Данная функция является стандартной и встроена практически во все модели купольных поворотных камер. Преимуществом патрулирования по предпозициям является возможность охватить большую территорию и получить изображения в каждой позиции с хорошей детализацией. Недостатки функции – наличие слепой зоны во всех позициях кроме текущей и постоянное изменение фона сцены, что затрудняет анализ видео аналитикой и оператором. В режиме патрулирования сложно распознать медленные изменения сцены за короткий интервал нахождения камеры в каждой позиции. Если оператор направляет камеру в некоторую позицию, то события, происходящие в других позициях, не регистрируются в видеоархив.
Перечисленные недостатки могут быть устранены установкой обзорных неподвижных камер, полностью закрывающих охраняемую территорию. Тогда PTZ-камера используется исключительно для получения детализированного изображения целей, обнаруживаемых при помощи обзорных камер. Так же увеличивается срок службы PTZ-камеры за счет того, что уменьшается ее механическая нагрузка.
2. Автоматический выбор цели для PTZ-слежения
Источниками сигнала для автоматического выбора цели могу быть: а) обзорная неподвижная камера, используемая параллельно с купольной; б) купольная камера в режиме патрулирования; в) другие сенсоры, например, радиоволновые или вибрационные датчики периметральной системы. Видеосигнал с телевизионной или тепловизионной камеры обрабатывается видеоаналитикой, которая детектирует цели и определяет их местонахождения для наведения PTZ-камеры без участия оператора. Пример установки, реализуемый данных подход представлен на рис. 1. Если используется несколько обзорных камер с перекрывающимися зонами действия, то желательно многоканальная (мнокамерной) видеоаналитика. Особенно важна многоканальная видеоаналитика при частом появлении целей. Повторное детектирование цели каждой камерой будет приводить к неэффективному использованию PTZ-камер и срывам слежения, что затруднит ретроспективный анализ архива.
3. Автоматическая расстановка приоритетов для детализации и слежения
В случае, когда в поле зрения системы наблюдения находится несколько целей, а число PTZ-камер ограничено, требуется распределять задачи между PTZ-камерами оптимальным образом с точки зрения их важности. Алгоритм может вычислять приоритет цели с учетом нескольких критериев, таких как: а) местонахождения цели (близость к охраняемому рубежу или наиболее важному объекту); б) время слежения за объектом (например, каждая цель может должна сопровождаться PTZ-камерой не менее 10 секунд, после чего возможно переключение на другую цель); в) классификации поведения человека (например, поведение «праздношатание в зоне» может иметь более высокий приоритет, чем «вход в зону»). Все найденные цели ставятся в приоритезированную очередь для последующей обработки интеллектуальной системой видеонаблюдения.
4. Автоматический выбор PTZ-камеры
Алгоритм должен забирать цели из приоритезированной очереди в порядке их важности и распределять цели между доступными PTZ-камерами с учетом взаимного расположения целей и доступных камер. В работу алгоритма может вмешаться оператор, подающий команды на PTZ-камеру с помощью джойстика или программного интерфейса (рис. 4). В этом случае, алгоритм должен задействовать другие PTZ-камеры для слежения за целями, оставшимися без внимания оператора. На сложных объектах необходимо применение трехмерных моделей охраняемого объекта и зон действия камер.
5. Автоматическое наведение PTZ-камеры
В простейшем случае, алгоритм наведения может быть реализован при помощи многозонного детектора движения обзорной камеры: кадр разбивается на множество зон, каждая из которых ассоциируются с препозициями PTZ-камеры. При срабатывании детектора движения в зоне (рис. 2), PTZ-камера переводится в соответствующую предпозицию (риc. 4). Чем больше зон задается при настройке, тем большее увеличение можно получить на PTZ-камере. Недостатком данного подхода являются неустойчивая работа при наличии нескольких целей и ограничения точности наведения, связанными с выбранными предпозициями PTZ-камеры.
На объекте с большим пространством наблюдения и большим числом камер рекомендуется аналитическое преобразование координат обзорной камеры в систему координаты поворотной камеры без разделения кадров на зоны (рис. 3,4).
Более качественное наведение может быть получено при помощи профессиональной видеоаналитики. Связь обзорной и управляемой камерой устанавливается через глобальную систему координат реального мира, к которой привязываются все камеры. Точность преобразования из двумерной системы координат кадра в трехмерное пространство реального мира ограничивает приближение PTZ-камеры, т.к. в случае ошибки преобразования, на сильном увеличении объект может оказаться вне поля зрения. Поэтому особенные требования предъявляются к видеоаналитики обзорной камеры: необходима качественная локализация (сегментирование) цели и качественная калибровка для связи его координат с поворотной камерой.
6. Автоматическое слежение за целью
После того как PTZ-камера наведена на цель, желательно применение алгоритмов слежения для отображения и записи целостного фрагмента видео цели, сопровождаемой PTZ-камерой. В процессе настройки алгоритма слежения приходиться искать компромисс между степенью увеличения (и, следовательно, детализацией) цели и частотой смещений PTZ-камеры. Чем сильнее увеличение, тем чаще приходиться передвигать камеру.
Распространенные PTZ-камеры не позволяют плавно поворачивать камеру с переменно скоростью. При шаговом смещении положение PTZ-камеры изображение «дергается» и смазывается. Поэтому хороший алгоритм слежения должен минимизировать количество смещений камеры для заданного увеличения. Алгоритм слежения должен корректно работать в случае временного взаимного перекрытия целей, например, если люди идут навстречу друг-другу (см. видеодемострацию и слайды про алгоритм).
PTZ-cлежение за целью может осуществляться тремя способами: а) при помощи PTZ-камеры (самослежение); б) при помощи обзорной камеры (внешнее слежение) и в) гибридными образом. Каждый из способов имеет свои преимущества и недостатки, которые мы сравним в отдельной публикации. Алгоритм самослежения удобен в случае, когда оператор задает цель в ручную, а обзорная камера отсутствуют или не видит цель. Алгоритм внешнего слежения более устойчиво работает при наличии нескольких целей. Для объектов одинокого видимого размера, алгоритмы слежения на подвижной камере работают хуже, чем на неподвижной камере, т.к. в последнем случае алгоритм может лучше адаптироваться к неподвижному фону. В теории, гибридный способ должен обеспечить наиболее устойчивое слежение во всех ситуациях, но в известных нам системах он пока не реализован
Влияние задержки
Слежение за целью при помощи привода PTZ – задача реального масштаба времени, чувствительная к задержке. Если общая задержка видео в IP-сети превышает 500 мс (половина секунды), то эффективно управлять камерой не может ни оператор, ни серверная видеоаналитика. Как правило, около 300 мс вносится передающим устройством (камерой или кодером) и около 100 мс вносится VMS-системой, декодирующей видео.
Качественное слежение за объектом может быть реализовано при локальной обработке видео до компрессии. В этом случае координаты цели могут быть рассчитаны по данным обзорной или PTZ-камеры за 20-40 мс. Такая система может сопровождать быстродвижущиеся цели, такие как бегущий человек и транспортное средство, на хорошем увеличении.
Поддержка стандартов
Начиная с версии 1.02, международный стандарт ONVIF позволяет строить унифицированные решения для автоматического и ручного управления PTZ-камерами. В частности, стандарт описывает команды управления и считывания положения PTZ-камеры, системы координат, а так же формат передачи метаданных о подвижных объектов с обзорной камеры в систему управления видео (VMS) и/или иные устройства для управления PTZ-камерой.
Оживленные сцены
Применение интеллектуальных функций PTZ в общественных местах ограничено возможностями видеоаналитики слежения. Сегодня на рынке не существует видеоаналитики, способной сопровождать человека в толпе без применения детектора лиц на обзорной камере. Если разрешающая способность и угол наблюдения обзорной камеры позволяет использовать детектор лиц, то возможно автоматизация наведения PTZ-камеры для более точного распознавания лиц и записи детализированного изображения. При этом необходима реализация системы слежения по данным детектора лиц, чтобы оптимизировать работу PTZ-камеры для нужного сценария, например, для слежения за одним человеком или для быстрого сканирования всех лиц в поле зрения.
Специальные требования к PTZ-камере
Большинство PTZ-камер, представленных на рынке, с интерфейсами Pelco D (для последовательного интерфейса RS422/485) или ONVIF (для IP-сети) не имеют обратной связи системой управления, в частности, невозможно запросить текущую позицию камеры и установить камеру по абсолютным координатам. Это ограничение не позволяет использовать PTZ-камеру для слежения по координатам обзорной камеры.
Обзор решений на рынке
В модуле Trassir ActiveDome компании DSSL реализована функция PTZ-слежения с аналитическим преобразованием координат. В кадре обзорной камеры задается область, которая путем процедуры калибровки создает связь координат с поворотной видеокамерой. По информации от разработчика, количество обзорных камер в системе видеонаблюдения может быть неограниченно и связано с размером контролируемой зоны. Например, чтобы обеспечить обзор в 360°, рекомендуется установить 4 обзорные и одну поворотную камеру.
В продукте Интеллект компании iTV может быть реализовано PTZ-слежение при помощи многозонного детектора движения обзорной камеры без автоматизации процесса калибровки. Для этого необходимо выполнить шаги: 1) разбить кадр обзорной камеры на множество зон детектирования движения; 2) запрограммировать соответствующие предпозиции на PTZ-камере; 3) написать скрипт, который будет устанавливать PTZ-камеру в предпозицию, соответствующую зоне движения. Для PTZ-слежения в условиях движения двух и более целей, необходима реализация более сложной логики, при помощи скрипта или компонента ActiveX.
Наша компания работает над реализацией PTZ-слежения с многозонным детектором движения и аналитическим преобразованием координат в IP-видеосервере MagicBox. В текущей версии прошивки устройства, передача метаданных с координатами целей и управления приводом PTZ осуществляется в рамках международного стандарта ONVIF, что позволяет реализовать внешнюю логику управления PTZ-камеры. Приложение Менеджер устройств ONVIF, с которым Хабр уже знаком, иллюстрируют взаимодействие клиента ONVIF с PTZ-камерой и видеоаналитическим сервисом (рис. 4).
Рис. 3. Слежение за целью при помощи встроенной видеоаналитики. Передача 2D и 3D координат цели в метаданных ONVIF для автоматического наведения PTZ-камеры. Буква M означает, что цель двигается (moving). Буква S означает, что цель остановилась. Фон цели подвижный (листья деревьев шевелятся).
Рис. 4. Ручное и автоматическое управление PTZ-камерой по протоколу ONVIF через Менеджер устройств ONVIF.
Заключение
Технологии автоматического управления роботизированной PTZ-камерой на основе данных видеоаналитики и других сенсоров находятся на раннем этапе своего развития. На российском рынке представлены VMS-системы компаний DSSL, ITV, а так же автономное устройство MagicBox компаний Агрегатор и Синезис, позволяющие автоматизировать работу PTZ-камеры. Следует отметить перспективные направления для совершенствования этих продуктов: а) реализация алгоритмов для работы с несколькими целям при помощи нескольких PTZ-камер в едином пространстве обзорных камер; б) проработка полуавтоматического режима, например, когда оператор начинает следить за одной целью, система должна использовать свободные PTZ-камеры для слежения за другими целями; в) упрощение процесса первоначальной настройки (калибровки) системы и оптимизация пользовательского интерфейса для работы в автоматическом и полуавтоматическом режимах PTZ-слежения.
