文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2017.01.038
中文引用格式: 潘振福,許靜,劉成,等. 基于視覺目標跟蹤的PTZ控制方法[J].電子技術應用,2017,43(1):145-147.
英文引用格式: Pan Zhenfu,Xu Jing,Liu Cheng,et al. The method of controlling PTZ camera based on visual object tracking[J].Application of Electronic Technique,2017,43(1):145-147.
0 引言
PTZ(Pan/Tilt/Zoom)攝像頭是將CCD攝像機、變焦變倍鏡頭、全景云臺等部件集成在一個單元中構成的攝像機系統。傳統的PTZ攝像機監控系統通過人工操控鍵盤或者搖桿對監控目標進行跟蹤,如果目標較遠,通過手動控制鏡頭變焦,這種人工操控的方式跟蹤誤差太大,造成系統攝像不穩定、不連續。近年來,基于主動視覺的PTZ攝像機系統逐漸發展,陳雙葉等人提出基于Camshift算法和卡爾曼濾波器目標跟蹤算法的PTZ攝像機控制方法[1],簡單地采用顏色直方圖作為跟蹤匹配特征,容易受到光照變化、運動模糊遮擋等因素影響而造成跟蹤失敗。WANG S等人提出的高斯混合模型目標檢測定位方式的PTZ控制方法僅僅解決了鏡頭對焦問題[2]。而DONG E等人除了應用高斯混合模型目標檢測之外,還融合了Kalman濾波器與Camshift算法對目標進行跟蹤,從而控制PTZ攝像機[3],相比近年來先進的目標跟蹤技術,這些跟蹤算法相對落后,其性能容易受眾多因素影響,包括光照變化、遮擋和背景混雜等。在視覺目標追蹤(The Visual Object Tracking,VOT)2014年挑戰結果[4]中顯示,基于分類相關濾波器的跟蹤器是目前最優秀的目標跟蹤算法之一,提供了先進的跟蹤性能。HENRIQUES J F等使用了梯度方向直方圖(HOG)特征,提出了核相關濾波器(Kernelized Correlation Filter,KCF)及雙相關濾波器(Double Correlation Filter,DCF)跟蹤器[5],運算速度能達到300 b/s以上。
本文采用KCF目標跟蹤方法作為控制算法核心對運動目標進行跟蹤,并采用粒子濾波框架對目標進行運動狀態預測,根據跟蹤結果使用PID算法對PTZ攝像機進行協調控制。
1 PTZ攝像機系統架構
本文中的PTZ攝像機系統由云臺攝像機、視頻采集卡以及運行PTZ控制系統的上位機組成,如圖1所示。

由視頻采集卡從攝像頭采集回來的圖像傳入算法中進行跟蹤運算,通過RS232轉RS485串口遵循PELCO-D協議控制PTZ攝像機轉動,保持跟蹤目標在視頻圖像中。PELCO_D協議定義了水平旋轉、上下旋轉、變焦變倍等功能。
2 目標跟蹤方法
在KCF跟蹤算法中,以核嶺回歸分類器作為核心,用循環移位方法致使樣本變換,建立循環矩陣來訓練該分類器,然后把目標與周圍背景區分開來,從而達到對目標快速有效檢測跟蹤的目的。對樣本進行巧妙地變換使訓練數據矩陣具有循環特性,就可以通過離散傅里葉變換對角化,便能減少幾個數量級的存儲與計算,這就是文獻[5]提出的核嶺回歸相關濾波器(Kernelized Correlation Filter,KCF),具有其他核算法沒有的線性復雜度。
2.1 嶺回歸分類器
針對線性嶺回歸判別函數f(z)=wTz,訓練的目的是利用樣本xi找到一個權值wi對回歸目標yi最小平方誤差:

其中λ是正則化參數,控制過度擬合。根據文獻[6]得到最優解:

由式(4)可知,需要優化的變量是α,而并不是w。
核嶺回歸問題的解由文獻[9]給出:

2.2 循環矩陣
對樣本x進行移位變換,可以獲得循環矩陣X,即:

矩陣X完全由指定的樣本向量x(這里的第一行)循環移位生成。無論生成向量x為何值,所有循環矩陣都能被離散傅里葉變換(DFT)矩陣對角化[10]。也就是:

2.3 核相關分類器訓練
只要滿足文獻[5]提出的定理1的核函數的核矩陣K具有循環結構,所以:

2.4 目標快速檢測
為了檢測出感興趣物體,通常用回歸函數f(z)去評估目標在多個圖像中位置信息,從而估計出目標位置。把包含目標圖像且比目標尺寸大的圖像塊作為搜索窗口,對此搜索窗口進行循環移位,形成不同的候選圖像塊,然后建模成循環結構的循環矩陣。
假設核矩陣Kz由匹配模板和搜索窗口樣本核相關所得。因為匹配模板X和檢測樣本Z是基于元素向量x和z移位變換的循環結構矩陣,相應的,Kz的每個元素是由κ(pi-1z,pj-1x)組成,根據文獻[5]的定理1可以驗證這個矩陣是一個循環核矩陣。與上一節相似,只需第一行元素來表示核矩陣:

其中kXZ是前面定義的x與z的核相關運算。可以把回歸函數表示為:

注意到f(z)是一個矩陣元素z向量的所有移位變換形式的輸出響應,為了更有效地計等式(13),得到對角化后的等式:

3 實驗分析
在QT5平臺上完成PTZ攝像頭系統上位機端的C++實現,運用了OPENCV庫。
3.1 跟蹤質量評估
在實驗室環境下,運行結果如圖2所示,運動目標被完全遮擋的情況下,跟蹤算法仍然很穩定。

3.2 PTZ控制質量實驗
上位機通過RS232轉RS485轉串口與PTZ攝像頭相連,遵循PELCO_D協議控制。控制結果如圖3所示。圖中中間位PTZ攝像頭貼有白色的標識,以便明顯看到其轉動,圖中右下角為攝像頭跟蹤的圖像。結果顯示,其能始終保持跟蹤目標在圖像中。

4 結論
針對目前現有的主動視覺的PTZ攝像頭控制系統的跟蹤性能較差、導致跟蹤丟失等問題,提出了一種基于核相關視覺目標跟蹤器的PTZ攝像機控制方法,并在QT平臺上應用OPENCV庫實現了PTZ攝像機控制系統的C++版。實驗結果驗證了本系統的穩定性與魯棒性。
參考文獻
[1] 陳雙葉,王善喜.PTZ攝像機跟蹤運動目標的智能控制算法的研究[J].計算機科學,2015(S2):135-139.
[2] WANG S,TIAN Y,XU Y.Automatic control of PTZ camera based on object detection and scene partition[C].IEEE International Conference on Signal Processing,Communications and Computing.IEEE,2015.
[3] DONG E,YAN S,TONG J,et al.Design and implementation of a moving object tracking system[C].IEEE International Conference on Mechatronics and Automation.IEEE,2015.
[4] KRISTAN M,PFLUGFELDER R,LEONARDIS A,et al.The visual object tracking VOT2014 challenge results[C].Lecture Notes in Computer Science,2014:191-217.
[5] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):1-1.
[6] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Nato Science Series Sub Series III Computer and Systems Sciences,2003,190(1):93-104.
[7] MULLER K R,MIKA S,TSUDA K.An introduction to kernel-based learning algorithms[J].IEEE Transactions on Neural Networks,2001,12(2):181-201.
[8] SCH?魻LKOPF B,SMOLA A.Learning with kernels:Support vector machines,regularization,optimization,and beyond[M].MIT Press,2002.
[9] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Acta Electronica Sinica,2003,190(1):93-104.
[10] GRAY R M.Toeplitz and circulant matrices:a review[M].Now Publishers,2006.
作者信息:
潘振福,許 靜,劉 成,朱永利
(華北電力大學 計算機系,河北 保定071003)
