??? 摘 要： 針對錯誤隱藏過程中傳統邊界匹配算法" title="邊界匹配算法">邊界匹配算法對邊緣匹配的局限性，提出一種基于時域與空域平滑性的邊界匹配算法。該算法引入加權的邊界匹配誤差：時域誤差用于衡量時域的連續性；空域誤差則反映邊緣的連續性。實驗結果表明，該算法有效解決了存在多方向" title="多方向">多方向邊緣穿越受損區域情況下最優矢量的選擇問題，使得恢復后的圖像在邊界處具有較好的連續性。
??? 關鍵詞： 錯誤隱藏；運動矢量；邊界匹配算法；邊緣匹配
?
??? 在視頻通信中，當視頻碼流在傳輸過程中丟失或受到破壞時，勢必影響傳輸圖像的質量，導致解碼器端重建的視頻信號的失真。在混合編碼框架中，由于幀間、幀內預測以及熵編碼等技術的采用，解碼錯誤會在時間和空間上擴散，不僅破壞當前解碼幀，而且會影響到后續幀，嚴重降低主觀視覺效果[1-2]。在這種情況下, 可在解碼器端對受損宏塊" title="宏塊">宏塊進行錯誤隱藏，從而在不產生網絡擁塞和延時問題的同時大幅提高重建圖像的質量[3]。
??? 當幀間圖像發生錯誤時，一般采用時域錯誤隱藏方法，即利用圖像序列的連續性，恢復受損塊的運動矢量并用其運動補償塊來代替受損塊進行錯誤隱藏。其中，恢復運動矢量主要利用運動矢量的空間和時間的相關性。參考文獻[4]列舉了一系列運動矢量恢復方法，如采用零矢量、參考幀相應宏塊運動矢量、鄰域宏塊運動矢量的均值、鄰域宏塊運動矢量的中值等。為了獲得最優的運動矢量，參考文獻[5]提出更為精確的邊界匹配算法BMA（Boundary Matching Algorithm），通過計算補償塊的內外邊界像素變化差值來選擇候選集中最優的運動矢量用于受損塊重建，這一方法由于其簡單、易實現等優點已被H.26L的驗證模型所采納[6]。
??? 然而，基于BMA的錯誤隱藏算法僅著重于空域平滑性的利用，且在存在傾斜邊緣穿越受損塊的情況下對最優矢量的選擇并不十分有效。針對這一問題，本文提出一種結合時域與空域平滑性的邊界匹配算法。邊界誤差的衡量分為兩部分：時域誤差定義為當前幀受損塊與參考幀補償塊外邊界相應像素絕對差值和；空域誤差則基于邊緣的連續性，定義為邊界區域范圍內邊緣的平均變化。實驗結果表明，該算法較好地適用于相鄰宏塊間存在多方向邊緣的情況，從而使得恢復后的圖像在邊界處具有較好的連續性。
1 邊界匹配算法（BMA）
??? 邊界匹配算法[5]用于在運動矢量候選集中選擇最優的運動矢量用于受損塊的重建，具體邊界匹配關系如圖1所示。
?
?
??? 首先，使用每一個候選矢量進行運動補償，然后檢查重建宏塊內外邊界的變化，使變化最小的候選運動矢量被確定為最終的預測。邊界匹配函數如下：
??? 
式中，x0、y0為當前受損塊左上角像素坐標，MVx、MVy分別為當前預測矢量的兩個分量，Pc與Pr分別為當前幀與參考幀像素。式(1)適用于在鄰域塊均可用且無損接收的情況下，對于其他情況，對應的邊界匹配函數應進行相應調整。
??? 由圖1可以看出，BMA主要基于空域的平滑特征，當邊界處發生像素值躍變時，將使匹配誤差增大。因此，對于有垂直或水平邊緣穿越受損塊的情況，BMA可以有效地選擇最優的預測矢量，但當存在其他方向邊緣時，BMA所選擇的矢量獲得的補償效果并不是最佳的，如圖2所示。
?
?
2 基于時空域平滑性的邊界匹配算法
??? 為了從預測矢量候選集中選擇最佳的運動矢量，要求匹配準則" title="匹配準則">匹配準則能夠準確地將最佳的矢量與其他矢量區分開來，因此，本文在匹配準則中引入了加權的邊界匹配誤差。基于時空域平滑特征，將邊界誤差的衡量分為兩部分：
??? 
式中，α為加權因子且其值介于0～1之間。costtemporal(i)為采用第i個預測矢量時的時域誤差，表示為當前幀受損塊與參考幀補償塊外邊界相應像素(圖1)的絕對差值和：
??? 時域誤差用于衡量當前預測矢量下時域的連續性。costspatial(i)為采用第i個預測矢量時的空域誤差，表示為受損塊恢復后邊界區域范圍內邊緣的平均變化：
??? 
式中，M為重建塊邊界區域內經Sobel算子所檢測出的邊緣點數，
為第j個邊緣點的邊緣方向。
??? 
??? 如圖3所示，通過Sobel算子在受損塊內部邊界三像素寬的像素條上移動并在每個位置計算對應中心像素的梯度值，可以得到受損塊邊界各像素的水平與垂直梯度：Gx(x，y)、Gy(x，y)，相應梯度矢量的幅度和方向角為：
??? 
??? 設定閾值T，當|G(x，y)|大于T時，像素(x，y)為邊緣點。邊緣方向與梯度方向垂直，其斜率表達式為：
??? 
對邊緣點外圍三點進行局部邊緣點檢測，
重復上一步操作，再次對當前邊緣點外圍三點進行局部邊緣點檢測，
由于充分考慮了邊緣的特征，沿邊緣走向來衡量當前恢復區域的平滑性，本文算法可以有效克服BMA對邊緣匹配的局限性。
?
?
??? 與BMA算法相同，本文提出的匹配函數應視鄰域塊的可用性進行相應調整。預測矢量候選集包括：零矢量、參考幀相應宏塊運動矢量、鄰域可用預測運動矢量、鄰域可用預測運動矢量均值、鄰域可用預測運動矢量中值，候選集中所得匹配誤差最小的預測矢量即為恢復出的受損塊的運動矢量。
3 仿真實驗
??? 本文實驗采用JVT的JM90[7]作為測試平臺" title="測試平臺">測試平臺，分別對QCIF格式的Foreman、Carphone、Salesman序列進行測試，編碼序列采用IPPP的幀結構，測試序列長度均為50幀。為了驗證本算法的有效性，選取BMA與本文算法分別在網絡丟包率為5%、10%、15%的環境下進行效果比較。
??? 圖4所示為宏塊丟失率為10%時分別采用兩種方法對Foreman第5幀的隱藏效果。采用BMA會造成邊緣明顯的不連續，但對于相對平滑的部分恢復效果比較好(圖4(c))。本文算法由于充分利用了時空域的平滑特性，引入了加權的邊界匹配誤差并以邊緣的連續性為依據，增強了對邊緣匹配的適應性(圖4(d))。如圖4(e)所示的局部隱藏效果，本文算法較之BMA恢復后的邊緣更加平滑。
?
??? 表1給出了測試序列在不同丟包率情況下的PSNR值比較，其中PSNRBMA為采用BMA所得的PSNR值，PSNRPRO為采用本文算法所得的PSNR值。如表中數據所示，在測試中對于不同運動類型的序列和不同的網絡丟包率環境，本文提出的算法性能均優于BMA算法，是一種魯棒性很強的算法。
?
??? 本文針對BMA在選擇最優預測矢量時所存在的局限性，提出一種基于時域與空域平滑性的邊界匹配算法。該算法引入了加權的邊界匹配誤差并通過對受損塊內部邊緣特性的分析，保證恢復后的圖像邊緣的連續性。實驗結果表明，本文算法有效解決了存在多方向邊緣穿越受損區域情況下最優矢量的選擇問題，對不同類型的視頻序列及在不同網絡丟包率環境下均有較好的主觀和客觀重建圖像質量。
參考文獻
[1] WANG Y，WENGER S.Error resilient video coding techniques[J].IEEE Signal Processing Magazine，2000，17(4)：61-82.
[2] Wenger S H.264/AVC over IP[J].IEEE Transactions on?Circuits and Systems for Video Technology，2003，13(7)：645-656.
[3] 馬國強，郭寶龍，馮宗哲.傳輸圖像的子波域插值恢復算法[J].電子學報，2002，30(4)：552-555.
[4] HASKELL P，MESSERSCHMITT D.Resynchronization of?motion compensated video affected by ATM cell loss[A].Proc ICASSP′92[C].San Francisco，CA：IEEE，1992，3：545-548.
[5] LAM W M，REILBMAN A R，LIU B.Recovery of lost or?erroneously received motion vectors[A].Proc ICASSP′93[C].Minneapdis：IEEE，1993：417-420.
[6] WANG Y K，HANNUKSELA M M，VSRSA V，et al.The?error concealment feature in the H.26L test model[A].Proc?ICIP[C].Rochester，NY：IEEE，2002：729-732.
[7] JVT.JM90[CP].http：//iphome.hhi.de/suehring/tml/download/old_jm/jm90.zip，2005.