【文章內(nèi)容簡介】 大小相等并且相互之間不具有重疊的子塊，并假定子塊內(nèi)每一個像素都做相同的平移運動，具有運動的一致性。其次，對當前幀圖像的每一宏塊，在其參考幀中相對應(yīng)的幾何位置周圍的一定范圍內(nèi)，通過某種匹配準則在參考幀中進行搜索，尋找當前幀中這些子塊的最佳匹配塊，并可認為當前宏塊位移前的位置即為最佳匹配塊在在參考幀中所處的位置，由匹配塊與當前子塊的相對位置的矢量差值即可得到當前子塊在水平和垂直方向上的偏移量。最后，將各個子塊的局部運動矢量采取一定的整合方法得到全局運動矢量進而對當前幀進行補償，得到穩(wěn)定后的圖像。雖然塊匹配法具有簡單易行，可以快速實現(xiàn)的優(yōu)點。但其存在的問題有：第一，塊匹配法只適用于由攝像機的平移運動引起的運動偏移，而不能解決攝像機的縮放、旋轉(zhuǎn)和變焦的運動；第二，塊匹配法在匹配搜索的時候需要進行大量的數(shù)據(jù)運算，消耗時間較長。不論是最基本的全搜索算法，還是后續(xù)對搜索路徑提出多種改進的其他搜索算法，諸如二維對數(shù)法、三步法以及菱形法等。其匹配準則的計算量仍然巨大，效率低，很難做到對視頻序列的實時運動估計。 投影法（PA）投影法PA（Projection Algorithm）是利用圖像灰度分布變化的特點來檢測圖像序列幀間的平移運動，得到圖像幀間的全局運動矢量[15]?；叶韧队胺ㄅc塊匹配法的不同之處在于，塊匹配法是利用圖像的單像素點的灰度信息，通過進行逐點的匹配計算，通過局部的匹配來確定整幅圖像的運動矢量，而且在匹配過程中由于受到匹配搜索范圍的限制，容易使匹配點陷入局部最優(yōu)點，從而使運動矢量的估計精度受到了一定的影響。而灰度投影法僅僅需要對視頻圖像行列各自的投影曲線做一次互相關(guān)運算，就可以得到圖像序列之間全局的運動偏移量。對比于塊匹配法，投影法充分利用了圖像整體灰度分布變化的特點，保證了較高的計算精度，同時也大大降低了計算量。 投影法在具有上述優(yōu)點的同時，還存在如下的問題：第一，如果視頻圖像的灰度變化不明顯，對比度達不到一定的要求，在應(yīng)用灰度投影法進行穩(wěn)像時，將會導(dǎo)致當前幀和參考幀各自對應(yīng)的投影曲線對比不明顯，無法進行投影曲線的相關(guān)運算，進而降低了全局運動矢量的估計精度，影響了穩(wěn)像效果。所以，在應(yīng)用灰度投影算法進行運動矢量檢測之前，對圖像進行預(yù)處理，可以進一步提高檢測的精度。第二，灰度投影法對于識別處理只含平移運動或較小旋轉(zhuǎn)運動的視頻圖像序列，有較好的效果，而對于處理含有縮放或者較大旋轉(zhuǎn)等其他運動變化的視頻圖像序列，其匹配精度將會下降。第三，易受局部運動的影響。如果局部運動物體存在于背景圖像中，那么會對行列投影曲線的相關(guān)運算產(chǎn)生影響，降低了全局運動矢量的估計精度。因此，提高投影算法對局部運動物體的抗干擾能力是必要的。 特征量跟蹤算法（FTA）特征量跟蹤算法FTA（Features Tracking Algorithm）并不是像塊匹配法那樣以宏塊為基本單位進行匹配估計運算，而是以圖像中的典型特征作為運動估計的基本單元，是穩(wěn)像算法中獲取圖像全局運動矢量的重要算法[16]。其基本原理步驟如下所述：第一，在參考幀中進行特征量的提取。通常情況下，特征量要具備的特點有，在圖像中盡可能均勻分布、灰度變化較大和在其周圍區(qū)域中具有一定獨特性等。特征量跟蹤算法一般選取圖像中的角點、直邊緣、曲邊緣等具有明顯特征的局部特征量作為運動估計的基本單元。但是如果特征量的提取耗時復(fù)雜，將無法滿足電子穩(wěn)像處理實時性的要求，另外，特征量的提取不能為空。第二，在當前幀中進行特征匹配。針對不同的特征，按照一定的匹配準則在當前幀中找到對應(yīng)的匹配特征，可確定出局部的運動矢量。同時，為了保證穩(wěn)像處理的實時性和準確性，需要選取穩(wěn)定性高、定位準確和匹配簡單的特征量單元。第三，對偽匹配特征量的剔除。對于實際應(yīng)用的場景中，當對當前幀選取的特征量單元在參考幀中進行搜索跟蹤匹配時，往往會遇到各種干擾，如存在背景中小物體的移動、目標的遮蓋和被攝目標移入或移出場景等變化。而這些干擾會影響特征量跟蹤匹配的精度，甚至無法找到匹配特征量，導(dǎo)致了偽匹配特征的出現(xiàn)。因此，必須對偽匹配特征量進行剔除，因為，偽匹配特征量難以正確代表圖像的全局運動，而偽匹配特征量的存在會降低全局運動矢量估計的精度。第四，全局運動矢量的確定。前面獲取的運動矢量是圖像的局部運動矢量，穩(wěn)定圖像還需要求出圖像由攝像機引起的全局運動矢量。全局運動矢量是在局部運動矢量的基礎(chǔ)上，利用前文表述的三種運動數(shù)學(xué)模型，根據(jù)實際情況選取恰當?shù)倪\動數(shù)學(xué)模型來求取，即將特征量的局部運動矢量帶入設(shè)定的數(shù)學(xué)模型中，然后求解方程組得到圖像全局運動矢量。特征量跟蹤算法不僅具有運算速度快，抗干擾能力強等特點，同時在處理攝像機平移運動的基礎(chǔ)上，亦可解決攝像機小范圍的旋轉(zhuǎn)運動。 運動補償方法運動補償是根據(jù)運動估計獲取的全局運動矢量去除不必要的運動，從而達到穩(wěn)定視頻圖像的目的。對于攝像機運動獲取的視頻圖像序列來說，其既包含有攝像機的隨機抖動，又包含有意掃描運動，而對圖像序列的穩(wěn)像處理，就是利用運動估計的結(jié)果對當前圖像進行補償，保留攝像系統(tǒng)正常的有意掃描運動，而去除隨機抖動，使輸出的視頻序列完整流暢，不存在信息丟失和虛假場景，以達到圖像補償穩(wěn)定的目的[17]。補償攝像機的隨機抖動是圖像運動補償?shù)年P(guān)鍵之處，同時要保留攝像機的正常掃描運動。在通常的情況下，隨機抖動和有意掃描運動在頻率上是有差異的，隨機抖動屬于高頻噪聲，而有意掃描運動是低頻率的平滑運動。因而，在對圖像進行運動補償之前，應(yīng)區(qū)分全局運動矢量中的平滑運動分量和抖動分量，通過對運動矢量進行濾波處理，提取出抖動分量進行補償。一般地，運動補償?shù)姆椒煞譃槿悾阂活愂前褕D像變形映射到參考幀，使觀察者感到攝像機的晃動被消除或減弱。第二類是以圖像中的特征作為參考，來穩(wěn)定當前圖像。第三類是平滑攝像機的運動，通過消除高頻率的運動來穩(wěn)定圖像序列。下面對三種典型的穩(wěn)像補償方法逐一進行介紹，為后續(xù)章節(jié)的穩(wěn)像實驗研究提供參考依據(jù)。 固定幀補償方法所謂固定幀補償法，就是在對視頻圖像進行穩(wěn)像的初期選定某一幅圖像作為參考圖像，然后通過選取合適的運動估計算法對后續(xù)的當前圖像進行運動估計，估計出每一當前圖像相對于選取的參考圖像的全局運動矢量，而后將每一當前圖像以相反的全局運動矢量參數(shù)值進行偏移，將會達到良好的補償效果，能夠使當前圖像與參考圖像完全重合，并且不存在累積誤差，非常適合于攝像系統(tǒng)定點拍攝的情況。 當然，這種補償方法也存在一定的不足之處。對于攝像系統(tǒng)定點拍攝的情況，此方法對圖像的穩(wěn)定效果較好。但是，當攝像系統(tǒng)同時存在抖動運動和掃描運動時，將有可能會導(dǎo)致失穩(wěn)狀況的產(chǎn)生。也就是說，經(jīng)過若干幀圖像的補償后，當前幀和參考幀圖像之間共有的重疊區(qū)域?qū)⒃絹碓叫　＿@時表明圖像之間的運動超出了預(yù)先設(shè)定的最大糾偏范圍，將會造成運動估計不準確，無法準確計算出全局運動參數(shù)值。而且，當偏移量較大時，會使補償后的結(jié)果圖像與實際圖像產(chǎn)生較大的差異，甚至脫離了真實的場景。為了解決此缺點，可進行以下的改進措施：對運動矢量設(shè)定某一閾值，然后把檢測出的當前運動矢量值與該閾值進行比較，當其大于該閾值時，采集一幀新的圖像作為參考幀繼續(xù)進行穩(wěn)像處理，同時放棄原參考幀。但是，兩幀更新時由于空間相對位置的變化，有可能會引起圖像序列中的突變，導(dǎo)致延遲的視覺感。 相鄰幀補償方法所謂相鄰幀補償方法，顧名思義，就是對每相鄰的兩幀圖像進行全局運動估計，然后累積這些估計出的全局運動矢量，以累積后的全局運動矢量作為補償參數(shù)，對當前幀進行運動補償。此法的優(yōu)點是：由于幀間圖像的重疊區(qū)域較大，因此相鄰兩幀圖像的全局運動估計的精度高，且不會像固定幀補償方式那樣出現(xiàn)圖像的突變現(xiàn)象。但此法的不足之處為，有可能出現(xiàn)累積誤差。因為后一幀總是由前一幀補償而來，如果在最初補償?shù)臅r候出現(xiàn)錯誤，則此錯誤會向后續(xù)幀傳播，導(dǎo)致補償后的圖像序列慢慢發(fā)生偏移，逐漸超出補償邊界，最終產(chǎn)出了失穩(wěn)現(xiàn)象，造成補償圖像的邊緣信息嚴重損失或脫離真實場景。 運動濾波補償方法通常情況下，攝像機的運動既包括正常的掃描運動（有意運動）也包括抖動分量（無意運動）。而電子穩(wěn)像的目的就是提取影響圖像穩(wěn)定的抖動分量進行補償，而保留正常的掃描分量。如果電子穩(wěn)像系統(tǒng)將攝像系統(tǒng)正常的掃描運動誤判成是載體的隨機抖動，而進行了穩(wěn)定處理，則會使補償后的圖像達不到攝像系統(tǒng)正常掃描所形成的圖像[18]。因此，對運動矢量進行實時濾波處理，是非常必要的。（1）運動矢量濾波的原理當我們把相鄰幀間圖像通過運動估計獲取的全局運動位移矢量進行累加后，其累加圖形將會形成攝像機的運動曲線。下圖表示累加矢量形成攝像機的運動曲線，圖中的實曲線既包括了攝像機的抖動分量，也同時包好了正常的掃描運動。而通常認為，攝像機的掃描運動是平滑而穩(wěn)定的，而不應(yīng)該是抖動的（如圖中虛線所示）。 位移矢量累加圖所以，運動矢量濾波的目的就是去除攝像機的抖動分量，而保留正常掃描的平穩(wěn)分量。針對消除抖動分量，可以考慮從兩個角度進行考慮，即統(tǒng)計濾波和數(shù)字濾波。對于數(shù)字濾波的方式來說，由于攝像機的抖動分量的變化是劇烈的，在頻譜上表現(xiàn)出高頻的特性，而運動變化緩慢的有意掃描運動，在頻譜上展現(xiàn)出來的是低頻特性。因此，可以采用一個低通濾波器將高頻的抖動分量濾除。在實際的設(shè)計中，我們并不可能設(shè)計出將高頻抖動分量完全濾除掉的理想的低通濾波器。只能是根據(jù)具體的要求，盡量的濾除抖動分量，消除其負面的影響。另外，如果采用統(tǒng)計濾波的方式對抖動分量進行消除，需要設(shè)計的濾波在統(tǒng)計意義上具有最優(yōu)性，即設(shè)計的實際曲線和理想曲線的誤差平方和最小。（2）運動矢量濾波的方法針對消除抖動分量，可以采用兩種方法對其進行處理。方法一，采用基于數(shù)字信號處理的數(shù)字濾波或統(tǒng)計濾波去除抖動分量；方法二，根據(jù)運動矢量的參數(shù)進行曲線擬合，消除抖動分量，從而形成平滑的曲線，達到了穩(wěn)定的效果。數(shù)字濾波方法主要包括均值濾波和FIR濾波，統(tǒng)計濾波主要是KALMAN濾波，而根據(jù)運動的參數(shù)進行曲線擬合的方法是B樣條曲線擬合方法。對于FIR濾波來說，其本身具有的線性相位延遲的特性，使其無法滿足穩(wěn)像系統(tǒng)要求實時性處理的條件，所以，一般不采取此濾波器；KALMAN濾波算法雖然能較好的去除抖動分量，但是復(fù)雜度較大，不能達到實時的效果[19]；B樣條曲線擬合方法對于特定場合有較好的效果，適用面不是很廣；而均值濾波由于具有算法簡單，能較好的抑制抖動分量和能夠達到實時處理效果的特點，故而得到了較多的應(yīng)用。結(jié)合上述各濾波器的特點，本文采用均值濾波法進行運動矢量的濾波，下面重點的介紹一下均值濾波的原理。對運動矢量進行均值濾波是基于這樣的依據(jù)：攝像機正常掃描運動的頻率分布集中在低頻分量上，而不規(guī)則抖動的頻率分布集中在高頻區(qū)域，其運動參數(shù)進行快速的變化。因此，可以選用簡單的低通均值濾波器去除抖動分量的干擾。也就是說，為了得到攝像機平移的運動矢量，可以利用平移運動在方向和幅值上具有一致性的特性，只需求取出連續(xù)幾個幀間全局運動矢量的平均值即可。具體的講，對于L個原始的幀間運動矢量e(i)。首先，即可得到攝像鏡頭平移的運動矢量E(n)。然后，累積得到的運動矢量，即為當前幀的補償參數(shù)。 （） （）而且，尺寸L選取的是否合理對于均值濾波器的穩(wěn)像效果有很大的影響。濾波器尺寸的選取要依據(jù)抖動頻率的大小來確定。當抖動分量的頻率較大時，要選取較小的尺寸，這樣不僅可以使抖動分量的頻率降低，也可以使圖像不會出現(xiàn)太大的偏差，而如果選取較大的尺寸時，會導(dǎo)致過穩(wěn)現(xiàn)象的產(chǎn)生，即穩(wěn)像補償后的圖像與實際圖像的偏差太大；而當抖動分量的頻率較小時，要選取較小的尺寸，否則會出現(xiàn)欠穩(wěn)現(xiàn)象的發(fā)生，達不到降低抖動頻率的效果。 穩(wěn)像的評價準則圖像在達到什么樣的穩(wěn)定性能以后算是最好的，目前還沒有統(tǒng)一的評價方法。由于穩(wěn)像系統(tǒng)中多種因素決定圖像穩(wěn)定的程度，諸如攝像系統(tǒng)的組成，穩(wěn)像算法的選取以及運動模型的準確性等。另外，穩(wěn)像算法的評價需要在同一條件下進行，因為同一算法應(yīng)用在不同的系統(tǒng)中精度不同，采用數(shù)學(xué)模型不同時精度也不同。而且，不同圖像序列的運動規(guī)律和成像環(huán)境具有較大的差異性，使得無法用同一種標準來評定不同的圖像序列。目前可以從兩個方面對穩(wěn)像效果的質(zhì)量進行評價：主觀質(zhì)量評價方法和客觀質(zhì)量評價方法[20]。 主觀評價方法圖像序列的輸出顯示最終是由人來觀察的，因此，可讓觀察者根據(jù)其視覺效果的好壞對一圖像序列的平穩(wěn)性進行主觀評定。但由于周圍環(huán)境、心理、文化背景、及不同的應(yīng)用場合等因素對觀察者都有影響，同時，人眼對同一圖像序列中的不同區(qū)域往往具有不同的感興趣程度，致使個體的評價往往具有較強的主觀性，即對同一視頻序列圖像的評價具有較大的差異性。但是，對于滿足人們視覺要求的目的來說，主觀評價方法具有方便和實用的特性。 客觀評價方法用來客觀評價穩(wěn)像質(zhì)量的指標有：準確度、可矯正的偏移范圍和幀處理率等。（1）準確度準確度，是評價圖像序列穩(wěn)定效果的重要性能指標，是對采用算法優(yōu)劣評價的重要依據(jù)。其衡量視頻圖像穩(wěn)定效果的好壞主要是通過比較補償后的圖像與原始參考圖像的差異的程度。在理論上，如果當前圖像相對于參考圖像的全局運動矢量全部被補償了，那么兩幅圖像上的相對應(yīng)的每個像素點所處的坐標位置是相同的，其對應(yīng)的差值應(yīng)為零。但這在實際中是不可能實現(xiàn)的，因為會有諸多因素引起誤差的產(chǎn)生，比如運動估計誤差、視頻圖像背景中的噪聲以及不恰當?shù)膱D像運動數(shù)學(xué)模型的建立等因素。在一般情況下，可以采用均方差法、峰值信噪比以及差分比較法等方法對準確度這一穩(wěn)像指標進行描述。a) 均方差法均方差法，能反映圖像序列變化的快慢和變化量的大小，其定義為： （）其中，表示視頻圖像的面積大小，和分別表示當前幀補償后的圖像以及參考幀圖像在點坐標位置處所對應(yīng)像素的灰度值。從上式可以看出， 值越小，說明兩幅圖像重合度越高，當前幀圖像補償?shù)男Ч苍胶?，如果補償后的圖像與原參考圖像完全重合，則應(yīng)有。b) 峰值信噪比法峰值信噪比(PSNR：Peak Signal to Noise Ration)是目前最常用評價穩(wěn)定算法準確度的指標，定義為： （） 從上式可以看出，當MSE值越小的時候，