【正文】 ，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果。，(a)是從某視頻序列任意截取的一幅原始圖像，(c)是其對(duì)應(yīng)的直方圖。而后對(duì)原始圖像進(jìn)行直方圖均衡化的處理，(b)是其處理后的結(jié)果圖像，并給出了其對(duì)應(yīng)的直方圖，(d)所示。顯而易見，經(jīng)過直方圖均衡化處理后的結(jié)果圖像，其對(duì)應(yīng)的灰度值范圍得到了擴(kuò)展，增強(qiáng)了原圖像的特征。并且，圖像的許多細(xì)節(jié)可以看得比較清晰，對(duì)比度得到了較大的提高。 (a)原始圖像 (b)均衡化后的圖像 (c)原始圖像的直方圖 (d)均衡化后的直方圖 均衡化后前后的圖像及其直方圖(2) 圖像映射在對(duì)輸入的每幀視頻圖像進(jìn)行預(yù)處理后，可分別采用行投影和列投影兩種方式將圖像映射成兩個(gè)獨(dú)立的一維波形。下式以行投影計(jì)算為例說明圖像映射的方法[33]： ()其中，是第K幀圖像第i行的灰度值之和，是第K幀圖像上(i,j)位置處的像素灰度值，NR是第K幀圖像的行數(shù)，是第K幀圖像的第i行修正后的投影值。列投影與之類似，我們?cè)诖瞬辉儋樖觥?3) 投影濾波當(dāng)圖像偏移量較大時(shí)（10%），每一幀圖像具有是唯一的邊緣信息，因此在互相關(guān)運(yùn)算時(shí)，邊緣信息對(duì)互相關(guān)的峰值產(chǎn)生不利的影響。為了解決這個(gè)問題，要將邊界處的投影值去除，方法是通過余弦濾波器進(jìn)行濾波，此方法可保留中間區(qū)域的幅值，而降低邊界信息的幅值，從而可以提高運(yùn)動(dòng)矢量估計(jì)的精度。對(duì)于特殊的情況，比如圖像的邊緣特別粗糙，首先可以對(duì)圖像進(jìn)行剪切處理，而后進(jìn)行運(yùn)動(dòng)矢量的估計(jì)。(4) 相關(guān)運(yùn)算將當(dāng)前幀的列投影與參考幀的列投影作互相關(guān)運(yùn)算，相關(guān)值曲線的波峰所在位置表示當(dāng)前幀圖像相對(duì)于參考幀圖像的行偏移量。同樣，把圖像的行投影作相關(guān)運(yùn)算可得到圖像的列偏移量。下面以行投影曲線的相關(guān)運(yùn)算為例來確定當(dāng)前幀相對(duì)于參考幀的垂直偏移量，： （）在上式中，d表示搜索范圍(m≤d≤m)的點(diǎn)，m是檢測(cè)的最大偏移范圍，和分別表示參考幀和當(dāng)前幀的第i行投影，NR是參考幀中行投影的長(zhǎng)度。為了確定垂直偏移量，必須找到最小投影相關(guān)值，即R(d)的最小值，并定義其位置為，則當(dāng)前幀相對(duì)于參考幀的垂直便宜=。其中，當(dāng)為正時(shí)，表示當(dāng)前幀圖像相對(duì)于參考圖像向上運(yùn)動(dòng)了個(gè)單位；當(dāng)為負(fù)時(shí)，表示當(dāng)前圖像相對(duì)參考圖像向下運(yùn)動(dòng)了||個(gè)單位。當(dāng)?shù)玫饺治灰剖噶浚ㄋ胶痛怪狈较蛏希┖?，就可以?duì)當(dāng)前圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，即按相反的方向運(yùn)動(dòng)位移矢量相應(yīng)大小的像素距離，從而可以實(shí)現(xiàn)穩(wěn)定的圖像序列。由此可見，灰度投影算法只是利用了一次互相關(guān)運(yùn)算就獲得了圖像幀間的運(yùn)動(dòng)矢量，從而匹配速度快，提高了穩(wěn)像的速度。但是，灰度投影算法只適合于平移運(yùn)動(dòng)的檢測(cè)，而不能用來識(shí)別旋轉(zhuǎn)運(yùn)動(dòng)的情況。 仿真實(shí)驗(yàn)研究實(shí)驗(yàn)是在Pentium D CPU 、1GB 內(nèi)存的計(jì)算機(jī)上進(jìn)行的, 視頻捕捉設(shè)備選用CANNON IXUS80照相機(jī),以30fps的幀速率采集180240的連續(xù)抖動(dòng)圖像序列，然后，利用MATLAB軟件對(duì)塊匹配算法和灰度投影算法的穩(wěn)像進(jìn)行仿真實(shí)驗(yàn)研究。 MATLAB仿真軟件簡(jiǎn)介MATLAB是由MathWorks公司開發(fā)的一種主要用于數(shù)值計(jì)算及可視化圖形處理的工程語言，是當(dāng)今最優(yōu)秀的科技應(yīng)用軟件之一。它將數(shù)值分析、矩陣運(yùn)算、圖形圖像處理、信號(hào)處理和仿真等諸多強(qiáng)大的功能集成在較易使用的交互式計(jì)算機(jī)環(huán)境中，為科學(xué)研究、工程應(yīng)用提供了一種功能強(qiáng)、效率高的編程工具。它擁有強(qiáng)大的科學(xué)計(jì)算與可視化功能、簡(jiǎn)單易用、開放式可擴(kuò)展環(huán)境，使得它在許多科學(xué)領(lǐng)域中成為計(jì)算機(jī)輔助設(shè)計(jì)和分析、算法研究和應(yīng)用開發(fā)的基本工具和首選平臺(tái)[34]。MATLAB集計(jì)算、可視化及編程于一身。在MATLAB中，無論是問題的提出還是結(jié)果的表達(dá)都采用我們習(xí)慣的數(shù)學(xué)描述方法，而不需要用傳統(tǒng)的編程語言進(jìn)行前后處理。這一特點(diǎn)使MATLAB成為了數(shù)學(xué)分析、算法開發(fā)及應(yīng)用程序開發(fā)的良好環(huán)境。MATLAB軟件的主要特點(diǎn)如下[35]。（1）強(qiáng)大的科學(xué)計(jì)算功能MATLAB擁有500多種數(shù)學(xué)、統(tǒng)計(jì)及工程函數(shù)，可使用戶立刻實(shí)現(xiàn)所需的強(qiáng)大的數(shù)學(xué)計(jì)算功能。由各領(lǐng)域的專家學(xué)者們開發(fā)的數(shù)值計(jì)算程序，使用了安全、成熟、可靠的算法，從而保證了最大的運(yùn)算速度和可靠的結(jié)果。（2）先進(jìn)的可視化工具M(jìn)ATLAB提供功能強(qiáng)大的、交互式的二維和三維繪圖功能?？蓜?chuàng)建富有表現(xiàn)力的彩色圖形。（3）直觀靈活的語言MATLAB不僅僅是一套打包好的函數(shù)庫，同時(shí)也是一種高級(jí)的、面向?qū)ο蟮木幊陶Z言。使用MATLAB可卓有成效地開發(fā)自己的程序。MATLAB自身的許多函數(shù)，實(shí)際上也包括所有的工具箱函數(shù)，都是用M文件實(shí)現(xiàn)的。（4）開放性、可擴(kuò)展性強(qiáng)M文件是可見的MATLAB程序，所以我們可以查看源代碼。開放的系統(tǒng)設(shè)計(jì)使我們能夠檢查算法的正確性，修改已存在的函數(shù)，或者加入自己的新部件。（5）眾多面向領(lǐng)域應(yīng)用的工具箱和模塊集MATLAB的工具箱加強(qiáng)了對(duì)工程及科學(xué)中特殊應(yīng)用的支持。工具箱和MATLAB一樣是完全用戶話的，可擴(kuò)展性強(qiáng)。將某個(gè)或幾個(gè)工具箱與MATLAB聯(lián)合使用，可以得到一個(gè)功能強(qiáng)大的計(jì)算組合包，滿足用戶的特殊要求。 塊匹配算法的仿真結(jié)果及分析通過視頻采集設(shè)備獲取小平移抖動(dòng)的原始視頻序列，然后采用塊匹配算法對(duì)其進(jìn)行穩(wěn)像實(shí)驗(yàn)。仿真實(shí)驗(yàn)分成兩個(gè)部分進(jìn)行：對(duì)向鄰的兩幀圖像的穩(wěn)像實(shí)驗(yàn)和對(duì)連續(xù)多幀圖像的穩(wěn)像實(shí)驗(yàn)。（1）相鄰兩幀圖像的穩(wěn)像塊匹配算法的穩(wěn)像處理可分為三個(gè)步驟：宏塊的運(yùn)動(dòng)估計(jì)、全局運(yùn)動(dòng)矢量的獲取和運(yùn)動(dòng)補(bǔ)償。我們從獲取的視頻圖像序列中選取兩幀圖像進(jìn)行穩(wěn)像的仿真實(shí)驗(yàn)。其中，圖像的大小為180240。 （a）參考圖像 （b）當(dāng)前圖像 相鄰兩幀圖像，(a）是參考圖像，（b）是當(dāng)前抖動(dòng)圖像。首先，對(duì)宏塊進(jìn)行運(yùn)動(dòng)估計(jì)。在當(dāng)前抖動(dòng)圖像（）的四個(gè)角的位置處選取四個(gè)宏塊。具體的是在當(dāng)前抖動(dòng)圖像中的（10，10）、（10，185）、（125，10）和（125，185）四個(gè)位置處選取4545的塊作為待匹配塊。確定好待匹配塊后，我們采用SAD匹配準(zhǔn)則和菱形法的搜索策略分別對(duì)待匹配塊進(jìn)行運(yùn)動(dòng)估計(jì)，得到了各個(gè)待匹配塊的運(yùn)動(dòng)矢量。其次，全局運(yùn)動(dòng)矢量的獲取。分別獲取了四個(gè)宏塊的局部運(yùn)動(dòng)矢量后。我們得到當(dāng)前幀抖動(dòng)圖像相對(duì)于參考圖像在水平方向的位移矢量為2,表示當(dāng)前抖動(dòng)圖像相對(duì)于參考圖像向左運(yùn)動(dòng)了2個(gè)單位；在垂直方向上的位移矢量為5，表示當(dāng)前抖動(dòng)圖像相對(duì)于參考圖像向上運(yùn)動(dòng)了5個(gè)單位。最后，當(dāng)前抖動(dòng)圖像的運(yùn)動(dòng)補(bǔ)償。獲取了全局運(yùn)動(dòng)矢量后，我們可以將當(dāng)前抖動(dòng)圖像按照全局運(yùn)動(dòng)矢量的反方向進(jìn)行平移，可得到補(bǔ)償后的穩(wěn)定圖像，： （a）穩(wěn)定后的圖像 （b）當(dāng)前圖像與參考圖像的差值圖（c）參考圖像與穩(wěn)定圖像的差值圖 圖像穩(wěn)定補(bǔ)償圖其中，（a）是當(dāng)前抖動(dòng)圖像補(bǔ)償后的結(jié)果圖。(b)(c)，可看出塊匹配法可以有效地實(shí)現(xiàn)幀間運(yùn)動(dòng)的補(bǔ)償，具有較好的穩(wěn)像效果。同時(shí)，穩(wěn)像前，我們得出參考圖像和當(dāng)前抖動(dòng)圖像的峰值信噪比（PSNR），而在穩(wěn)像處理后，從客觀上進(jìn)一步說明了塊匹配算法在穩(wěn)像處理上的良好效果。（2）連續(xù)多幀圖像的穩(wěn)像我們對(duì)連續(xù)的視頻序列進(jìn)行了仿真實(shí)驗(yàn)研究。，(a)為原始視頻序列中的第8幀至第11幀，(b)為穩(wěn)像后視頻中同時(shí)刻圖像。其中，我們是以第8幀為參考幀，分別對(duì)后續(xù)三幀進(jìn)行穩(wěn)像。從補(bǔ)償后的圖像序列可以看出，其與原始的基準(zhǔn)圖像具有較好的相識(shí)度，實(shí)現(xiàn)了視頻序列的穩(wěn)定輸出。 (a)原始視頻序列 （b）穩(wěn)定后的視頻序列 視頻序列穩(wěn)定結(jié)果顯示下面用峰值信噪比PSNR進(jìn)一步對(duì)算法的性能進(jìn)行測(cè)試。我們對(duì)連續(xù)15幀原始序列（第8幀到第22幀的視頻序列）運(yùn)用塊匹配算法進(jìn)行穩(wěn)像實(shí)驗(yàn)。并且對(duì)原始序列和穩(wěn)定序列的PSNR值作比較。 圖像序列幀間PSNR比較上圖中，原始序列各幀的PSNR值的點(diǎn)形成了下方的曲線，而上方曲線表示補(bǔ)償序列后的各幀PSNR值。從原始序列和補(bǔ)償序列對(duì)應(yīng)各幀的PSNR值比較可以看出，經(jīng)過塊匹配的穩(wěn)像運(yùn)算后，結(jié)果序列的幀間逼真度有了較大的提高，視頻序列的穩(wěn)定性得到了增強(qiáng)。 灰度投影算法的仿真結(jié)果及分析通過視頻采集設(shè)備獲取具有較大平移運(yùn)動(dòng)的原始視頻序列，通過灰度投影算法對(duì)其進(jìn)行穩(wěn)像仿真實(shí)驗(yàn)的研究。實(shí)驗(yàn)分成兩個(gè)部分：對(duì)向鄰的兩幀圖像的定量仿真實(shí)驗(yàn)和對(duì)連續(xù)多幀圖像的穩(wěn)像實(shí)驗(yàn)。(1) 相鄰兩幀圖像的穩(wěn)像在對(duì)圖像運(yùn)用灰度投影算法進(jìn)行穩(wěn)像前，必須對(duì)圖像進(jìn)行預(yù)處理，否則，會(huì)影響運(yùn)動(dòng)估計(jì)的精度，進(jìn)而影響穩(wěn)像的效果。(a)對(duì)圖像進(jìn)行預(yù)處理的必要性在前面我們已經(jīng)敘述過，當(dāng)圖像的像素值比較單一，對(duì)比度不明顯時(shí)，必須對(duì)其進(jìn)行直方圖均衡化的增強(qiáng)處理。，（a）(b)為從某抖動(dòng)的視頻序列中任意截取的兩幅圖像，分別作為參考幀和當(dāng)前幀。從圖中可以看出，圖像整體灰度值偏暗，對(duì)比度差。(c)(d)分別為采用直方圖均衡化處理后各自的結(jié)果圖像。同時(shí)，我們給出了參考幀（（a））進(jìn)行直方圖均衡化增強(qiáng)處理前后各自所對(duì)應(yīng)的直方圖,。其中，（a）（b）分別為參考幀和處理結(jié)果圖像所對(duì)應(yīng)的直方圖。從兩幅圖像的直方圖比較中可以看出，原圖像的灰度范圍得到了擴(kuò)展，對(duì)比度得到了提高。 （a）原始參考幀 （b）原始當(dāng)前幀 （c）參考幀均衡化結(jié)果 (d)當(dāng)前幀均衡化結(jié)果 相鄰兩幀預(yù)處理結(jié)果 (a)原始參考幀直方圖 (b)參考幀均勻化后直方圖 圖像均衡化前后直方圖比較對(duì)視頻圖像進(jìn)行直方圖均衡化的預(yù)處理是非常比要的，可以提高投影的估計(jì)精度，為了說明此效果，我們做以下的實(shí)驗(yàn)。，并給出了其各自對(duì)應(yīng)的灰度投影相關(guān)曲線。（a）（b）分別為原始圖像和均衡化處理后的相對(duì)應(yīng)的行投影相關(guān)曲線。從圖中可以看出，對(duì)于原始圖像的行投影相關(guān)曲線來說，其找不到谷值，則無法確定最小值所對(duì)應(yīng)的垂直方向上的運(yùn)動(dòng)矢量；而當(dāng)原始圖像經(jīng)過直方圖均衡化處理后，從其行投影相關(guān)曲線中可以看出，唯一的波谷點(diǎn)存在，即可以確定出垂直方向上的運(yùn)動(dòng)矢量。因此可以說明，對(duì)圖像進(jìn)行預(yù)處理必要性。 (a)原始行投影相關(guān)曲線 (b)預(yù)處理后行投影相關(guān)曲線 預(yù)處理前后投影相關(guān)曲線比較(b)相鄰兩幀的穩(wěn)像仿真實(shí)驗(yàn)灰度投影算法可分解成三個(gè)主要的步驟：圖像映射、投影濾波和圖像校正。我們用相機(jī)拍攝視頻序列中任意截取相鄰的兩幀圖像進(jìn)行定量的仿真實(shí)驗(yàn)，其中，圖像的大小為180240。，(a)是前一時(shí)刻參考幀，(b)是當(dāng)前幀抖動(dòng)圖像。 (a)參考幀圖像 (b)當(dāng)前幀圖像 相鄰兩幀圖像兩幀圖像通過直方圖均衡化后，分別對(duì)其進(jìn)行圖像映射，即行、列投影，并且對(duì)投影進(jìn)行余弦濾波的處理。兩幀的行、。其中，(a)表示參考幀的行向量投影曲線，(b)表示當(dāng)前幀的行向量投影圖像，(c)表示參考幀的列向量投影曲線，(d)表示當(dāng)前幀的列向量投影曲線。 (a)參考幀行向量投影曲線 (b)當(dāng)前幀行向量投影曲線 (c)參考幀列向量投影曲線 (d)當(dāng)前幀列向量投影曲線 兩幀行列投影曲線經(jīng)過圖像的行列投影以后，分別對(duì)兩幀的行、列投影進(jìn)行相關(guān)運(yùn)算。取出參考幀的行投影的(21:160)共140個(gè)單位的灰度投影值與當(dāng)前幀的行投影進(jìn)行相關(guān)運(yùn)算，其公式如下： ()其中，和分別表示當(dāng)前幀和參考幀的行向量投影，m表示行向量方向上的搜索范圍(15≤m≤15)。令為最小時(shí)的m值，則垂直方向上的運(yùn)動(dòng)矢量v=。如果v為正，則表示當(dāng)前幀相對(duì)于參考幀向下運(yùn)動(dòng)了v單位的像素；若v為負(fù)，則表示當(dāng)前幀相對(duì)于參考幀向上運(yùn)動(dòng)了|v|單位像素。同理，再對(duì)參考幀和當(dāng)前幀的列投影進(jìn)行相關(guān)運(yùn)算，以200個(gè)單位（21:220）的灰度投影值為例，采用以下公式進(jìn)行計(jì)算： ()其中，和分別表示當(dāng)前幀和參考幀的列向量投影，n為列向量方向上的搜索范圍(15≤n≤15)。令為最小時(shí)的n值，則水平方向上的運(yùn)動(dòng)矢量u=。如果u為正，則表示當(dāng)前幀相對(duì)于參考幀向右運(yùn)動(dòng)了u單位像素；若為負(fù)，則表示當(dāng)前幀相對(duì)于參考幀向左運(yùn)動(dòng)了|u|單位像素。行向量和列向量的相關(guān)函數(shù)曲線，(a)為行向量相關(guān)函數(shù)曲線，(b)為列向量相關(guān)函數(shù)曲線。并且得到了水平方向上的運(yùn)動(dòng)矢量u=13，表示當(dāng)前圖像相對(duì)于參考圖像向右平移了13個(gè)單位；垂直方向上的運(yùn)動(dòng)矢量v=12，表示當(dāng)前圖像相對(duì)于參考圖像向下平移了12個(gè)單位。 (a)行向量相關(guān)函數(shù)曲線 (b)列向量相關(guān)函數(shù)曲線 行、列向量相關(guān)函數(shù)曲線獲得了運(yùn)動(dòng)矢量以后，我們就可以對(duì)當(dāng)前幀進(jìn)行運(yùn)動(dòng)補(bǔ)償，只要沿著獲得的運(yùn)動(dòng)矢量的相反方向平移，就可以得到穩(wěn)定后的圖像。： (a)補(bǔ)償后的圖像 (b)參考圖像與當(dāng)前圖像的差值圖(c)參考圖像與穩(wěn)定后圖像的差值圖 圖像穩(wěn)定補(bǔ)償圖其中，(a)是補(bǔ)償后的結(jié)果圖像，(b)(c)，可看出灰度投影法可以有效地對(duì)具有較大平移的抖動(dòng)圖像補(bǔ)償，具有較好的穩(wěn)像效果。為了從客觀上進(jìn)一步說明灰度投影算法在穩(wěn)像處理上的效果，我們給出了穩(wěn)像處理前后圖像的PSNR值。穩(wěn)像前，而在穩(wěn)像處理后。(2) 連續(xù)多幀圖像的穩(wěn)像為了更好的驗(yàn)證灰度投影算法的優(yōu)良性能，我們對(duì)連續(xù)多幀視頻圖像進(jìn)行穩(wěn)像實(shí)驗(yàn)。 (a)原始視頻序列 (b)穩(wěn)定后的視頻序列(a)序列為原始視頻中第15幀至第18幀的連續(xù)4幀，(b)序列為穩(wěn)定后視頻中同時(shí)刻的圖像。其中，是以14幀為參考幀，分別對(duì)后續(xù)四幀進(jìn)行穩(wěn)像。從補(bǔ)償后的圖像序列可以看出，其與原始的基準(zhǔn)圖像具有較好的相似度，實(shí)現(xiàn)了視頻序列的穩(wěn)定輸出。下面用峰值信噪比PSNR值這一客觀性能指標(biāo)進(jìn)一步對(duì)算法的穩(wěn)像性能