【正文】 的反映光流場計算的準(zhǔn)確性[51]。平均匹配殘差可定義為, ()其中、是相鄰兩幀圖像，分別是圖像的長和寬。為了估計本文算法的性能，所以我們選用平均匹配殘差作為一個測度。本文取12個方向，6個尺度的Loggabor濾波器，最小波長等于8，，通過對原始系列圖像進行濾波得到特征圖像；然后取4層金字塔，每層中迭代3次來計算光流場。根據(jù)()式。表 實驗結(jié)果的mean對比表圖像Horn光流法段等光流法本文算法landscapehand，本文算法得到的匹配殘差比文獻[20]中Hornamp。schunck算法和文獻[29]中段先華等人的算法平均殘差明顯減少，說明本文算法計算光流精度更高。原因主要有兩點，一是用對數(shù)濾波器對圖像進行濾波后獲得的特征圖像具有較高的適合視覺特性的空間分辨率，空間梯度比較好，再用時空梯度計算光流較精確。二是運用圖像金字塔框架分層計算光流，把圖像大幅度的運動通過采樣變?yōu)榉瞎饬骷僭O(shè)條件的平滑運動，平滑的越好，光流計算也就越精確。 (a)原第一幀 (b)原第二幀 (c)Horn殘差 (d)段殘差 (e)本文算法殘差 (e)Horn光流場 (f)段光流場 (g)本文算法光流場 圖 Landscape系列圖像的運動估計光流場及匹配殘差圖 (a)原第一幀 (b)原第二幀 (c)Horn殘差 (d)段殘差 (e)本文算法殘差 (f)Horn光流場 (g)段等光流場 (h)本文算法光流場圖 hand圖像的運動估計光流場及匹配殘差圖 、(c)、(d)、(e)殘差圖，亮度區(qū)域越大且亮度越亮，殘差越大。對比可以看出，本文算法殘差較小，且較大殘差的分布更為隨機，說明本文算法計算的光流矢量更準(zhǔn)確，使圖像恢復(fù)的精確性得以提高。(a)、(b)知樹離攝像機鏡頭較近，背景較遠(yuǎn)，當(dāng)攝像機角度向右轉(zhuǎn)動時，樹向左位移較大，背景向左位移較小。從(f)、(g)、(h)三種方法的光流場可以看出，(f)描述不同運動幅度運動有較大誤差，(g)有一定的改善，而本文方法的光流場能較好的描繪出樹的運動速度較大，背景運動速度較小，且光流較準(zhǔn)確；(a)、(b)可以看出，手是向右移動且向右下有一定轉(zhuǎn)動。比較(f)、(g)、(h)光流場可知，本文算法的光流場能更形象的描繪出手的揮動，且光流更精確。 本章小結(jié)本章給出了一種新的基于梯度優(yōu)化的不同幅度運動的視頻圖像光流估計算法。用Loggabor對數(shù)濾波器對原始系列圖像進行濾波，得到符合人眼對數(shù)視覺特性和較高分辨率的特征圖像，再用新特征圖像計算梯度；對有不同幅度運動或有較大運動不連續(xù)的系列圖像，用金字塔分層的方法使較大運動在低分辨率圖像上變得平滑，從而準(zhǔn)確計算出光流場。實驗表明該算法與Horn和Schunck光流法、段先華等光流法相比，平均匹配殘差明顯減小，光流運動估計參數(shù)計算也更精確。隨著計算機硬件性能的提高，使用該光流估計算法在線實時處理圖像是下一步的研究工作。第四章 一種基于兩步運動估計的系列圖像匹配算法 引言系列圖像匹配就是將相鄰幀圖像進行比較，以確定圖像間目標(biāo)或點的對應(yīng)關(guān)系或相對變形。這一問題是圖像處理和計算機視覺領(lǐng)域研究的熱點，被廣泛應(yīng)用于數(shù)字視頻圖像的壓縮編碼、電子穩(wěn)像技術(shù)、醫(yī)學(xué)圖像分析等等?？偨Y(jié)有關(guān)系列圖像匹配的方法[2,52],主要分為基于形狀匹配的方法和基于運動預(yù)測的方法。其中基于形狀匹配的方法就是處理由各種變換引起的形狀變化，如仿射變換法、多項式變換法等?；谶\動預(yù)測的方法是利用物體的運動特性，預(yù)測目標(biāo)在下一幀中的位置和形變，主要包括光流法和塊匹配法等。基于形狀匹配的仿射變換方法由于能夠準(zhǔn)確的把發(fā)生了較大平移、旋轉(zhuǎn)、縮放、對稱、錯切變換及它們的復(fù)合變換的圖像進行匹配，被越來越多的學(xué)者研究和應(yīng)用，其參數(shù)越多意味著匹配目標(biāo)越準(zhǔn)確，文獻[21]提出可以根據(jù)不同的需要靈活的選用不同的參數(shù)模型。但是當(dāng)圖像或目標(biāo)有遮擋、局部扭曲、彈性變形等復(fù)雜形變時，常常有很大的匹配誤差。根據(jù)文獻[20，23]，基于運動預(yù)測的光流法最大優(yōu)點就是可以求得光流場，表示出相鄰圖像中一幅圖像的每個像素點在另一幅圖像中的具體映射位置，從而克服了基于形狀匹配的方法的不足[31,53]。但是對像素灰度不變區(qū)域運動估計的精度存在問題，大位移的運動目標(biāo)匹配甚至失敗等。于是，有很多研究人員把這兩種方法進行融合，得到了許多改進的模型，但是有的方法計算的最終結(jié)果不是回歸到了基于形狀匹配的全局估計參數(shù)[54]，就是變成文獻[51]中提出的基于運動估計的矢量場。到目前為止，真正把這兩種方法結(jié)合起來同時處理系列圖像的精確匹配問題的研究還比較少。為此，我們以光流法（Optical Flow）為基礎(chǔ)，結(jié)合簡化的仿射變換(Simplified Affine Transform)模型，提出一種新的系列圖像匹配算法，稱為SAT_OF算法。本算法分為兩個步驟：第一步推導(dǎo)計算簡化仿射變換參數(shù)，得到圖像的全局粗略估計；第二步再利用光流松弛迭代求解公式計算粗略估計圖像與模板圖像的光流場，進一步得到比較精確匹配的圖像。 為了改善相鄰圖像間有較大位移計算的精度，建立了多尺度空間迭代算法。實驗結(jié)果表明，我們的方法在匹配精度上明顯優(yōu)于以往的方法。 基于兩步運動估計的匹配算法 仿射運動估計假如取視頻系列圖像中相鄰兩幀分別為I1和I2，為了減少全局運動估計的計算量，提高估計速度，我們考慮到系列圖像一般大小是相同的，即II2每一對應(yīng)的維數(shù)值相等。所以這里認(rèn)為攝相機先只有沿著平行于目標(biāo)的方向移動和轉(zhuǎn)動，從而運用簡化的仿射變換模型：, ()由上式可知，圖像只有旋轉(zhuǎn)和平移。為了便于求解，令, ()于是（）式變?yōu)榱硪环N方程組形式, ()把上式中第一個方程兩邊同時減去，第二個方程兩邊同時減去，并用速度近似代替位移，有下式成立：. ()這樣可以利用光流法計算簡化仿射變換參數(shù)，避免了文獻[21]中使用迭代的最小二乘方法計算復(fù)雜和計算量大的問題，現(xiàn)在我們推導(dǎo)簡單直接的計算過程。根據(jù)Horn schunk在文獻[20]中提出的時空2D模型，同一個像素點在時刻位置的強度與在時刻位置的強度應(yīng)該相等,即：, ()根據(jù)圖像運動場基本平滑變化，函數(shù)中變量具有連續(xù)性，可將上式右邊在點按Taylor公式展開，計算后得：, ()其中，令以上方程變?yōu)榱硪环N形式：, ()上式就是基本的光流約束方程，它反映了圖像時間梯度和空間梯度之間的時空微分關(guān)系，表示圖像強度對時間變化率等于強度的空間變化率與運動速度的乘積。把式（）代入式（）并進行整理得超定方程：, ()為了計算參數(shù)，令把方程（）寫成向量形式： , ()上式中若令，, , ，同時將上式等號兩邊左乘以得矩陣方程：, ()如果非奇異，就可以得方程（）的唯一解，否則在實際應(yīng)用中設(shè)此方程的解為零。由矩陣元素分析知，只要圖像不是完全平坦光滑，總是可以求出所得的解：, ()我們把（）式求得的代入（）式，計算出進行粗略估計的全局運動參數(shù)，一直迭代到圖像金字塔的最高層。至此可以對圖像進行簡化的仿射變換，得到粗略匹配圖像。 光流運動估計為了計算上一步所估計圖像與模板圖像I2的局部運動和各種形變的估計參數(shù)，且解決光流計算的不適定問題，楊勇[55]等將二維標(biāo)號場引入光流運動估計中，使光流估計算法得到極大優(yōu)化。, ()式中為附加約束平滑條件，且為大1的常數(shù)。是與標(biāo)號場有關(guān)的量，先計算相鄰幀k與k+1的幀間差：, ()由于噪聲的存在，未變化區(qū)域FD不一定為0，選最優(yōu)化閾值T[56]得標(biāo)號場： , ()于是的值為： , ()（）式實際上是泛函的極值問題，可用變分法求得兩個歐拉方程, 得到如下的松弛迭代求解公式： , () . ()對全部值，當(dāng)達到預(yù)先設(shè)定的最大迭代次數(shù)或結(jié)果滿足事先給定的估計容差，迭代計算結(jié)束，最終得出光流場，可以用來進行圖像和I2匹配，得到最終結(jié)果匹配圖像，基本解決了局部運動和彈性形變部分沒有得到匹配的問題。從這兩步的求解過程可以看出，我們不需要對圖像進行分割和目標(biāo)提取，使匹配的過程更加簡單，大大提高了算法效率。 SAT_OF算法模型：NoInitiationSecond step First step OutputYeslayer3圖 兩步運動估計的算法結(jié)構(gòu) 實驗結(jié)果分析為了說明SAT_OF匹配算法的效果，我們基于Matlab ，選用兩組圖像進行匹配實驗：向右平移和旋轉(zhuǎn)的hand圖像（）；圖像和樹木都發(fā)生不同運動的landscape圖像（）。比較的模型算法，在橫向比較上選用了已有的Horn光流圖像匹配算法；在縱向比較分析中選用仿射匹配算法。我們?nèi)〗鹱炙訑?shù)為3層，迭代次數(shù)n=20,，加權(quán)系數(shù)＝25，、以(b)中第二幀圖像作為模板圖，根據(jù)運動估計復(fù)原后的圖像，可以看出本文算法計算的圖像與模板圖最接近。而根據(jù)運動估計復(fù)原后的圖像與模板圖的匹配殘差圖，本文算法的效果更加明顯，比由仿射變換和Horn光流法復(fù)原的圖像匹配精度更高，且較大殘差的分布更為隨機，這對于由圖像運動的位移信息作圖像恢復(fù)有利。(c)與(b)對比可知，因圖像中手只有平移和小角度的旋轉(zhuǎn)，通過仿射變換進行運動估計已經(jīng)比較準(zhǔn)確，光流法再修正就比較少，這符合我們簡化的仿射變換模型的理論分析。 (a)原第一幀 (b)原第二幀 (c)仿射變換法 (d) Horn光流法 (e)本文方法 (f) 圖(c)、圖(b)灰度差 (g) 圖(d)、圖(b)灰度差 (h) 圖(e)、圖(b)灰度差圖 hand圖像的運動估計匹配及灰度差圖像 (a)原第一幀 (b)原第二幀 (c)仿射變換法 (d) Horn光流法 (e)本文方法 (f) 圖(c)、圖(b)灰度差 (g) 圖(d)、圖(b)灰度差 (h) 圖(e)、圖(b)灰度差圖 landscape圖像的運動估計匹配及灰度差圖像客觀結(jié)果評價參數(shù)我們選用平均灰度差（Mean），參數(shù)的計算公式為：. （）上式中，以為模板圖像，在計算時分別被原始第一幀、仿射變換、Horn光流法、本文算法經(jīng)運動估計后復(fù)原的圖像所代替，M、N分別是圖像的長和寬。表 實驗結(jié)果的Mean對比表 由表 知，從縱向比較可以看出，本文算法與仿射變換得到的平均灰度差相比，有明顯減少，這與SAT_OF算法的理論分析是相一致的，由仿射變換先對全局運動作概略的估計，再由光流法對局部的運動和形變進行估計而得到的匹配精度有很大提高；從橫向來看，雖然Horn光流法能夠完成精度比較高的匹配，但是經(jīng)本文兩步運動估計之后，平均灰度差較Horn光流法有明顯減少，從而說明用本文算法計算的運動估計參數(shù)來匹配復(fù)原圖像效果更好。 本章小結(jié)本文給出了用兩步運動估計參數(shù)來對視頻系列圖像作復(fù)原匹配的算法，先用仿射變換粗略估計運動參數(shù)，然后用光流法進一步精確估計。在推導(dǎo)仿射變換參數(shù)的過程中我們用了有別于以前最小二乘方法的方程解法，大大降低了計算的復(fù)雜性。實驗表明：本文的兩步運動估計更準(zhǔn)確，得到的平均灰度差明顯減小。但是，本文算法因建立在光流法運動估計基礎(chǔ)之上，由于存在平滑約束條件和多次迭代，導(dǎo)致運動估計結(jié)果圖像有一定的模糊，這對匹配算法是不利的，所以提高匹配后圖像的質(zhì)量是本文下一步所要研究的工作。第五章 總結(jié)及未來的工作 總