【正文】 ()把（）式代入（）、（）式求解第L層光流場(chǎng)；迭代結(jié)束的條件為滿足預(yù)先給定迭代次數(shù)或估計(jì)誤差。令為L(zhǎng)層初始光流猜測(cè)值，由N1層到L+1層遞推計(jì)算得到。最頂層初始光流猜測(cè)值，為第L層計(jì)算得到的光流結(jié)果，上下層間光流傳遞過(guò)程為，, ()上述遞推過(guò)程自頂向下進(jìn)行，直到第0層計(jì)算完畢并得到最終的光流計(jì)算結(jié)果：. () 實(shí)驗(yàn)結(jié)果及分析為了說(shuō)明本文算法的效果，選用兩組圖像進(jìn)行計(jì)算光流場(chǎng)的實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)象分別選取背景和樹(shù)木都發(fā)生不同幅度運(yùn)動(dòng)的landscape圖像和向右平移和旋轉(zhuǎn)的hand圖像（），并將本文方法與文獻(xiàn)[20]和[49]的算法進(jìn)行比較，從客觀指標(biāo)和主觀視覺(jué)效果兩個(gè)方面進(jìn)行評(píng)價(jià)。運(yùn)動(dòng)估計(jì)評(píng)價(jià)的客觀指標(biāo)通常選用平均匹配殘差，該指標(biāo)能客觀的反映光流場(chǎng)計(jì)算的準(zhǔn)確性[51]。平均匹配殘差可定義為, ()其中、是相鄰兩幀圖像，分別是圖像的長(zhǎng)和寬。為了估計(jì)本文算法的性能，所以我們選用平均匹配殘差作為一個(gè)測(cè)度。本文取12個(gè)方向，6個(gè)尺度的Loggabor濾波器，最小波長(zhǎng)等于8，，通過(guò)對(duì)原始系列圖像進(jìn)行濾波得到特征圖像；然后取4層金字塔，每層中迭代3次來(lái)計(jì)算光流場(chǎng)。根據(jù)()式。表 實(shí)驗(yàn)結(jié)果的mean對(duì)比表圖像Horn光流法段等光流法本文算法landscapehand，本文算法得到的匹配殘差比文獻(xiàn)[20]中Hornamp。schunck算法和文獻(xiàn)[29]中段先華等人的算法平均殘差明顯減少，說(shuō)明本文算法計(jì)算光流精度更高。原因主要有兩點(diǎn)，一是用對(duì)數(shù)濾波器對(duì)圖像進(jìn)行濾波后獲得的特征圖像具有較高的適合視覺(jué)特性的空間分辨率，空間梯度比較好，再用時(shí)空梯度計(jì)算光流較精確。二是運(yùn)用圖像金字塔框架分層計(jì)算光流，把圖像大幅度的運(yùn)動(dòng)通過(guò)采樣變?yōu)榉瞎饬骷僭O(shè)條件的平滑運(yùn)動(dòng)，平滑的越好，光流計(jì)算也就越精確。 (a)原第一幀 (b)原第二幀 (c)Horn殘差 (d)段殘差 (e)本文算法殘差 (e)Horn光流場(chǎng) (f)段光流場(chǎng) (g)本文算法光流場(chǎng) 圖 Landscape系列圖像的運(yùn)動(dòng)估計(jì)光流場(chǎng)及匹配殘差圖 (a)原第一幀 (b)原第二幀 (c)Horn殘差 (d)段殘差 (e)本文算法殘差 (f)Horn光流場(chǎng) (g)段等光流場(chǎng) (h)本文算法光流場(chǎng)圖 hand圖像的運(yùn)動(dòng)估計(jì)光流場(chǎng)及匹配殘差圖 、(c)、(d)、(e)殘差圖，亮度區(qū)域越大且亮度越亮，殘差越大。對(duì)比可以看出，本文算法殘差較小，且較大殘差的分布更為隨機(jī)，說(shuō)明本文算法計(jì)算的光流矢量更準(zhǔn)確，使圖像恢復(fù)的精確性得以提高。(a)、(b)知樹(shù)離攝像機(jī)鏡頭較近，背景較遠(yuǎn)，當(dāng)攝像機(jī)角度向右轉(zhuǎn)動(dòng)時(shí)，樹(shù)向左位移較大，背景向左位移較小。從(f)、(g)、(h)三種方法的光流場(chǎng)可以看出，(f)描述不同運(yùn)動(dòng)幅度運(yùn)動(dòng)有較大誤差，(g)有一定的改善，而本文方法的光流場(chǎng)能較好的描繪出樹(shù)的運(yùn)動(dòng)速度較大，背景運(yùn)動(dòng)速度較小，且光流較準(zhǔn)確；(a)、(b)可以看出，手是向右移動(dòng)且向右下有一定轉(zhuǎn)動(dòng)。比較(f)、(g)、(h)光流場(chǎng)可知，本文算法的光流場(chǎng)能更形象的描繪出手的揮動(dòng)，且光流更精確。 本章小結(jié)本章給出了一種新的基于梯度優(yōu)化的不同幅度運(yùn)動(dòng)的視頻圖像光流估計(jì)算法。用Loggabor對(duì)數(shù)濾波器對(duì)原始系列圖像進(jìn)行濾波，得到符合人眼對(duì)數(shù)視覺(jué)特性和較高分辨率的特征圖像，再用新特征圖像計(jì)算梯度；對(duì)有不同幅度運(yùn)動(dòng)或有較大運(yùn)動(dòng)不連續(xù)的系列圖像，用金字塔分層的方法使較大運(yùn)動(dòng)在低分辨率圖像上變得平滑，從而準(zhǔn)確計(jì)算出光流場(chǎng)。實(shí)驗(yàn)表明該算法與Horn和Schunck光流法、段先華等光流法相比，平均匹配殘差明顯減小，光流運(yùn)動(dòng)估計(jì)參數(shù)計(jì)算也更精確。隨著計(jì)算機(jī)硬件性能的提高，使用該光流估計(jì)算法在線實(shí)時(shí)處理圖像是下一步的研究工作。重慶郵電大學(xué)碩士論文 第四章 一種基于兩步運(yùn)動(dòng)估計(jì)的系列圖像匹配算法第四章 一種基于兩步運(yùn)動(dòng)估計(jì)的系列圖像匹配算法 引言系列圖像匹配就是將相鄰幀圖像進(jìn)行比較，以確定圖像間目標(biāo)或點(diǎn)的對(duì)應(yīng)關(guān)系或相對(duì)變形。這一問(wèn)題是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)，被廣泛應(yīng)用于數(shù)字視頻圖像的壓縮編碼、電子穩(wěn)像技術(shù)、醫(yī)學(xué)圖像分析等等。總結(jié)有關(guān)系列圖像匹配的方法[2,52],主要分為基于形狀匹配的方法和基于運(yùn)動(dòng)預(yù)測(cè)的方法。其中基于形狀匹配的方法就是處理由各種變換引起的形狀變化，如仿射變換法、多項(xiàng)式變換法等?；谶\(yùn)動(dòng)預(yù)測(cè)的方法是利用物體的運(yùn)動(dòng)特性，預(yù)測(cè)目標(biāo)在下一幀中的位置和形變，主要包括光流法和塊匹配法等?；谛螤钇ヅ涞姆律渥儞Q方法由于能夠準(zhǔn)確的把發(fā)生了較大平移、旋轉(zhuǎn)、縮放、對(duì)稱、錯(cuò)切變換及它們的復(fù)合變換的圖像進(jìn)行匹配，被越來(lái)越多的學(xué)者研究和應(yīng)用，其參數(shù)越多意味著匹配目標(biāo)越準(zhǔn)確，文獻(xiàn)[21]提出可以根據(jù)不同的需要靈活的選用不同的參數(shù)模型。但是當(dāng)圖像或目標(biāo)有遮擋、局部扭曲、彈性變形等復(fù)雜形變時(shí)，常常有很大的匹配誤差。根據(jù)文獻(xiàn)[20，23]，基于運(yùn)動(dòng)預(yù)測(cè)的光流法最大優(yōu)點(diǎn)就是可以求得光流場(chǎng)，表示出相鄰圖像中一幅圖像的每個(gè)像素點(diǎn)在另一幅圖像中的具體映射位置，從而克服了基于形狀匹配的方法的不足[31,53]。但是對(duì)像素灰度不變區(qū)域運(yùn)動(dòng)估計(jì)的精度存在問(wèn)題，大位移的運(yùn)動(dòng)目標(biāo)匹配甚至失敗等。于是，有很多研究人員把這兩種方法進(jìn)行融合，得到了許多改進(jìn)的模型，但是有的方法計(jì)算的最終結(jié)果不是回歸到了基于形狀匹配的全局估計(jì)參數(shù)[54]，就是變成文獻(xiàn)[51]中提出的基于運(yùn)動(dòng)估計(jì)的矢量場(chǎng)。到目前為止，真正把這兩種方法結(jié)合起來(lái)同時(shí)處理系列圖像的精確匹配問(wèn)題的研究還比較少。為此，我們以光流法（Optical Flow）為基礎(chǔ)，結(jié)合簡(jiǎn)化的仿射變換(Simplified Affine Transform)模型，提出一種新的系列圖像匹配算法，稱為SAT_OF算法。本算法分為兩個(gè)步驟：第一步推導(dǎo)計(jì)算簡(jiǎn)化仿射變換參數(shù)，得到圖像的全局粗略估計(jì)；第二步再利用光流松弛迭代求解公式計(jì)算粗略估計(jì)圖像與模板圖像的光流場(chǎng)，進(jìn)一步得到比較精確匹配的圖像。 為了改善相鄰圖像間有較大位移計(jì)算的精度，建立了多尺度空間迭代算法。實(shí)驗(yàn)結(jié)果表明，我們的方法在匹配精度上明顯優(yōu)于以往的方法。 基于兩步運(yùn)動(dòng)估計(jì)的匹配算法 仿射運(yùn)動(dòng)估計(jì)假如取視頻系列圖像中相鄰兩幀分別為I1和I2，為了減少全局運(yùn)動(dòng)估計(jì)的計(jì)算量，提高估計(jì)速度，我們考慮到系列圖像一般大小是相同的，即II2每一對(duì)應(yīng)的維數(shù)值相等。所以這里認(rèn)為攝相機(jī)先只有沿著平行于目標(biāo)的方向移動(dòng)和轉(zhuǎn)動(dòng)，從而運(yùn)用簡(jiǎn)化的仿射變換模型：, ()由上式可知，圖像只有旋轉(zhuǎn)和平移。為了便于求解，令, ()于是（）式變?yōu)榱硪环N方程組形式, ()把上式中第一個(gè)方程兩邊同時(shí)減去，第二個(gè)方程兩邊同時(shí)減去，并用速度近似代替位移，有下式成立：. ()這樣可以利用光流法計(jì)算簡(jiǎn)化仿射變換參數(shù)，避免了文獻(xiàn)[21]中使用迭代的最小二乘方法計(jì)算復(fù)雜和計(jì)算量大的問(wèn)題，現(xiàn)在我們推導(dǎo)簡(jiǎn)單直接的計(jì)算過(guò)程。根據(jù)Horn schunk在文獻(xiàn)[20]中提出的時(shí)空2D模型，同一個(gè)像素點(diǎn)在時(shí)刻位置的強(qiáng)度與在時(shí)刻位置的強(qiáng)度應(yīng)該相等,即：, ()根據(jù)圖像運(yùn)動(dòng)場(chǎng)基本平滑變化，函數(shù)中變量具有連續(xù)性，可將上式右邊在點(diǎn)按Taylor公式展開(kāi)，計(jì)算后得：, ()其中，令以上方程變?yōu)榱硪环N形式：, ()上式就是基本的光流約束方程，它反映了圖像時(shí)間梯度和空間梯度之間的時(shí)空微分關(guān)系，表示圖像強(qiáng)度對(duì)時(shí)間變化率等于強(qiáng)度的空間變化率與運(yùn)動(dòng)速度的乘積。把式（）代入式（）并進(jìn)行整理得超定方程：, ()為了計(jì)算參數(shù)，令把方程（）寫成向量形式： , ()上式中若令，, , ，同時(shí)將上式等號(hào)兩邊左乘以得矩陣方程：, ()如果非奇異，就可以得方程（）的唯一解，否則在實(shí)際應(yīng)用中設(shè)此方程的解為零。由矩陣元素分析知，只要圖像不是完全平坦光滑，總是可以求出所得的解：, ()我們把（）式求得的代入（）式，計(jì)算出進(jìn)行粗略估計(jì)的全局運(yùn)動(dòng)參數(shù)，一直迭代到圖像金字塔的最高層。至此可以對(duì)圖像進(jìn)行簡(jiǎn)化的仿射變換，得到粗略匹配圖像。 光流運(yùn)動(dòng)估計(jì)為了計(jì)算上一步所估計(jì)圖像與模板圖像I2的局部運(yùn)動(dòng)和各種形變的估計(jì)參數(shù)，且解決光流計(jì)算的不適定問(wèn)題，楊勇[55]等將二維標(biāo)號(hào)場(chǎng)引入光流運(yùn)動(dòng)估計(jì)中，使光流估計(jì)算法得到極大優(yōu)化。, ()式中為附加約束平滑條件，且為大1的常數(shù)。是與標(biāo)號(hào)場(chǎng)有關(guān)的量，先計(jì)算相鄰幀k與k+1的幀間差：, ()由于噪聲的存在，未變化區(qū)域FD不一定為0，選最優(yōu)化閾值T[56]得標(biāo)號(hào)場(chǎng)： , ()于是的值為： , ()（）式實(shí)際上是泛函的極值問(wèn)題，可用變分法求得兩個(gè)歐拉方程, 得到如下的松弛迭代求解公式： , () . ()對(duì)全部值，當(dāng)達(dá)到預(yù)先設(shè)定的最大迭代次數(shù)或結(jié)果滿足事先給定的估計(jì)容差，迭代計(jì)算結(jié)束，最終得出光流場(chǎng)，可以用來(lái)進(jìn)行圖像和I2匹配，得到最終結(jié)果匹配圖像，基本解決了局部運(yùn)動(dòng)和彈性形變部分沒(méi)有得到匹配的問(wèn)題。從這兩步的求解過(guò)程可以看出，我們不需要對(duì)圖像進(jìn)行分割和目標(biāo)提取，使匹配的過(guò)程更加簡(jiǎn)單，大大提高了算法效率。 SAT_OF算法模型：NoInitiationSecond step First step OutputYeslayer3圖 兩步運(yùn)動(dòng)估計(jì)的算法結(jié)構(gòu) 實(shí)驗(yàn)結(jié)果分析為了說(shuō)明SAT_OF匹配算法的效果，我們基于Matlab ，選用兩組圖像進(jìn)行匹配實(shí)驗(yàn)：向右平移和旋轉(zhuǎn)的hand圖像（）；圖像和樹(shù)木都發(fā)生不同運(yùn)動(dòng)的landscape圖像（）。比較的模型算法，在橫向比較上選用了已有的Horn光流圖像匹配算法；在縱向比較分析中選用仿射匹配算法。我們?nèi)〗鹱炙訑?shù)為3層，迭代次數(shù)n=20,，加權(quán)系數(shù)＝25，、以(b)中第二幀圖像作為模板圖，根據(jù)運(yùn)動(dòng)估計(jì)復(fù)原后的圖像，可以看出本文算法計(jì)算的圖像與模板圖最接近。而根據(jù)運(yùn)動(dòng)估計(jì)復(fù)原后的圖像與模板圖的匹配殘差圖，本文算法的效果更加明顯，比由仿射變換和Horn光流法復(fù)原的圖像匹配精度更高，且較大殘差的分布更為隨機(jī)，這對(duì)于由圖像運(yùn)動(dòng)的位移信息作圖像恢復(fù)有利。(c)與(b)對(duì)比可知，因圖像中手只有平移和小角度的旋轉(zhuǎn)，通過(guò)仿射變換進(jìn)行運(yùn)動(dòng)估計(jì)已經(jīng)比較準(zhǔn)確，光流法再修正就比較少，這符合我們簡(jiǎn)化的仿射變換模型的理論分析。 (a)原第一幀 (b)原第二幀 (c)仿射變換法 (d) Horn光流法 (e)本文方法 (f) 圖(c)、圖(b)灰度差 (g) 圖(d)、圖(b)灰度差 (h) 圖(e)、圖(b)灰度差圖 hand圖像的運(yùn)動(dòng)估計(jì)匹配及灰度差圖像 (a)原第一幀 (b)原第二幀 (c)仿射變換法 (d) Horn光流法 (e)本文方法 (f) 圖(c)、圖(b)灰度差 (g) 圖(d)、圖(b)灰度差 (h) 圖(e)、圖(b)灰度差圖 landscape圖像的運(yùn)動(dòng)估計(jì)匹配及灰度差圖像客觀結(jié)果評(píng)價(jià)參數(shù)我們選用平均灰度差（Mean），參數(shù)的計(jì)算公式為：. （）上式中，以為模板圖像，在計(jì)算時(shí)分別被原始第一幀、仿射變換、Horn光流法、本文算法經(jīng)運(yùn)動(dòng)估計(jì)后復(fù)原的圖像所代替，M、N分別是圖像的長(zhǎng)和寬。表 實(shí)驗(yàn)結(jié)果的Mean對(duì)比表 由表 知，從縱向比較可以看出，本文算法與仿射變換得到的平均灰度差相比，有明顯減少，這與SA