【文章內(nèi)容簡介】 （）基中，為的實數(shù)矩陣，.4） 非線性變換非線性變換把直線變換為曲線。這種變換一般不能簡單地用矩陣來表示，通常采用多項式函數(shù)、指數(shù)函數(shù)等來表示。非線性變換主要用于組織結(jié)構(gòu)較軟的易發(fā)生形變的非剛性物體圖像的匹配。 根據(jù)相鄰兩幅圖像發(fā)生變換的類型，可以把圖像系列匹配分為剛性匹配和非剛性匹配兩類。 剛性匹配方法剛體圖像匹配的變換模型主要是全局剛體變換，即：由旋轉(zhuǎn)和平移變換組成。如果采用圖像的質(zhì)心和主軸作為圖像的參考特征，通過一次運(yùn)算就確定變換參數(shù)，有其速度快、易實現(xiàn)和全自動化的優(yōu)點(diǎn)。主軸匹配法[34]就是通過平移使圖像的質(zhì)心對齊后，再通過對齊主軸方向的方法來實現(xiàn)圖像的匹配。假設(shè)相鄰兩幀圖像中需匹配的目標(biāo)部分只是發(fā)生了剛性體變換，為了實現(xiàn)兩幀圖像的匹配，首先把圖像進(jìn)行預(yù)處理，使兩圖中的目標(biāo)部分同背景部分分割開來，形成二值圖像和，再這兩個二值圖像作為匹配的輸入，通過下述方法進(jìn)行計算，得出旋轉(zhuǎn)矩陣角度參數(shù)和位移參數(shù)和。對于二值圖像和，將目標(biāo)圖像中的目標(biāo)像素點(diǎn)作為一個點(diǎn)集，圖像中目標(biāo)的像素點(diǎn)作為點(diǎn)集，. 對于這兩個點(diǎn)集，分別計算和的質(zhì)心（）和協(xié)方差矩陣和（）: , () . ()顯然矩陣和都是二階實對稱矩陣，故可分解為以下形式， , （）基中，和是矩陣的特征值，且，矩陣的列向量是與特征值對應(yīng)的單位特征向量，它們就是主軸的方向，同理。這樣就可以得到旋轉(zhuǎn)矩陣，并通過反正弦或反余弦函數(shù)求得，再同兩圖像質(zhì)心之差求得位移參數(shù). 這樣，通過使用變換參數(shù)對原相鄰第一幀圖像進(jìn)行空間變換即可得到第一幀圖像向第二幀圖像匹配結(jié)果。在理論上只要待匹配圖像中的目標(biāo)相同，就可以達(dá)到較高質(zhì)量的匹配結(jié)果，但在實際中，由于獲得圖像的時間不同或者其他條件不同，圖像中的目標(biāo)要達(dá)到完全相同是十分困難的。這類剛性圖像匹配的最大缺點(diǎn)就是匹配精度不高。 非剛性匹配方法由于在實際應(yīng)用中，圖像系列之間的變換是很復(fù)雜的，剛性圖像匹配方法雖然簡單、快速，但是只能適用于在存在變形或剛性體的匹配。許多重要的應(yīng)用需要非剛性變換來描述圖像之間的空間關(guān)系。任何非剛性匹配方法都可以由以下三部分來描述[35]。1）聯(lián)系源圖像和目標(biāo)圖像的空間變換。2）測量目標(biāo)圖像和源圖像相似性的相似性測度。3）決定最優(yōu)變換參數(shù)的優(yōu)化方法。非剛性圖像匹配方法主要有基于空間變換的匹配方法和基于物理模型的匹配方法兩大類[36]。1) 基于空間變換的非剛性匹配方法，采用圖像的空間變換來擬合圖像的變形。Joseph和David在文獻(xiàn)[35]中提出了使用多項式和基函數(shù)來進(jìn)行非剛性圖像的匹配?；诙味囗検降淖儞Q模型為： , （）系數(shù)確定了一個空間變換的30個自由度。代替（）中使用多項式作為高次項的線性組合，也可以使用一組基函數(shù)的線性組合來描述變形場。通常用一組正交的基函數(shù)，如傅立葉（三角）基函數(shù)或小波基函數(shù)的線性組合描述變形場。樣條最初是指用長的柔性木條或金屬條模擬船和飛機(jī)的表面，這些樣條通過沿著它的長度附加不同的權(quán)重發(fā)生彎曲。類似的，可以將樣條函數(shù)用于模擬圖像的空間變換。Rohr等人[37]提出了薄板樣條彈性匹配的近似方法。薄板樣條插值可以定義為：, （）其中，. 這是金屬板在載荷下無限延伸變形在點(diǎn)的方程。在強(qiáng)加載荷作用下薄板發(fā)撓曲。作用類似剛度函數(shù)，當(dāng)接的零時，載荷接近點(diǎn)載荷，當(dāng)增加時，載荷開始更寬分布產(chǎn)生光滑表面。采用近似薄板樣條，能夠克服控制點(diǎn)對之間的各向同性及各向異性誤差。但很難模擬局部變形，不適合具有局部幾何差異的圖像匹配。同薄板樣條相比，B 樣條可以控制局部變形，改變控制點(diǎn)只影響它附近局部鄰域的形狀改變[38]。2）基于物理模型的匹配方法，圖像之間的差異被認(rèn)為是由某種物理變形引起的，基于物理模型的匹配方法就是構(gòu)造能夠擬合這種變形的物理模型。首先，由Bajcsy等人[39]提出，用于大腦圖譜和人體CT圖像的匹配。思路是將源圖像目標(biāo)圖像的變形過程建模為一個物理過程，類似于拉伸一個諸如橡皮的彈性材料。彈性體的變形可以由Navier線性偏微分方程來描述：, （）為變形場，表示在方向上的位，為作于彈性體的外力，為梯度算子，為拉普拉斯算子。參數(shù)和是描述彈性體行為的Lam233。彈性常數(shù)。其次，Christensen等人[40]提出了粘性流體模型。在流體匹配中，源圖像被建模為粘性流體，流體在內(nèi)力的作用下去擬合待匹配的圖像。流動變形用Eulerian坐標(biāo)系來描述，流體匹配的變形可由NavierStokes偏微分方程表示為：, （）除了微分是作用于速度場而不是位移場之外，方程（）同方程（）是類似的。粘性流體模型允許大變形，原則上它可以實現(xiàn)任何復(fù)雜的形變。 最后，基于光流場模型的圖像匹配方法[41]最初是在計算機(jī)視覺中提出的，主要是為了補(bǔ)償時序圖像的兩幅連續(xù)幀之間物體和視點(diǎn)的相對運(yùn)動。關(guān)于光流場模型的理論將在第二章詳細(xì)介紹。 小結(jié) 通過前面對剛性匹配和非剛性匹配調(diào)查和分析可知，剛性匹配是基于剛性變換基礎(chǔ)上的一種快速的匹配方法，但是用剛性變換很難真正模擬圖像系列物體之間的運(yùn)動變化，因此匹配精度不高，在應(yīng)用中只是一小部分。非剛性匹配是基于各種非線性變換和物理形變模型的基礎(chǔ)上的圖像系列匹配方法，同剛性變換相比，這些非線性變換和物理形變模型能夠模擬許多圖像系列物體之間的運(yùn)動變化。但是非剛性匹配對于物體運(yùn)動有較大的不連續(xù)時計算精度需要進(jìn)一步提高，對非剛性匹配的評估也需要進(jìn)一步研究。針對這種情況，本文第四章提出了一種將剛性變換和非剛性變換相結(jié)合的系列圖像匹配方法，即一種基于兩步運(yùn)動估計的系列圖像匹配算法。因此，很大程度上解決了匹配精度不高的問題，而且能實現(xiàn)自動匹配。 論文主要工作光流運(yùn)動估計與匹配方法研究課題有著廣泛的應(yīng)用前景，可以應(yīng)用于通信領(lǐng)域、生物學(xué)研究和醫(yī)學(xué)診斷領(lǐng)域、工業(yè)自動化領(lǐng)域。此外，在軍事、交通運(yùn)輸、場景監(jiān)視、氣象科學(xué)研究和氣象預(yù)報、航空航天和飛行控制的虛擬現(xiàn)實、微觀領(lǐng)域等均有廣泛應(yīng)用。因此，論文分別分析了圖像系列的光流運(yùn)動估計和匹配技術(shù)的研究現(xiàn)狀，提出了基于梯度優(yōu)化的多尺度視頻光流估計和一種基于兩步運(yùn)動估計的系列圖像匹配算法，并對這些算法進(jìn)行了仿真試驗。本文所做的工作是重慶市自然科學(xué)基金項目《非線性擴(kuò)散方程（組）解的性質(zhì)及其在圖像處理中的應(yīng)用》（CSTC 2007BB2450）的部分工作，論文提出的一些新算法得益于該項目的研究成果。1)提出了一種基于梯度優(yōu)化的多尺度視頻光流估計方法。該方法基于Loggabor波波器對原相鄰幀圖像進(jìn)行不同相位、尺度濾波，用所得的特征圖像計算新的時空梯度，然后在金字塔框架下，對HS光流模型方程進(jìn)行求解，計算出精確的光流場。仿真實驗結(jié)果表明，該算法具有適用于大幅度的視頻運(yùn)動估計的特點(diǎn)，不僅能得到適合人眼視覺分辨率特性的圖像，而且使時空梯度更加優(yōu)化，光流計算更準(zhǔn)確。且在時間復(fù)雜度上與傳統(tǒng)光流計算方法相當(dāng)。相關(guān)研究成果已投《重慶大學(xué)學(xué)報》，現(xiàn)在正處于該刊審稿階段。2)以光流法為基礎(chǔ)，結(jié)合簡化的仿射變換模型，提出了一種基于兩步運(yùn)動估計的系列圖像匹配算法——SAT_OF算法[42]。該算法彌補(bǔ)了傳統(tǒng)圖像匹配方法的不足，而且使圖像匹配殘差明顯減小。此處，在保證簡化仿射變換參數(shù)正確的同時，使用了更加簡單直接的解法，大大降低了計算的復(fù)雜性。實驗表明，對存在大位移運(yùn)動、復(fù)雜形變的圖像，該算法更有效。相關(guān)研究成果發(fā)表在中文核心期刊《計算機(jī)應(yīng)用研究》2009年9月第26卷第9期上。 論文組織結(jié)構(gòu)本論文共分五章，全文組織結(jié)構(gòu)如下：第一章 緒論。介紹了本文的研究背景，以及光流估計和匹配的研究現(xiàn)狀，分析了現(xiàn)有圖像系列中光流估計和匹配技術(shù)存的問題，由此引出了本文的主要研究工作。 第二章 光流估計和匹配方法的理論基礎(chǔ)。本章首先介紹了HS光流算法的模型及數(shù)值解法；其次詳細(xì)介紹了Log gabor濾波器的構(gòu)造以及分析它的優(yōu)良特性；最后敘述了仿射變換的功能，并進(jìn)行了總結(jié)。第三章 基于梯度優(yōu)化的多尺度視頻光流估計。主要介紹了我們在基于Log gabor濾波器的視頻光流估計方面所做的研究工作，得到一種新的基于梯度優(yōu)化的多尺度視頻光流估計算法。第四章 一種基于兩步運(yùn)動估計的系列圖像匹配算法。主要介紹了我們在基于運(yùn)動估計的系列圖像匹配算法方面所做的研究工作，得到一種新的系列圖像匹配算法。第五章 總結(jié)及未來的工作。總結(jié)了本文在視頻圖像運(yùn)動估計方面所做的研究工作，并指出以后應(yīng)該研究的方向。48重慶郵電大學(xué)碩士論文 第二章 光流運(yùn)動估計和匹配技術(shù)基礎(chǔ)第二章 光流運(yùn)動估計和匹配技術(shù)基礎(chǔ) HS光流向量計算 亮度恒定假設(shè)光流研究是利用運(yùn)動圖像序列中的強(qiáng)度數(shù)據(jù)的時域變化和相關(guān)性，確定圖像像素位置的運(yùn)動情況，是建立在Horn和Schunck在文獻(xiàn)[20]中提出的“亮度恒定假設(shè)”基礎(chǔ)上的, 其一般表示為：. （） 光流基本方程根據(jù)人或動物（傳感器）視覺感知原理，客觀物體在空間上一般是相對連續(xù)運(yùn)動的，在運(yùn)動過程中，投射到視網(wǎng)膜平面（傳感器平面）上的圖像實際上也是連續(xù)變化的。因此，我們可以假設(shè)運(yùn)動圖像函數(shù)是關(guān)于變量、和的連續(xù)函數(shù)。設(shè)物體成像點(diǎn)在時刻、位置的強(qiáng)度值。如果用和表示圖像在該點(diǎn)的水平和垂直速度分量，則在時刻圖像點(diǎn)從移動到位置，強(qiáng)度值為，其中，分別表示水平和垂直方向上位移。根據(jù)（）式，對于同一個目標(biāo)點(diǎn)來說，可以認(rèn)為在時刻、圖像點(diǎn)的強(qiáng)度應(yīng)當(dāng)與在時刻、圖像點(diǎn)的強(qiáng)度相等，即：, （）應(yīng)用泰勒公式展開，略去高階項，當(dāng)，很小的時候，有 , （）把（）與（）合并，就可近似得到：, （）公式（）適用位移矢量表示，現(xiàn)在兩邊同時除以，得到，或，, （）其中表示速度矢量，也可稱為光流矢量，是的空間梯度矢量，公式（）就經(jīng)常被稱為基本光流方程。它反映了運(yùn)動圖像時間梯度與空間梯度之間的時—空微分關(guān)系，表示圖像強(qiáng)對時間變化率等于強(qiáng)度空間變化率與運(yùn)動速度的乘積。這里我們假定很小，使得。此公式成立的條件，也是基于光流恒定假設(shè)的前提之上。 孔徑問題若令，，則式（）可簡記為：，或，, （）方程的物理意義可用圖（）表示： 光流方程向量流示意圖，方程的解落在平面上的一條直線上，落在這條直線上的向量，其法向流方向上的投影是確定的，而與之垂直的方向上的分量無法求解，這一問題被稱為“孔徑問題”。 平滑性準(zhǔn)則孔徑問題的存在說明，對于兩個未知量和，只有一個方程，我們不能單憑和確定速度矢量。為了解出兩個未知量，要求我們必須給出新的約束條件，那么什么樣的約束條件對于視頻圖像來說是合理呢？通常的約束是流矢量在空間平滑變化，使我們能利用周圍一個小的鄰域的亮度變化去估計處的運(yùn)動。一種方法是用兩個速度的梯度平方和來表示：. （）另外一種表示方式是用拉普拉斯算子： . （）在計算的時候，我們采用第二種方式。拉普拉斯算子的近似計算類似下面過程：；, （）其中，和可以如下定義: , () . ()一般情況下，我們?nèi)。?總誤差目標(biāo)函數(shù)根據(jù)基本光流方程，設(shè)基本的誤差函數(shù)如下：. （）基于光流準(zhǔn)則（）和運(yùn)動平滑性準(zhǔn)則（）的聯(lián)合，可以得到如下總誤差目標(biāo)函數(shù)：, （）其中為極小化問題的總誤差，是附加約束的拉格朗日乘子。 時空圖像差分方法在總誤差目標(biāo)函數(shù)中的，其中牽扯到三個時空偏導(dǎo)數(shù)衡量：，和. 根據(jù)HS光流法，三維時空偏導(dǎo)數(shù)的差分近似表示為： 三維差分模型由此可知： , （） , （） , （）這里用到的時空梯度的間隔即是圖像時空采樣的間隔。 總誤差目標(biāo)函數(shù)的最優(yōu)化方法總誤差目標(biāo)函數(shù)的最優(yōu)化即是將目標(biāo)函數(shù)極小化，這里使用線性最小二乘LLSE方法來優(yōu)化目標(biāo)函數(shù)（）。實際處理時，引入時空圖像中梯度，和的差分?jǐn)?shù)值近似（）、（）和（），并將微分用拉普拉斯算子來表示（）。首先，可運(yùn)用均方差MSE方法，最小化總誤差目標(biāo)函數(shù)，為了使（）在整個圖像區(qū)域最小，可將分別對和求導(dǎo)，并取導(dǎo)數(shù)為零，即，. （）我們可得到兩個等式 , （） . （）用上面提到的拉普拉斯算子，可以近似得到： , （） . （）其次，通過解這個方程組，我們可以得到速度和的解： , （） . （） 求解過程的數(shù)值計算方法以上兩式（）和（）提供了用迭代法求解和的基礎(chǔ)，我們結(jié)合Lucas和Kanade在文獻(xiàn)[41]中提出的迭代方法來具體求解。根據(jù)改進(jìn)的GanssSeidel迭代法則，可以得到每一點(diǎn)的速度， , （）. （）這里的和迭代初始條件通常規(guī)定為零，因為在光流方程中，一般認(rèn)為每一個像素的變化是連續(xù)而緩慢的，所以用于估算的結(jié)果通常不超過1像素/幀。 Loggabor濾波器 一維Loggabor函數(shù)及其特性