【文章內(nèi)容簡介】 三種主要方式。有許多特征提出算法可以用于RCP的選取。無論我們采用哪一種匹配算法，最終所選擇的RCP的精度、數(shù)量以及它們在圖像上分布的情況在很大程度上決定了幾何校正和配準(zhǔn)的精度，所以在選擇配準(zhǔn)控制點(diǎn)時我們要注意以下幾點(diǎn)：（1）控制點(diǎn)一般應(yīng)選擇標(biāo)志較為明確、穩(wěn)定，并且在參考影像和待校正影像上都容易辨認(rèn)且目標(biāo)較小的突出地圖特征點(diǎn)，比如道路的交叉點(diǎn)、河流主干交叉處、田地拐角等等；（2）控制點(diǎn)在影像上必須均勻分布，否則在配準(zhǔn)控制點(diǎn)較密集的區(qū)域內(nèi)配準(zhǔn)的精度較好，而在配準(zhǔn)控制點(diǎn)分布比較稀疏的地方，配準(zhǔn)的精度就差；（3）控制點(diǎn)的數(shù)量應(yīng)適當(dāng)，太多了影響計算機(jī)處理的速度，太少了不利于精確配準(zhǔn)。第三步：用所得到的配準(zhǔn)控制點(diǎn)之間的關(guān)系來確定圖像的畸變模型參數(shù)，它隨著所采取的校正方法的不同而不同。在本文中采用的畸變模型是一次多項式，利用它對兩幅圖像間的幾何畸變進(jìn)行逼近。在整體校正時，可以用最小二乘法對分布于整個圖像區(qū)域上的控制點(diǎn)進(jìn)行擬合，得到一次多項式系數(shù)；在分塊校正和局部校正時則利用的是完全解。第四步：在基于畸變模型的基礎(chǔ)上對待校正影像求取輸出圖像各像素的灰度值，即進(jìn)行幾何變換和重采樣。 圖像配準(zhǔn)的關(guān)鍵要素同一場景在不同條件下投影所得到的二維圖像會有很大的差異，這主要是由于傳感器的噪聲、成像過程中視角的改變、目標(biāo)的運(yùn)動和形變、光照或環(huán)境的改變，以及多種傳感器的使用等引起。在這些條件下，匹配算法如何達(dá)到精、準(zhǔn)、快和較好的魯棒性成為人們研究的重點(diǎn)。針對不同的圖像和數(shù)據(jù)有許多配準(zhǔn)方法，而它們一般都是由以下四個要求組成：特征空間、相似性度量、搜索空間和搜索策略。（1）特征空間 [8]特征空間是由參數(shù)匹配的圖像特征構(gòu)成。這些特征一般都是基于圖像灰度提取出來的數(shù)字特征，包括：圖像的角點(diǎn)、邊緣、輪廓和統(tǒng)計特征等。在特征選取時必須考慮以下三點(diǎn)因素：1 選取的特征必須是參考圖像和待配準(zhǔn)圖像所共同具有的特征。2 特征集必須包含足夠多的特征，并且這些特征在圖像上要分布均勻。3 選取的特征必須易于進(jìn)行特征匹配。選擇合理的特征空間不但可以提高配準(zhǔn)算法的適應(yīng)性，還可以減少搜索空間和噪聲等不確定性因素對匹配算法的影響。（2）相似性度量相似性度量用于評估待匹配特征之間的相似性，通常被定義為代價函數(shù)或者是距離函數(shù)的形式。常用的相似性度量包括：1 相關(guān)函數(shù)（1）均方差（Mean Square Difference，簡稱MSN）（2）SSD函數(shù)（Sum of Square Difference，簡稱SSD）（3）歸一化相關(guān)系數(shù)（Normalized CrossCorrelation，簡稱NCC）NCC算法是一種經(jīng)典的匹配算法，它依據(jù)特征點(diǎn)鄰域像素灰度值的相似性來進(jìn)行匹配。首先對于圖像I1中的任意特征點(diǎn)，在圖像I2中尋找和它相關(guān)性最大的特征點(diǎn)，當(dāng)雙向搜尋到的最大相關(guān)性特征點(diǎn)彼此對應(yīng)時即認(rèn)為找到一對候選匹配點(diǎn)。2 距離函數(shù)（1）歐式距離： Di,j=[k=ikN(f1i,kf2(i,k))2]12 式（）（2）Hausdorff距離： DHi,j=maxj?Nminj?Mf1i,jf2i,j 式（）相似性度量值在特征空間的基礎(chǔ)上，決定了圖像特征參與匹配的運(yùn)算形式，進(jìn)一步提高了配準(zhǔn)算法的性能。(3)搜索空間圖像配準(zhǔn)是一個參數(shù)最優(yōu)估計的過程，估計參數(shù)組成的集合就稱為搜索空間。搜索空間是指所有可能的圖像變換組成的集合。根據(jù)其影響的帶下和復(fù)雜度，通常可以將變換分為全局和局部的變化。（4）搜索策略搜索策略是指用合適的方法在搜索空間中找出圖像參數(shù)的最優(yōu)估計，以使相似性度量值達(dá)到最大。搜索策略對于減少計算量有很重要的意義，搜索空間越復(fù)雜，選擇合理的搜索策略越重要，對算法的要求就越高。常用的搜索策略有多尺度搜索、序貫判決、松弛算法、廣義Hough變換、線性規(guī)劃、模擬退火算法、遺傳算法以及神經(jīng)網(wǎng)絡(luò)等。以上四個方面是相互聯(lián)系、相互影響的。因此，在設(shè)計配準(zhǔn)算法時，首先要根據(jù)實際的應(yīng)用背景條件，確定圖像的成像方式及圖像配準(zhǔn)的各項性能指標(biāo)。然后選擇合適的特征空間和搜索空間，通過搜索策略找到使相似性度量值最大的最優(yōu)變換參數(shù)。第二節(jié) 常用的配準(zhǔn)方法分析 基于灰度信息的圖像配準(zhǔn)方法基于灰度相關(guān)的方法 [9]是以兩幅圖像重疊部分在RGB或CMY顏色系統(tǒng)對灰度級的相似性為準(zhǔn)則尋找圖像的配準(zhǔn)位置。常用的算法有比值匹配法、塊匹配法和網(wǎng)格匹配法等。比值匹配法是從一幅圖像重疊區(qū)域中部分相鄰的兩列上取部分像素，然后以它們的比值作為模板，在另一幅圖像中搜索最佳匹配，這種算法計算量較小，但精度低；塊匹配法是一幅圖像重疊區(qū)域中的一塊作為模板，在另一幅圖像中搜索與此模板相最相似的匹配塊，這種算法精度高，但計算量很大；網(wǎng)格匹配法先進(jìn)行粗匹配，每次水平或垂直移動一個步長，記錄最佳匹配位置，然后再進(jìn)行精確匹配，每次步長減半，循環(huán)這個過程直至步長減為零，這種算法較前兩種算法運(yùn)算量有所減小，但如果粗匹配步長過大會造成較大的誤差。 基于變換域的圖像配準(zhǔn)方法Kuglin與Hines提出的相位相關(guān)算法，利用傅里葉將兩幅待配準(zhǔn)的圖像變換到頻域，然后利用互功率譜直接計算出兩幅圖像的平移矢量。之后出現(xiàn)了改進(jìn)的相位相關(guān)算法，利用傅里葉變換的性質(zhì)將時域旋轉(zhuǎn)變換轉(zhuǎn)化為頻域平移變換 [10]，實現(xiàn)了具有旋轉(zhuǎn)和平移變換的圖像配準(zhǔn)。而基于快速傅里葉變換（FFTbased）的方法 [11]，利用極坐標(biāo)和互功率譜，對具有平移、旋轉(zhuǎn) [12]和縮放變換的圖像都能夠?qū)崿F(xiàn)精確配準(zhǔn)。相位相關(guān)法計算簡單精確，但要求配準(zhǔn)圖像之間有較大的重疊比例，同時計算量和適用范圍與圖像大小有很大的關(guān)系。除了傅里葉變換外，人們還選擇更可靠、更符合人眼視覺生理特征的Gabon變換和小波變換進(jìn)行圖像匹配。 基于特征的圖像配準(zhǔn)方法待匹配圖像中提取特征空間，利用特征的對應(yīng)關(guān)系進(jìn)行匹配?；谔卣鞯姆椒ɡ昧藞D像的顯著特征，具有計算量小、速度快等特點(diǎn)，對于圖像的畸變、噪聲、遮擋等也具有一定的魯棒性，但是它的匹配性能很大程度上取決于特征提取的質(zhì)量。文獻(xiàn)采用的是基于特征的Harris角點(diǎn)檢測 [14]方法來提取興趣點(diǎn)，并通過計算歸一化的相關(guān)系數(shù)，沿極線尋找一幅圖像中興趣點(diǎn)的對應(yīng)點(diǎn)，然后使用另一幅圖像來得到更準(zhǔn)確的對應(yīng)。 配準(zhǔn)算法的優(yōu)缺點(diǎn)分析一、基于灰度信息的圖像配準(zhǔn)算法：基于灰度信息的圖像配準(zhǔn)算法直接利用圖像的灰度信息進(jìn)行配準(zhǔn)，通過像素對其間某種相似性度量(如互信息)的全局最優(yōu)實現(xiàn)配準(zhǔn)，不需要對圖像進(jìn)行分割和特征提取，所以精度高、魯棒性好。但這種方法對灰度變化非常敏感，沒有充分利用灰度統(tǒng)計特性，對每一點(diǎn)的灰度信息依賴較大。二、基于變換域的圖像配準(zhǔn)方法：最主要的變換域方法就是傅里葉變換方法。圖像的旋轉(zhuǎn)，平移，比例變換都能在傅里葉變換的頻域中反映出來， 而且該方法的好處是能抵抗一定的噪聲，同時提高了執(zhí)行的速度。另外，傅氏變換由于有成熟的快速算法而且易于硬件實現(xiàn)， 因此成了圖像配準(zhǔn)中常用的方法之一。基于變換域的圖像配準(zhǔn)方法在噪聲的敏感性和計算的復(fù)雜度上有一定的優(yōu)勢， 但這一方法只適用于在傅里葉變換中有相應(yīng)定義形式的如旋轉(zhuǎn)、平移等圖像轉(zhuǎn)換中。三、基于特征的圖像配準(zhǔn)方法：這類方法是根據(jù)待配準(zhǔn)圖像的重要特征之間的幾何關(guān)系確定配準(zhǔn)參數(shù)，因此這類方法首先需要提取特征，如邊緣、角點(diǎn)、線、曲率等。然后建立特征點(diǎn)集之間的對應(yīng)關(guān)系，進(jìn)而求出配準(zhǔn)參數(shù)。使用基于特征點(diǎn)的配準(zhǔn)拼接算法，其優(yōu)點(diǎn)在于：（1）圖像的特征點(diǎn)比圖像的像素點(diǎn)要少很多，因此大大減少了匹配過程中的計算量；（2）特征點(diǎn)的匹配度量值比較敏感，可以大大提高匹配的精確程度；（3）特征點(diǎn)提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及光照不均等都有較好的適應(yīng)能力，因此在圖像配準(zhǔn)領(lǐng)域得到了廣泛的應(yīng)用。配準(zhǔn)方法優(yōu)點(diǎn)缺點(diǎn)灰度信息計算簡單、易行 對光照強(qiáng)度敏感 變換域 有良好的初始配準(zhǔn)參數(shù) 抗噪性較好 要求圖像的重疊區(qū)域較大 計算量比較大 特征點(diǎn) 配準(zhǔn)精度高 抗噪性能好 不易受光照、旋轉(zhuǎn)等因素的影響 匹配性能依賴于特征提取的質(zhì)量 具體優(yōu)缺點(diǎn)比較較如下表所示： 配準(zhǔn)方法優(yōu)缺點(diǎn)比較第三節(jié) 基于變換域的圖像配準(zhǔn)方法 相位相關(guān)技術(shù)原理圖像拼接的質(zhì)量主要依賴于圖像配準(zhǔn)的程度，因此圖像的配準(zhǔn)是拼接算法的核心和關(guān)鍵。算法的總體思想是既要保證配準(zhǔn)的精度，又要保證計算量不要過大。相位相關(guān)是用于配準(zhǔn)圖像的平移變換的典型方法, 1(x,y)和f 2(x,y)是兩幅圖像。(x0,y0)是兩幅圖像間的平移量, 則有： f 2x,y=f 1(xx0,yy0) 式()則它們之間的傅立葉變換F 1(u,v)和F 2(u,v)滿足下式: F 2u,v=expj2πux0+vy0*F 1(u,v) 式（）這就是說, 兩幅圖像具有相同的傅立葉變換和不同的相位關(guān)系, 而相位關(guān)系式由兩者之間的平移直接決定的。定義兩幅圖像的互能量譜如下 [15]:設(shè)G(u,v)是f 1(x,y)和f 2(x,y)的互能量譜, Gu,v=F 1u,v*F 2*(u,v)|F 1u,v*F 2*u,v| 式（）這里F*(u,v)是F(u,v)的共軛。 傅里葉算法步驟由上面的相位相關(guān)技術(shù)原理可以看出, 要得到配準(zhǔn)好的圖像, 首先利用笛卡爾坐標(biāo)到對數(shù)極坐標(biāo)的轉(zhuǎn)換求出比例因子和旋轉(zhuǎn)角度, 按此值對欲配準(zhǔn)圖像變換后, 再利用互能量譜與反變換計算求出平移量, 最后進(jìn)行相應(yīng)的變換就可得到配準(zhǔn)好的圖像。具體的基于傅里葉變換的圖像配準(zhǔn)過程 [16]如下:(1) 對原圖像進(jìn)行傅立葉變換, 并求出各自的能量.(2) 高通濾波. Hε,η=1Xε,η2Xε,ηXε,η=cos(πε)cos(πη) 式（）≤ε, η≤(3) 將濾波后的各圖像轉(zhuǎn)換為對數(shù)極坐標(biāo)的形式, 并求其互能量譜, 從而得到比例系數(shù)和旋轉(zhuǎn)角度。(4) 將欲配準(zhǔn)的圖像旋轉(zhuǎn)、比例放大后再與原圖像計算互能量譜, 從而得到平移量。第四節(jié) 基于特征的圖像配準(zhǔn)方法基于特征的圖像配準(zhǔn)方法一般分為以下四個步驟：(1)特征提取。根據(jù)參與配準(zhǔn)的圖像灰度性質(zhì)來決定使用何種特征進(jìn)行匹配。選取的特征應(yīng)該是明顯的，易于提取的，并且在參考圖像和待配準(zhǔn)圖像上有足夠多的分布。常用的特征有邊緣特征、區(qū)域特征、點(diǎn)特征和高層模型等。(2)特征匹配。特征匹配就是在提取出來的特征集之間建立一個對應(yīng)關(guān)系，常利用特征自身的屬性描述，結(jié)合特征所在區(qū)域的灰度以及特征之間的幾何拓?fù)潢P(guān)系來確立特征間的對應(yīng)。常用的特征匹配方法主要有空間相關(guān)、描述符、松弛方法、金字塔算法等。(3)模型參數(shù)估計。在參考圖像和待拼接圖像重疊區(qū)域中找到匹配特征集合之后，就需要構(gòu)造變換模型，即通過圖像之間部分元素的匹配關(guān)系確定兩幅圖像的變換關(guān)系，根據(jù)變換模型將待拼接圖像變換到參考圖像的坐標(biāo)系。(4)圖像變換和灰度插值。求解出變換模型后，待配準(zhǔn)圖像進(jìn)行反變換就可以得到配準(zhǔn)后的圖像。由于坐標(biāo)變換的結(jié)果往往是非整數(shù)點(diǎn)，因此需要進(jìn)行灰度插值?；谔卣鞯姆椒ㄖ恍枰崛〕銎ヅ涞奶卣骶涂梢越獬鲎儞Q模型的參數(shù)，因此計算量小，由于是在特征空間上進(jìn)行匹配，因此對圖像的灰度屬性和噪聲的影響不是很敏感，配準(zhǔn)速度快。基于圖像特征配準(zhǔn)的方法主要困難在于如何提取和選擇魯棒的特征，以及如何對特征進(jìn)行匹配，克服匹配過程中產(chǎn)生的誤匹配問題?；谔卣鼽c(diǎn)匹配的圖像拼接算法包括：特征點(diǎn)檢測、特征點(diǎn)匹配、空間變換、圖像融合。，是基于特征點(diǎn)的圖像拼接流程圖。 基于特征點(diǎn)的圖像拼接流程 算法原理（1） 特征點(diǎn)的提取在對圖像進(jìn)行匹配時，選擇合適的特征基元是至關(guān)重要的。而且不同特征的提取也決定了各種匹配算法的差異性。常用的特征基元有區(qū)域特征、邊緣特征和點(diǎn)特征。本文采用廣泛使用的Harris [17]角點(diǎn)檢測算法。Harris算子是C．harris和M．J．Stephens于1988年提出的一種角點(diǎn)提取算子。它用一階偏導(dǎo)數(shù)來描述亮度變化，這種算子受信號處理中自相關(guān)函數(shù)的啟發(fā)，給出與自相關(guān)函數(shù)相聯(lián)系的矩陣M,M的特征值反映了局部互相關(guān)曲率。它的數(shù)學(xué)公式為： Eu,v=x,y wx,y[Ix+u,y+vI(x,y)] 2 式（）其中，W(x,y)為窗函數(shù)，[I(x+u，y+v)I(x,y)]2，為圖像灰度的梯度值。W(x，y)可為矩形窗或高斯窗。對于每個小的位移量(u,v)，式（）可雙線性近似表示為 Eu,v?u,vMuv 式（）M是2*2的矩陣：M=ACCB=ex2+y22σ2Ix2IxIyIxIyIy2 式（）II2分別為圖像x、y方向的梯度值；E可近似作為局部互相關(guān)函數(shù)，M描述了在這點(diǎn)上的形狀。設(shè)λ1，λ2是矩陣M的兩個特征值，則λ1，λ2可表示局部自相關(guān)函數(shù)的曲率。由于各向同性，所以M保持旋轉(zhuǎn)不變性。通過對矩陣M的兩特征值分析，可得出以下3種情況：[1]如果兩特征值都很小，意味著窗口所處區(qū)域灰度近似常量，任意方向的移動，函數(shù)都發(fā)生很小的改變。[2]如果一個特征值很大，而另一特征值很小時，表明成屋脊?fàn)?，例如邊緣。沿著邊緣方向移動使得函?shù)變化較小，而垂直邊緣移動則變化較大。[3]如果兩特征值均很大，表明成尖峰狀，沿任意方向的移動都將使得E急劇增大。對以上3種情況的分析，可大致對角點(diǎn)進(jìn)行檢測，在實際運(yùn)用中用來計算角點(diǎn)的相應(yīng)函數(shù)可以寫成：R=DetMkTrace 2(M) 式（） DetM=λ1λ2 式（） Trace M=λ1+λ2