【文章內(nèi)容簡介】 三種主要方式。有許多特征提出算法可以用于RCP的選取。無論我們采用哪一種匹配算法，最終所選擇的RCP的精度、數(shù)量以及它們在圖像上分布的情況在很大程度上決定了幾何校正和配準的精度，所以在選擇配準控制點時我們要注意以下幾點：（1）控制點一般應選擇標志較為明確、穩(wěn)定，并且在參考影像和待校正影像上都容易辨認且目標較小的突出地圖特征點，比如道路的交叉點、河流主干交叉處、田地拐角等等；（2）控制點在影像上必須均勻分布，否則在配準控制點較密集的區(qū)域內(nèi)配準的精度較好，而在配準控制點分布比較稀疏的地方，配準的精度就差；（3）控制點的數(shù)量應適當，太多了影響計算機處理的速度，太少了不利于精確配準。第三步：用所得到的配準控制點之間的關系來確定圖像的畸變模型參數(shù)，它隨著所采取的校正方法的不同而不同。在本文中采用的畸變模型是一次多項式，利用它對兩幅圖像間的幾何畸變進行逼近。在整體校正時，可以用最小二乘法對分布于整個圖像區(qū)域上的控制點進行擬合，得到一次多項式系數(shù)；在分塊校正和局部校正時則利用的是完全解。第四步：在基于畸變模型的基礎上對待校正影像求取輸出圖像各像素的灰度值，即進行幾何變換和重采樣。 圖像配準的關鍵要素同一場景在不同條件下投影所得到的二維圖像會有很大的差異，這主要是由于傳感器的噪聲、成像過程中視角的改變、目標的運動和形變、光照或環(huán)境的改變，以及多種傳感器的使用等引起。在這些條件下，匹配算法如何達到精、準、快和較好的魯棒性成為人們研究的重點。針對不同的圖像和數(shù)據(jù)有許多配準方法，而它們一般都是由以下四個要求組成：特征空間、相似性度量、搜索空間和搜索策略。（1）特征空間 [8]特征空間是由參數(shù)匹配的圖像特征構(gòu)成。這些特征一般都是基于圖像灰度提取出來的數(shù)字特征，包括：圖像的角點、邊緣、輪廓和統(tǒng)計特征等。在特征選取時必須考慮以下三點因素：1 選取的特征必須是參考圖像和待配準圖像所共同具有的特征。2 特征集必須包含足夠多的特征，并且這些特征在圖像上要分布均勻。3 選取的特征必須易于進行特征匹配。選擇合理的特征空間不但可以提高配準算法的適應性，還可以減少搜索空間和噪聲等不確定性因素對匹配算法的影響。（2）相似性度量相似性度量用于評估待匹配特征之間的相似性，通常被定義為代價函數(shù)或者是距離函數(shù)的形式。常用的相似性度量包括：1 相關函數(shù)（1）均方差（Mean Square Difference，簡稱MSN）（2）SSD函數(shù)（Sum of Square Difference，簡稱SSD）（3）歸一化相關系數(shù)（Normalized CrossCorrelation，簡稱NCC）NCC算法是一種經(jīng)典的匹配算法，它依據(jù)特征點鄰域像素灰度值的相似性來進行匹配。首先對于圖像I1中的任意特征點，在圖像I2中尋找和它相關性最大的特征點，當雙向搜尋到的最大相關性特征點彼此對應時即認為找到一對候選匹配點。2 距離函數(shù)（1）歐式距離： Di,j=[k=ikN(f1i,kf2(i,k))2]12 式（）（2）Hausdorff距離： DHi,j=maxj?Nminj?Mf1i,jf2i,j 式（）相似性度量值在特征空間的基礎上，決定了圖像特征參與匹配的運算形式，進一步提高了配準算法的性能。(3)搜索空間圖像配準是一個參數(shù)最優(yōu)估計的過程，估計參數(shù)組成的集合就稱為搜索空間。搜索空間是指所有可能的圖像變換組成的集合。根據(jù)其影響的帶下和復雜度，通常可以將變換分為全局和局部的變化。（4）搜索策略搜索策略是指用合適的方法在搜索空間中找出圖像參數(shù)的最優(yōu)估計，以使相似性度量值達到最大。搜索策略對于減少計算量有很重要的意義，搜索空間越復雜，選擇合理的搜索策略越重要，對算法的要求就越高。常用的搜索策略有多尺度搜索、序貫判決、松弛算法、廣義Hough變換、線性規(guī)劃、模擬退火算法、遺傳算法以及神經(jīng)網(wǎng)絡等。以上四個方面是相互聯(lián)系、相互影響的。因此，在設計配準算法時，首先要根據(jù)實際的應用背景條件，確定圖像的成像方式及圖像配準的各項性能指標。然后選擇合適的特征空間和搜索空間，通過搜索策略找到使相似性度量值最大的最優(yōu)變換參數(shù)。第二節(jié) 常用的配準方法分析 基于灰度信息的圖像配準方法基于灰度相關的方法 [9]是以兩幅圖像重疊部分在RGB或CMY顏色系統(tǒng)對灰度級的相似性為準則尋找圖像的配準位置。常用的算法有比值匹配法、塊匹配法和網(wǎng)格匹配法等。比值匹配法是從一幅圖像重疊區(qū)域中部分相鄰的兩列上取部分像素，然后以它們的比值作為模板，在另一幅圖像中搜索最佳匹配，這種算法計算量較小，但精度低；塊匹配法是一幅圖像重疊區(qū)域中的一塊作為模板，在另一幅圖像中搜索與此模板相最相似的匹配塊，這種算法精度高，但計算量很大；網(wǎng)格匹配法先進行粗匹配，每次水平或垂直移動一個步長，記錄最佳匹配位置，然后再進行精確匹配，每次步長減半，循環(huán)這個過程直至步長減為零，這種算法較前兩種算法運算量有所減小，但如果粗匹配步長過大會造成較大的誤差。 基于變換域的圖像配準方法Kuglin與Hines提出的相位相關算法，利用傅里葉將兩幅待配準的圖像變換到頻域，然后利用互功率譜直接計算出兩幅圖像的平移矢量。之后出現(xiàn)了改進的相位相關算法，利用傅里葉變換的性質(zhì)將時域旋轉(zhuǎn)變換轉(zhuǎn)化為頻域平移變換 [10]，實現(xiàn)了具有旋轉(zhuǎn)和平移變換的圖像配準。而基于快速傅里葉變換（FFTbased）的方法 [11]，利用極坐標和互功率譜，對具有平移、旋轉(zhuǎn) [12]和縮放變換的圖像都能夠?qū)崿F(xiàn)精確配準。相位相關法計算簡單精確，但要求配準圖像之間有較大的重疊比例，同時計算量和適用范圍與圖像大小有很大的關系。除了傅里葉變換外，人們還選擇更可靠、更符合人眼視覺生理特征的Gabon變換和小波變換進行圖像匹配。 基于特征的圖像配準方法待匹配圖像中提取特征空間，利用特征的對應關系進行匹配?；谔卣鞯姆椒ɡ昧藞D像的顯著特征，具有計算量小、速度快等特點，對于圖像的畸變、噪聲、遮擋等也具有一定的魯棒性，但是它的匹配性能很大程度上取決于特征提取的質(zhì)量。文獻采用的是基于特征的Harris角點檢測 [14]方法來提取興趣點，并通過計算歸一化的相關系數(shù)，沿極線尋找一幅圖像中興趣點的對應點，然后使用另一幅圖像來得到更準確的對應。 配準算法的優(yōu)缺點分析一、基于灰度信息的圖像配準算法：基于灰度信息的圖像配準算法直接利用圖像的灰度信息進行配準，通過像素對其間某種相似性度量(如互信息)的全局最優(yōu)實現(xiàn)配準，不需要對圖像進行分割和特征提取，所以精度高、魯棒性好。但這種方法對灰度變化非常敏感，沒有充分利用灰度統(tǒng)計特性，對每一點的灰度信息依賴較大。二、基于變換域的圖像配準方法：最主要的變換域方法就是傅里葉變換方法。圖像的旋轉(zhuǎn)，平移，比例變換都能在傅里葉變換的頻域中反映出來， 而且該方法的好處是能抵抗一定的噪聲，同時提高了執(zhí)行的速度。另外，傅氏變換由于有成熟的快速算法而且易于硬件實現(xiàn)， 因此成了圖像配準中常用的方法之一?；谧儞Q域的圖像配準方法在噪聲的敏感性和計算的復雜度上有一定的優(yōu)勢， 但這一方法只適用于在傅里葉變換中有相應定義形式的如旋轉(zhuǎn)、平移等圖像轉(zhuǎn)換中。三、基于特征的圖像配準方法：這類方法是根據(jù)待配準圖像的重要特征之間的幾何關系確定配準參數(shù)，因此這類方法首先需要提取特征，如邊緣、角點、線、曲率等。然后建立特征點集之間的對應關系，進而求出配準參數(shù)。使用基于特征點的配準拼接算法，其優(yōu)點在于：（1）圖像的特征點比圖像的像素點要少很多，因此大大減少了匹配過程中的計算量；（2）特征點的匹配度量值比較敏感，可以大大提高匹配的精確程度；（3）特征點提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及光照不均等都有較好的適應能力，因此在圖像配準領域得到了廣泛的應用。配準方法優(yōu)點缺點灰度信息計算簡單、易行 對光照強度敏感 變換域 有良好的初始配準參數(shù) 抗噪性較好 要求圖像的重疊區(qū)域較大 計算量比較大 特征點 配準精度高 抗噪性能好 不易受光照、旋轉(zhuǎn)等因素的影響 匹配性能依賴于特征提取的質(zhì)量 具體優(yōu)缺點比較較如下表所示： 配準方法優(yōu)缺點比較第三節(jié) 基于變換域的圖像配準方法 相位相關技術(shù)原理圖像拼接的質(zhì)量主要依賴于圖像配準的程度，因此圖像的配準是拼接算法的核心和關鍵。算法的總體思想是既要保證配準的精度，又要保證計算量不要過大。相位相關是用于配準圖像的平移變換的典型方法, 1(x,y)和f 2(x,y)是兩幅圖像。(x0,y0)是兩幅圖像間的平移量, 則有： f 2x,y=f 1(xx0,yy0) 式()則它們之間的傅立葉變換F 1(u,v)和F 2(u,v)滿足下式: F 2u,v=expj2πux0+vy0*F 1(u,v) 式（）這就是說, 兩幅圖像具有相同的傅立葉變換和不同的相位關系, 而相位關系式由兩者之間的平移直接決定的。定義兩幅圖像的互能量譜如下 [15]:設G(u,v)是f 1(x,y)和f 2(x,y)的互能量譜, Gu,v=F 1u,v*F 2*(u,v)|F 1u,v*F 2*u,v| 式（）這里F*(u,v)是F(u,v)的共軛。 傅里葉算法步驟由上面的相位相關技術(shù)原理可以看出, 要得到配準好的圖像, 首先利用笛卡爾坐標到對數(shù)極坐標的轉(zhuǎn)換求出比例因子和旋轉(zhuǎn)角度, 按此值對欲配準圖像變換后, 再利用互能量譜與反變換計算求出平移量, 最后進行相應的變換就可得到配準好的圖像。具體的基于傅里葉變換的圖像配準過程 [16]如下:(1) 對原圖像進行傅立葉變換, 并求出各自的能量.(2) 高通濾波. Hε,η=1Xε,η2Xε,ηXε,η=cos(πε)cos(πη) 式（）≤ε, η≤(3) 將濾波后的各圖像轉(zhuǎn)換為對數(shù)極坐標的形式, 并求其互能量譜, 從而得到比例系數(shù)和旋轉(zhuǎn)角度。(4) 將欲配準的圖像旋轉(zhuǎn)、比例放大后再與原圖像計算互能量譜, 從而得到平移量。第四節(jié) 基于特征的圖像配準方法基于特征的圖像配準方法一般分為以下四個步驟：(1)特征提取。根據(jù)參與配準的圖像灰度性質(zhì)來決定使用何種特征進行匹配。選取的特征應該是明顯的，易于提取的，并且在參考圖像和待配準圖像上有足夠多的分布。常用的特征有邊緣特征、區(qū)域特征、點特征和高層模型等。(2)特征匹配。特征匹配就是在提取出來的特征集之間建立一個對應關系，常利用特征自身的屬性描述，結(jié)合特征所在區(qū)域的灰度以及特征之間的幾何拓撲關系來確立特征間的對應。常用的特征匹配方法主要有空間相關、描述符、松弛方法、金字塔算法等。(3)模型參數(shù)估計。在參考圖像和待拼接圖像重疊區(qū)域中找到匹配特征集合之后，就需要構(gòu)造變換模型，即通過圖像之間部分元素的匹配關系確定兩幅圖像的變換關系，根據(jù)變換模型將待拼接圖像變換到參考圖像的坐標系。(4)圖像變換和灰度插值。求解出變換模型后，待配準圖像進行反變換就可以得到配準后的圖像。由于坐標變換的結(jié)果往往是非整數(shù)點，因此需要進行灰度插值。基于特征的方法只需要提取出匹配的特征就可以解出變換模型的參數(shù)，因此計算量小，由于是在特征空間上進行匹配，因此對圖像的灰度屬性和噪聲的影響不是很敏感，配準速度快?；趫D像特征配準的方法主要困難在于如何提取和選擇魯棒的特征，以及如何對特征進行匹配，克服匹配過程中產(chǎn)生的誤匹配問題?；谔卣鼽c匹配的圖像拼接算法包括：特征點檢測、特征點匹配、空間變換、圖像融合。，是基于特征點的圖像拼接流程圖。 基于特征點的圖像拼接流程 算法原理（1） 特征點的提取在對圖像進行匹配時，選擇合適的特征基元是至關重要的。而且不同特征的提取也決定了各種匹配算法的差異性。常用的特征基元有區(qū)域特征、邊緣特征和點特征。本文采用廣泛使用的Harris [17]角點檢測算法。Harris算子是C．harris和M．J．Stephens于1988年提出的一種角點提取算子。它用一階偏導數(shù)來描述亮度變化，這種算子受信號處理中自相關函數(shù)的啟發(fā)，給出與自相關函數(shù)相聯(lián)系的矩陣M,M的特征值反映了局部互相關曲率。它的數(shù)學公式為： Eu,v=x,y wx,y[Ix+u,y+vI(x,y)] 2 式（）其中，W(x,y)為窗函數(shù)，[I(x+u，y+v)I(x,y)]2，為圖像灰度的梯度值。W(x，y)可為矩形窗或高斯窗。對于每個小的位移量(u,v)，式（）可雙線性近似表示為 Eu,v?u,vMuv 式（）M是2*2的矩陣：M=ACCB=ex2+y22σ2Ix2IxIyIxIyIy2 式（）II2分別為圖像x、y方向的梯度值；E可近似作為局部互相關函數(shù)，M描述了在這點上的形狀。設λ1，λ2是矩陣M的兩個特征值，則λ1，λ2可表示局部自相關函數(shù)的曲率。由于各向同性，所以M保持旋轉(zhuǎn)不變性。通過對矩陣M的兩特征值分析，可得出以下3種情況：[1]如果兩特征值都很小，意味著窗口所處區(qū)域灰度近似常量，任意方向的移動，函數(shù)都發(fā)生很小的改變。[2]如果一個特征值很大，而另一特征值很小時，表明成屋脊狀，例如邊緣。沿著邊緣方向移動使得函數(shù)變化較小，而垂直邊緣移動則變化較大。[3]如果兩特征值均很大，表明成尖峰狀，沿任意方向的移動都將使得E急劇增大。對以上3種情況的分析，可大致對角點進行檢測，在實際運用中用來計算角點的相應函數(shù)可以寫成：R=DetMkTrace 2(M) 式（） DetM=λ1λ2 式（） Trace M=λ1+λ2