【文章內容簡介】 ，活動窗口一般選為兩維窗口（如33，55或77等），窗口形狀常用： 圖像配準 圖像配準概述圖像配準（或圖像匹配）是評價兩幅或多幅圖像的相似性以確定同名點的過程。圖像配準算法就是設法建立兩幅圖像之間的對應關系,確定相應幾何變換參數(shù),對兩幅圖像中的一幅進行幾何變換的方法。 像配準的一般過程是在多源圖像數(shù)據(jù)經過嚴密的幾何糾正處理、改正了系統(tǒng)誤差之后，將影像投影到同一地面坐標系統(tǒng)上，然后在各影像上選取少量的控制點，通過特征點的自動選取或是計算其間的相似性、粗略配準點的估計位置、精確確定配準點以及估計配準變換參數(shù)等處理，從而實現(xiàn)影像的精確配準。按照配準算法所利用的圖像信息，可以分為以下兩類（1）基于灰度的圖像配準方法。該類方法直接利用整幅圖像的灰度度量兩幅圖像之間的相似性，然后采用搜索方法尋找使相似性度量最大或最小值點，從而確定兩幅圖像之間的變換模型參數(shù)。該方法不需要對圖像作特征提取，直接利用全部可用的圖像灰度，提高了配準算法的估計精度和魯棒性，但是由于匹配點周圍區(qū)域的點的灰度都參與計算，因此，其計算量大，速度慢。(2)基于圖像特征的圖像配準方法。將從圖像灰度中提取出來的某些顯著特征作為匹配基元，用于匹配的特征通常為點、線、區(qū)域等。算法過程主要分為特征提取和特征匹配。在特征匹配前，首先要從待匹配的多幅圖像中提取出灰度變化明顯的點、線、區(qū)域等特征，組成特征集。然后，在各幅圖像所對應的特征集中利用特征匹配算法盡可能的將存在匹配關系的特征對選擇出來。對于非特征像素點利用插值等方法處理，推算出對應的匹配關系，從而實現(xiàn)多幅圖像之間逐像素的配準。由于提取了圖像的顯著特征，大大壓縮了信息的數(shù)據(jù)量，同時較好的保持了圖像的位移、旋轉、比例等方面的特征，因此，該方法在匹配時計算量小、速度快，是較為實用的方法。 按自動化程度可以分為人工、半自動和全自動三種類型 。 手動圖像配準我們可以利用Matlab自帶的圖像處理工具箱來完成配準需要。圖像處理工具箱（Matlab Image Processing Toolbox）提供了一套全方位的參照標準算法和圖形工具，用于進行圖像處理、分析、可視化和算法開發(fā)?？捎闷鋵τ性雸D像或退化圖像進行去噪或還原、增強圖像以獲得更高清晰度、提取特征、分析形狀和紋理以及對兩個圖像進行匹配。利用Matlab Image Processing Toolbox中的圖像配準工具實現(xiàn)線性正投影、仿射、投影、多項式、分段線性、局部加權平均配準的過程。（1）手動選擇匹配點對該工具箱提供的配準方法均需手工選擇圖像間的匹配點對（control points pair），均屬于交互配準方法。假設input image（輸入圖像）為欲進行配準的圖像，base image為配準是的參考圖像。以下是我參考matlab幫助給出了簡介。1．線性正投影（linear conformal）：最簡單。平面映射成平面。當輸入輸入圖像與參考圖像對比，只是存在全局的平移、旋轉、縮放或其三者組合的差別時（正方形仍對應正方形），選擇此配準方法。此方法至少需要2對匹配點。2．仿射（affine）：將平行線轉換成平行線。當輸入圖像形狀存在切變現(xiàn)象（正方形對應平行四邊形），選此法。至少需3對匹配點。3．投影（projective）：將直線映射成直線。如果輸入圖像呈現(xiàn)傾斜，翹起現(xiàn)象，選此法。至少需4對匹配點。4．多項式（polynomial）：將直線映射成曲線。如果輸入圖像出現(xiàn)不規(guī)則曲變，采用此法。Matlab中提供有4次冪的實現(xiàn)，分別至少需要6，10，10對匹配點。5．分段線性（piecewise linear）如果輸入圖像的各個局部之間的退化模式明顯不一樣，選此法。至少需要4對匹配點。6．局部加權平均（local weighted mean）與分段線性一致，但效果較之好。至少需要6對（推薦12對）匹配點。（2）手動配準的基本過程如下圖所示：圖21 手動圖像配準一般流程 基于圖像特征的匹配算法Harris角點檢測算法角點是二維圖像亮度變化劇烈或圖像邊緣曲線上曲率極大值的點，它決定了目標的輪廓特征，被廣泛應用于攝像機標定、虛擬場景重建、運動估計、圖像配準等計算機視覺處理任務中，這些點在保留圖像圖形重要特征的同時，可以有效地減少信息的數(shù)據(jù)量，使得實時處理成為可能。Harris角點檢測算法基本原理描述如下：建立下面矩陣M： 其中I（x，y）是亮度值，這里用灰度表示。通過分析上面矩陣可以看出如果在一點上矩陣M的兩個特征值很大，則在該點向任意方向上的一個很小的移動都會引起灰度值的較大變化。這也就說明該點是一個角點。計算角點的函數(shù)如下： （） （Harris設定的最優(yōu)參數(shù)）。令A=，B=，C=，D= 則矩陣表示圖像I在x方向的導數(shù)，表示圖像在y方向的導數(shù)。求出R的值，若為正則對應點為角點，若為負則是一般邊界點。該算法易受噪聲的影響。為了減小噪聲的干擾，在對圖像進行偏導計算以后用高斯濾波器對數(shù)據(jù)進行平滑。按此方法求出的角點數(shù)量很多。為了減少匹配計算量，可以對想要獲得的角點數(shù)量進行限制。限制方法是確定一個閾值，僅僅選取R值大于這個閾值的點作為角點。這個閾值根據(jù)需要的檢點數(shù)量來確定。 第三章 圖像融合常用的像素級圖像融合方法有：(l)空域融合方法:①加權平均法；②像素灰度值取大/小法；③主分量法(PCA)。(2)變換域融合方法:①IHS變換法；②小波變換法 加權平均融合法空域法是把圖像看作是平面中各個像素組成的集合，然后直接對這一二維函數(shù)進行相應的處理。加權平均方法將源圖像對應像素的灰度值進行加權平均，生成新的圖像，它是最直接的融合方法。其中平均方法是加權平均的特例，使用平均方法進行圖像融合，提高了融合圖像的信噪比，但削弱了圖像的對比度，尤其對于只出現(xiàn)在其中一幅圖像上的有用信號。假設參加融合的兩個圖像分別為A、B，圖像大小為MN，經融合后得到融合圖像C，那么，對A、B兩個源圖像的像素灰度值加權平均融合過程可以表示為:C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (21)式中:n1表示圖像中像素的行號，nl=l，2，3，...……M。n2表示圖像中像素的列號，n2=1，2，3，...……N。ω1表示加權系數(shù)1；ω2表示加權系數(shù)2；通常ω1+ω2=1。圖像灰度值的平均可看作是灰度值加權平均的特例，即ω1=ω2=。加權平均法的優(yōu)點是簡單直觀，適合實時處理。但簡單的疊加會使融合圖像的信噪比降低。當融合圖像的灰度值差異很大時，就會出現(xiàn)明顯的拼接痕跡，不利于人眼識別和后續(xù)的目標識別過程。 像素灰度值選大/小融合方法假設參加融合的兩個原圖像分別為A、B,圖像大小為MN,經融合后得到的融合圖像為F，那么：基于像素的灰度值取大圖像融合方法可表示為 基于像素的灰度值取小圖像融合方法可表示為 式中：m為圖像中像素的行號，n＝1,2,…,M；n為圖像中像素的列號，n＝1,2,…,N；即在融合處理時，比較源圖像A、B中對應位置(m,n)處像素的灰度值的大小，以其中灰度值大/小的像素(可能來自圖像A或B)作為融合后圖像F在位置(m,n)處的像素。這種融合方法只是簡單地選擇參加融合的源圖像中灰度值大/小的像素作為融合后的像素，該融合方法的適用場合非常有限。簡單的圖像融合方法具有實現(xiàn)簡單，融合速度快的優(yōu)點。但在多數(shù)應用場合，這些簡單的圖像融合方法的局限性是顯而易見的，無法獲得滿意的融合效果。 主分量融合法主分量（PCA）變換，又稱KL變換，它是一種基于目標特性的最佳正交變換。在進行許多問題的分析時，多個變量的情況是經常遇到的。變量太多，無疑會增加分析問題的難度和復雜性，而且在許多實際問題中，多個變量之間具有一定的相關性。能否在各個變量之間相關關系研究的基礎上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來的變量所反應的信息，主分量分析就是實現(xiàn)這個目標的一種強有力的方法，它是把原來多個變量化為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法，從數(shù)學角度來看，這是一種降維處理技術，用較少的幾個綜合指標來代替原來較多的變量指標，而且使這些較少的綜合指標既能盡量地反映原來較多指標所反映的信息，同時它們之間又彼此獨立。針對主成分分析的特性，將其應用于圖像融合，可以把多波段的圖像信息最大限度的表現(xiàn)在融合后的新圖像中。圖像PCA變換的結果在舍棄相關性較差的次要成分后進行反變換所恢復出的圖像是原圖像在統(tǒng)計意義上的最佳逼近。（1）主分量分析原理各源圖像的原始數(shù)據(jù)可表示為：其中，m和n分別為源圖像個數(shù)(或稱變量數(shù))和每幅圖像中像素數(shù)；矩陣中的每一行向量表示一幅源圖像。一般圖像的線性變換可以用下面的式子表示： 式中X為待變換圖像數(shù)據(jù)矩陣，Y為變換后的數(shù)據(jù)矩陣，T為實現(xiàn)這一線性變換的變換矩陣。如果變換矩陣T是正交矩陣，并且它是由源圖像數(shù)據(jù)矩陣X的協(xié)方差矩陣C的特征向量所組成，則上式的線性變換稱為KL變換，并且KL變換后的數(shù)據(jù)矩陣的每一行向量為KL變換的一個主分量。 (2)主分量變換的過程用于圖像的KL變換的過程如下：①根據(jù)原始圖像數(shù)據(jù)矩陣X，求出它的協(xié)方差矩陣C：X的協(xié)方差矩陣為:②求出協(xié)方差矩陣的特征值和特征向量，并組成變換矩陣，具體如下：寫出特征方程：式中：I為單位矩陣，U為特征向量。解上述的特征方程即可求出協(xié)方差矩陣C的各個特征值，并將其按的順序排列，求得各特征值相對應的單位特征向量(經歸一化) ：③得到變換矩陣，其中，是以各個特征向量為列構成的矩陣，且矩陣是正交矩陣，即矩陣滿足： (單位矩陣)。④將變換矩陣T代入Y=TX，將得到KL變換的具體表達式：式中Y矩陣的行向量為第j個主分量。經過KL變換后，得到一組m個新的變量，它們依次被稱為第一主分量，第二主分量，…第m主分量。在PCA反變換時，只需運用到前m個主分量，這也正是主分量名稱的由來。PCA變換用于圖像融合的基本原理是:首先計算參加融合的兩幅源圖像的協(xié)方差矩陣，然后求其特征值對應的特征向量，最后利用與最大特征值相對應的特征向量來確定兩幅圖像的加權系數(shù)。 圖31 基于PCA變換的圖像融合方法PCA融合算法的優(yōu)點在于，它適用于多光譜圖像的所有波段(IHS變換只能用3個波段)，但其不足之處在于，由于PCA融合算法中只是用高分辨率圖像簡單替換低分辨率圖像的第一主成分，故低分辨率圖像第一主成分分量會損失一部分反映光譜特性的信息，使得融合后圖像的光譜畸變嚴重。用PCA方法確定加權系數(shù)優(yōu)于加權平均融合方法中提到的根據(jù)像素灰度值自適應確定加權系數(shù)的方法，得到的融合圖像效果相對較好，但是對比度的提高沒有顯著的效果。 IHS變換法IHS分別表示強度I(Intensity)、色調H(Hue)和飽和度S(Saturation)，它們是從人眼中認識顏色的三個特征。強度是光作用在人眼所引起明亮程度的感覺，確定像素的整體亮度，與物體的反射率成正比。而色調和飽和度又統(tǒng)稱為色度，反映顏色信息。色調反映了顏色的類別，飽和度則是彩色光所呈現(xiàn)彩色的深淺程度，這兩個分量與人感受彩色的方式是緊密相連的。IHS變換有效地將RGB顏色信息表示成強度和色度信息，因此可以分離出大部分光譜信息，有利于圖像光譜信息的保持。IHS 變換是指將RGB(RedGreenBlue,紅綠藍) 三原色信號表示的彩色圖像轉換為I(亮度)，H(色調)和S(飽和度)三個分量來表示圖像信息。通常的色彩顯示是通過RGB( 紅綠藍)信號的亮度值所確定的, RGB 彩色坐標系統(tǒng)中R、G、B呈非線性關系,使調整色調的定量操作較為困難。而IHS 彩色坐標系統(tǒng)中, 三個分量具有相對的獨立性,可以分別對他們進行控制,并且能夠準確定量