【正文】 體情況而定。 圖像融合的概念圖像融合是二十世紀70年代后期提出的新概念，是多傳感器信息中可視信息部分的融合，是將多源信道所采集的關于同一目標圖像經過一定的圖像處理，提取各自信道的信息，最后綜合成統(tǒng)一圖像或綜合圖像特性以供觀察或進一步處理。由于圖像融合系統(tǒng)具有突出的探測優(yōu)越性(時空覆蓋寬、目標分辨力與測量維數(shù)高、重構能力好、兀余性、互補性、時間優(yōu)越性及相對低成本性等)，在技術先進國家受到高度重視并己取得相當?shù)倪M展。圖像融合能夠充分利用這些時間或空間上冗余或互補的圖像信息，依據(jù)一定的融合算法合成一幅滿足某種需要的新圖像，從而獲得對場景的進一步分析、理解以及目標的檢測、識別或跟蹤。 圖11 多源圖像的信息構成通過圖像融合可以強化圖像中的有用信息、增加圖像理解的可靠性、獲得更為精確的結果，使系統(tǒng)變得更加實用。圖像融合的層次可分為:像素級、特征級和決策級。(2)改善圖像的空間分辨率，增加光譜信息的含量，為改善檢測/分類/理解/識別性能獲取補充的圖像信息。(4)通過融合多個二維圖像產生具有立體視覺的三維圖像，可用于三維重構或立體投影，測量等。顯然，圖像融合技術不同于一般意義上的圖像增強，它是計算機視覺、圖像理解領域的一項新技術。它可以強化圖像中有用信息，增加圖像理解的可靠性，獲得更為準確的結果。根據(jù)抽象程度可將圖像融合系統(tǒng)分為三級：像素級、特征級和決策級。下圖示意了在圖像處理全過程中，圖像融合所處的位置與層次。像素級圖像融合是在基礎層面上進行的信息融合，其主要完成的任務是對多傳感器目標和背景要素的測量結果進行融合處理。像素級圖像融合是目前在實際中應用最廣泛的圖像融合方式，也是特征級圖像融合和決策級的基礎，但缺點是預處理的信息量最大，處理時間較長，對通信帶寬的要求高。像素級圖像融合通常用于:多源圖像復合、圖像分析和理解。特征級融合屬于中間層次的信息融合，它既保留了足夠數(shù)量的重要信息，又可對信息進行壓縮，有利于實時處理。一般從源圖像中提取的典型特征信息有:線型、邊緣、紋理、光譜、相似亮度區(qū)域、相思景深區(qū)域等。盡管在模式識別、圖像處理和計算機視覺等領域，已經對特征提取和基于特征的圖像分類、分割等問題進行了深入的研究，但是這一問題至今仍是困擾計算機視覺研究領域的一個難題，有待于從融合角度進一步研究和提高。這種方法是首先對各個源數(shù)據(jù)進行處理，分別得出判斷和識別的結果，融合中心將這些結果按照一定的準則和每個數(shù)據(jù)源決策的可信度進行協(xié)調，以取得最優(yōu)的決策結果。此種融合實時性好，并且有一定的容錯能力，但其預處理代價較高，圖像中的原始信息的損失最多。圖像融合的三個層次不僅能夠獨立進行，而且它們有著密切相關性，還可以作為一個整體同時進行分層次融合，前一級的融合結果可作為后一級的輸入。其采取的融合方法主要有IHS(明度色度飽和度:IntensityHuesaturation)變換、平均、加權平均、差分及比率、高通濾波等。到80年代中期，人們又提出了基于金字塔的圖像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并開始將圖像融合技術應用于一般圖像(可見光圖像、紅外圖像、多聚焦圖像、遙感圖像等)的處理。對于某個具體的圖像融合系統(tǒng)而言，它所接受的信息可以是單一層次上的信息，也可以是幾種層次上的信息。因此，圖像融合本質上是一個由低(層)至高(層)對多源信息融合、逐層抽象的信息處理過程。源圖像經預處理后，接下來就是根據(jù)具體的應用目的不同，采用不同的融合算法對多個源圖像在不同的層次上進行融合處理，同時還要對融合結果進行質量評價，形成具有反饋的系統(tǒng)，從而有利于選擇最為合適的融合方式以得到最優(yōu)的融合結果。由于像素級圖像融合在整個圖像融合技術中是最為復雜、實施難度最大的融合，因而本論文重點對它進行探討和研究。1981年，Laner和Todd對LandsatRBV和Mss圖像數(shù)據(jù)進行了融合試驗。90年代開始，圖像融合技術開始成為遙感圖像處理和分析中的研究熱點之一。這個時期人們采用的融合方法主要有IHS變換、平均、加權平均、差分及比率、主分量分析(PCA)、高通濾波等。到80年代末，人們才開始將圖像融合技術應用于一般圖像處理(可見光圖像、紅外圖像等)。尤其是近幾年，多傳感器(多源)圖像融合技術己成為計算機視覺、自動目標識別、機器人、軍事應用等領域的熱點研究問題。涉及圖像融合前的預處理，濾波去噪和圖像配準，采取手動配準獲取精準的配準圖像，在空域內的像素級圖像融合采用簡單直接的加權平均法，在頻域內的小波變換融合，最后對融合結果進行評價。為了避免噪聲的傳播擴散，使后面圖像融合的質量和性能下降，必須在融合前對源圖像進行幾何校正、去噪和增強處理。 圖像的校正　 圖像校正主要分為兩類：幾何校正和灰度校正?！　缀涡Ｕ幕痉椒ㄊ牵菏紫冉缀涡Ｕ臄?shù)學模型；其次利用已知條件確定模型參數(shù)；最后根據(jù)模型對圖像進行幾何校正。 圖21 幾何校正處理過程（2）灰度校正根據(jù)圖像不同失真情況以及所需的不同圖像特征可以采用不同的修正方法。針對圖像成像不均勻如曝光不均勻，使圖像半邊暗半邊亮，對圖像逐點進行不同程度的灰度級校正,目的是使整幅圖像灰度均勻。針對圖像某一部分或整幅圖像曝光不足使用灰度變換，其目的是增強圖像灰度對比度。能夠使圖像具有所需要的灰度分布，從而有選擇地突出所需要的圖像特征，來滿足人們的需要。但相同的是都會導致圖像失真，使圖像模糊，甚至掩蓋圖像的重要特征，給后續(xù)的圖像分析和處理帶來不利影響。例如，按其產生的原因可分為外部噪聲和內部噪聲；按噪聲服從的分布將其分為隨機噪聲（高斯噪聲）和椒鹽噪聲；根據(jù)噪聲與信號之間的關系分為加性噪聲和乘性噪聲等。常用的空間濾波去噪方法主要有均值濾波、中值濾波、維納濾波以及空間域低通濾波法，其中，維納濾波是一種自適應的濾波方法，比一般的濾波器具有更好的選擇性，可以更好地保護圖像邊緣，尤其對加性高斯白噪聲的抑制效果很好。常用的去噪方法主要有頻率域低通濾波法和基于小波變換法，其中小波去噪的方法大致可分為基于小波變換模極大值原理、相鄰尺度間小波系數(shù)相關性以及閾值法三大類。 鄰域平均法鄰域平均法按直接對圖像作低通濾波處理。常用的（低通濾波器的脈沖響應函數(shù)）有這里的作用域為33，共有9個像素灰度參加運算，用運算結果代替中心像素的像素灰度。矩陣中心的元素值占的比例越小，平滑作用越強，會使圖像越模糊；的作用域越大，平滑作用越強，亦導致圖像越模糊。用這種方法作平滑處理，圖像四周圍邊緣的像素需特殊處理。② 不處理原始圖像4個邊緣的像素，使處理后4個邊緣的像素灰度保持原始灰度，或人為地賦予特殊灰度。其原理是在圖像畫面中開一個一維的小窗口，它應該包含奇數(shù)個像素，按像素的灰度值從小到大排列起來，然后用中間灰度值來代替原排列的中間像素的灰度值。窗口下移一行，再從左到右進行。其操作流程如下所示： 50，60，300，100，120，80，190，、 ↓→→順序排列象素灰度值50,60,100,120,300,↓用中間灰度值100代替原中間灰度值300, 50,60,100,100,120,80,190，、 ↓右移窗口得 50，60，100，100，120，80，190，、 ↓→→順序排列象素灰度值60，80，100，100，120 ↓中間灰度值100與原中間灰度值100相同，不用換 50，60，100，100，120，80，190，、 ↓右移窗口得 50，60，100，100，120，80，190，、這樣對圖像灰度的跳躍有平滑效果。圖像配準算法就是設法建立兩幅圖像之間的對應關系,確定相應幾何變換參數(shù),對兩幅圖像中的一幅進行幾何變換的方法。按照配準算法所利用的圖像信息，可以分為以下兩類（1）基于灰度的圖像配準方法。該方法不需要對圖像作特征提取，直接利用全部可用的圖像灰度，提高了配準算法的估計精度和魯棒性，但是由于匹配點周圍區(qū)域的點的灰度都參與計算，因此，其計算量大，速度慢。將從圖像灰度中提取出來的某些顯著特征作為匹配基元，用于匹配的特征通常為點、線、區(qū)域等。在特征匹配前，首先要從待匹配的多幅圖像中提取出灰度變化明顯的點、線、區(qū)域等特征，組成特征集。對于非特征像素點利用插值等方法處理，推算出對應的匹配關系，從而實現(xiàn)多幅圖像之間逐像素的配準。 按自動化程度可以分為人工、半自動和全自動三種類型 。圖像處理工具箱（Matlab Image Processing Toolbox）提供了一套全方位的參照標準算法和圖形工具，用于進行圖像處理、分析、可視化和算法開發(fā)。利用Matlab Image Processing Toolbox中的圖像配準工具實現(xiàn)線性正投影、仿射、投影、多項式、分段線性、局部加權平均配準的過程。假設input image（輸入圖像）為欲進行配準的圖像，base image為配準是的參考圖像。1．線性正投影（linear conformal）：最簡單。當輸入輸入圖像與參考圖像對比，只是存在全局的平移、旋轉、縮放或其三者組合的差別時（正方形仍對應正方形），選擇此配準方法。2．仿射（affine）：將平行線轉換成平行線。至少需3對匹配點。如果輸入圖像呈現(xiàn)傾斜，翹起現(xiàn)象，選此法。4．多項式（polynomial）：將直線映射成曲線。Matlab中提供有4次冪的實現(xiàn)，分別至少需要6，10，10對匹配點。至少需要4對匹配點。至少需要6對（推薦12對）匹配點。Harris角點檢測算法基本原理描述如下：建立下面矩陣M： 其中I（x，y）是亮度值，這里用灰度表示。這也就說明該點是一個角點。令A=，B=，C=，D= 則矩陣表示圖像I在x方向的導數(shù)，表示圖像在y方向的導數(shù)。該算法易受噪聲的影響。按此方法求出的角點數(shù)量很多。限制方法是確定一個閾值，僅僅選取R值大于這個閾值的點作為角點。 第三章 圖像融合常用的像素級圖像融合方法有：(l)空域融合方法:①加權平均法；②像素灰度值取大/小法；③主分量法(PCA)。加權平均方法將源圖像對應像素的灰度值進行加權平均，生成新的圖像，它是最直接的融合方法。假設參加融合的兩個圖像分別為A、B，圖像大小為MN，經融合后得到融合圖像C，那么，對A、B兩個源圖像的像素灰度值加權平均融合過程可以表示為:C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (21)式中:n1表示圖像中像素的行號，nl=l，2，3，...……M。ω1表示加權系數(shù)1；ω2表示加權系數(shù)2；通常ω1+ω2=1。加權平均法的優(yōu)點是簡單直觀，適合實時處理。當融合圖像的灰度值差異很大時，就會出現(xiàn)明顯的拼接痕跡，不利于人眼識別和后續(xù)的目標識別過程。這種融合方法只是簡單地選擇參加融合的源圖像中灰度值大/小的像素作為融合后的像素，該融合方法的適用場合非常有限。但在多數(shù)應用場合，這些簡單的圖像融合方法的局限性是顯而易見的，無法獲得滿意的融合效果。在進行許多問題的分析時，多個變量的情況是經常遇到的。能否在各個變量之間相關關系研究的基礎上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來的變量所反應的信息，主分量分析就是實現(xiàn)這個目標的一種強有力的方法，它是把原來多個變量化為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法，從數(shù)學角度來看，這是一種降維處理技術，用較少的幾個綜合指標來代替原來較多的變量指標，而且使這些較少的綜合指標既能盡量地反映原來較多指標所反映的信息，同時它們之間又彼此獨立。圖像PCA變換的結果在舍棄相關性較差的次要成分后進行反變換所恢復出的圖像是原圖像在統(tǒng)計意義上的最佳逼近。一般圖像的線性變換可以用下