【正文】 國，圖像融合技術(shù)才剛剛起步，同國外先進(jìn)水平相比還有很大的差距，這說明我們?nèi)匀沃囟肋h(yuǎn)，在圖像融合方面還需要進(jìn)行更加廣闊、更加深入的探索和研究。 本文的主要工作 本文的主要工作是圍繞圖像融合展開的，討論了圖像融合的目的、國內(nèi)外研究現(xiàn)狀、研究中所面臨的問題以及圖像融合的三個層次，重點(diǎn)研究了像素級圖像融合的幾種常用方法，包括加權(quán)平均法、主成分分析（ PCA）法、IHS 變換法和小波變換法，并對這 4 種融合方法進(jìn)行了理論分析，通過 matlab進(jìn)行實(shí)驗(yàn)仿真，得出 4 種不同融合方法下的融合圖像，通過一些圖像融合標(biāo)準(zhǔn)參數(shù)對 4 種不同融合方法下得到的融合圖像進(jìn)行衡量，看哪種融合效果比較好。 本文具體完成的工作如下： 錯誤 !未找到引用源。 簡單闡述圖像融合的三個層次：像素級圖像融合、特征級圖像融合和決策級圖像融合。 錯誤 !未找到引用源。 重點(diǎn)介紹了像素級圖像融合的 4 種常用融合方法：加權(quán)平均法、主成分分析（ PCA）法、 IHS 變換法和小波變換法。并對這 4種融合方法在理論上作了詳盡、清晰的描述（包括各種融合方法的理論、算法、流程圖、步驟以 及各自的優(yōu)缺點(diǎn)）。 錯誤 !未找到引用源。 運(yùn)用上述 4 種融合方法的理論知識，通過 matlab仿真得出 4 種不同融合方法下的融合圖像，并通過一些圖像融合標(biāo)準(zhǔn)參數(shù)： 4 信息熵、均方根誤差、信噪比和平均梯度，對上述 4 種方法得出的融合圖像進(jìn)行衡量，最終得出小波變換是這 4 種融合方法中最出色的方法，而加權(quán)平均法、主成分分析（ PCA）法和 IHS 變換法都有其各自的不足之處，融合效果不大令人滿意。 2. 圖像融合理論 圖像融合層次 多傳感器圖像融合與經(jīng)典的單一圖像處理方法之間存在本質(zhì)的差別，單一圖像處理是對人腦信 息處理過程的低水平模仿。而多源圖像融合信息具有更復(fù)雜的形式，而且出現(xiàn)在不同的信息層次上，通?？煞譃橐韵氯齻€層次：像素級圖像融合、特征級圖像融合和決策級圖像融合。 像素級圖像融合 基于像素級融合，是對多源圖像的關(guān)于同一場景、目標(biāo)的同一像素級灰度進(jìn)行的綜合處理，生成的新圖像能夠包含源圖像中所有像素點(diǎn)的信息，融合流程圖如圖 1 所示。進(jìn)行像素級融合之前，必須先對進(jìn)行融合的圖像進(jìn)行預(yù)處理和圖像配準(zhǔn)，目的是為了提高融合的可靠性和精度。每個傳感器提供的圖像來自不同的時間和空間，或者是在同一時間和空間下而具有不同 光譜特性的圖像。它們提供的信息是多方面的，通過基于像素級別的融合，增加了圖像的信息，在提供細(xì)節(jié)信息方面優(yōu)于特征級和決策級的融合。像素級的融合使結(jié)果圖像更豐富可靠，有利于進(jìn)一步進(jìn)行分析、處理、理解，能提供最優(yōu)決策和性能辨識 [1]。 5 特征級圖像融合 特征級的融合是利用從各個傳感器圖像的原始信息中提供的特征信息進(jìn)行綜合分析處理，融合流程圖如圖 2 所示。從每個傳感器提取局部特征，融合處理后獲得復(fù)合特征。特征通常為圖像邊緣、角點(diǎn)、紋理、相似區(qū)域等。例如，在利用紅外熱像儀和可見光攝影機(jī)進(jìn)行目標(biāo)識別時，首先要在 兩幅圖像上找到目標(biāo)背景之間的差異，對目標(biāo)的輪廓進(jìn)行提??；然后對目標(biāo)進(jìn)行比較、選擇、綜合，最后進(jìn)行識別和決策 [1]。 圖 1 像素級圖像融合 圖 2 特征及圖像融合 … 圖像 1 圖像 2 圖像 n 預(yù)處理 圖像配準(zhǔn) 像素級別融合 特征提取 分類決策 結(jié)果 圖像 1 圖像 2 圖像 n … 預(yù)處理 特征提取 圖像配準(zhǔn) 特征融合 結(jié)果 6 決策級圖像融合 決策級的融合，先對每個源圖進(jìn)行預(yù)處理、特征提取、識別或判決，融合流程圖如圖 3 所示。首先做出目標(biāo)的初級判斷和結(jié)論，然后對來自各個傳感器的決策進(jìn)行相關(guān)處理，最后進(jìn)行獲得聯(lián)合判斷。決策級的融合是直 接針對具體的決策目標(biāo)，充分利用來自各自圖像的初級決策。在決策級的預(yù)處理中，對圖像配準(zhǔn)的要求較低，甚至可以不用考慮，因?yàn)椋鱾€傳感器已經(jīng)首先進(jìn)行了決策提取。決策級的圖像融合具有較高的可靠性，當(dāng)某個傳感器失效時，融合仍可以進(jìn)行，系統(tǒng)容錯性好。主要技術(shù)包括表決法、 Bayes 推理、DempsterShafer 方法、推廣的證據(jù)處理理論、模糊集法等 [48]。 圖 3 決策及圖像融合 已有的理論和研究表明，上述三個層次的融合，像素級的融合在預(yù)處理、信息 量、信息損失、分類性方面性能最優(yōu)，而特征級和決策級融合性能較差。然而像素級融合在融合處理的難易程度上為最復(fù)雜、對傳感器的依賴性最高、系統(tǒng)容錯性差，抗干擾能力也最低。 像素級的圖像融合是最基本的圖像融合方法，也是特征級融合、決策級融合研究的基礎(chǔ)，其結(jié)果圖像獲得的信息量最多、目標(biāo)的辨識性最好。考慮圖像 1 圖像 2 圖像 n … 預(yù)處理 特征提取 特征分類 圖像配準(zhǔn) 決策融合 結(jié)果 7 到圖像融合主要目的在于集成多源圖像中的冗余信息和互補(bǔ)信息，強(qiáng)化對圖像的理解和分析。因此，本文所研究的圖像融合為像素級融合。特征級融合和決策級融合只作簡單的描述。 幾種像素級圖像融合方法理論介紹 像素級圖像融合方 法有很多，目前常用的有簡單加權(quán)平均方法、多分辨塔式方法、小波變換方法、主成分分析（ PCA）方法、彩色空間方法、卡爾曼濾波方法和 IHS（亮度、色度、飽和度）變換方法等 ??1 。本文就加權(quán)平均法、主成分分析（ PCA）法、 IHS 變換法和小波變換法這四種展開研究，主要包括各種融合方法的理論、算法、融合流程圖、融合步驟以及各種融合方法的優(yōu)缺點(diǎn)以及適用范圍。 加權(quán)平均法 加權(quán)平均圖像融合過程可以表示為： ? ? ? ? ? ?nmBnmAnmF , 21 ?? ?? (21) 式中： m 圖像中像素的行號， m =1， 2， …， M； n 圖像中像素的列號， n =1， 2，…， N； 1? 加權(quán)系數(shù) 1； 2? 加權(quán)系數(shù) 2；通常： 121 ??ww 。 圖像灰度值的平均可看作灰度值和加權(quán)的特例（ ???? ）。多數(shù)情況下，這種加 權(quán)平均融合的方法中，參加融合的圖像提供的冗余信息，通過這種融合可以提高檢測的可靠性。同時，當(dāng)用于多幀圖像的融合處理時，可提高融合圖像的信噪比。例如，假設(shè)有 M 個含噪聲圖像 ? ?nmgi , ： 8 ? ? ? ? ? ?212121 , nnnnfnng ii ??? (22) 式中 i=1， 2， …， M； ? ?21,nnf 原圖像（不含噪聲）； ? ?21,nni? 為圖像在像素點(diǎn) ? ?21,nn 處的噪聲，假設(shè)其為不相關(guān)、零均值隨機(jī)噪聲。 對以上 M 個圖像進(jìn)行平均融合后的圖像 ? ?21,nng 為： ? ? ? ?21121 ,1, nngMnng Mi i??? (23) 顯然有： ? ?? ? ? ?2121 , nnfnngE ? (24) ? ? ? ?2 ,2 , 2121 1 nnnng M ??? ? (25) 式中： ? ?? ?21,nngE 為 g 的均值； ? ?2 ,21nng? 為 g 在 ? ?21,nn 處得方差； ? ?2 ,21nn?? 為 ?在 ? ?21,nn 處得方差。 融合后圖像在 ? ?21,nn 處的標(biāo)準(zhǔn)偏差為： ? ? ? ?2121 , 1 nnnng M ??? ? (26) 式 (26)說明，經(jīng)像素平均融合后得到的融合圖像的標(biāo)準(zhǔn)差降為原來的M1。實(shí)際上， 此時的多幀圖像的像素平均融合就是一種圖像的平滑處理，這種平滑處理在減小圖像中噪聲的同時，往往可能在一定程度上使圖像中的邊緣、輪廓變得模糊了。所以，加權(quán)平均圖像融合具有算法簡單，融合速度快的優(yōu)點(diǎn)，但在多數(shù)應(yīng)用場合，該圖像融合算法難以取得令人滿意的融合效果。 9 若要對彩色圖像進(jìn)行融合處理時，可以按照三基色模型，將每幅彩色圖像看作三幅單色圖像（紅、綠、藍(lán)）的疊加，分別對各色圖像進(jìn)行融合處理，最終可得到融合后的三幅紅、綠、藍(lán)單色圖像，由這三幅單色圖像疊加便可形成融合后的彩色圖像。也就是說，彩色圖像的融合過程可以分解成 三基色單色圖像的融合過程。 對彩色圖像進(jìn)行像素級加權(quán)平均融合處理為： ? ? ? ? ? ?21221121 , nnBnnAnnF RRR ?? ?? ? ? ? ? ? ?21221121 , nnBnnAnnF GGG ?? ?? ? ? ? ? ? ?21221121 , nnBnnAnnF BBB ?? ?? (27) 式中：下標(biāo) R、 G、 B 分別表示三基色紅、綠、藍(lán)，與之對應(yīng)的圖像分別為三基色單色圖像。 當(dāng)然，在進(jìn)行彩色 圖像融合處理的實(shí)際過程中，有時為了避免彩色失真，在融合處理之后可能還要對圖像進(jìn)行彩色平衡、補(bǔ)償?shù)忍幚怼２贿^這些彩色處理基本都是線性處理 [9]。 加權(quán)平均融合法的優(yōu)點(diǎn)是：算法簡單直觀、融合速度快、實(shí)時性強(qiáng)；缺點(diǎn)是：常需要人工干預(yù)并且圖像融合結(jié)果很難令人滿意，實(shí)際應(yīng)用不