【正文】 合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補(bǔ)某種圖像中丟失的數(shù)據(jù)、檢測(cè) /觀測(cè)大地環(huán)境的變化等等。 濾 波 、 校 準(zhǔn) 、 配 準(zhǔn)特征融合濾 波 、 校 準(zhǔn) 、 配 準(zhǔn)特 征 變 換特 征 變 換逆變換圖 片 n圖 片 1預(yù) 處 理 階 段融 合 階 段融 合 后 圖 像、 圖 16 圖像融合一般步驟 圖像融合技術(shù)的發(fā)展現(xiàn)狀 1979 年， Daily 等人 [9]首先把對(duì)雷達(dá)圖像和 LandsatMss 圖像的復(fù)合圖像應(yīng)用于地質(zhì)解釋，其對(duì)圖像的處理過程可以看作是最簡(jiǎn)單的圖像融合。 基于 MATLAB 的圖像融合算法 一般情況下，由于各個(gè)成像傳感器所在的平臺(tái)各異，且成像模式不同，同時(shí)還會(huì)受到各種環(huán) 境因素的影響，對(duì)同一場(chǎng)景或目標(biāo)所成的多源圖像間會(huì)出現(xiàn)位移、畸變以及噪聲污染等問題，因此，多傳感器圖像在融合之前必須進(jìn)行一系列的預(yù)處理。 90 年代，隨著小波理論的發(fā)展與廣泛應(yīng)用，小波變換技術(shù)為圖像融合提供了新的工具，使圖像融合技術(shù)的研究呈不斷上升趨勢(shì)，應(yīng)用的領(lǐng)域也遍及到遙 感圖像處理、計(jì)算機(jī)視覺、自動(dòng)目標(biāo)檢測(cè)、城市規(guī)劃、交通管制、機(jī)器人導(dǎo)航、決策支持系統(tǒng)、大型經(jīng)濟(jì)信息、醫(yī)學(xué)圖像處理等。 圖像融合算法的發(fā)展 對(duì)圖像進(jìn)行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補(bǔ)某種圖像中丟失的數(shù)據(jù)、檢測(cè)或觀測(cè)大地環(huán)境的變化等等。此種融合實(shí)時(shí)性好，并且有一定的容錯(cuò)能力，但其預(yù)處理代價(jià)較高，圖像中的原始信息的損失最多。 數(shù) 據(jù) 1特征級(jí)融合特征提取關(guān)聯(lián)校準(zhǔn)聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。它使用參數(shù)模板、統(tǒng)計(jì)分析、模式相關(guān)等方法完成幾何關(guān)聯(lián)、特征提取和目標(biāo)識(shí)別等功能，以利于系統(tǒng)判決。 像素級(jí)圖像融合通常用于 :多源圖像復(fù)合、圖像分析和理解。像素級(jí)圖像融合是在基礎(chǔ)層面上進(jìn)行的信息融合，其主要完成的任務(wù)是對(duì)多傳感器目標(biāo)和背景要素的測(cè)量結(jié)果進(jìn)行融合處理。根據(jù)抽象程度可將圖像融合系統(tǒng)分為三級(jí)：像素級(jí)、特征級(jí)和決策級(jí)。 顯然，圖像融合技術(shù)不同于一般意義上的圖像增強(qiáng)，它是計(jì)算機(jī)視覺、圖像理解領(lǐng)域的一項(xiàng)新技術(shù)。 (2)改善圖像的空間分辨率，增加光譜信息的含量，為改善檢測(cè) /分類 /理解 /識(shí)別性能獲取補(bǔ)充的圖像信息 。 傳 感 器 A 傳 感 器 B互 補(bǔ) 信 息冗 余 信 息 圖 11 多源圖像的信息構(gòu)成 畢業(yè)設(shè)計(jì) 通過圖像融合可以強(qiáng)化圖像中的有用信息、增加圖像理解的可靠性、獲得更為精確的結(jié)果，使系統(tǒng)變得更加實(shí)用。由于圖像融合系統(tǒng)具 有突出的探測(cè)優(yōu)越性 (時(shí)空覆蓋寬、目標(biāo)分辨力與測(cè)量維數(shù)高、重構(gòu)能力好、兀余性、互補(bǔ)性、時(shí)間優(yōu)越性及相對(duì)低成本性等 )，在技術(shù)先進(jìn)國(guó)家受到高度重視并己取得相當(dāng)?shù)倪M(jìn)展。這主要是各類圖像的解析度不同、表現(xiàn)的內(nèi)容 不同，相應(yīng)的處理方法也要根據(jù)具體情況而定。圖像融合就是通過多幅圖像冗余數(shù)據(jù)互補(bǔ)得到一幅新的圖像，在這幅圖像中能反應(yīng)多重原始圖像中的信息。 本論文的 主要的研究 內(nèi)容有： 首先介紹了圖像信息融合的概念、優(yōu)勢(shì)、發(fā)展歷 史和應(yīng)用領(lǐng)域，并介紹了圖像融合的三個(gè)層次及常用的空域圖像融合方法 ,空域融合方法有 像素平均法、像素最大最小法、像素加權(quán)平均法，頻域融合方法包括 圖像的多尺度分解 、 圖像的小波變換、基于小波變換的圖像融合方法 。并且采用一定的算法將各圖像數(shù)據(jù)所含的信息優(yōu)勢(shì)或互補(bǔ)性有機(jī)的結(jié)合起來產(chǎn)生新的圖像數(shù)據(jù)。這種新數(shù)據(jù)具有描述所研究對(duì)象的較優(yōu)化的信息表征，同單一信息源相比，能減少或抑制對(duì)被感知對(duì)象或環(huán)境解釋中可能存在的多義性、不完全性、不確定性和誤差，最大限度的利用各種信息源提供的信息。 圖像的預(yù) 處理有濾波 （ 鄰域平均濾波法 、 中值濾波法 ） 和圖像配準(zhǔn) 。圖像融合的目的是充分利用多個(gè)待融合源圖像中包含的冗余信息和互補(bǔ)信息，融合后的圖像應(yīng)該更適合于人類視覺感知或計(jì)算機(jī)后續(xù)處理，減少不確定性。 本 章首先介紹了多傳感器圖像融合的基礎(chǔ)理論及發(fā)展現(xiàn)狀，在此基礎(chǔ)上介紹 了像素級(jí)圖像融合方法的原理及應(yīng)用，最后，給出論文的內(nèi)容安排。 圖像融合的形式 大致 可分為 以下 3 種 ： (l)多傳感器不同時(shí)獲取的圖像的融合 ； (2)多傳感器同時(shí)獲取的圖像的融合 ； (3)單一傳感器不同時(shí)間，或者不同環(huán)境條件下獲取的圖像的融合。同時(shí)，使系統(tǒng)具有良好的魯棒性，例如，可以增加置信度、減少模糊性、改善分類性等。 (3)通過不同時(shí)刻的圖像序列融合來檢測(cè)場(chǎng)景 /目標(biāo)的變化情況 。 圖像融合的主要研究?jī)?nèi)容 圖像融合的層次 圖像融合是采用某種算法對(duì)兩幅或多幅不同的源圖像進(jìn)行綜合處理，最終形成一幅新的圖像。 融合的層次不同，所采用的算法、適用的范圍也不相同。像素級(jí)圖像融合是直接在原始數(shù)據(jù)層上進(jìn)行的融合，該層次的融合準(zhǔn)確性最高，能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更可靠的細(xì)節(jié)信息，有利于圖 像的進(jìn)一步分析、處理與理解。 數(shù) 據(jù) 1特征提取關(guān)聯(lián)像素級(jí)融合校準(zhǔn)聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。一般從源圖像中提取的典型特征信息有 :線型、邊緣、紋理、光譜、相似亮度區(qū)域、相思景深區(qū)域等。 圖 14 特征級(jí)數(shù)據(jù)融合原理示意圖 畢業(yè)設(shè)計(jì) (3)決策級(jí)圖像融合 決策級(jí)圖像融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。 數(shù) 據(jù) 1屬 性 說 明決策級(jí)融合特征提取關(guān)聯(lián)校準(zhǔn)聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。其采取的融合方法主要有 IHS(明度 色度 飽和度 :IntensityHuesaturation)變換、平均、加權(quán)平均、差分及比率、高通濾波等。 圖像融合的步驟 對(duì)于某個(gè)具體的圖像融合系統(tǒng)而言，它所接受的信息可以是單一層次上的信息，也可以是幾種層次上的信息。源圖像經(jīng)預(yù)處理后，接下來就是根據(jù)具體的應(yīng)用目的不同，采用不同的融合算法對(duì)多個(gè)源圖像在不同的層次上進(jìn)行融合處理，同時(shí)還要對(duì)融合結(jié)果進(jìn)行質(zhì)量評(píng)價(jià)，形成具有反饋的系統(tǒng)，從而有利于選擇最為合適的融合方式以得到最優(yōu)的融合結(jié)果。 1981 年， Laner 和 Todd 對(duì)LandsatRBV 和 Mss 圖像數(shù)據(jù)進(jìn)行了融合試驗(yàn)。這個(gè)時(shí)期人們采用的融合方法主要有 IHS變換、平均、加權(quán)平均、差分及比率、主分量分析 (PCA)、高通濾波等。尤其是近幾年，多傳感器 (多源 )圖像融合技術(shù)己成為計(jì)算機(jī)視覺、自動(dòng)目標(biāo)識(shí)別、機(jī)器人、軍事應(yīng)用等領(lǐng)域的熱點(diǎn)研究問題。為了避免噪聲的傳播擴(kuò)散，使后面圖像融合的質(zhì)量和性能下降，必須在融合前對(duì)源圖像進(jìn)行幾何校正、去噪和增強(qiáng)處理。 幾何校正的基本方法是：首先建立幾何校正的數(shù)學(xué)模型；其次利用已知條件確定模型參數(shù)；最后根據(jù)模型對(duì)圖像進(jìn)行幾何校正。針對(duì)圖像成像不均勻如曝光不均勻，使圖像半邊暗半邊亮，對(duì)圖像逐點(diǎn)進(jìn)行不同程度的灰度級(jí)校正 ,目的是使整幅圖像灰度均勻。能夠使圖像具有所需要的灰度分布，從而有選擇地突出所需要的圖像特征，來滿足人們的需要。例如，按其產(chǎn)生的原因可分為外部噪聲和基于 MATLAB 的圖像融合算法 內(nèi)部噪聲；按噪聲服從的分布將其分為隨機(jī)噪聲（高斯噪聲）和椒鹽噪聲；根據(jù)噪聲與信號(hào)之間的關(guān)系分為加性噪聲和乘性噪聲等。常用的去噪方法主要有頻率域低通濾波法和基于小波變換法，其中小波去噪的方法大致 可分為基于小波變換模極大值原理、相鄰尺度間小波系數(shù)相關(guān)性以及閾值法三大類。 常用的 ),( yxh （低通濾波器的脈沖響應(yīng)函數(shù)）有 ??????????????????????????????121242121161,111121111101,11111111191 這里的作用域?yàn)?3 3，共有 9個(gè)像素灰度參加運(yùn)算，用運(yùn)算結(jié)果代替中心像素 ),( yx 的像素灰度。用這種方法作平滑處理，圖像四周圍邊緣的像素需特殊處理。 畢業(yè)設(shè)計(jì) 其原理是 在圖像畫面中開一個(gè)一維的小窗口，它應(yīng)該包含奇數(shù)個(gè)像素，按像素的灰度值從小到大排列起來，然后用中間灰度值來代替原排列的中間像素的灰度值。 其操作流程如下所示： 50， 60， 300， 100， 120， 80， 190，、 ↓→→ 順序排列象素灰度值 50,60,100,120,300, ↓ 用中間灰度值 100 代替原中間灰度值 300, 50,60,100,100,120,80,190，、 ↓ 右移窗口得 50， 60， 100， 100， 120， 80， 190，、 ↓→→ 順序排列象素灰度值 60， 80， 100， 100， 120 ↓ 中間灰度值 100 與原中間灰度值 100 相同，不用換 50， 60， 100， 100， 120， 80， 190，、 ↓ 右移窗口得 50， 60， 100， 100， 120， 80， 190， 、 這樣對(duì)圖像灰度的跳躍有平滑效果。 按照配準(zhǔn)算法所利用的圖像信息，可以分為 以下兩類 （ 1） 基于灰度的圖像配準(zhǔn)方法。將從圖像灰度中提取出來的某些顯著特征作為匹配基元，用于匹配的特征通常為點(diǎn)、線、區(qū)域等。對(duì)于非特征像素點(diǎn)利用插值等方法處理，推算出對(duì)應(yīng)的匹配關(guān)系，從而實(shí)現(xiàn)多幅圖像之間逐像素的配準(zhǔn)。 圖像處理工具箱（ Matlab Image Processing Toolbox） 提供 了 一套全方位的參照標(biāo)準(zhǔn)算法和圖形工具，用于進(jìn)行圖像處理、分析、可視化和算法開發(fā)。 假設(shè) input image（輸入圖像）為欲進(jìn)行配準(zhǔn)的圖像， base image 為配準(zhǔn)是的參考圖像。 當(dāng)輸入輸入圖像與參考圖像對(duì)比，只是存在全局的平移、旋轉(zhuǎn)、縮放或其三者組合的差別時(shí)（正方形仍對(duì)應(yīng)正方形），選擇此配準(zhǔn)方法。至少需 3對(duì)匹配點(diǎn)。 4．多項(xiàng)式（ polynomial）：將直線映射成曲線。至少需要 4對(duì)匹配點(diǎn)。 Harris 角點(diǎn)檢測(cè)算法基本原理描述如下：建立下面矩陣 M： 22( ) ( ) ( )( ) ( ) ( )I I Ix x yMI I Ix y y? ? ?????? ? ?? ? ? ???? ? ??? 其中 I（ x， y）是亮 度值，這里用灰度表示。 令 A= 2()Ix?? ， B= 2()Iy??， C= ()Ix?? ， D=()Iy?? 則矩陣 ABMCB??????? Ix?? 表示圖像 I 在 x 方向的導(dǎo)數(shù) ， Iy?? 表示圖像在 y 方向的導(dǎo)數(shù)。按此方法求出的角點(diǎn)數(shù)量很多。 基于 MATLAB 的圖像融合算法 第三章 圖像融合 常用的像素級(jí)圖像融合方法有： (l)空域融合方法 :①加權(quán)平均法 ； ②像素灰度值取大 /小法 ； ③主分量法 (PCA)。 假設(shè)參加融合的兩個(gè)圖像分別為 A、 B，圖像大小為 M N，經(jīng)融合后得到融合圖像 C，那么，對(duì) A、 B兩個(gè)源圖像的像素灰度值加權(quán)平均融合過程可以表示為 : C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (21) 式中 : n1 表示圖像中像素的行號(hào)， nl=l， 2， 3， ...……M。 加權(quán)平均法的優(yōu)點(diǎn)是簡(jiǎn)單直觀，適合實(shí)時(shí)處理。這種融合方法只是簡(jiǎn)單地選擇參加融合的源圖像中灰度值大 /小的像素作為融合后的像素，該融合方法的適用場(chǎng)合非常有限。在進(jìn)行許多問題的分析時(shí)，多個(gè)變量的情況是經(jīng)常遇到的。圖像 PCA 變換的結(jié)果在舍棄相關(guān)性較差的次要成分后進(jìn)行反變換所恢復(fù)出的圖像是原圖像在統(tǒng)計(jì)意義上的最佳逼近。 (2)主分量變換的過程 用于圖像的 KL 變換的過程如下 ： ①根據(jù)原始圖像數(shù)據(jù)矩陣 X，求出它的協(xié)方差矩陣 C： X 的協(xié)方差矩陣為 : ? ?? ? ? ? nmjiclXXXXnC ????? ,1 ②求出協(xié)方差矩陣的特征值和特征向量，并組成變換矩陣，具體如下 ： 寫出特征方程 ： 0)( ?? UCI? 式中 ： I 為單位矩陣， U 為特征向量。在 PCA 反變換時(shí)，只需運(yùn)用到前 m 個(gè)主分量，這也正是主分量名稱的由來。 IHS 變換法 IHS分別表示強(qiáng)度 I(Intensity)、色調(diào) H(Hue)和飽和度 S(Saturation)，它們是從人眼中認(rèn)識(shí)顏色的三個(gè)特征。 IHS變換有效地將 RGB顏色信息表示成強(qiáng)度和色度信