【正文】 (m 為整數(shù)， 0a ≠ 1，一般取 0a =2)。 小波變換融合法 “小波 ”就是小區(qū)域、長度有限、均值為 0 的波形。同時 , 圖像從 RGB 轉(zhuǎn)換到 IHS這一彩色空間變換有效地分離了代表空間亮度信息的 I 分量和代表光譜彩色信息的 H 和 S分量。 IHS 變換法 IHS分別表示強(qiáng)度 I(Intensity)、色調(diào) H(Hue)和飽和度 S(Saturation)，它們是從人眼中認(rèn)識顏色的三個特征。 (2)主分量變換的過程 用于圖像的 KL 變換的過程如下 ： ①根據(jù)原始圖像數(shù)據(jù)矩陣 X，求出它的協(xié)方差矩陣 C： X 的協(xié)方差矩陣為 : ? ?? ? ? ? nmjiclXXXXnC ????? ,1 ②求出協(xié)方差矩陣的特征值和特征向量，并組成變換矩陣，具體如下 ： 寫出特征方程 ： 0)( ?? UCI? 式中 ： I 為單位矩陣， U 為特征向量。在進(jìn)行許多問題的分析時，多個變量的情況是經(jīng)常遇到的。 加權(quán)平均法的優(yōu)點(diǎn)是簡單直觀，適合實(shí)時處理。 基于 MATLAB 的圖像融合算法 第三章 圖像融合 常用的像素級圖像融合方法有： (l)空域融合方法 :①加權(quán)平均法 ； ②像素灰度值取大 /小法 ； ③主分量法 (PCA)。 令 A= 2()Ix?? ， B= 2()Iy??， C= ()Ix?? ， D=()Iy?? 則矩陣 ABMCB??????? Ix?? 表示圖像 I 在 x 方向的導(dǎo)數(shù) ， Iy?? 表示圖像在 y 方向的導(dǎo)數(shù)。至少需要 4對匹配點(diǎn)。至少需 3對匹配點(diǎn)。 假設(shè) input image（輸入圖像）為欲進(jìn)行配準(zhǔn)的圖像， base image 為配準(zhǔn)是的參考圖像。對于非特征像素點(diǎn)利用插值等方法處理，推算出對應(yīng)的匹配關(guān)系，從而實(shí)現(xiàn)多幅圖像之間逐像素的配準(zhǔn)。 按照配準(zhǔn)算法所利用的圖像信息，可以分為 以下兩類 （ 1） 基于灰度的圖像配準(zhǔn)方法。 畢業(yè)設(shè)計(jì) 其原理是 在圖像畫面中開一個一維的小窗口，它應(yīng)該包含奇數(shù)個像素，按像素的灰度值從小到大排列起來，然后用中間灰度值來代替原排列的中間像素的灰度值。 常用的 ),( yxh （低通濾波器的脈沖響應(yīng)函數(shù)）有 ??????????????????????????????121242121161,111121111101,11111111191 這里的作用域?yàn)?3 3，共有 9個像素灰度參加運(yùn)算，用運(yùn)算結(jié)果代替中心像素 ),( yx 的像素灰度。例如，按其產(chǎn)生的原因可分為外部噪聲和基于 MATLAB 的圖像融合算法 內(nèi)部噪聲；按噪聲服從的分布將其分為隨機(jī)噪聲（高斯噪聲）和椒鹽噪聲；根據(jù)噪聲與信號之間的關(guān)系分為加性噪聲和乘性噪聲等。針對圖像成像不均勻如曝光不均勻，使圖像半邊暗半邊亮，對圖像逐點(diǎn)進(jìn)行不同程度的灰度級校正 ,目的是使整幅圖像灰度均勻。為了避免噪聲的傳播擴(kuò)散，使后面圖像融合的質(zhì)量和性能下降，必須在融合前對源圖像進(jìn)行幾何校正、去噪和增強(qiáng)處理。這個時期人們采用的融合方法主要有 IHS變換、平均、加權(quán)平均、差分及比率、主分量分析 (PCA)、高通濾波等。源圖像經(jīng)預(yù)處理后，接下來就是根據(jù)具體的應(yīng)用目的不同，采用不同的融合算法對多個源圖像在不同的層次上進(jìn)行融合處理，同時還要對融合結(jié)果進(jìn)行質(zhì)量評價，形成具有反饋的系統(tǒng)，從而有利于選擇最為合適的融合方式以得到最優(yōu)的融合結(jié)果。其采取的融合方法主要有 IHS(明度 色度 飽和度 :IntensityHuesaturation)變換、平均、加權(quán)平均、差分及比率、高通濾波等。 圖 14 特征級數(shù)據(jù)融合原理示意圖 畢業(yè)設(shè)計(jì) (3)決策級圖像融合 決策級圖像融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。 數(shù) 據(jù) 1特征提取關(guān)聯(lián)像素級融合校準(zhǔn)聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。 融合的層次不同，所采用的算法、適用的范圍也不相同。 (3)通過不同時刻的圖像序列融合來檢測場景 /目標(biāo)的變化情況 。 圖像融合的形式 大致 可分為 以下 3 種 ： (l)多傳感器不同時獲取的圖像的融合 ； (2)多傳感器同時獲取的圖像的融合 ； (3)單一傳感器不同時間，或者不同環(huán)境條件下獲取的圖像的融合。圖像融合的目的是充分利用多個待融合源圖像中包含的冗余信息和互補(bǔ)信息，融合后的圖像應(yīng)該更適合于人類視覺感知或計(jì)算機(jī)后續(xù)處理，減少不確定性。這種新數(shù)據(jù)具有描述所研究對象的較優(yōu)化的信息表征，同單一信息源相比，能減少或抑制對被感知對象或環(huán)境解釋中可能存在的多義性、不完全性、不確定性和誤差，最大限度的利用各種信息源提供的信息。 本論文的 主要的研究 內(nèi)容有： 首先介紹了圖像信息融合的概念、優(yōu)勢、發(fā)展歷 史和應(yīng)用領(lǐng)域，并介紹了圖像融合的三個層次及常用的空域圖像融合方法 ,空域融合方法有 像素平均法、像素最大最小法、像素加權(quán)平均法，頻域融合方法包括 圖像的多尺度分解 、 圖像的小波變換、基于小波變換的圖像融合方法 。這主要是各類圖像的解析度不同、表現(xiàn)的內(nèi)容 不同，相應(yīng)的處理方法也要根據(jù)具體情況而定。 傳 感 器 A 傳 感 器 B互 補(bǔ) 信 息冗 余 信 息 圖 11 多源圖像的信息構(gòu)成 畢業(yè)設(shè)計(jì) 通過圖像融合可以強(qiáng)化圖像中的有用信息、增加圖像理解的可靠性、獲得更為精確的結(jié)果，使系統(tǒng)變得更加實(shí)用。 顯然，圖像融合技術(shù)不同于一般意義上的圖像增強(qiáng)，它是計(jì)算機(jī)視覺、圖像理解領(lǐng)域的一項(xiàng)新技術(shù)。像素級圖像融合是在基礎(chǔ)層面上進(jìn)行的信息融合，其主要完成的任務(wù)是對多傳感器目標(biāo)和背景要素的測量結(jié)果進(jìn)行融合處理。它使用參數(shù)模板、統(tǒng)計(jì)分析、模式相關(guān)等方法完成幾何關(guān)聯(lián)、特征提取和目標(biāo)識別等功能，以利于系統(tǒng)判決。此種融合實(shí)時性好，并且有一定的容錯能力，但其預(yù)處理代價較高，圖像中的原始信息的損失最多。 90 年代，隨著小波理論的發(fā)展與廣泛應(yīng)用，小波變換技術(shù)為圖像融合提供了新的工具，使圖像融合技術(shù)的研究呈不斷上升趨勢，應(yīng)用的領(lǐng)域也遍及到遙 感圖像處理、計(jì)算機(jī)視覺、自動目標(biāo)檢測、城市規(guī)劃、交通管制、機(jī)器人導(dǎo)航、決策支持系統(tǒng)、大型經(jīng)濟(jì)信息、醫(yī)學(xué)圖像處理等。 濾 波 、 校 準(zhǔn) 、 配 準(zhǔn)特征融合濾 波 、 校 準(zhǔn) 、 配 準(zhǔn)特 征 變 換特 征 變 換逆變換圖 片 n圖 片 1預(yù) 處 理 階 段融 合 階 段融 合 后 圖 像、 圖 16 圖像融合一般步驟 圖像融合技術(shù)的發(fā)展現(xiàn)狀 1979 年， Daily 等人 [9]首先把對雷達(dá)圖像和 LandsatMss 圖像的復(fù)合圖像應(yīng)用于地質(zhì)解釋，其對圖像的處理過程可以看作是最簡單的圖像融合。 90 年代后，圖像融 合技術(shù)的研究呈不斷上升趨勢，應(yīng)用的領(lǐng)域也遍及遙感圖像處理、可見光圖像處理、紅外圖像處理、醫(yī)學(xué)圖像處理等。 （ 1）幾何校正 圖象幾何校正的思路是通過一些已知的參考點(diǎn)，即無失真圖象的某些象素點(diǎn)和畸變圖象相應(yīng)象素的坐標(biāo)間對應(yīng)關(guān)系，擬合出上 述多項(xiàng)式中的系數(shù)，并作為恢復(fù)其它象素的基礎(chǔ)。 (3)直方圖修正。 在此簡單介紹兩種空域?yàn)V波法： (2)變換域去噪是指在圖像的某種變化域內(nèi)，對源圖像經(jīng)過變換后的系數(shù)進(jìn)行相應(yīng)處理，然后再進(jìn)行反變換達(dá)到圖像去噪目的的一種方法。 原則：使矩陣的元素之和與其前面的系數(shù)相乘的結(jié)果為 1，以在平滑過程中處理結(jié)果的像素灰度不超過允許的像素最大灰度值。經(jīng)過中值濾波變換后，某象素的輸出等于該象素鄰域中各象素灰度的中間灰度值。 基于 MATLAB 的圖像融合算法 (2)基于圖像特征的圖像配準(zhǔn)方法。 手動圖像配準(zhǔn) 我們可以利用 Matlab 自帶的圖像處理工具箱來完成配準(zhǔn)需要。平 面映射成平面。至少需 4對匹配點(diǎn)。 （ 2） 手動配準(zhǔn)的 基本過程 如下圖所示： 畢業(yè)設(shè)計(jì) 讀 入 圖 像 數(shù) 據(jù)在 兩 幅 圖 像 上 手 動 選 擇 足 夠的 匹 配 點(diǎn)選 擇 匹 配 算 法 ， 計(jì)算 變 換 參 數(shù)變 換 圖 像 圖 21 手動圖像配準(zhǔn)一般流程 基于圖像特征的匹配算法 Harris角點(diǎn)檢測算法 角點(diǎn)是二維圖像亮度變化劇烈或圖像邊緣曲線上曲率極大值的點(diǎn)，它決定了目標(biāo)的輪廓特征，被廣泛應(yīng)用于攝像機(jī)標(biāo)定、虛擬場景重建、運(yùn)動估計(jì)、圖像配準(zhǔn)等計(jì)算機(jī)視覺處理任務(wù)中，這些點(diǎn)在保留圖像圖形重要特征的同時，可以有效地減少信息的數(shù)據(jù)量，使得實(shí)時處理成為可能。為了減小噪聲的干擾，在對圖像進(jìn)行偏導(dǎo)計(jì)算以后用高斯濾波器對數(shù)據(jù)進(jìn)行平滑。 其中平均方法是加權(quán)平均的特例，使用平均方法進(jìn)行圖像融合，提高了融合圖像的信噪比，但削弱了圖像的對比度，尤其對于只出現(xiàn)在其中一幅圖像上的有用信號。 像素灰度值選大 /小融合方法 假設(shè)參加融合的兩個原圖像分別為 A、 B,圖像大小為 M N,經(jīng)融合后得到的融合圖像為 F，那么： 基于像素的灰度值取大圖像融合方法可表示為 ? ?),(),(),( nmBnmAM a xnmF ? 基于像素的灰度值取小圖像融合方法可表示為 ? ?),(),(),( nmBnmAM innmF ? 式中： m為 圖像中像素的行號， n＝ 1,2,? ,M； n為 圖像中像素的列號， n＝ 1,2,? ,N； 即在融合處理時，比較源圖像 A、 B 中對應(yīng)位置 (m,n)處像素的灰度值的大小，以其中灰度值大 /小的像素 (可能來自圖像 A 或 B)作為融合后圖像 F 在位置 (m,n)處的像素。 針對主成分分析的特性，將其應(yīng)用于圖像融合，可以把多波段的圖像信息最大限度的表現(xiàn)在融合后的新圖像中。 經(jīng)過 KL變換后，得到一組 m個 新的變量，它們依次被稱為第一主分量，第二主分量，?第 m主分量。色調(diào)反映了顏色的類別，飽和度則是彩色光所呈現(xiàn)彩色的深淺程度，這兩個分量與人感受彩色的方式是緊密相連的。 正變換公式如下所示： ??????????????????????????????????????????BGRvvI0212162616131313121 ????????? ? 121tan vvH 2221 vvS ?? 將多光譜圖像 RGB三通道進(jìn)行 IHS變換，變換后的 I分量與 PAN全色圖像進(jìn)行直方圖匹配，用匹配后的 圖像替換原圖像的 I分量再反變換，反變換如下式： ??????????????????????????????????????????2106231216131216131vvIBGR )cos(1 HSV ? )sin(2 HSV ? 傳統(tǒng)的 基于 IHS 變換法的圖像融合步驟 : 將多光譜的彩色圖像由 RGB 轉(zhuǎn)換為 IHS 格基于 MATLAB 的圖像融合算法 式 , 而后將全色圖像與多光譜的 I 分量進(jìn)行直方圖匹配 , 再將匹配后的全色圖像替換掉多光譜圖像的 I 分量 , 最后將替換后的多光譜圖像進(jìn)行 HIS— RGB轉(zhuǎn)換生成融合圖像 。有人把小波變換稱為 “數(shù)學(xué)顯微鏡 ”。當(dāng)α = 02 =1 時， )(, tτα? = )( ?? ?t ，則每當(dāng) m 增加一倍，對應(yīng)的頻帶減小一半，可見采樣頻率可以降低一半，也就是采樣間隔可以增大一倍，因此 ， 如果尺度 m=0 時 τ的間隔為 sT ，則在尺度為 m2 時，間隔可以取 smT2 ，此時 )(, tτα? 可以表示為 ZnmnTtTntt Smmm smmnm ?????? ,)。 V0 W1 W2 W3V3V3V1V2V3? V2? V1? V0 W1⊥ W2⊥ W3⊥ V1 圖 33 嵌套的多分辨率子空間 假設(shè)原信號的頻率空間為 0V ，經(jīng)第一級分解后 0V 被分解成兩個子空間 :低頻的 1V 和高畢業(yè)設(shè)計(jì)