【正文】 .................................................................................. 31 謝辭 ................................................................................................................ 32 參考文獻(xiàn) ......................................................................................................... 33 基于 MATLAB 的圖像融合算法 第一章 緒論 圖像融合技術(shù) (Image Fusion Technology)作為多傳感器信息融合的一個(gè)非常重要的分支 — 可視信息 的融合，近 20 年來(lái)，引起了世界范圍內(nèi)的廣泛關(guān)注和研究熱潮。 目前，將圖像融合技術(shù)應(yīng)用于數(shù)字圖像處理的主要目的有以下幾種 : (1)增加圖像中有用信息的含量，改善圖 像的清晰度，增強(qiáng)在單一傳感器圖像中無(wú)法看見 /看清的特性 。在進(jìn)行像素級(jí)圖像融合之前，必須對(duì)參加融合的各圖像進(jìn)行精確的配準(zhǔn)，其配準(zhǔn)精度一般達(dá)到像素級(jí)，因此，像素級(jí)融合是圖像融合中最為復(fù)雜且實(shí)施難度最大的融合。圖像融合的三個(gè)層次不僅能夠獨(dú)立進(jìn)行，而且它們有著密切相關(guān)性，還可以作為一個(gè)整體同時(shí)進(jìn)行分層次融合，前一級(jí)的融合結(jié)果可作為后一級(jí)的輸入。 90 年代開始，圖像融合技術(shù)開始成為遙感圖像處理和分析中的研究熱點(diǎn)之一。 輸 入原 始數(shù) 字圖 像準(zhǔn)備工作建 立糾 正變 換函 數(shù)確 定輸 出影 視范 圍逐 個(gè) 像素 的 幾何 位 置變 換像 素亮 度值 重采 樣輸 出糾 正后 的圖 像 圖 21 幾何校正處理過程 （ 2）灰度校正 根據(jù)圖像不同失真情況以及所需的不同圖像特征可以采用不同的修正方法。 鄰域平均法 鄰域平均法按 ),(),(),( yxhyxfyxg ?? 直接對(duì)圖像作低通濾波處理。圖像配準(zhǔn)算法就是設(shè)法建立兩幅圖像之間的對(duì)應(yīng)關(guān)系 ,確定相應(yīng)幾何變換參數(shù) ,對(duì)兩幅圖像中的一幅進(jìn)行幾何變換的方法。 利用 Matlab Image Processing Toolbox 中的圖像配準(zhǔn)工具實(shí)現(xiàn)線性正投影、仿射、投影、多項(xiàng)式、分段線性、局部加權(quán)平均配準(zhǔn)的過程。 Matlab 中提供有 4 次冪的實(shí)現(xiàn)，分別至少需要 6， 10， 10 對(duì)匹配點(diǎn)。限制方法是確定一個(gè)閾值，僅僅選取 R 值大于這個(gè)閾值的點(diǎn)作為角點(diǎn)。但在多數(shù)應(yīng)用場(chǎng)合，這些簡(jiǎn)單的圖像融合方法的局限性是顯而易見的，無(wú)法獲得滿意的融合效畢業(yè)設(shè)計(jì) 果。 第一主成分分量低 空 間 分 辨 率 多 光 譜 圖 像高 空間 分辨 率全 色圖 像P C A 反 變 換以 第 一 主 成 分 為 標(biāo) 準(zhǔn) 直 方 圖 匹 配 全 色 圖P C A 正 變 換第二主成分分量第N主成分分量融 合 圖 像 圖 31 基于 PCA 變換的圖像融合方法 PCA 融合算法的優(yōu)點(diǎn)在于，它適用于多光譜圖像的所有波段 (IHS 變換只能用 3 個(gè)波段 )，但其不足之處在于，由于 PCA 融合算法中只是用高分辨率圖像簡(jiǎn)單替換低分辨率圖像的第一主成分，故低分辨率圖像第一主成分分量會(huì)損失一部分反映光譜特性的信息，使畢業(yè)設(shè)計(jì) 得融合后圖像的光譜畸變嚴(yán)重。比如土地利用、植被監(jiān)測(cè)等項(xiàng)目更注重遙感圖像的色彩信息 , 所以普通的 IHS 方法并不能很好的滿足要求。當(dāng) A=B 時(shí)，則稱該框架為緊框架， 也就是說(shuō)離散小波序列 ? ?Zkjkj ?,?構(gòu)成一個(gè)框架 。 將圖像 做一次小波分解，即將圖像分解成低頻近似分量、水平高頻分量、垂直高頻分量和對(duì)角高頻分量，二維 圖像 數(shù)據(jù)經(jīng) 三 次小波分解的塔形框架如圖 33所示，圖中 下標(biāo) 表示小波分解的層數(shù)。在 本融合實(shí)驗(yàn)中 圖像融合過程中，融合規(guī)則及融合算子的選擇 如下 。觀察者根據(jù)一些事先規(guī)定的評(píng)價(jià)尺度或自己的經(jīng)驗(yàn)，對(duì)被評(píng)價(jià)的圖像提出質(zhì)量判決。二是增加融合圖像中的信息量或信息的精度及可靠性，為人的決策提供更豐富、更準(zhǔn)確、更可靠的圖像信息。這種方法既簡(jiǎn)化了計(jì)算，同時(shí)又具有很好的融合結(jié)果。按照 二維 Mallat 算法，在尺度 j1 上有如下的 Mallat 分解公式 ： 1111????????jnmjjnmjjnmjjnmjcAGGcDcAGHcVcAHGcHcAHHcA 相應(yīng)的重構(gòu)公式如下 : jmnjmnjmnjmnj cDGGcVHGcHGHcAHHcA ????????? ???? 1 其中 jjjj cDcVcHcA , 分別對(duì) 應(yīng)于圖像 jCA 的低頻成分、水平方向上的高頻成分、垂直方向上的高頻成分、對(duì)角方向上的高頻成 分 。2(21)22(21)(, ??? 基于 MATLAB 的圖像融合算法 為了簡(jiǎn)化起見，把 t 軸用 sT 歸一化 ， 于是上式就變?yōu)?)2(2)( 2, ntt mmnm ?? ?? ?? 。 算法融合流程如下圖： I H S 彩 色 空 間 變 換 提 取 I 分 量多 光 譜 段 a多 光 譜 段 b多 光 譜 段 c高 分 辨 率 圖 像以 I 分 量 為 標(biāo) 準(zhǔn) 進(jìn) 行 直 方 圖 匹 配以 直 方 圖 匹 配 后 的 全 色 圖 像 替 換 原 圖 像 的 I 分 量I H S 反 變 換融 合 結(jié) 果 圖 32 基于 HIS變換融合流程圖 基于 IHS 變換的融合方法特點(diǎn)是 : 算法簡(jiǎn)單易于實(shí)現(xiàn) , 圖像的高頻細(xì)節(jié)信息保留較好但光譜信息損失較大。在 PCA 反變換時(shí)，只需運(yùn)用到前 m 個(gè)主分量，這也正是主分量名稱的由來(lái)。這種融合方法只是簡(jiǎn)單地選擇參加融合的源圖像中灰度值大 /小的像素作為融合后的像素，該融合方法的適用場(chǎng)合非常有限。按此方法求出的角點(diǎn)數(shù)量很多。 4．多項(xiàng)式（ polynomial）：將直線映射成曲線。 圖像處理工具箱（ Matlab Image Processing Toolbox） 提供 了 一套全方位的參照標(biāo)準(zhǔn)算法和圖形工具，用于進(jìn)行圖像處理、分析、可視化和算法開發(fā)。 其操作流程如下所示： 50， 60， 300， 100， 120， 80， 190，、 ↓→→ 順序排列象素灰度值 50,60,100,120,300, ↓ 用中間灰度值 100 代替原中間灰度值 300, 50,60,100,100,120,80,190，、 ↓ 右移窗口得 50， 60， 100， 100， 120， 80， 190，、 ↓→→ 順序排列象素灰度值 60， 80， 100， 100， 120 ↓ 中間灰度值 100 與原中間灰度值 100 相同，不用換 50， 60， 100， 100， 120， 80， 190，、 ↓ 右移窗口得 50， 60， 100， 100， 120， 80， 190， 、 這樣對(duì)圖像灰度的跳躍有平滑效果。常用的去噪方法主要有頻率域低通濾波法和基于小波變換法，其中小波去噪的方法大致 可分為基于小波變換模極大值原理、相鄰尺度間小波系數(shù)相關(guān)性以及閾值法三大類。 幾何校正的基本方法是：首先建立幾何校正的數(shù)學(xué)模型；其次利用已知條件確定模型參數(shù)；最后根據(jù)模型對(duì)圖像進(jìn)行幾何校正。 1981 年， Laner 和 Todd 對(duì)LandsatRBV 和 Mss 圖像數(shù)據(jù)進(jìn)行了融合試驗(yàn)。 數(shù) 據(jù) 1屬 性 說(shuō) 明決策級(jí)融合特征提取關(guān)聯(lián)校準(zhǔn)聯(lián)合的屬性說(shuō)明數(shù) 據(jù) 2數(shù) 據(jù) n、。像素級(jí)圖像融合是直接在原始數(shù)據(jù)層上進(jìn)行的融合，該層次的融合準(zhǔn)確性最高，能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更可靠的細(xì)節(jié)信息，有利于圖 像的進(jìn)一步分析、處理與理解。同時(shí)，使系統(tǒng)具有良好的魯棒性，例如，可以增加置信度、減少模糊性、改善分類性等。 圖像的預(yù) 處理有濾波 （ 鄰域平均濾波法 、 中值濾波法 ） 和圖像配準(zhǔn) 。圖像融合就是通過多幅圖像冗余數(shù)據(jù)互補(bǔ)得到一幅新的圖像，在這幅圖像中能反應(yīng)多重原始圖像中的信息。 (2)改善圖像的空間分辨率，增加光譜信息的含量，為改善檢測(cè) /分類 /理解 /識(shí)別性能獲取補(bǔ)充的圖像信息 。 像素級(jí)圖像融合通常用于 :多源圖像復(fù)合、圖像分析和理解。 圖像融合算法的發(fā)展 對(duì)圖像進(jìn)行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補(bǔ)某種圖像中丟失的數(shù)據(jù)、檢測(cè)或觀測(cè)大地環(huán)境的變化等等。對(duì)遙感圖像進(jìn)行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補(bǔ)某種圖像中丟失的數(shù)據(jù)、檢測(cè) /觀測(cè)大地環(huán)境的變化等等。通常使用的主要有三種： (1)灰度級(jí)校正?？捎糜谙S機(jī)相加噪聲 。 像配準(zhǔn)的一般過程是在多源圖像數(shù)據(jù)經(jīng)過嚴(yán)密的幾何糾正處理、改正了系統(tǒng)誤差之后，將影像投影到同一地面坐標(biāo)系統(tǒng)上，然后在各影像上 選取少量的控制點(diǎn)，通過特征點(diǎn)的自動(dòng)選取或是計(jì)算其間的相似性、粗略配準(zhǔn)點(diǎn)的估計(jì)位置、精確確定配準(zhǔn)點(diǎn)以及估計(jì)配準(zhǔn)變換參數(shù)等處理，從而實(shí)現(xiàn)影像的精確配準(zhǔn)。 （ 1） 手動(dòng)選擇匹配點(diǎn)對(duì) 該工具箱提供的配準(zhǔn)方法均需手工選擇圖像間的匹配點(diǎn)對(duì)（ control points pair），均屬于交互配準(zhǔn)方法。 5．分段線性（ piecewise linear） 如果輸入圖像的各個(gè)局部之間的退化模式明顯不一樣，選此法。這個(gè)閾值根據(jù)需要的檢點(diǎn)數(shù)量來(lái)確定。 主分量融合法 主分量 （ PCA） 變換 ， 又稱 KL 變換 ，它是一種基于目標(biāo)特性的最佳正交變換。 用 PCA 方法確定加權(quán)系數(shù)優(yōu)于加權(quán)平均融合方法中提到的根據(jù)像素灰度值自適應(yīng)確定加權(quán)系數(shù)的方法，得到的融合圖像效果 相對(duì)較好，但是對(duì)比度的提 高沒有顯著的效果?；诖宋覀冡槍?duì)傳統(tǒng) IHS 變換法中多光譜信息損失嚴(yán)重的缺點(diǎn)提出了改進(jìn)方案。 由框架概念可知離散小波的逆變換近似為 )(),(2)(~,)(, , ,tkjWTBAtftfkj kjfkj kjkj ??????? ??? 當(dāng) A=B 時(shí) )(),(1)(, ,tkjWTAtfkj kjf??? ? （ 3） 多分辨率分析 多分辨率分析 (Multiresolution Analysis， MRA)，即“用多個(gè)分辨率提取出包含相應(yīng)細(xì)節(jié)的近似信號(hào)來(lái)進(jìn)行分析”。在這種分解方式下，每一層均被分解為四個(gè)頻帶， 三個(gè)高頻和一個(gè)低頻， 下層的分解只對(duì)上一 層的低頻分量 LL 進(jìn)行分解。 對(duì)于邊緣分量，即小波分解中的高頻分量 LHj,HLi,HHi，取兩幅圖像相應(yīng)系數(shù)矩陣中對(duì)應(yīng)項(xiàng)的最大值（ i=1,2,3,...,N）；對(duì)于低頻分量 LL，由于這部分對(duì)恢復(fù)圖像質(zhì)量影響很大， 采 用： F(j,k)=(A(j,k)+KB(j,k)) α|A(j,k)KB(j,k)| β計(jì)算。 主觀評(píng)價(jià)并沒有具體的指標(biāo)。 主觀評(píng)價(jià) 圖像融合處理的目的一是改善圖像的質(zhì)量，以改善人的視覺效果 。 基于 MATLAB 的圖像融合算法 融合規(guī)則融 合 圖 像源 圖 像小 波 變 換小 波 逆 變 換 圖 39 小波融合的原理圖 利用小波變換將圖像分解為低頻和高頻兩部分，小波分解后，可以在小波域內(nèi)分別對(duì)圖像的低頻和高頻進(jìn)行處理，既能提升圖像信息的高頻分量，同時(shí)保留圖像低頻分量的一致性和相關(guān)性，最后通過找出更有效的加權(quán)因子對(duì)小波系數(shù)重構(gòu)得到融合結(jié)果。 H ↓ 2GV0↓ 2↓ 2W1V1HG↓ 2W2V2 圖 34 多分辨分析的濾波器組成分解過程 h1 02 ↓ 1按 列 兩 個(gè) 采 樣 值 取 一g1 0c Aj2 ↓ 12 ↓ 1 h2 0g2 01 ↓ 21 ↓ 2c Aj 1g2 0h2 01 ↓ 21 ↓ 2c Hj 1c Vj 1c Dj 11 ↓ 2 按 行 兩 個(gè) 采 樣 值 取 一 基于 MATLAB 的圖像融合算法