【正文】 基于光譜特征的評價(jià)
?？陀^評價(jià)可分為兩類 :一類是用來評判融合圖像所保持的光譜特征情況的評價(jià)指標(biāo)，主要有偏差指數(shù)，光譜扭曲程度和相關(guān)系數(shù)等 。盡管主觀 評價(jià)通過大量的統(tǒng)計(jì)，可以獲得比較準(zhǔn)確的判斷結(jié) 果，這個(gè)結(jié)果主要是針對人的視覺感受做出的，但是這種評價(jià)方式最大的不足是整個(gè)過程非常煩瑣，如果沒有進(jìn)行大量的統(tǒng)計(jì)，所獲得的結(jié)論可能不準(zhǔn)確。觀察者根據(jù)一些事先規(guī)定的評價(jià)尺度或自己的經(jīng)驗(yàn)，對被評價(jià)的圖像提出質(zhì)量判決。二是增加融合圖像中的信息量或信息的精度及可靠性，為人的決策提供更豐富、更準(zhǔn)確、更可靠的圖像信息。因此，探究圖像融合效果的客觀、定量評價(jià)方法十分必要。同一融合算法，對同一圖像，觀察者感興趣的部分不同，則認(rèn)為的效果不同 。 畢業(yè)設(shè)計(jì) 第四章 圖像融合效果評價(jià) 圖像融合效果的評價(jià)問題是一項(xiàng)重要 而有意義的工作。對于不同的圖像，適當(dāng)調(diào)整 K、 α、 β,可以消減模糊邊緣并確保在消減時(shí)不過度地喪失邊緣信息。因子 K 調(diào)節(jié)兩幅圖像的戰(zhàn)優(yōu)比例，使兩幅亮度不同的圖像達(dá)到均衡。其中 K、 α、 β為加權(quán)因子。在 本融合實(shí)驗(yàn)中 圖像融合過程中，融合規(guī)則及融合算子的選擇 如下 。這種方法既簡化了計(jì)算，同時(shí)又具有很好的融合結(jié)果。 對各分解層進(jìn)行小波反變換，上一層的小波反變換的結(jié)果就是下一層 小波金子塔圖像序列的低頻子圖像，依次類推，最終所得到的圖像就是融合圖像。 設(shè) A,B 為兩幅原始圖像， F 為融合圖像。通過在這種融合圖像的小波表示 逆變換即可得到融合圖像。它也是一種圖像的多分辨率、多尺度分解。對一幅灰度圖像進(jìn)行 N層的小波分解，形成 3N+1 個(gè)不同頻帶的數(shù)據(jù)，其中有 3N個(gè)包含細(xì)節(jié)信息的高頻帶和一個(gè)包含近似分量的低頻帶。 原圖像H H1L H1H L1H H2H L2L L2L H2L H1H H1L L1H L 1HL 畢業(yè)設(shè)計(jì) 圖 37 圖像的二級小波分解示意圖 其中 L為圖像的低頻部分，集中了其主要能量， )3,2,1(, 321 ?jHHH jjj 分別表小第 j 層水平、垂直與對角方向的高頻分量， 它們 都是圖像的細(xì)節(jié)部分。 將圖像 做一次小波分解，即將圖像分解成低頻近似分量、水平高頻分量、垂直高頻分量和對角高頻分量，二維 圖像 數(shù)據(jù)經(jīng) 三 次小波分解的塔形框架如圖 33所示，圖中 下標(biāo) 表示小波分解的層數(shù)。按照 二維 Mallat 算法，在尺度 j1 上有如下的 Mallat 分解公式 ： 1111????????jnmjjnmjjnmjjnmjcAGGcDcAGHcVcAHGcHcAHHcA 相應(yīng)的重構(gòu)公式如下 : jmnjmnjmnjmnj cDGGcVHGcHGHcAHHcA ????????? ???? 1 其中 jjjj cDcVcHcA , 分別對 應(yīng)于圖像 jCA 的低頻成分、水平方向上的高頻成分、垂直方向上的高頻成分、對角方向上的高頻成 分 。然后再對低頻輸出分量再一次分別應(yīng)用 G和 H進(jìn)行濾波，再降 2 采樣，如此重復(fù)濾波就實(shí)現(xiàn)了對原始信號的多分辨率分解，如圖 32所示，圖中↓ 2表示降 2采樣 。設(shè) G 和 H 分別為理想的低通和高通濾波器，用這對濾波器對原始信號進(jìn)行多分辨率分解，則信號經(jīng) G 和 H濾波后兩支路輸出必定正交 (因?yàn)轭l帶不重疊 )，且兩支路輸出的帶寬均減半，因此采樣率可以減半而不會(huì)引起信息丟失 (帶通信號的采樣率決定于其帶寬，而不受限于其頻率的上限 )。由式 (31)可得各子空間之間的以下特性 : 121122110 . ... .. WWWWVWWVWVV NNN ???????????? ? 這個(gè)結(jié)果說明，分辨率為 02 =1 的多分辨率分析子空間 0V 可以用有限個(gè)子空間來逼近。上圖是對 0V 空間的三級分解示意圖。多分辨率分析可以形象地表示為一組嵌套的多分辨率子空間，小波變換是一種多分辨率分析的強(qiáng)有力工具。它是計(jì)算機(jī) 視覺中常用的圖像處理方法，提供了不同尺度下分析函數(shù)的一種手段。當(dāng) A=B 時(shí)，則稱該框架為緊框架， 也就是說離散小波序列 ? ?Zkjkj ?,?構(gòu)成一個(gè)框架 。2(21)22(21)(, ??? 基于 MATLAB 的圖像融合算法 為了簡化起見，把 t 軸用 sT 歸一化 ， 于是上式就變?yōu)?)2(2)( 2, ntt mmnm ?? ?? ?? 。為了不丟失信息，我們要求采樣間隔 τ 滿足 Nyqulst 采樣定理，即采樣頻率大于等于該尺 度下頻率通帶的二倍。減小 小 波變換系數(shù)兀余度的做法是 將小波 基函數(shù) Rtt ???? ? ταα τατα ,0),()( 21, ??的α，τ限定 在一些離散點(diǎn)上取值，一種最通常的離散方法就是將尺度按冪級數(shù)進(jìn)行離 散，即取 mm 0αα ? (m 為整數(shù)， 0a ≠ 1，一般取 0a =2)。 畢業(yè)設(shè)計(jì) 將小 波母函數(shù) )(t? 進(jìn)行伸縮平移，設(shè)其伸縮因子 (尺度因子 )為 α ，平移因子為 τ，平移伸縮后的函數(shù)為 )(, tτα? ，則有 Rtt ???? ? ταα τατα ,0),()( 21, ?? 稱 )(, tτα? 為連續(xù)小波基函數(shù)。 小波的定義及特點(diǎn) （ 1） 連續(xù)小波 設(shè) 為 )(t? 一平方可積函數(shù)，即 )()( 2 RLt ?? ，若其傅里葉變換 )(?? 滿足條件 ??? ?Rd??? )(2 (21) 則稱 )(t? 為一個(gè)基本小波或小波母函數(shù)。與 Fourier 變換相比，小波變換是時(shí)間 (空間 )頻率的局部化分析，它通過伸縮平移運(yùn)算對信號 (函數(shù) )逐步進(jìn)行多尺度細(xì)化，最終達(dá)到高頻處時(shí)間細(xì)分，低頻處頻率細(xì)分，能自動(dòng)適應(yīng)時(shí)頻信號分析的要求，從而可聚焦到信號的任意細(xì)節(jié)，解決了 Fourier 變換的困難 問題，成為繼 Fourier 變換以來在科學(xué)方法上的重大突破。 小波變換融合法 “小波 ”就是小區(qū)域、長度有限、均值為 0 的波形。比如土地利用、植被監(jiān)測等項(xiàng)目更注重遙感圖像的色彩信息 , 所以普通的 IHS 方法并不能很好的滿足要求。 算法融合流程如下圖： I H S 彩 色 空 間 變 換 提 取 I 分 量多 光 譜 段 a多 光 譜 段 b多 光 譜 段 c高 分 辨 率 圖 像以 I 分 量 為 標(biāo) 準(zhǔn) 進(jìn) 行 直 方 圖 匹 配以 直 方 圖 匹 配 后 的 全 色 圖 像 替 換 原 圖 像 的 I 分 量I H S 反 變 換融 合 結(jié) 果 圖 32 基于 HIS變換融合流程圖 基于 IHS 變換的融合方法特點(diǎn)是 : 算法簡單易于實(shí)現(xiàn) , 圖像的高頻細(xì)節(jié)信息保留較好但光譜信息損失較大。在此介紹 Harrison和 Jupp于 1990年提出的變換模型，它是目前在多光譜圖像融合領(lǐng)域中最常見的變換模型。同時(shí) , 圖像從 RGB 轉(zhuǎn)換到 IHS這一彩色空間變換有效地分離了代表空間亮度信息的 I 分量和代表光譜彩色信息的 H 和 S分量。通常的色彩顯示是通過 RGB( 紅綠藍(lán) )信號的亮度值所確定的 , RGB 彩色坐標(biāo)系統(tǒng)中 R、 G、 B呈非線性關(guān)系 ,使調(diào)整色調(diào)的定量操作較為困難。 IHS變換有效地將 RGB顏色信息表示成強(qiáng)度和色度信息，因此可以分離出大部分光譜信息，有利 于圖像光譜信息的保持。而色調(diào)和飽和度又統(tǒng)稱為色度，反映顏色信息。 IHS 變換法 IHS分別表示強(qiáng)度 I(Intensity)、色調(diào) H(Hue)和飽和度 S(Saturation)，它們是從人眼中認(rèn)識顏色的三個(gè)特征。 第一主成分分量低 空 間 分 辨 率 多 光 譜 圖 像高 空間 分辨 率全 色圖 像P C A 反 變 換以 第 一 主 成 分 為 標(biāo) 準(zhǔn) 直 方 圖 匹 配 全 色 圖P C A 正 變 換第二主成分分量第N主成分分量融 合 圖 像 圖 31 基于 PCA變換的圖像融合方法 PCA 融合算法的優(yōu)點(diǎn)在于，它適用于多光譜圖像的所有波段 (IHS 變換只能用 3 個(gè)波段 )，但其不足之處在于，由于 PCA 融合算法中只是用高分辨率圖像簡單替換低分辨率圖像的第一主成分，故低分辨率圖像第一主成分分量會(huì)損失一部分反映光譜特性的信息，使畢業(yè)設(shè)計(jì) 得融合后圖像的光譜畸變嚴(yán)重。在 PCA 反變換時(shí)，只需運(yùn)用到前 m 個(gè)主分量，這也正是主分量名稱的由來。 ④將變換矩陣 T 代入 Y=TX，將得到 KL 變換的具體表達(dá)式 ： XUXuuuuuuuuuY Tmmmmmm??????????????. . .. . .. . .. . .. . .. . .. . .212221212111 式中 Y 矩陣的行向量 ???JY 為第 j 個(gè) 主分量。 (2)主分量變換的過程 用于圖像的 KL 變換的過程如下 ： ①根據(jù)原始圖像數(shù)據(jù)矩陣 X，求出它的協(xié)方差矩陣 C： X 的協(xié)方差矩陣為 : ? ?? ? ? ? nmjiclXXXXnC ????? ,1 ②求出協(xié)方差矩陣的特征值和特征向量，并組成變換矩陣，具體如下 ： 寫出特征方程 ： 0)( ?? UCI? 式中 ： I 為單位矩陣， U為特征向量。 一般圖像的線性變換可以用下面的式子表示 ： TXY ? 式中 X 為待變換圖像數(shù)據(jù)矩陣， Y 為變換后的數(shù)據(jù)矩陣， T 為實(shí)現(xiàn)這一線性變換的變換矩陣。圖像 PCA 變換的結(jié)果在舍棄相關(guān)性較差的次要成分后進(jìn)行反變換所恢復(fù)出的圖像是原圖像在統(tǒng)計(jì)意義上的最佳逼近。能否在各個(gè)變量之間相關(guān)關(guān)系研究的基礎(chǔ)上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來的變量所反應(yīng)的信息，主分量分析就是實(shí)現(xiàn)這個(gè)目標(biāo)的 一種強(qiáng)有力的方法，它是把原來多個(gè)變量化為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法，從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)，用較少的幾個(gè)綜合指標(biāo)來代替原來較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量地反映原來較多指標(biāo)所反映的信息，同時(shí)它們之間又彼此獨(dú)立。在進(jìn)行許多問題的分析時(shí)，多個(gè)變量的情況是經(jīng)常遇到的。但在多數(shù)應(yīng)用場合，這些簡單的圖像融合方法的局限性是顯而易見的，無法獲得滿意的融合效畢業(yè)設(shè)計(jì) 果。這種融合方法只是簡單地選擇參加融合的源圖像中灰度值大 /小的像素作為融合后的像素，該融合方法的適用場合非常有限。當(dāng)融合圖像的灰度值差異很大時(shí)，就會(huì)出現(xiàn)明顯的拼接痕跡，不利于人眼識別和后續(xù)的目標(biāo)識別過程 。 加權(quán)平均法的優(yōu)點(diǎn)是簡單直觀，適合實(shí)時(shí)處理。 ω1 表示加權(quán)系數(shù) 1； ω2表示加權(quán)系數(shù) 2； 通常 ω 1+ω 2=1。 假設(shè)參加融合的兩個(gè)圖像分別為 A、 B，圖像大小為 M N，經(jīng)融合后得到融合圖像 C，那么，對 A、 B兩個(gè)源圖像的像素灰度值加權(quán)平均融合過程可以表示為 : C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (21) 式中 : n1 表示圖像中像素的行號， nl=l， 2， 3， ...……M。 加權(quán)平均方法將源圖像對應(yīng)像素的灰度值進(jìn)行加權(quán)平均，生成新的圖像，它是最直接的融合方法。 基于 MATLAB 的圖像融合算法 第三章 圖像融合 常用的像素級圖像融合方法有： (l)空域融合方法 :①加權(quán)平均法 ； ②像素灰度值取大 /小法 ； ③主分量法 (PCA)。限制方法是確定一個(gè)閾值，僅僅選取 R 值大于這個(gè)閾值的點(diǎn)作為角點(diǎn)。按此方法求出的角點(diǎn)數(shù)量很多。 該算法易受噪聲的影響。 令 A= 2()Ix?? ， B= 2()Iy??， C=()Ix?? ， D=()Iy?? 則矩陣 ABMCB??????? Ix?? 表示圖像 I 在 x 方向的導(dǎo)數(shù) ， Iy?? 表示圖像在 y 方向的導(dǎo)數(shù)。這也就說明該點(diǎn)是一個(gè)角點(diǎn)。 Harris 角點(diǎn)檢測算法基本原理描述如下：建立下面矩陣 M： 22( ) ( )( )( )( )( )I I Ix x yMI I Ix y y? ? ?????? ? ?? ? ? ???? ? ??? 其中 I（ x， y）是亮 度值，這里用灰度表示。至少需要 6對（推薦 12 對）匹配點(diǎn)。至少需要 4對匹配點(diǎn)。 Matlab 中提供有 4 次冪的實(shí)現(xiàn)，分別至少需要 6， 10， 10 對匹配點(diǎn)。 4．多項(xiàng)式（ polynomial）：將直線映射成曲線。 如果輸入圖像呈現(xiàn)傾斜，翹起現(xiàn)象，選此法。至少需 3 對匹配點(diǎn)。 2．仿射（ affine）：將平行線轉(zhuǎn)換成平行線。