【正文】 另外，目前對(duì)人的視覺特性還沒有充分了解，對(duì)人的心理因素也還找不出定量描述的方法，對(duì)圖像評(píng)價(jià)結(jié)論的差異會(huì)很大，所以我們就需要給出客觀的評(píng)價(jià)方法 客觀評(píng)價(jià) 客觀評(píng)價(jià)指標(biāo)沒有絕對(duì)的指標(biāo)，它要依賴于融合圖 像的用途做出決定，但是也可以提出一些客觀量來簡單的衡量融合圖像的質(zhì)量。不同的應(yīng)用方面，對(duì)圖像各項(xiàng)參數(shù)的要求不同。前半部分 A（ j,k） +KB(j,k) α表示取兩幅圖像的加權(quán)均值，影響融合 后圖像的能量，對(duì)融合后圖像的高度起決定作用；后半部分 |A(j,k)KB(j,k)| β表示取兩幅圖像的加權(quán)差值，包含兩幅圖像的模糊信息。 A,B 兩幅圖像融合的基本步驟如卜 : 對(duì) A,B 兩幅圖像分別進(jìn)行小波變換，建立各自 待融合圖像的小波金子 塔圖像序列 ； 分別使用不同的融合算子作用于各個(gè)分解層的不同高頻子圖像以及最高層的低頻子圖像，從而得到融合后的小波金子塔圖像序列。圖像的三 級(jí)小波分解示意圖有： 二 級(jí) 小 波 分 解 圖 38 圖片的二級(jí)小波分解圖示 基于小波變換的圖像融合方法原理 對(duì)于圖像融合，在頻率域比在時(shí)間域更為有效，融合算法的設(shè)計(jì)必須把融合的技術(shù)目的和圖像的頻率域表現(xiàn) (即融合理論基礎(chǔ) )結(jié)合起來考慮。正因?yàn)檫@樣，在一級(jí)濾波后就 可以加入 降 2 采 樣。經(jīng)過多分辨率分析后的信號(hào)，其高頻包含了低頻所不具有的細(xì)節(jié)信息，而小波分析正是要提取這些細(xì)節(jié)信息，因此， Mallat 于 1989 年將多分辨 率分析引入小波領(lǐng)域，建立了多分辨率分析與小波分析之間的聯(lián)系，解決了小波領(lǐng)域的許多問題。 對(duì)于位移的離散化，通常對(duì) τ 進(jìn)行均勻離散取值，以覆蓋整個(gè)時(shí)間軸。所謂 “小 ”是指它具有衰減性；而稱之為 “波 ”則是指它的波動(dòng)性，其振幅正負(fù)相間的震蕩形式。 IHS變換的形式有多種，都是基于不同的彩色空間模型建立的，它們之間主要的不同在于亮度分量上。強(qiáng)度是光作用在人眼所引起明亮程度的感覺，確定像素的整體亮度，與物體的反射率成正比。 基于 MATLAB 的圖像融合算法 解上述的特征方程即可求出協(xié)方差矩陣 C 的各個(gè)特征值 ),......,2,1( mf? ， 并將其按m??? ??? ......21 的順序排列，求得各特征值相對(duì)應(yīng)的單位特征向量 (經(jīng)歸一化 ) fU ： ? ?Tmjjjj uuuU ,. ... .., 21? ③得到變換矩陣 TUTT ?: ，其中 ? ? ? ? nmU *?? ，是以各個(gè)特征向量為列構(gòu)成的矩陣，且 U 矩陣是正交矩陣，即 U 矩陣滿足 ： IUUUU TT ?? (單位矩陣 )。變量太多，無疑會(huì)增加分析問題的難度和復(fù)雜性，而且在許多實(shí)際問題中，多個(gè)變量之間具有一定的相關(guān)性。但簡單的疊加會(huì)使融合圖像的信噪比降低 。 (2)變換域融合方法 :① IHS 變換法 ；②小波變換法 加權(quán)平均融合法 空域 法是把圖像看作是平面中各個(gè)像素組成的集合，然后直接對(duì)這一二維函數(shù)進(jìn)行相應(yīng)的處理。求出 R 的值，若為正則對(duì)應(yīng)點(diǎn)為角點(diǎn)，若為負(fù)則是一般邊界點(diǎn)。 6．局部加權(quán)平均（ local weighted mean） 與分段線性一致，但效果較之好。 3．投影（ projective）：將直線映射成直線。以下是我參考 matlab 幫助給出了簡介。由于提取了圖像的顯著特征，大大壓縮了信息的數(shù)據(jù)量，同時(shí)較好的保持 了圖像的位移、旋轉(zhuǎn)、比例等方面的特征，因此，該方法在匹配時(shí)計(jì)算量小、速度快，是較為實(shí)用的方法。該類方法直接利用整幅圖像的灰度度量兩幅圖像之間的相似性，然后采用搜索方法尋找使相似性度量最大或最小值點(diǎn)，從而確定兩幅圖像之間的變換模型參數(shù)。窗口然 后從左到右移動(dòng)，直到邊界。 根據(jù)需要，可選 用 55， 77等不同作用域的。針對(duì)不同的噪聲，其去噪方法大致可分為以下兩大類： (1)空域?yàn)V波去噪是指在空間域內(nèi)對(duì)圖像像素的灰度值直接運(yùn)算處理的方法。 (2)灰度變換。此外，在進(jìn)行像素級(jí)融合前，還必須對(duì)源圖像 進(jìn)行有效而精確的配準(zhǔn)處理，以去除不同傳感器的系統(tǒng)誤差和偶然誤差，這些為圖像融合所做的準(zhǔn)備統(tǒng)稱為圖像預(yù)處理。這些方法在進(jìn)行融合處理時(shí)都不對(duì)參加融合的圖像進(jìn)行分解變換，融合處理只是在一個(gè)層次上進(jìn)行。最后，將得到的融合結(jié)果應(yīng)用于各種不同的場(chǎng)合。這些方法在進(jìn)行融合處理時(shí)都不對(duì)參加融合的圖像進(jìn)行分解變換，融合處理只是在一個(gè)層次上進(jìn)行的，因此均屬于早期的圖像融合方法。這種方法是首先對(duì)各個(gè)源數(shù)據(jù)進(jìn)行處理，分別得出判斷和識(shí)別的結(jié)果 ，融合中心將這些結(jié)果按照一定的準(zhǔn)則和每個(gè)數(shù)據(jù)源決策的可信度進(jìn)行協(xié)調(diào)，以取得最優(yōu)的決策結(jié)果。 圖 13 像素級(jí)數(shù) 據(jù)融合原理示意圖 (2)特征級(jí)圖像融合 特征級(jí)圖像融合是對(duì)源圖像進(jìn)行預(yù)處理和特征提取后獲得的特征信息 (如邊緣、形狀、輪廓、區(qū)域等 )進(jìn)行綜合。 下圖 示意了在圖像處理全過程中，圖像融合所處的位置與層次。 (4)通過融合多個(gè)二維圖像產(chǎn)生具有立體視覺的三維圖像，可用于三維重構(gòu)或立體投影，測(cè)量等 。 圖像融合能夠充分利用這些時(shí)間或空間上冗余或互補(bǔ)的圖像信息，依據(jù)一定的融合算法合成一幅滿足某種需要的新圖像，從而獲得對(duì)場(chǎng)景的進(jìn)一步分析、理解以及目標(biāo)的檢測(cè)、識(shí)別或跟蹤。圖像融合技術(shù)在遙感、醫(yī)學(xué)、自然資源勘探、海洋資源管理、生物學(xué)等領(lǐng)域占有極其重要的地位，對(duì)于國防安全和經(jīng)濟(jì)建設(shè)具有十分重要的戰(zhàn)略意義。 圖像融合分為像素級(jí)、特征級(jí)、決策級(jí)三個(gè)層次，其中像素級(jí)圖像融合能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更 可靠的細(xì)節(jié)信息，有利于圖像的進(jìn)一步分析、處理和理解，它在整個(gè)圖像融合技術(shù)中是最為復(fù)雜、實(shí)施難度最大的融合處理技術(shù)。本文的研究工作是圍繞像素級(jí)圖像融合展開的，針對(duì)像素級(jí)圖像融合技術(shù)中需要解決的關(guān)鍵問題，研究了多種像素級(jí)圖像融合方法 。 圖像融合的方法與具體的處理對(duì)象類型、處理等級(jí)有關(guān)。以兩個(gè) 傳感器 A、 B 為例，其信息構(gòu)成的示 意圖如圖 11 所示。 (5)利用來自其它傳感器的圖像來代替 /彌補(bǔ)某一傳感器圖像中的丟失 /故障信息。 特征分類數(shù) 據(jù) 項(xiàng) 處 理 ：去 噪 、 幾 何 校 正、 灰 度 校 正圖像配準(zhǔn)數(shù) 據(jù) 1數(shù) 據(jù) 2數(shù) 據(jù) n像 素 級(jí) 融 合 ：H I S 方 法P C A 方 法金 字 塔 方 法小 波 變 換 法特征提取特 征 級(jí) 融 合 ：B a y e s i a n 方 法D S 方 法神 經(jīng) 網(wǎng) 絡(luò) 方 法 等特征識(shí)別決 策 級(jí) 融 合 ：B a y e s i a n 方 法神 經(jīng) 網(wǎng) 絡(luò) 法模 糊 聚 類 法專 家 系 統(tǒng) 等 圖 12 三個(gè)不同層次上的多源圖像融合示意圖 基于 MATLAB 的圖像融合算法 (1)像素級(jí)圖像融 像素級(jí)圖像融合是在嚴(yán)格配準(zhǔn)的條件下，對(duì)各圖像傳感器輸出的信號(hào)，直接進(jìn)行信息的綜合與分析。特征級(jí)融合屬于中間層次的信息融合，它既保留了足夠數(shù)量的重要信息，又可對(duì)信息進(jìn)行壓縮，有利于實(shí)時(shí)處理。決策級(jí)融合方法主要是基于認(rèn)知模型的方法，需要大型數(shù)據(jù)庫和專家決策系統(tǒng)，進(jìn)行分析、推理、識(shí)別和判決。 到 80 年代中期，人們又提出了基于金字塔的圖像融合方法 ，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并開始將圖像融合技術(shù)應(yīng)用于一般圖像 (可見光圖像、紅外圖像、多聚焦圖像、遙感圖像等 )的處理。由于像素級(jí)圖像融合在整個(gè)圖像融合技術(shù)中是最為復(fù)雜、實(shí)施難度最大的融合，因而本論文重點(diǎn)對(duì)它進(jìn)行探討和研究。 到 80 年代末，人們才開始將圖像融合技術(shù)應(yīng)用于一般圖像處理 (可見光圖像、紅外圖像等 )。 圖像的校正 圖像校正主要分為兩類：幾何校正和灰度校正。針對(duì)圖像某一部分或整幅圖像曝光不足使用灰度變換，其目的是增強(qiáng)圖像灰度對(duì)比度。常用的空間濾波去噪方法主要有均值濾波、中值濾波、維納濾波以及空間域低通濾波法，其中，維納濾波是一種自適應(yīng)的濾波方法，比一般的濾波器具有更好的選擇性，可以更好地保護(hù)圖像邊緣，尤其對(duì)加性高斯白噪聲的抑制效果很好。矩陣中心的元素值占的比例越小，平滑作用越強(qiáng)，會(huì)使圖像越模糊； ),( yxh 的作用域越大，平滑作用越強(qiáng)，亦導(dǎo)致圖像越模糊。窗口下移一行，再從左到右進(jìn)行。該方法不需要對(duì)圖像作特征提取，直接利用全部可用的圖像灰度，提高了配準(zhǔn)算法的估計(jì)精度和魯棒性，但是由于匹配點(diǎn)周圍區(qū)域的點(diǎn)的灰度都參與計(jì)算，因此，其 計(jì)算量大，速度慢。 按自動(dòng)化程度可以分為人工、半自動(dòng)和全自動(dòng)三種類型 。 1．線性正投影（ linear conformal）：最簡單。 如果輸入圖像呈現(xiàn)傾斜，翹起現(xiàn)象，選此法。至少需要 6對(duì)（推薦 12 對(duì)）匹配點(diǎn)。 該算法易受噪聲的影響。 加權(quán)平均方法將源圖像對(duì)應(yīng)像素的灰度值進(jìn)行加權(quán)平均，生成新的圖像，它是最直接的融合方法。當(dāng)融合圖像的灰度值差異很大時(shí)，就會(huì)出現(xiàn)明顯的拼接痕跡，不利于人眼識(shí)別和后續(xù)的目標(biāo)識(shí)別過程 。能否在各個(gè)變量之間相關(guān)關(guān)系研究的基礎(chǔ)上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來的變量所反應(yīng)的信息，主分量分析就是實(shí)現(xiàn)這個(gè)目標(biāo)的 一種強(qiáng)有力的方法，它是把原來多個(gè)變量化為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法，從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)，用較少的幾個(gè)綜合指標(biāo)來代替原來較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量地反映原來較多指標(biāo)所反映的信息，同時(shí)它們之間又彼此獨(dú)立。 ④將變換矩陣 T 代入 Y=TX，將得到 KL 變換的具體表達(dá)式 ： XUXuuuuuuuuuY Tmmmmmm??????????????. . .. . .. . .. . .. . .. . .. . .212221212111 式中 Y 矩陣的行向量 ???JY 為第 j 個(gè) 主分量。而色調(diào)和飽和度又統(tǒng)稱為色度，反映顏色信息。在此介紹 Harrison和 Jupp于 1990年提出的變換模型，它是目前在多光譜圖像融合領(lǐng)域中最常見的變換模型。與 Fourier 變換相比，小波變換是時(shí)間 (空間 )頻率的局部化分析，它通過伸縮平移運(yùn)算對(duì)信號(hào) (函數(shù) )逐步進(jìn)行多尺度細(xì)化，最終達(dá)到高頻處時(shí)間細(xì)分，低頻處頻率細(xì)分，能自動(dòng)適應(yīng)時(shí)頻信號(hào)分析的要求，從而可聚焦到信號(hào)的任意細(xì)節(jié)，解決了 Fourier 變換的困難 問題，成為繼 Fourier 變換以來在科學(xué)方法上的重大突破。為了不丟失信息，我們要求采樣間隔 τ 滿足 Nyqulst 采樣定理，即采樣頻率大于等于該尺 度下頻率通帶的二倍。多分辨率分析可以形象地表示為一組嵌套的多分辨率子空間，小波變換是一種多分辨率分析的強(qiáng)有力工具。然后再對(duì)低頻輸出分量再一次分別應(yīng)用 G和 H進(jìn)行濾波，再降 2 采樣，如此重復(fù)濾波就實(shí)現(xiàn)了對(duì)原始信號(hào)的多分辨率分解，如圖 32所示，圖中↓ 2表示降 2采樣 。對(duì)一幅灰度圖像進(jìn)行 N層的小波分解，形成 3N+1 個(gè)不同頻帶的數(shù)據(jù)，其中有 3N個(gè)包含細(xì)節(jié)信息的高頻帶和一個(gè)包含近似分量的低頻帶。 對(duì)各分解層進(jìn)行小波反變換，上一層的小波反變換的結(jié)果就是下一層 小波金子塔圖像序列的低頻子圖像，依次類推，最終所得到的圖像就是融合圖像。因子 K 調(diào)節(jié)兩幅圖像的戰(zhàn)優(yōu)比例，使兩幅亮度不同的圖像達(dá)到均衡。因此，探究圖像融合效果的客觀、定量評(píng)價(jià)方法十分必要。客觀評(píng)價(jià)可分為兩類 :一類是用來評(píng)判融合圖像所保持的光譜特征情況的評(píng)價(jià)指標(biāo)，主要有偏差指數(shù)，光譜扭曲程度和相關(guān)系數(shù)等 。盡管主觀 評(píng)價(jià)通過大量的統(tǒng)計(jì)，可以獲得比較準(zhǔn)確的判斷結(jié) 果，這個(gè)結(jié)果主要是針對(duì)人的視覺感受做出的，但是這種評(píng)價(jià)方式最大的不足是整個(gè)過程非常煩瑣，如果沒有進(jìn)行大量的統(tǒng)計(jì)，所獲得的結(jié)論可能不準(zhǔn)確。同一融合算法，對(duì)同一圖像，觀察者感興趣的部分不同，則認(rèn)為的效果不同 。其中 K、 α、 β為加權(quán)因子。 設(shè) A,B 為兩幅原始圖像， F 為融合圖像。 原圖像H H1L H1H L1H H2H L2L L2L H2L H1H H1L L1H L 1HL 畢業(yè)設(shè)計(jì) 圖 37 圖像的二級(jí)小波分解示意圖 其中 L為圖像的低頻部分，集中了其主要能量， )3,2,1(, 321 ?jHHH jjj 分別表小第 j 層水平、垂直與對(duì)角方向的高頻分量， 它們 都是圖像的細(xì)節(jié)部分。設(shè) G 和 H 分別為理想的低通和高通濾波器，用這對(duì)濾波器對(duì)原始信號(hào)進(jìn)行多分辨率分解，則信號(hào)經(jīng) G 和 H濾波后兩支路輸出必定正交 (因?yàn)轭l帶不重疊 )，且兩支路輸出的帶寬均減半，因此采樣率可以減半而不會(huì)引起信息丟失 (帶通信號(hào)的采樣率決定于其帶寬，而不受限于其頻率的上限 )。它是計(jì)算機(jī) 視覺中常用的圖像處理方法，提供了不同尺度下分析函數(shù)的一種手段。減小 小 波變換系數(shù)兀余度的做法是 將小波 基函數(shù) Rtt ???? ? ταα τατα ,0),()( 21, ??的α，τ限定 在一些離散點(diǎn)上取值，一種最通常的離散方法就是將尺度按冪級(jí)數(shù)進(jìn)行離 散，即取 m