【正文】 級(jí)。 下圖 示意了在圖像處理全過(guò)程中，圖像融合所處的位置與層次。像素級(jí)圖像融合是在基礎(chǔ)層面上進(jìn)行的信息融合，其主要完成的任務(wù)是對(duì)多傳感器目標(biāo)和背景要素的測(cè)量結(jié)果進(jìn)行融合處理。像素級(jí)圖像融合是目前在實(shí)際中應(yīng)用最廣泛的圖像融合方式，也是特征級(jí)圖像融合和決策級(jí)的基礎(chǔ)，但缺點(diǎn)是預(yù)處理的信息量最大，處理時(shí)間較長(zhǎng)，對(duì)通信帶寬的要求高。 像素級(jí)圖像融合通常用于 :多源圖像復(fù)合、圖像分析和理解。 圖 13 像素級(jí)數(shù) 據(jù)融合原理示意圖 (2)特征級(jí)圖像融合 特征級(jí)圖像融合是對(duì)源圖像進(jìn)行預(yù)處理和特征提取后獲得的特征信息 (如邊緣、形狀、輪廓、區(qū)域等 )進(jìn)行綜合。它使用參數(shù)模板、統(tǒng)計(jì)分析、模式相關(guān)等方法完成幾何關(guān)聯(lián)、特征提取和目標(biāo)識(shí)別等功能，以利于系統(tǒng)判決。在特征級(jí)圖像融合過(guò)程中，由于提取的特征直接與決策分析有關(guān)，因而融合結(jié)果能最大限度地給出決策分析所需要的特征信息。 數(shù) 據(jù) 1特征級(jí)融合特征提取關(guān)聯(lián)校準(zhǔn)聯(lián)合的屬性說(shuō)明數(shù) 據(jù) 2數(shù) 據(jù) n、。這種方法是首先對(duì)各個(gè)源數(shù)據(jù)進(jìn)行處理，分別得出判斷和識(shí)別的結(jié)果 ，融合中心將這些結(jié)果按照一定的準(zhǔn)則和每個(gè)數(shù)據(jù)源決策的可信度進(jìn)行協(xié)調(diào)，以取得最優(yōu)的決策結(jié)果。此種融合實(shí)時(shí)性好，并且有一定的容錯(cuò)能力，但其預(yù)處理代價(jià)較高，圖像中的原始信息的損失最多。屬 性 說(shuō) 明屬 性 說(shuō) 明 圖 15 決策級(jí)融合原理示意圖 圖像融合的三個(gè)層次與多傳感器信息融合的三個(gè)層次有一定的對(duì)應(yīng)關(guān)系，在實(shí)際應(yīng)用中， 應(yīng)根據(jù)數(shù)據(jù)融合特 點(diǎn)、原始數(shù)據(jù)特點(diǎn)、可用資源及目標(biāo)要求，選擇適當(dāng)?shù)臄?shù)據(jù)融合層次及融合方法，才能構(gòu)成高效的數(shù)據(jù)融合系統(tǒng) 和 獲得最優(yōu)的融合效果。 圖像融合算法的發(fā)展 對(duì)圖像進(jìn)行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補(bǔ)某種圖像中丟失的數(shù)據(jù)、檢測(cè)或觀測(cè)大地環(huán)境的變化等等。這些方法在進(jìn)行融合處理時(shí)都不對(duì)參加融合的圖像進(jìn)行分解變換，融合處理只是在一個(gè)層次上進(jìn)行的，因此均屬于早期的圖像融合方法。 90 年代，隨著小波理論的發(fā)展與廣泛應(yīng)用，小波變換技術(shù)為圖像融合提供了新的工具，使圖像融合技術(shù)的研究呈不斷上升趨勢(shì)，應(yīng)用的領(lǐng)域也遍及到遙 感圖像處理、計(jì)算機(jī)視覺(jué)、自動(dòng)目標(biāo)檢測(cè)、城市規(guī)劃、交通管制、機(jī)器人導(dǎo)航、決策支持系統(tǒng)、大型經(jīng)濟(jì)信息、醫(yī)學(xué)圖像處理等。融合的基本策略就是先對(duì)同一層次上的信息進(jìn)行融合，從而獲得更高層次的融合后的信息，然后再進(jìn)行相應(yīng)層次的融合。 基于 MATLAB 的圖像融合算法 一般情況下，由于各個(gè)成像傳感器所在的平臺(tái)各異，且成像模式不同，同時(shí)還會(huì)受到各種環(huán) 境因素的影響，對(duì)同一場(chǎng)景或目標(biāo)所成的多源圖像間會(huì)出現(xiàn)位移、畸變以及噪聲污染等問(wèn)題，因此，多傳感器圖像在融合之前必須進(jìn)行一系列的預(yù)處理。最后，將得到的融合結(jié)果應(yīng)用于各種不同的場(chǎng)合。 濾 波 、 校 準(zhǔn) 、 配 準(zhǔn)特征融合濾 波 、 校 準(zhǔn) 、 配 準(zhǔn)特 征 變 換特 征 變 換逆變換圖 片 n圖 片 1預(yù) 處 理 階 段融 合 階 段融 合 后 圖 像、 圖 16 圖像融合一般步驟 圖像融合技術(shù)的發(fā)展現(xiàn)狀 1979 年， Daily 等人 [9]首先把對(duì)雷達(dá)圖像和 LandsatMss 圖像的復(fù)合圖像應(yīng)用于地質(zhì)解釋，其對(duì)圖像的處理過(guò)程可以看作是最簡(jiǎn)單的圖像融合。到 80 年代中后期，圖像融合技術(shù)逐漸開(kāi)始引起人們的關(guān)注，陸續(xù)有人將圖像融合技術(shù)應(yīng)用于遙感多光譜圖像的分析和 處理。對(duì)遙感圖像進(jìn)行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補(bǔ)某種圖像中丟失的數(shù)據(jù)、檢測(cè) /觀測(cè)大地環(huán)境的變化等等。這些方法在進(jìn)行融合處理時(shí)都不對(duì)參加融合的圖像進(jìn)行分解變換，融合處理只是在一個(gè)層次上進(jìn)行。 90 年代后，圖像融 合技術(shù)的研究呈不斷上升趨勢(shì)，應(yīng)用的領(lǐng)域也遍及遙感圖像處理、可見(jiàn)光圖像處理、紅外圖像處理、醫(yī)學(xué)圖像處理等。 本文的研究工作 本文的研究 基于 MATLAB 的圖像融合算法 。 畢業(yè)設(shè)計(jì) 第二章 圖像預(yù)處理 圖像傳感器在獲得原始數(shù)據(jù)的過(guò) 程中存在不同的干擾，使得獲 在 取的圖像中往往存在或多或少的噪聲。此外，在進(jìn)行像素級(jí)融合前，還必須對(duì)源圖像 進(jìn)行有效而精確的配準(zhǔn)處理，以去除不同傳感器的系統(tǒng)誤差和偶然誤差，這些為圖像融合所做的準(zhǔn)備統(tǒng)稱為圖像預(yù)處理。 （ 1）幾何校正 圖象幾何校正的思路是通過(guò)一些已知的參考點(diǎn)，即無(wú)失真圖象的某些象素點(diǎn)和畸變圖象相應(yīng)象素的坐標(biāo)間對(duì)應(yīng)關(guān)系，擬合出上 述多項(xiàng)式中的系數(shù)，并作為恢復(fù)其它象素的基礎(chǔ)。具體操作通常分兩步： ① 對(duì)圖像進(jìn)行空間坐標(biāo)變換；首先建立圖像像點(diǎn)坐標(biāo)（行、列號(hào)）和物方（或參考圖）對(duì)應(yīng)點(diǎn)坐標(biāo)間的映射關(guān)系，解求映射關(guān)系中的未知參數(shù)，然后根據(jù)映射關(guān)系對(duì)圖像各個(gè)像素坐標(biāo)進(jìn)行校正； ② 確定各像素的灰度值（灰度內(nèi)插）。通常使用的主要有三種： (1)灰度級(jí)校正。 (2)灰度變換。 (3)直方圖修正。 圖像濾波技術(shù) 在圖像采集 、傳輸過(guò)程中，由于輸入轉(zhuǎn)換器、周圍環(huán)境、電壓波動(dòng)等多種因素的影響，圖像不可避免地含有各種各樣的隨機(jī)干擾信號(hào)，這些信號(hào)就是我們所講的噪聲，它們或與圖像內(nèi)容有關(guān)，或無(wú)關(guān)。 圖像噪聲的種類很多，分類的標(biāo)準(zhǔn)也不少。針對(duì)不同的噪聲，其去噪方法大致可分為以下兩大類： (1)空域?yàn)V波去噪是指在空間域內(nèi)對(duì)圖像像素的灰度值直接運(yùn)算處理的方法。 在此簡(jiǎn)單介紹兩種空域?yàn)V波法： (2)變換域去噪是指在圖像的某種變化域內(nèi)，對(duì)源圖像經(jīng)過(guò)變換后的系數(shù)進(jìn)行相應(yīng)處理，然后再進(jìn)行反變換達(dá)到圖像去噪目的的一種方法。目前，基于小波變換的去噪方法尚處于不斷發(fā)展的階段，總體來(lái)說(shuō)，去噪效果較好但計(jì)算非常復(fù)雜，不同的重構(gòu)方法對(duì)信號(hào)重構(gòu)的誤差影響很大，也會(huì)影響到去噪的效果。可用于消除隨機(jī)相加噪聲 。 根據(jù)需要，可選 用 55， 77等不同作用域的。 原則：使矩陣的元素之和與其前面的系數(shù)相乘的結(jié)果為 1，以在平滑過(guò)程中處理結(jié)果的像素灰度不超過(guò)允許的像素最大灰度值。 兩種特殊處理辦法（對(duì) 3 3的情形 ）： ① 把原圖像從 MN轉(zhuǎn)化為 （ M+2） （ N+2） ，所加大的兩行和兩列的像素灰度均取 0，然后對(duì)加大后的像素平滑處理，結(jié)果又舍去所加的兩行的零灰度信息，僅取 M N。 中值濾波 作為抑制噪聲的非線性處理方法，中值濾波是從一維信號(hào)處理的中值濾波技術(shù)發(fā)展而來(lái)的。窗口然 后從左到右移動(dòng)，直到邊界。經(jīng)過(guò)中值濾波變換后，某象素的輸出等于該象素鄰域中各象素灰度的中間灰度值。 考慮到一般 圖像在兩維方向上均具有相關(guān)性，因此，活動(dòng)窗口一般選為兩維窗口（如3 3， 5 5 或 7 7 等），窗口形狀常 用： 圓形方形十字形方形 55335555 ???????????????????????????????????????????????????????????? 圖像配準(zhǔn) 圖像配準(zhǔn)概述 圖像配準(zhǔn)（或圖像匹配）是評(píng)價(jià)兩幅或多幅圖像的相似性以確定同名點(diǎn)的過(guò)程。 像配準(zhǔn)的一般過(guò)程是在多源圖像數(shù)據(jù)經(jīng)過(guò)嚴(yán)密的幾何糾正處理、改正了系統(tǒng)誤差之后，將影像投影到同一地面坐標(biāo)系統(tǒng)上，然后在各影像上 選取少量的控制點(diǎn)，通過(guò)特征點(diǎn)的自動(dòng)選取或是計(jì)算其間的相似性、粗略配準(zhǔn)點(diǎn)的估計(jì)位置、精確確定配準(zhǔn)點(diǎn)以及估計(jì)配準(zhǔn)變換參數(shù)等處理，從而實(shí)現(xiàn)影像的精確配準(zhǔn)。該類方法直接利用整幅圖像的灰度度量?jī)煞鶊D像之間的相似性，然后采用搜索方法尋找使相似性度量最大或最小值點(diǎn)，從而確定兩幅圖像之間的變換模型參數(shù)。 基于 MATLAB 的圖像融合算法 (2)基于圖像特征的圖像配準(zhǔn)方法。算法過(guò)程主要分為特征提取和特征匹配。然后，在各幅圖像所對(duì)應(yīng)的特征集中利用特征匹配算法盡可能的將存在匹配關(guān)系的特征對(duì)選擇出來(lái)。由于提取了圖像的顯著特征，大大壓縮了信息的數(shù)據(jù)量，同時(shí)較好的保持 了圖像的位移、旋轉(zhuǎn)、比例等方面的特征，因此，該方法在匹配時(shí)計(jì)算量小、速度快，是較為實(shí)用的方法。 手動(dòng)圖像配準(zhǔn) 我們可以利用 Matlab 自帶的圖像處理工具箱來(lái)完成配準(zhǔn)需要?？捎闷鋵?duì)有噪圖像或退化圖像進(jìn)行去噪或還原、增強(qiáng)圖像以獲得更高清晰度、提取特征、分析形狀和紋理以及對(duì)兩個(gè)圖 像進(jìn)行匹配。 （ 1） 手動(dòng)選擇匹配點(diǎn)對(duì) 該工具箱提供的配準(zhǔn)方法均需手工選擇圖像間的匹配點(diǎn)對(duì)（ control points pair），均屬于交互配準(zhǔn)方法。以下是我參考 matlab 幫助給出了簡(jiǎn)介。平 面映射成平面。此方法至少需要 2對(duì)匹配點(diǎn)。 當(dāng)輸入圖像形狀存在切變現(xiàn)象（正方形對(duì)應(yīng)平行四邊形），選此法。 3．投影（ projective）：將直線映射成直線。至少需 4對(duì)匹配點(diǎn)。 如果輸入圖像出現(xiàn)不規(guī)則曲變，采用此法。 5．分段線性（ piecewise linear） 如果輸入圖像的各個(gè)局部之間的退化模式明顯不一樣，選此法。 6．局部加權(quán)平均（ local weighted mean） 與分段線性一致，但效果較之好。 （ 2） 手動(dòng)配準(zhǔn)的 基本過(guò)程 如下圖所示： 畢業(yè)設(shè)計(jì) 讀 入 圖 像 數(shù) 據(jù)在 兩 幅 圖 像 上 手 動(dòng) 選 擇 足 夠的 匹 配 點(diǎn)選 擇 匹 配 算 法 ， 計(jì)算 變 換 參 數(shù)變 換 圖 像 圖 21 手動(dòng)圖像配準(zhǔn)一般流程 基于圖像特征的匹配算法 Harris角點(diǎn)檢測(cè)算法 角點(diǎn)是二維圖像亮度變化劇烈或圖像邊緣曲線上曲率極大值的點(diǎn)，它決定了目標(biāo)的輪廓特征，被廣泛應(yīng)用于攝像機(jī)標(biāo)定、虛擬場(chǎng)景重建、運(yùn)動(dòng)估計(jì)、圖像配準(zhǔn)等計(jì)算機(jī)視覺(jué)處理任務(wù)中，這些點(diǎn)在保留圖像圖形重要特征的同時(shí)，可以有效地減少信息的數(shù)據(jù)量，使得實(shí)時(shí)處理成為可能。通過(guò)分析上面矩陣可以看出如果在一點(diǎn)上矩陣 M 的兩個(gè)特征值很大，則在該點(diǎn)向任意方向上的一個(gè)很小的移動(dòng)都會(huì)引起灰度值的較大變化。計(jì)算角點(diǎn)的函數(shù)如下： 2det ( )R M k trace M?? （ ） 其中 k 參數(shù)設(shè)為 （ Harris 設(shè)定的最優(yōu)參數(shù)）。求出 R 的值，若為正則對(duì)應(yīng)點(diǎn)為角點(diǎn)，若為負(fù)則是一般邊界點(diǎn)。為了減小噪聲的干擾，在對(duì)圖像進(jìn)行偏導(dǎo)計(jì)算以后用高斯濾波器對(duì)數(shù)據(jù)進(jìn)行平滑。為了減少匹配計(jì)算量，可以對(duì)想要獲得 的角點(diǎn)數(shù)量進(jìn)行限制。這個(gè)閾值根據(jù)需要的檢點(diǎn)數(shù)量來(lái)確定。 (2)變換域融合方法 :① IHS 變換法 ；②小波變換法 加權(quán)平均融合法 空域 法是把圖像看作是平面中各個(gè)像素組成的集合，然后直接對(duì)這一二維函數(shù)進(jìn)行相應(yīng)的處理。 其中平均方法是加權(quán)平均的特例，使用平均方法進(jìn)行圖像融合，提高了融合圖像的信噪比，但削弱了圖像的對(duì)比度，尤其對(duì)于只出現(xiàn)在其中一幅圖像上的有用信號(hào)。 n2 表示圖像中 像素的列號(hào)， n2=1， 2， 3， ...……N。 圖像灰度值的平均可看作是灰度值加權(quán)平均的特例，即 ω 1=ω 2=。但簡(jiǎn)單的疊加會(huì)使融合圖像的信噪比降低 。 像素灰度值選大 /小融合方法 假設(shè)參加融合的兩個(gè)原圖像分別為 A、 B,圖像大小為 M N,經(jīng)融合后得到的融合圖像為 F，那么： 基于像素的灰度值取大圖像融合方法可表示為 ? ?),(),(),( nmBnmAM a xnmF ? 基于像素的灰度值取小圖像融合方法可表示為 ? ?),(),(),( nmBnmAM innmF ? 式中： m為 圖像中像素的行號(hào)， n＝ 1,2,? ,M； n為 圖像中像素的列號(hào)， n＝ 1,2,? ,N； 即在融合處理時(shí)，比較源圖像 A、 B 中對(duì)應(yīng)位置 (m,n)處像素的灰度值的大小，以其中灰度值大 /小的像素 (可能來(lái)自圖像 A 或 B)作為融合后圖像 F 在位置 (m,n)處的像素。簡(jiǎn)單的圖像融合方法具有實(shí)現(xiàn)簡(jiǎn)單，融 合速度快的優(yōu)點(diǎn)。 主分量融合法 主分量 （ PCA） 變換 ， 又稱 KL 變換 ，它是一種基于目標(biāo)特性的最佳正交變換。變量太多，無(wú)疑會(huì)增加分析問(wèn)題的難度和復(fù)雜性，而且在許多實(shí)際問(wèn)題中，多個(gè)變量之間具有一定的相關(guān)性。 針對(duì)主成分分析的特性，將其應(yīng)用于圖像融合，可以把多波段的圖像信息最大限度的表現(xiàn)在融合后的新圖像中。 （ 1）主分量分析原理 各源圖像的原始數(shù)據(jù)可表示為： ? ? nmikmmmmnnxxxxxxxxxxX ???????????????..................21222211...1211 其中， m 和 n 分別為源圖像個(gè)數(shù) (或稱變量數(shù) )和每幅圖像中像素?cái)?shù) ； 矩陣中的每一行向量表示一幅源圖像。如果變換矩陣 T 是正交矩陣，并且它是由源圖像數(shù)據(jù)矩陣 X 的協(xié)方差矩陣 C 的特征向量所組成，則上式的線性變換稱為 KL 變換，并且 KL 變換后的數(shù)據(jù)矩陣的每一行向量為 KL 變換的一個(gè)主分量。 基于 MATLAB 的圖像融合算法 解上述的特征方程即可求出協(xié)方差矩陣 C 的各個(gè)特征值 ),.