【正文】 集的關(guān)于同一目標圖像經(jīng)過一定的圖像處理，提取各自信道的信息，最后綜合成統(tǒng)一圖像或綜合圖像特性以供觀察或進一步處理。它是一門綜合了傳感器、圖像處理、信號處理、顯示、計算機和人工智能等技術(shù)的現(xiàn)代高新技術(shù)。由于圖像融合系統(tǒng)具 有突出的探測優(yōu)越性 (時空覆蓋寬、目標分辨力與測量維數(shù)高、重構(gòu)能力好、兀余性、互補性、時間優(yōu)越性及相對低成本性等 )，在技術(shù)先進國家受到高度重視并己取得相當?shù)倪M展。 圖像融合的形式 大致 可分為 以下 3 種 ： (l)多傳感器不同時獲取的圖像的融合 ； (2)多傳感器同時獲取的圖像的融合 ； (3)單一傳感器不同時間，或者不同環(huán)境條件下獲取的圖像的融合。 圖像融合能夠充分利用這些時間或空間上冗余或互補的圖像信息，依據(jù)一定的融合算法合成一幅滿足某種需要的新圖像，從而獲得對場景的進一步分析、理解以及目標的檢測、識別或跟蹤。以兩個 傳感器 A、 B 為例，其信息構(gòu)成的示 意圖如圖 11 所示。 傳 感 器 A 傳 感 器 B互 補 信 息冗 余 信 息 圖 11 多源圖像的信息構(gòu)成 畢業(yè)設(shè)計 通過圖像融合可以強化圖像中的有用信息、增加圖像理解的可靠性、獲得更為精確的結(jié)果，使系統(tǒng)變得更加實用。同時，使系統(tǒng)具有良好的魯棒性，例如，可以增加置信度、減少模糊性、改善分類性等。圖像融合的層次可分為 :像素級、特征級和決策級。 目前，將圖像融合技術(shù)應(yīng)用于數(shù)字圖像處理的主要目的有以下幾種 : (1)增加圖像中有用信息的含量，改善圖 像的清晰度，增強在單一傳感器圖像中無法看見 /看清的特性 。 (2)改善圖像的空間分辨率，增加光譜信息的含量，為改善檢測 /分類 /理解 /識別性能獲取補充的圖像信息 。 (3)通過不同時刻的圖像序列融合來檢測場景 /目標的變化情況 。 (4)通過融合多個二維圖像產(chǎn)生具有立體視覺的三維圖像，可用于三維重構(gòu)或立體投影，測量等 。 (5)利用來自其它傳感器的圖像來代替 /彌補某一傳感器圖像中的丟失 /故障信息。 顯然，圖像融合技術(shù)不同于一般意義上的圖像增強，它是計算機視覺、圖像理解領(lǐng)域的一項新技術(shù)。 圖像融合的主要研究內(nèi)容 圖像融合的層次 圖像融合是采用某種算法對兩幅或多幅不同的源圖像進行綜合處理，最終形成一幅新的圖像。 它可以強化圖像中有用信息，增加圖像理解的可靠性，獲得更為準確的結(jié)果。在各種融合應(yīng)用中，由于應(yīng)用目的、所處理的輸入數(shù)據(jù)及融合處理前對數(shù)據(jù)預(yù)處理程度不同，使得融合系統(tǒng)在不同層次上對多源數(shù)據(jù)進行處理，每個層次表示不同的數(shù)據(jù)抽象級別。根據(jù)抽象程度可將圖像融合系統(tǒng)分為三級：像素級、特征級和決策級。 融合的層次不同，所采用的算法、適用的范圍也不相同。 下圖 示意了在圖像處理全過程中，圖像融合所處的位置與層次。 特征分類數(shù) 據(jù) 項 處 理 ：去 噪 、 幾 何 校 正、 灰 度 校 正圖像配準數(shù) 據(jù) 1數(shù) 據(jù) 2數(shù) 據(jù) n像 素 級 融 合 ：H I S 方 法P C A 方 法金 字 塔 方 法小 波 變 換 法特征提取特 征 級 融 合 ：B a y e s i a n 方 法D S 方 法神 經(jīng) 網(wǎng) 絡(luò) 方 法 等特征識別決 策 級 融 合 ：B a y e s i a n 方 法神 經(jīng) 網(wǎng) 絡(luò) 法模 糊 聚 類 法專 家 系 統(tǒng) 等 圖 12 三個不同層次上的多源圖像融合示意圖 基于 MATLAB 的圖像融合算法 (1)像素級圖像融 像素級圖像融合是在嚴格配準的條件下，對各圖像傳感器輸出的信號，直接進行信息的綜合與分析。像素級圖像融合是在基礎(chǔ)層面上進行的信息融合，其主要完成的任務(wù)是對多傳感器目標和背景要素的測量結(jié)果進行融合處理。像素級圖像融合是直接在原始數(shù)據(jù)層上進行的融合，該層次的融合準確性最高，能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更可靠的細節(jié)信息，有利于圖 像的進一步分析、處理與理解。像素級圖像融合是目前在實際中應(yīng)用最廣泛的圖像融合方式，也是特征級圖像融合和決策級的基礎(chǔ)，但缺點是預(yù)處理的信息量最大，處理時間較長，對通信帶寬的要求高。在進行像素級圖像融合之前，必須對參加融合的各圖像進行精確的配準，其配準精度一般達到像素級，因此，像素級融合是圖像融合中最為復(fù)雜且實施難度最大的融合。 像素級圖像融合通常用于 :多源圖像復(fù)合、圖像分析和理解。 數(shù) 據(jù) 1特征提取關(guān)聯(lián)像素級融合校準聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。 圖 13 像素級數(shù) 據(jù)融合原理示意圖 (2)特征級圖像融合 特征級圖像融合是對源圖像進行預(yù)處理和特征提取后獲得的特征信息 (如邊緣、形狀、輪廓、區(qū)域等 )進行綜合。特征級融合屬于中間層次的信息融合，它既保留了足夠數(shù)量的重要信息，又可對信息進行壓縮，有利于實時處理。它使用參數(shù)模板、統(tǒng)計分析、模式相關(guān)等方法完成幾何關(guān)聯(lián)、特征提取和目標識別等功能，以利于系統(tǒng)判決。一般從源圖像中提取的典型特征信息有 :線型、邊緣、紋理、光譜、相似亮度區(qū)域、相思景深區(qū)域等。在特征級圖像融合過程中，由于提取的特征直接與決策分析有關(guān)，因而融合結(jié)果能最大限度地給出決策分析所需要的特征信息。盡管在模式識別、圖像處理和計算機視覺等領(lǐng)域，已經(jīng)對特征提取和基于特征的圖像分類、分割等問題進行了深入的研究，但是這一問題至今仍是困擾計算機視覺研究領(lǐng)域的一個難題，有待于從融合角度進一步研究和提高。 數(shù) 據(jù) 1特征級融合特征提取關(guān)聯(lián)校準聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。 圖 14 特征級數(shù)據(jù)融合原理示意圖 畢業(yè)設(shè)計 (3)決策級圖像融合 決策級圖像融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。這種方法是首先對各個源數(shù)據(jù)進行處理，分別得出判斷和識別的結(jié)果 ，融合中心將這些結(jié)果按照一定的準則和每個數(shù)據(jù)源決策的可信度進行協(xié)調(diào)，以取得最優(yōu)的決策結(jié)果。決策級融合方法主要是基于認知模型的方法，需要大型數(shù)據(jù)庫和專家決策系統(tǒng)，進行分析、推理、識別和判決。此種融合實時性好，并且有一定的容錯能力，但其預(yù)處理代價較高，圖像中的原始信息的損失最多。 數(shù) 據(jù) 1屬 性 說 明決策級融合特征提取關(guān)聯(lián)校準聯(lián)合的屬性說明數(shù) 據(jù) 2數(shù) 據(jù) n、。屬 性 說 明屬 性 說 明 圖 15 決策級融合原理示意圖 圖像融合的三個層次與多傳感器信息融合的三個層次有一定的對應(yīng)關(guān)系，在實際應(yīng)用中， 應(yīng)根據(jù)數(shù)據(jù)融合特 點、原始數(shù)據(jù)特點、可用資源及目標要求，選擇適當?shù)臄?shù)據(jù)融合層次及融合方法，才能構(gòu)成高效的數(shù)據(jù)融合系統(tǒng) 和 獲得最優(yōu)的融合效果。圖像融合的三個層次不僅能夠獨立進行，而且它們有著密切相關(guān)性，還可以作為一個整體同時進行分層次融合，前一級的融合結(jié)果可作為后一級的輸入。 圖像融合算法的發(fā)展 對圖像進行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補某種圖像中丟失的數(shù)據(jù)、檢測或觀測大地環(huán)境的變化等等。其采取的融合方法主要有 IHS(明度 色度 飽和度 :IntensityHuesaturation)變換、平均、加權(quán)平均、差分及比率、高通濾波等。這些方法在進行融合處理時都不對參加融合的圖像進行分解變換，融合處理只是在一個層次上進行的，因此均屬于早期的圖像融合方法。 到 80 年代中期，人們又提出了基于金字塔的圖像融合方法 ，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并開始將圖像融合技術(shù)應(yīng)用于一般圖像 (可見光圖像、紅外圖像、多聚焦圖像、遙感圖像等 )的處理。 90 年代，隨著小波理論的發(fā)展與廣泛應(yīng)用，小波變換技術(shù)為圖像融合提供了新的工具，使圖像融合技術(shù)的研究呈不斷上升趨勢，應(yīng)用的領(lǐng)域也遍及到遙 感圖像處理、計算機視覺、自動目標檢測、城市規(guī)劃、交通管制、機器人導(dǎo)航、決策支持系統(tǒng)、大型經(jīng)濟信息、醫(yī)學(xué)圖像處理等。 圖像融合的步驟 對于某個具體的圖像融合系統(tǒng)而言，它所接受的信息可以是單一層次上的信息，也可以是幾種層次上的信息。融合的基本策略就是先對同一層次上的信息進行融合，從而獲得更高層次的融合后的信息，然后再進行相應(yīng)層次的融合。因此，圖像融合本質(zhì)上是一個由低(層 )至高 (層 )對多源信息融合、逐層抽象的信息處理過程。 基于 MATLAB 的圖像融合算法 一般情況下，由于各個成像傳感器所在的平臺各異，且成像模式不同，同時還會受到各種環(huán) 境因素的影響，對同一場景或目標所成的多源圖像間會出現(xiàn)位移、畸變以及噪聲污染等問題，因此，多傳感器圖像在融合之前必須進行一系列的預(yù)處理。源圖像經(jīng)預(yù)處理后，接下來就是根據(jù)具體的應(yīng)用目的不同，采用不同的融合算法對多個源圖像在不同的層次上進行融合處理，同時還要對融合結(jié)果進行質(zhì)量評價，形成具有反饋的系統(tǒng)，從而有利于選擇最為合適的融合方式以得到最優(yōu)的融合結(jié)果。最后，將得到的融合結(jié)果應(yīng)用于各種不同的場合。由于像素級圖像融合在整個圖像融合技術(shù)中是最為復(fù)雜、實施難度最大的融合，因而本論文重點對它進行探討和研究。 濾 波 、 校 準 、 配 準特征融合濾 波 、 校 準 、 配 準特 征 變 換特 征 變 換逆變換圖 片 n圖 片 1預(yù) 處 理 階 段融 合 階 段融 合 后 圖 像、 圖 16 圖像融合一般步驟 圖像融合技術(shù)的發(fā)展現(xiàn)狀 1979 年， Daily 等人 [9]首先把對雷達圖像和 LandsatMss 圖像的復(fù)合圖像應(yīng)用于地質(zhì)解釋，其對圖像的處理過程可以看作是最簡單的圖像融合。 1981 年， Laner 和 Todd 對LandsatRBV 和 Mss 圖像數(shù)據(jù)進行了融合試驗。到 80 年代中后期，圖像融合技術(shù)逐漸開始引起人們的關(guān)注，陸續(xù)有人將圖像融合技術(shù)應(yīng)用于遙感多光譜圖像的分析和 處理。 90 年代開始，圖像融合技術(shù)開始成為遙感圖像處理和分析中的研究熱點之一。對遙感圖像進行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補某種圖像中丟失的數(shù)據(jù)、檢測 /觀測大地環(huán)境的變化等等。這個時期人們采用的融合方法主要有 IHS變換、平均、加權(quán)平均、差分及比率、主分量分析 (PCA)、高通濾波等。這些方法在進行融合處理時都不對參加融合的圖像進行分解變換，融合處理只是在一個層次上進行。 到 80 年代末，人們才開始將圖像融合技術(shù)應(yīng)用于一般圖像處理 (可見光圖像、紅外圖像等 )。 90 年代后，圖像融 合技術(shù)的研究呈不斷上升趨勢，應(yīng)用的領(lǐng)域也遍及遙感圖像處理、可見光圖像處理、紅外圖像處理、醫(yī)學(xué)圖像處理等。尤其是近幾年，多傳感器 (多源 )圖像融合技術(shù)己成為計算機視覺、自動目標識別、機器人、軍事應(yīng)用等領(lǐng)域的熱點研究問題。 本文的研究工作 本文的研究 基于 MATLAB 的圖像融合算法 。涉及圖像融合 前的預(yù)處理，濾波去噪和圖像配準，采取手動配準獲取精準的配準圖像，在空域內(nèi)的像素級圖像融合采用簡單直接的加權(quán)平均法，在頻域內(nèi)的小波變換融合，最后對融合結(jié)果進行評價。 畢業(yè)設(shè)計 第二章 圖像預(yù)處理 圖像傳感器在獲得原始數(shù)據(jù)的過 程中存在不同的干擾，使得獲 在 取的圖像中往往存在或多或少的噪聲。為了避免噪聲的傳播擴散，使后面圖像融合的質(zhì)量和性能下降，必須在融合前對源圖像進行幾何校正、去噪和增強處理。此外，在進行像素級融合前，還必須對源圖像 進行有效而精確的配準處理，以去除不同傳感器的系統(tǒng)誤差和偶然誤差，這些為圖像融合所做的準備統(tǒng)稱為圖像預(yù)處理。 圖像的校正 圖像校正主要分為兩類：幾何校正和灰度校正。 （ 1）幾何校正 圖象幾何校正的思路是通過一些已知的參考點，即無失真圖象的某些象素點和畸變圖象相應(yīng)象素的坐標間對應(yīng)關(guān)系，擬合出上 述多項式中的系數(shù)，并作為恢復(fù)其它象素的基礎(chǔ)。 幾何校正的基本方法是：首先建立幾何校正的數(shù)學(xué)模型；其次利用已知條件確定模型參數(shù)；最后根據(jù)模型對圖像進行幾何校正。具體操作通常分兩步： ① 對圖像進行空間坐標變換；首先建立圖像像點坐標（行、列號）和物方（或參考圖）對應(yīng)點坐標間的映射關(guān)系，解求映射關(guān)系中的未知參數(shù)，然后根據(jù)映射關(guān)系對圖像各個像素坐標進行校正； ② 確定各像素的灰度值（灰度內(nèi)插）。 輸 入原 始數(shù) 字圖 像準備工作建 立糾 正變 換函 數(shù)確 定輸 出影 視范 圍逐 個 像素 的 幾何 位 置變 換像 素亮 度值 重采 樣輸 出糾 正后 的圖 像 圖 21 幾何校正處理過程 （ 2）灰度校正 根據(jù)圖像不同失真情況以及所需的不同圖像特征可以采用不同的修正方法。通常使用