【正文】 數(shù)模糊、采樣量化模糊以及電路噪聲等。因此通過改善成像裝置硬件的分辨力來提高圖像的分辨能力是有限的也是不切實(shí)際的。 解決這一問題的一個(gè)實(shí)用而有效的方法就是圖像的超分辨率重構(gòu)技術(shù)，其不需要昂貴的圖像獲取設(shè)備，只需要通過計(jì)算機(jī)軟件的處理就能獲得更高分辨率的圖像。 2 圖像超分辨率重建的應(yīng)用 由于超分辨率重建技術(shù)在一定條件下，可以克服圖像系統(tǒng)內(nèi)在分辨率的限制，提高被處理圖像的分辨率，因而超辨率技術(shù)的應(yīng)用正在快速的增長(zhǎng)，在視頻、遙感、醫(yī)學(xué)和安全監(jiān)控等領(lǐng)域具都有十分重要的應(yīng)用。因此，可以利用超分辨率重建技術(shù)將 DTV 信號(hào)轉(zhuǎn)化為與 HDTV 接收機(jī)相匹配的信號(hào)，提高電視節(jié)目的兼容性。在公共安全領(lǐng)域，超分辨圖像重建技術(shù)也有著很廣闊的應(yīng)用，超分辨率圖像重建技術(shù)可以利用普通監(jiān)視錄像資料，重建出高清晰的目標(biāo)圖像，從而有利于相關(guān)人員的辨識(shí)。由于硬件設(shè)備及現(xiàn)有的成像技術(shù)的限制，我們還不能夠獲取滿足更高要求的高清晰圖像。 (4) 在銀行、證劵等部門的安全監(jiān)控系統(tǒng)中，當(dāng)有異常情況發(fā)生后，可對(duì)監(jiān)控錄像進(jìn)行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線索。平時(shí)存儲(chǔ)或傳輸?shù)头直媛实膱D像信息，當(dāng)有不同需要時(shí)，再利用超分辨率重構(gòu)技術(shù)獲得不同分辨率的圖像和視頻 。超分辨率圖像重建技術(shù)可以提高圖像的識(shí)別能力和識(shí)別精度。例如：植被的分類及分布、區(qū)域地理結(jié)構(gòu)以及水資源的分布面積等信息。利用超分辨率圖像重建技術(shù)對(duì)這些圖像進(jìn)行重建，從而提高所需資料的獲取精度。 3 本論文的主要研究?jī)?nèi)容及其完成的工作 本文主要研究了灰度圖象超分辨率重構(gòu)算法，考慮了圖象退化模型已知和未知，有噪聲和無噪聲等情況，對(duì)于提出的每個(gè)算法都進(jìn)行了實(shí)驗(yàn)結(jié)果分析。在論文中首先建立超分辨率復(fù)原的降質(zhì)退化模型，用軟件的方法生成低分辨率觀測(cè)序列圖像，并用基于圖像配準(zhǔn)的運(yùn)動(dòng)參數(shù)估計(jì)方法對(duì)觀測(cè)序列圖像的運(yùn)動(dòng)信息進(jìn)行估計(jì)。 第二章為已有的各種圖象超分辨率重構(gòu)算法的綜述。并且從算法復(fù)雜度以及圖像重構(gòu)的效果等幾個(gè)方面對(duì)頻域算法與空間域算法進(jìn)行了比較。 第 三 章主要是對(duì)目前最熱門的序列圖像重構(gòu)算法的 POCS 算法進(jìn)行了比較深入的研究。雙線性插值是將原始圖像上的各點(diǎn)首先對(duì)應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上進(jìn)行插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域，這是造成邊緣模糊的主要原因。 第 四 章主要是對(duì)上一章所提出的方法進(jìn)行試驗(yàn)仿真，仿真結(jié)果證明了基于 邊緣保持的 POCS 算法的可行性以及有效性。 4 2 超分辨率圖像重 建 算法研究 超分辨率技術(shù)概述 超分辨率圖像復(fù)原是將多幅圖像的退化因素去除后再融合，這需要解決圖像的運(yùn)動(dòng)估計(jì)、退化 圖像去模糊和去噪聲以及對(duì)還原后的圖像信息進(jìn)行融合等，超分辨率圖像復(fù)原是一個(gè)病態(tài)問題，主要表現(xiàn)在：第一，圖像在獲取的過程中，噪聲嚴(yán)重，觀測(cè)圖像與原始圖像嚴(yán)重不一致，無法進(jìn)行估計(jì)，造成無解。超分辨復(fù)原需要處理以下幾個(gè)問題： （ 1）運(yùn)動(dòng)估計(jì)：估計(jì)低分辨率圖像序列的信息在待恢復(fù) HR 圖像中的對(duì)應(yīng)位置，確定由低分辨率圖像的子像素運(yùn)動(dòng)所形成的位移算子。 （ 3）信息融合：將還原到 HR 圖像坐標(biāo)中的信息融合到一張圖片中，可以采用多種信息融合算法。 超分辨率影像重建技術(shù)于 60 年代由 Hamm 和 Goodman 最初以單張影像復(fù)原的概念和方法提出，隨后許多人對(duì)其進(jìn)行了研究，并相繼提出了各種復(fù)原方法，雖然這些方法做出了較好的仿真結(jié)果，但并沒有在實(shí)際中得到廣泛的應(yīng)用。值得一提的是，國(guó)際著名的光學(xué)儀器制造公司 Leica/Hellawa 公司、法國(guó)國(guó)家航天研究中心已經(jīng)把該領(lǐng)域的理論研究成果轉(zhuǎn)化到硬件產(chǎn)品 交錯(cuò) CCD 傳感器陣列的設(shè)計(jì)中，并已將其分別應(yīng)用于他們的遙感設(shè)備“ ADS40”和“ SPOT5”衛(wèi)星，取得了相當(dāng)理想的效果。這些算法按照可以獲得的低分辨率圖象的數(shù)量可以分為兩類 ： 1)序列圖象的高分辨率估計(jì) ： 組合同一場(chǎng)景的多幅低分辨率圖象以獲得一幅高分辨率圖象的過程 ； 2)單幅圖象的高分辨率估計(jì) ： 由一幅低分辨率圖象得到一幅高分辨率圖象的過程。早期的研究工作主要集 5 中在頻率域進(jìn)行，但隨著更一般的退化模型的考慮，后期的研究工作幾乎都集中在空間域進(jìn)行 。它通過 在頻率域消除頻譜混疊而改善圖像的空間分辨率，由于圖像的細(xì)節(jié)靠高頻信息來表現(xiàn)，而通過消除頻譜混疊，就可以獲得更多的被淹沒掉的高頻信息，因此依靠在頻率域解頻譜混疊就是增加圖像的細(xì)節(jié)，提高分辨率。最早的研究工作是由 Tsai和 Huang在 1984 年進(jìn)行的。它主要利用了采樣定理以及連續(xù)傅立葉變換 (CFT)，離散傅立葉變換 (DFT)的性質(zhì)等。 頻域算法有以下的優(yōu)點(diǎn)：首先它是一種簡(jiǎn)單而且直觀的方法，雖然實(shí)現(xiàn)起來有一定的復(fù)雜度，但是它的基本原理很清晰，使用的頻域法則也只是很容易理解的基本的傅立葉變換性質(zhì)；其次，頻域算法的計(jì)算復(fù)雜度低，其主要計(jì)算量是求解線性方程組，由于超分辨率圖像的每個(gè)頻域采樣點(diǎn)值的計(jì)算是獨(dú)立的，所以可以支持大量的并行運(yùn)算，提高處理速度。 (2) 退化模型與運(yùn)動(dòng)模型的問題類似，頻域算法因?yàn)橐阉邢袼攸c(diǎn)統(tǒng)一轉(zhuǎn)換到頻域進(jìn)行處理，所以無法應(yīng)用隨空間變化的退化模型，沒有考慮光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù) PSF、運(yùn)動(dòng)模糊和觀測(cè)噪聲的影響。 (3)先驗(yàn)知識(shí)的應(yīng)用：超分辨率圖像重構(gòu)是病態(tài)求逆 的過程，因此恢復(fù)過程中 6 利用各種先驗(yàn)知識(shí)進(jìn)行圖像調(diào)整是很重要的。 (4)圖像頻帶受限：圖像頻帶有限與全局位移都是進(jìn)行頻域重構(gòu)的基本假設(shè)。 空間域方法 空間域方法是圖像超分辨率重建應(yīng)用中另一類主要的方法，是目前研究的熱點(diǎn)，它的性能要遠(yuǎn)遠(yuǎn)高于頻域的方法?？臻g域影像超分辨率重建方法主要包括非均勻間隔樣本內(nèi)插 (Interpolation of NonUniformly Spaced Samples)、后向投影迭代(IBP)，概率論方法 (Probabilitic Methods)以及集合論方法 (Set Theoretic Methods)、混合 MAP/POCS 方法以及自適應(yīng)濾波方法等。非均勻間隔樣本內(nèi)插方法是超分辨率圖像復(fù)原最直觀的方法。通用插值方法將包含原始函數(shù)的空間分解為適當(dāng)?shù)淖涌臻g，在每一個(gè)子空間內(nèi)進(jìn)行以插值為目的的尺度變換，然后將插值空間逆變換到原始空間。挑選這些子空間的原則是：尺度變換的操作能夠保持原始函數(shù)的特性。一旦通過非均勻插值獲得一幅 HR 圖像，就能處理復(fù)原問題以消除模糊與噪聲。 Aizawa,Komatsu 和 Saito 提出了另一種基于內(nèi)插的方法，對(duì)通過立體相機(jī)獲取超分辨率影像的方法進(jìn)行了討論Masayuki 用內(nèi)插濾波方法對(duì)遙感影像進(jìn)行了模擬試驗(yàn)，證明了超分辨率的可行性，但效果并不很理想。其基本思想是將多幀低分辨率數(shù)據(jù)變換到不同尺度的小波空間，然后在不同尺度的小波空間進(jìn)行圖像復(fù)原，得到 HR 圖像，取得了比較滿意的試驗(yàn)結(jié)果。但是， 7 內(nèi)插方法過于簡(jiǎn)單化，因?yàn)橛^察數(shù)據(jù)是從嚴(yán)格的欠采樣得到的，在復(fù)原這一步 (典型的假設(shè)是脈沖采樣 )不能得到比低分辨率圖像中更多的頻率成分。另外，由于復(fù)原步驟忽視了插值階段中產(chǎn)生的誤差，所以不能保證整個(gè)復(fù)原算法的最優(yōu)性 。這種算法首先用輸出圖像的一個(gè)初始估計(jì)作為當(dāng)前結(jié)果，并把這個(gè)當(dāng)前結(jié)果投影到低分辨率觀測(cè)圖像上以獲得低分辨率模擬圖像，低分辨率模擬圖像與實(shí)際觀測(cè)圖像的差值稱為模擬誤差，根據(jù)模擬誤差不斷更新當(dāng)前估計(jì)。迭代反投影算 法的優(yōu)點(diǎn)是直觀、簡(jiǎn)單；缺點(diǎn)是問題具有病態(tài)性，解不惟一，而且難以利用先驗(yàn)信息。超分辨率圖像的可行域是一組凸約束集合的交集，而這組凸約束集合代表了期望的超分辨率圖像的一些特性，如數(shù)據(jù)可靠、能量有限、正定、支撐域有界、平滑等。 Stark 和 Oskoui 首先將 POCS 應(yīng)用于超分辨率圖像重建。 Patti 等又提出了考慮多種降質(zhì)因素的圖像獲取模型，包括照相機(jī)運(yùn)動(dòng)、非零孔徑時(shí)間、傳感器單元的非零物理尺寸、由光學(xué)成像元件引起的模糊、傳感器噪聲、任意空間時(shí)間采樣等。最大后驗(yàn)概率估計(jì)的含義就是在已知低分辨率視頻序列的條件下，使出現(xiàn)高分辨率圖像的后驗(yàn)概率達(dá)到最大。條件概率項(xiàng)通常采用高斯模型，先驗(yàn)概率項(xiàng)在不同的算法中采用不同的模型。大多數(shù)最大后驗(yàn)概率估計(jì)算法的差別就是在先驗(yàn)?zāi)Ｐ偷倪x擇上。將對(duì)數(shù)似然函數(shù)化簡(jiǎn)，得到一個(gè)約束最優(yōu)化問題。若目標(biāo)函數(shù)是凸函數(shù)，則保證了它在最優(yōu)化過程中的收斂性。這種方法采用 HuberMarkov 模型作為圖像的先驗(yàn)信息，這些先驗(yàn)約束是解決超分辨率重建問題的病態(tài)性所必須的。為了解決 MAP 超分辨率重建方法的病態(tài)性問題，可以把 TikhonovArsenin 正則化引入到超分辨率重建方法中 TikhonovArsenin 正則化函數(shù)可以認(rèn)為是貝葉斯框架中 Markov 隨機(jī)場(chǎng)先驗(yàn)的特例。在對(duì)超分辨率重建進(jìn)行深人研究的基礎(chǔ)上，有的學(xué)者提出將統(tǒng)計(jì)理論與集合論有機(jī)統(tǒng)一在一起，能同時(shí)考慮觀察圖像的隨機(jī)統(tǒng)計(jì)特征和凸集特征，這就是所謂的混合 MAP/POCS 方法，對(duì)于最大后驗(yàn)概率估計(jì)算法，其優(yōu)點(diǎn)是可以在解中直接加入先驗(yàn)約束、能確保解的存在和惟一，其降噪能力較強(qiáng)且收斂穩(wěn)定性高；其缺點(diǎn)是收斂慢、運(yùn)算量大。另外， POCS 算法中的圖像修正過程是基于數(shù)據(jù)一致性的，因而超分辨率估計(jì)圖像的邊緣振蕩效應(yīng)是它的一個(gè)明顯不足之處。同時(shí)兩種算法也用共同的優(yōu)良特性，比如兩種算法都容易加入先驗(yàn)約束等。已有的理論證實(shí)，只有采用梯度下降最優(yōu)化方法才能保證這種混合MAP/POCS 方法收斂到全局最優(yōu)解 。 9 表 21：頻域算法與空間域算法的比較 頻域算法 空間域算法 運(yùn)動(dòng)模型 全局性限制 基本上沒有限制 噪聲模型 受限制 較靈活 退化模型 受限制 可為移變或移不變 超分辨率圖像重構(gòu)機(jī)制 去混迭、去模糊 去混迭和利用先驗(yàn)知識(shí)進(jìn)行頻帶展寬 計(jì)算的復(fù)雜性 低 高 先驗(yàn)知識(shí)約束 難利用 能夠有效的利用 可拓展性 差 好 復(fù)原圖像的質(zhì)量 一定條件下較好 很好 從表中可以看到，頻域算法中采用的各系統(tǒng)模型都是相對(duì)簡(jiǎn)單的，而空間域算法則盡量采用通用的，能夠包含各種實(shí)際可能遇到情況的模型，因此頻域算法只能在特定的情況下使用，空間域算法則適用于幾乎是所有的場(chǎng)合。頻域算法的提出引出了超分辨率圖像重構(gòu)的課題，而空間域算法是為了解決超分辨率圖像重構(gòu)問題而產(chǎn)生的，在設(shè)計(jì)算法的時(shí)候自然要先考慮算法的適應(yīng)范圍的問題。從圖像重構(gòu)的效果來看，空間域算法比頻域算法好，主要是因?yàn)樗鼘?duì)先驗(yàn)知識(shí)有較好的包容性，先驗(yàn)知識(shí)對(duì)圖像的限制通常是非線性的，而從圖像復(fù)原的相關(guān)知識(shí)中我們可以了解到圖像頻譜的擴(kuò)展是要通過非線性過程的作用來實(shí)現(xiàn)。下面把這兩種算法的一些特性作一比較 。所謂病態(tài)問題，用數(shù)學(xué)的語(yǔ)言來講，就是由方程的己知條件，無法唯一地確定方程的解。在超分辨率圖像重構(gòu)中，正則化一般是通過以下兩種方式來進(jìn)行 ： (1) 利用圖像序列所能提供的額外的、有關(guān)圖像的空間一時(shí)間約束信息 (低分辨率圖像序列通常能夠提供有關(guān)約束同一場(chǎng)景高分辨率圖像 的亞像素信息 )。 凸集投影 (Projection onto convex sets,POCS)是 圖像 重構(gòu)的重要理論方法之一，該方法以其強(qiáng)大的先驗(yàn)知識(shí)包含能力，成為近年來圖像復(fù)原領(lǐng)域中一種主要方法，并在圖像超分辨率重構(gòu)方面也得到了很好的應(yīng)用。 唯一的困難在于投影操作算子的確定。 (3) 強(qiáng)大的先驗(yàn)信息包含能力， POCS 方法最有用的一面可能就是其很容易利用先驗(yàn)信息。 POCS 方法的缺點(diǎn)主要有：其一，解的不唯一性。本章在介紹凸集投影概念、特點(diǎn)以及其重構(gòu)算法的基礎(chǔ)上，針對(duì) POCS算法的第二個(gè)缺點(diǎn)，本章將基于邊緣保持的插值算法與其相結(jié)合提出了基于邊緣保持的 POCS 超分辨率圖像重構(gòu)算法，并對(duì)其進(jìn)行實(shí)現(xiàn)仿真，仿真結(jié)果表明該算法具有良好的重構(gòu)效果。 通常的 POCS 11 重建算法可以分作三個(gè)具體的步驟：構(gòu)造參考幀、進(jìn)行運(yùn)動(dòng)估計(jì)、對(duì)參考幀進(jìn)行修正。從理論上來 說，從整個(gè)成像空間圖像集合的任一點(diǎn)開始，在經(jīng)過向所有約束集投影的過程后，都可以