【正文】 現(xiàn)有的成像技術(shù)的限制，我們還不能夠獲取滿(mǎn)足更高要求的高清晰圖像。由于層析成像技術(shù)的特殊機(jī)理，超分辨率圖像重建技術(shù)可以在該領(lǐng)域獲得重要的應(yīng)用。(4) 在銀行、證劵等部門(mén)的安全監(jiān)控系統(tǒng)中，當(dāng)有異常情況發(fā)生后，可對(duì)監(jiān)控錄像進(jìn)行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線(xiàn)索。(5) 可以將超分辨率重建技術(shù)用于圖像壓縮。平時(shí)存儲(chǔ)或傳輸?shù)头直媛实膱D像信息，當(dāng)有不同需要時(shí)，再利用超分辨率重構(gòu)技術(shù)獲得不同分辨率的圖像和視頻。此外，超分辨率圖像重建技術(shù)有可能使圖像實(shí)現(xiàn)從檢出水平(detectionl evel)向識(shí)別水平(recognitionlevel)的轉(zhuǎn)化，或更進(jìn)一步實(shí)現(xiàn)向細(xì)辨水平(identification level)的轉(zhuǎn)化。超分辨率圖像重建技術(shù)可以提高圖像的識(shí)別能力和識(shí)別精度。(6) 在資源與環(huán)境的衛(wèi)星遙感應(yīng)用領(lǐng)域中，地球資源衛(wèi)星的發(fā)射是為了獲取多光譜圖像，通過(guò)對(duì)這些圖像進(jìn)行一系列的處理，可以獲取不同的有用信息。例如：植被的分類(lèi)及分布、區(qū)域地理結(jié)構(gòu)以及水資源的分布面積等信息。但是由于現(xiàn)有成像技術(shù)的限制，圖像的分辨率限制了圖像的判別和定位的精度。利用超分辨率圖像重建技術(shù)對(duì)這些圖像進(jìn)行重建，從而提高所需資料的獲取精度。總之，隨著超分辨率技術(shù)的發(fā)展和完善，其應(yīng)用領(lǐng)域會(huì)繼續(xù)擴(kuò)大，圖像超分辨率處理技術(shù)有著較為廣闊的發(fā)展空間。 本論文的主要研究?jī)?nèi)容及其完成的工作本文主要研究了灰度圖象超分辨率重構(gòu)算法，考慮了圖象退化模型已知和未知，有噪聲和無(wú)噪聲等情況，對(duì)于提出的每個(gè)算法都進(jìn)行了實(shí)驗(yàn)結(jié)果分析。在深入研究現(xiàn)有圖像超分辨率處理技術(shù)的基礎(chǔ)上，希望提出一些新的思想，引入一些新的方法與途徑，來(lái)提高超分辨率復(fù)原圖像的質(zhì)量，或者提高既有算法的性能和效率。在論文中首先建立超分辨率復(fù)原的降質(zhì)退化模型，用軟件的方法生成低分辨率觀(guān)測(cè)序列圖像，并用基于圖像配準(zhǔn)的運(yùn)動(dòng)參數(shù)估計(jì)方法對(duì)觀(guān)測(cè)序列圖像的運(yùn)動(dòng)信息進(jìn)行估計(jì)。分析并比較時(shí)間域以及空間域的各種超分辨率算法的性能，選取一種較為直接而且有效的算法作為本課題研究的主要算法。第二章為已有的各種圖象超分辨率重構(gòu)算法的綜述。首先介紹了圖象退化的模型和圖象超分辨率重構(gòu)研究的概況，然后分頻域和空間域兩種情況介紹了己有的各種圖象超分辨率重構(gòu)算法，空間域方法主要包括：非均勻空間樣本插值、迭代反投影、凸集投影、最大后驗(yàn)概率估計(jì)、最大似然估計(jì)以及混合MAP/POCS方法等。并且從算法復(fù)雜度以及圖像重構(gòu)的效果等幾個(gè)方面對(duì)頻域算法與空間域算法進(jìn)行了比較。同時(shí)對(duì)目前最熱門(mén)的兩種算法：MAP算法以及POCS算法進(jìn)行了比較。第三章主要是對(duì)目前最熱門(mén)的序列圖像重構(gòu)算法的POCS算法進(jìn)行了比較深入的研究。目前在POCS超分辨率圖像重構(gòu)的實(shí)現(xiàn)中在初值的選取時(shí)普遍采用的是雙線(xiàn)性插值算法。雙線(xiàn)性插值是將原始圖像上的各點(diǎn)首先對(duì)應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上進(jìn)行插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域，這是造成邊緣模糊的主要原因。因而就想到了要對(duì)圖像的邊緣點(diǎn)進(jìn)行特殊的處理即用保持原始圖像的邊緣信息進(jìn)行圖像插補(bǔ)的方法代替雙線(xiàn)性插值來(lái)求解POCS算法中高分辨率圖像的初始估計(jì)，然后在此基礎(chǔ)上進(jìn)行POCS算法，并在MATLAB開(kāi)發(fā)平臺(tái)上進(jìn)行仿真試驗(yàn)。 第四章主要是對(duì)上一章所提出的方法進(jìn)行試驗(yàn)仿真，仿真結(jié)果證明了基于邊緣保持的POCS算法的可行性以及有效性。第五章給出了一些結(jié)論以及未來(lái)要做的工作。2 超分辨率圖像重建算法研究 超分辨率技術(shù)概述超分辨率圖像復(fù)原是將多幅圖像的退化因素去除后再融合，這需要解決圖像的運(yùn)動(dòng)估計(jì)、退化圖像去模糊和去噪聲以及對(duì)還原后的圖像信息進(jìn)行融合等，超分辨率圖像復(fù)原是一個(gè)病態(tài)問(wèn)題，主要表現(xiàn)在：第一，圖像在獲取的過(guò)程中，噪聲嚴(yán)重，觀(guān)測(cè)圖像與原始圖像嚴(yán)重不一致，無(wú)法進(jìn)行估計(jì)，造成無(wú)解。第二，由于幅員的過(guò)程中，約束條件不充分得到的解不是唯一的；第三，圖像獲取過(guò)程中的噪聲增加了圖像的不確定性，造成解的不連續(xù)性。超分辨復(fù)原需要處理以下幾個(gè)問(wèn)題：（1）運(yùn)動(dòng)估計(jì)：估計(jì)低分辨率圖像序列的信息在待恢復(fù)HR圖像中的對(duì)應(yīng)位置，確定由低分辨率圖像的子像素運(yùn)動(dòng)所形成的位移算子。（2）幾何形變：根據(jù)運(yùn)動(dòng)估計(jì)結(jié)果，將低分辨率圖像信息通過(guò)插值和幾何形變還原到HR圖像坐標(biāo)中。（3）信息融合：將還原到HR圖像坐標(biāo)中的信息融合到一張圖片中，可以采用多種信息融合算法。（4）去模糊和噪聲：在HR融合圖像中需要去除模糊和噪聲，如果圖像模糊和噪聲未知，需要先圖像序列中估計(jì)。超分辨率影像重建技術(shù)于60年代由Hamm和Goodman最初以單張影像復(fù)原的概念和方法提出，隨后許多人對(duì)其進(jìn)行了研究，并相繼提出了各種復(fù)原方法，雖然這些方法做出了較好的仿真結(jié)果，但并沒(méi)有在實(shí)際中得到廣泛的應(yīng)用。80年代末之后，隨著計(jì)算機(jī)技術(shù)、電子技術(shù)以及信號(hào)處理理論與技術(shù)特別是小波理論、自適應(yīng)濾波理論以及一些優(yōu)化理論的發(fā)展，人們?cè)诔直媛视跋裰亟ǚ椒ㄑ芯可先〉昧送黄菩赃M(jìn)展，研究成果倍出，其應(yīng)用涵蓋了航空航天遙感、目標(biāo)識(shí)別、醫(yī)學(xué)計(jì)算機(jī)層析成像、空中目標(biāo)光電監(jiān)視成像等諸多領(lǐng)域。值得一提的是，國(guó)際著名的光學(xué)儀器制造公司Leica/Hellawa公司、法國(guó)國(guó)家航天研究中心已經(jīng)把該領(lǐng)域的理論研究成果轉(zhuǎn)化到硬件產(chǎn)品交錯(cuò)CCD傳感器陣列的設(shè)計(jì)中，并已將其分別應(yīng)用于他們的遙感設(shè)備“ADS40”和“SPOT5”衛(wèi)星，取得了相當(dāng)理想的效果。從目前的研究和應(yīng)用成果來(lái)看，人們提出了很多圖象超分辨率算法。這些算法按照可以獲得的低分辨率圖象的數(shù)量可以分為兩類(lèi)：1)序列圖象的高分辨率估計(jì)： 組合同一場(chǎng)景的多幅低分辨率圖象以獲得一幅高分辨率圖象的過(guò)程；2)單幅圖象的高分辨率估計(jì)：由一幅低分辨率圖象得到一幅高分辨率圖象的過(guò)程。另外，序列圖象超分辨算法也可以分為空間域方法和頻率域方法。早期的研究工作主要集中在頻率域進(jìn)行，但隨著更一般的退化模型的考慮，后期的研究工作幾乎都集中在空間域進(jìn)行。 頻域方法頻率域方法是圖像超分辨率重建中的一類(lèi)主要方法，主要是基于傅氏變換和反變換來(lái)進(jìn)行的圖像復(fù)原。它通過(guò)在頻率域消除頻譜混疊而改善圖像的空間分辨率，由于圖像的細(xì)節(jié)靠高頻信息來(lái)表現(xiàn)，而通過(guò)消除頻譜混疊，就可以獲得更多的被淹沒(méi)掉的高頻信息，因此依靠在頻率域解頻譜混疊就是增加圖像的細(xì)節(jié)，提高分辨率。目前采用的主要是消混疊重建方法(Reconstruction via Alias Removal)，消混疊重建方法是通過(guò)解混疊而改善影像的空間分辨率，進(jìn)行超分辨率重建。最早的研究工作是由Tsai和Huang在1984年進(jìn)行的。作為兩類(lèi)主要的重建算法之一，頻域算法的基本思想就是將圖像數(shù)據(jù)先變換到頻域進(jìn)行結(jié)合轉(zhuǎn)換，再變換回空間域形成高分辨率圖像。它主要利用了采樣定理以及連續(xù)傅立葉變換(CFT)，離散傅立葉變換(DFT)的性質(zhì)等。在原始場(chǎng)景信號(hào)帶寬有限的假設(shè)條件下，利用離散Fourier變換和連續(xù)Fourier變換之間的平移、混疊性質(zhì)，給出了一個(gè)由一系列欠采樣觀(guān)測(cè)影像數(shù)據(jù)重建HR影像的公式，使得多幀觀(guān)察圖像經(jīng)混頻的離散傅立葉變換系數(shù)與未知場(chǎng)景的連續(xù)傅立葉變換系數(shù)以方程組的形式聯(lián)系起來(lái)，方程組的解就是原始場(chǎng)景的頻率域系數(shù)，再利用求解的頻率域系數(shù)進(jìn)行傅立葉逆變換就可實(shí)現(xiàn)原始場(chǎng)景的精確重建，該方法要求圖像間位移參數(shù)的估計(jì)達(dá)到子像素精度，而且每一幀觀(guān)察圖像都必須只對(duì)方程組中的一個(gè)不相關(guān)的方程做出貢獻(xiàn)。頻域算法有以下的優(yōu)點(diǎn)：首先它是一種簡(jiǎn)單而且直觀(guān)的方法，雖然實(shí)現(xiàn)起來(lái)有一定的復(fù)雜度，但是它的基本原理很清晰，使用的頻域法則也只是很容易理解的基本的傅立葉變換性質(zhì)；其次，頻域算法的計(jì)算復(fù)雜度低，其主要計(jì)算量是求解線(xiàn)性方程組，由于超分辨率圖像的每個(gè)頻域采樣點(diǎn)值的計(jì)算是獨(dú)立的，所以可以支持大量的并行運(yùn)算，提高處理速度。但是，頻域算法的缺陷也非常明顯：(1) 使用全局位移的運(yùn)動(dòng)模型：頻域算法的提出最初是為了處理衛(wèi)星圖片，不同的圖片之間只是拍攝角度有細(xì)微的差別，所以可以方便地應(yīng)用全局位移模型，不過(guò)對(duì)于一般的圖像序列全局位移的要求很可能不被滿(mǎn)足，由于傅立葉變換的平移特性是頻域算法使用的基本技術(shù)之一，很難對(duì)運(yùn)動(dòng)模型進(jìn)行調(diào)整以適應(yīng)有局部運(yùn)動(dòng)情況的圖像序列，缺少靈活性，從而限制了在大多數(shù)實(shí)際情況。(2) 退化模型與運(yùn)動(dòng)模型的問(wèn)題類(lèi)似，頻域算法因?yàn)橐阉邢袼攸c(diǎn)統(tǒng)一轉(zhuǎn)換到頻域進(jìn)行處理，所以無(wú)法應(yīng)用隨空間變化的退化模型，沒(méi)有考慮光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)PSF、運(yùn)動(dòng)模糊和觀(guān)測(cè)噪聲的影響。對(duì)觀(guān)察噪聲的處理能力也非常有限。(3)先驗(yàn)知識(shí)的應(yīng)用：超分辨率圖像重構(gòu)是病態(tài)求逆的過(guò)程，因此恢復(fù)過(guò)程中利用各種先驗(yàn)知識(shí)進(jìn)行圖像調(diào)整是很重要的。通常最有用的先驗(yàn)知識(shí)都是在空間域?qū)D像的重構(gòu)范圍進(jìn)行限制的，它們很難被用于頻域，除非其效果是移不變的。(4)圖像頻帶受限：圖像頻帶有限與全局位移都是進(jìn)行頻域重構(gòu)的基本假設(shè)。算法中L值的設(shè)置會(huì)限制重構(gòu)圖像的質(zhì)量，如果設(shè)置得高，就會(huì)導(dǎo)致線(xiàn)性方程組中的未知量過(guò)多，數(shù)據(jù)點(diǎn)不足的問(wèn)題。 空間域方法空間域方法是圖像超分辨率重建應(yīng)用中另一類(lèi)主要的方法，是目前研究的熱點(diǎn)，它的性能要遠(yuǎn)遠(yuǎn)高于頻域的方法。它將復(fù)雜的運(yùn)動(dòng)模型與相應(yīng)的插值、迭代及濾波重采樣放在一起進(jìn)行處理，作為影像重建的全部?jī)?nèi)容，其線(xiàn)性空間域觀(guān)測(cè)模型涉及到全局和局部運(yùn)動(dòng)、光學(xué)模糊、幀內(nèi)運(yùn)動(dòng)模糊、空間可變點(diǎn)擴(kuò)散函數(shù)、非理想采樣及其他一些內(nèi)容?？臻g域影像超分辨率重建方法主要包括非均勻間隔樣本內(nèi)插(Interpolation of NonUniformly Spaced Samples)、后向投影迭代(IBP)，概率論方法(Probabilitic Methods)以及集合論方法(Set Theoretic Methods)、混合MAP/POCS方法以及自適應(yīng)濾波方法等。 非均勻空間樣本差值算法 觀(guān)測(cè)影像序列經(jīng)過(guò)配準(zhǔn)后，形成一幅由非均勻間隔采樣格網(wǎng)點(diǎn)上的樣本值形成的復(fù)合影像，這些非均勻間隔樣本點(diǎn)經(jīng)過(guò)內(nèi)插和重采樣可形成超分辨率的采樣格網(wǎng)。非均勻間隔樣本內(nèi)插方法是超分辨率圖像復(fù)原最直觀(guān)的方法。在這一方法中，首先對(duì)圖像進(jìn)行相對(duì)運(yùn)動(dòng)估算，即配準(zhǔn)，然后進(jìn)行非均勻插值以便產(chǎn)生一幅分辨率較高的圖像，最后對(duì)圖像進(jìn)行去模糊。通用插值方法將包含原始函數(shù)的空間分解為適當(dāng)?shù)淖涌臻g，在每一個(gè)