【正文】 過改善成像裝置硬件的分辨力來提高圖像的分辨能力是有限的也是不切實(shí)際的。在公共安全領(lǐng)域，超分辨圖像重建技術(shù)也有著很廣闊的應(yīng)用，超分辨率圖像重建技術(shù)可以利用普通監(jiān)視錄像資料，重建出高清晰的目標(biāo)圖像，從而有利于相關(guān)人員的辨識(shí)。超分辨率圖像重建技術(shù)可以提高圖像的識(shí)別能力和識(shí)別精度。在論文中首先建立超分辨率復(fù)原的降質(zhì)退化模型，用軟件的方法生成低分辨率觀測序列圖像，并用基于圖像配準(zhǔn)的運(yùn)動(dòng)參數(shù)估計(jì)方法對(duì)觀測序列圖像的運(yùn)動(dòng)信息進(jìn)行估計(jì)。雙線性插值是將原始圖像上的各點(diǎn)首先對(duì)應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上進(jìn)行插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域，這是造成邊緣模糊的主要原因。（3）信息融合：將還原到HR圖像坐標(biāo)中的信息融合到一張圖片中，可以采用多種信息融合算法。早期的研究工作主要集中在頻率域進(jìn)行，但隨著更一般的退化模型的考慮，后期的研究工作幾乎都集中在空間域進(jìn)行。頻域算法有以下的優(yōu)點(diǎn)：首先它是一種簡單而且直觀的方法，雖然實(shí)現(xiàn)起來有一定的復(fù)雜度，但是它的基本原理很清晰，使用的頻域法則也只是很容易理解的基本的傅立葉變換性質(zhì)；其次，頻域算法的計(jì)算復(fù)雜度低，其主要計(jì)算量是求解線性方程組，由于超分辨率圖像的每個(gè)頻域采樣點(diǎn)值的計(jì)算是獨(dú)立的，所以可以支持大量的并行運(yùn)算，提高處理速度。 空間域方法空間域方法是圖像超分辨率重建應(yīng)用中另一類主要的方法，是目前研究的熱點(diǎn)，它的性能要遠(yuǎn)遠(yuǎn)高于頻域的方法。挑選這些子空間的原則是：尺度變換的操作能夠保持原始函數(shù)的特性。但是，內(nèi)插方法過于簡單化，因?yàn)橛^察數(shù)據(jù)是從嚴(yán)格的欠采樣得到的，在復(fù)原這一步(典型的假設(shè)是脈沖采樣)不能得到比低分辨率圖像中更多的頻率成分。超分辨率圖像的可行域是一組凸約束集合的交集，而這組凸約束集合代表了期望的超分辨率圖像的一些特性，如數(shù)據(jù)可靠、能量有限、正定、支撐域有界、平滑等。條件概率項(xiàng)通常采用高斯模型，先驗(yàn)概率項(xiàng)在不同的算法中采用不同的模型。這種方法采用HuberMarkov模型作為圖像的先驗(yàn)信息，這些先驗(yàn)約束是解決超分辨率重建問題的病態(tài)性所必須的。同時(shí)兩種算法也用共同的優(yōu)良特性，比如兩種算法都容易加入先驗(yàn)約束等。從圖像重構(gòu)的效果來看，空間域算法比頻域算法好，主要是因?yàn)樗鼘?duì)先驗(yàn)知識(shí)有較好的包容性，先驗(yàn)知識(shí)對(duì)圖像的限制通常是非線性的，而從圖像復(fù)原的相關(guān)知識(shí)中我們可以了解到圖像頻譜的擴(kuò)展是要通過非線性過程的作用來實(shí)現(xiàn)。凸集投影(Projection onto convex sets,POCS)是圖像重構(gòu)的重要理論方法之一，該方法以其強(qiáng)大的先驗(yàn)知識(shí)包含能力，成為近年來圖像復(fù)原領(lǐng)域中一種主要方法，并在圖像超分辨率重構(gòu)方面也得到了很好的應(yīng)用。本章在介紹凸集投影概念、特點(diǎn)以及其重構(gòu)算法的基礎(chǔ)上，針對(duì)POCS算法的第二個(gè)缺點(diǎn)，本章將基于邊緣保持的插值算法與其相結(jié)合提出了基于邊緣保持的POCS超分辨率圖像重構(gòu)算法，并對(duì)其進(jìn)行實(shí)現(xiàn)仿真，仿真結(jié)果表明該算法具有良好的重構(gòu)效果。在后續(xù)的處理中，都是與預(yù)估計(jì)出來的參考幀作為基礎(chǔ)的。但是雙線性插值對(duì)圖像有平滑作用，因此會(huì)使圖像的細(xì)節(jié)部分產(chǎn)生退化，造成插值后圖像的邊緣模糊。 基于點(diǎn)擴(kuò)散函數(shù)的修正參考幀的修正過程其實(shí)就是成像空間的初始點(diǎn)在各個(gè)凸集中的投影過程。2）對(duì)插值以后的低分辨率圖像與參考圖像進(jìn)行運(yùn)動(dòng)估計(jì)。 保留邊緣信息的POCS超分辨率圖像重建算法從步驟4可以看出重建圖像質(zhì)量的好壞與雙線性插值出來的高分辨率圖像的初始估計(jì)有著直接的聯(lián)系。所以保持邊緣信息的處理就分為以下兩個(gè)步驟：第一步：首先將邊緣像素點(diǎn)的原始值對(duì)應(yīng)映射到放大圖像上，然后跟蹤邊緣在邊緣之上沿邊緣方向進(jìn)行插值。我們沿其移動(dòng)的反方向查找第2個(gè)像素點(diǎn)的值，這個(gè)值會(huì)有兩種情況：第一種情況，它就是一個(gè)邊緣點(diǎn)，這說明插值點(diǎn)在兩個(gè)邊緣之間(緊靠兩邊緣)，這說明插值點(diǎn)要不在斜坡邊緣的頂或底上，要不就是在邊緣上，并且還是線性的邊緣，所以我們賦予插值點(diǎn)的值為原始圖像上對(duì)應(yīng)點(diǎn)的像素值。本論文中供測試程序進(jìn)行重構(gòu)試驗(yàn)的圖像序列主要是通過對(duì)一幀圖像進(jìn)行亞采樣產(chǎn)生的圖像序列。試驗(yàn)結(jié)果如圖4446所示 圖43 LR圖像 圖44雙線性插值后的結(jié)果 圖45普通POCS算法處理結(jié)果 圖46基于邊緣保持的POCS算法的結(jié)果由仿真結(jié)果可以看出雙線性插值的結(jié)果出現(xiàn)了邊緣模糊的情況，出現(xiàn)這種情況的主要原因是雙線性插值將原始圖像上的各點(diǎn)首先對(duì)應(yīng)到放大圖像的各點(diǎn)上，在此基礎(chǔ)上做插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域。不管是從視覺上還是對(duì)重建后的圖像進(jìn)行客觀上的評(píng)價(jià)，都有很大的改進(jìn)。如何將新的數(shù)學(xué)算法引入到超分辨率算法中，提高超分辨率恢復(fù)的能力、減小運(yùn)算量、加快運(yùn)算的收斂速度，成為實(shí)時(shí)研究的主要工作。圖像在傳輸和保存之前需要進(jìn)行例行壓縮，因此有必要將超分辨率算法應(yīng)用于壓縮系統(tǒng)中。另外，針對(duì)模型誤差以及不同類型的噪聲具有較強(qiáng)穩(wěn)健性和適應(yīng)性的算法，也是實(shí)際應(yīng)用中所需的。此外將圖像的先驗(yàn)信息有效的引入退化，可以使復(fù)原效果更好。并介紹了超分辨率復(fù)原中的基本理論知識(shí)和基礎(chǔ)技術(shù)，按照超分辨率復(fù)原技術(shù)的發(fā)展過程，詳細(xì)闡述了超分辨率復(fù)原技術(shù)的各種方法，重點(diǎn)分析了目前的一些主流方法，并對(duì)各種主流方法的性能進(jìn)行了比較。圖42表示一幀圖像經(jīng)過亞抽樣以后得到的低分辨圖像序列。4 試驗(yàn)結(jié)果與分析 試驗(yàn)低分辨率圖像的生成超分辨率圖像重構(gòu)的對(duì)象是描述同樣的場景，彼此相似而又不完全相同的圖像序列，可以用不同的方法獲取符合這樣要求的圖像序列，比如用數(shù)碼相機(jī)連續(xù)拍攝的相片，或者直接從一段錄像中抽取的連續(xù)幾幀。2)與邊緣不相接觸的平滑區(qū)處理所謂與邊緣不相接觸的平滑區(qū)是指在原始圖像中44局部區(qū)域沒有邊緣點(diǎn)，這時(shí)我們只對(duì)其中心的22區(qū)域進(jìn)行處理，將其原始圖像中平滑區(qū)像素點(diǎn)映射到放大圖像上并作插值處理。我們所要重點(diǎn)處理的應(yīng)該是沿邊緣方向、沿邊緣兩側(cè)、邊緣到平滑區(qū)域的過渡處理以及邊緣密集區(qū)的處理。步驟5：對(duì)集合定義每一個(gè)像素點(diǎn)進(jìn)行如下操作：。POCS算法的圖像修正方法是把一個(gè)觀察圖像像素投影到參考幀上，找出參考幀中在它的PSF范圍內(nèi)的像素，由PSF計(jì)算出這個(gè)像素的灰度估計(jì)值，與實(shí)際值相比較，如果誤差超出允許范圍，就對(duì)參考幀中的像素灰度值進(jìn)行修正使得灰度估計(jì)值與實(shí)際值的誤差減小到允許范圍內(nèi)。運(yùn)動(dòng)估計(jì)實(shí)際上就是求同一對(duì)象在兩幀圖像中的位置差，也就是這個(gè)對(duì)象的兩幀圖像中的“運(yùn)動(dòng)”。通常采用的插值方法有三種：a)最鄰近插值，b)雙線性插值，c)高階插值。從理論上來說，從整個(gè)成像空間圖像集合的任一點(diǎn)開始，在經(jīng)過向所有約束集投影的過程后，都可以找到它在交集上的投影，也就是說以任意的圖像作為參考幀開始重構(gòu)，最后都能得出可以接受的重構(gòu)結(jié)果。(3) 強(qiáng)大的先驗(yàn)信息包含能力，POCS方法最有用的一面可能就是其很容易利用先驗(yàn)信息。所謂病態(tài)問題，用數(shù)學(xué)的語言來講，就是由方程的己知條件，無法唯一地確定方程的解。表21：頻域算法與空間域算法的比較頻域算法空間域算法運(yùn)動(dòng)模型全局性限制基本上沒有限制噪聲模型受限制較靈活退化模型受限制可為移變或移不變超分辨率圖像重構(gòu)機(jī)制去混迭、去模糊去混迭和利用先驗(yàn)知識(shí)進(jìn)行頻帶展寬計(jì)算的復(fù)雜性低高先驗(yàn)知識(shí)約束難利用能夠有效的利用可拓展性差好復(fù)原圖像的質(zhì)量一定條件下較好很好 從表中可以看到，頻域算法中采用的各系統(tǒng)模型都是相對(duì)簡單的，而空間域算法則盡量采用通用的，能夠包含各種實(shí)際可能遇到情況的模型，因此頻域算法只能在特定的情況下使用，空間域算法則適用于幾乎是所有的場合。在對(duì)超分辨率重建進(jìn)行深人研究的基礎(chǔ)上，有的學(xué)者提出將統(tǒng)計(jì)理論與集合論有機(jī)統(tǒng)一在一起，能同時(shí)考慮觀察圖像的隨機(jī)統(tǒng)計(jì)特征和凸集特征，這就是所謂的混合MAP/POCS方法，對(duì)于最大后驗(yàn)概率估計(jì)算法，其優(yōu)點(diǎn)是可以在解中直接加入先驗(yàn)約束、能確保解的存在和惟一，其降噪能力較強(qiáng)且收斂穩(wěn)定性高；其缺點(diǎn)是收斂慢、運(yùn)算量大。將對(duì)數(shù)似然函數(shù)化簡，得到一個(gè)約束最優(yōu)化問題。Patti等又提出了考慮多種降質(zhì)因素的圖像獲取模型，包括照相機(jī)運(yùn)動(dòng)、非零孔徑時(shí)間、傳感器單元的非零物理尺寸、由光學(xué)成像元件引起的模糊、傳感器噪聲、任意空間時(shí)間采樣等。這種算法首先用輸出圖像的一個(gè)初始估計(jì)作為當(dāng)前結(jié)果，并把這個(gè)當(dāng)前結(jié)果投影到低分辨率觀測圖像上以獲得低分辨率模擬圖像，低分辨率模擬圖像與實(shí)際觀測圖像的差值稱為模擬誤差，根據(jù)模擬誤差不斷更新當(dāng)前估計(jì)。Aizawa,Komatsu和Saito提出了另一種基于內(nèi)插的方法，對(duì)通過立體相機(jī)獲取超分辨率影像的方法進(jìn)行了討論Masayuki用內(nèi)插濾波方法對(duì)遙感影像進(jìn)行了模擬試驗(yàn)，證明了超分辨率的可行性，但效果并不很理想。非均勻間隔樣本內(nèi)插方法是超分辨率圖像復(fù)原最直觀的方法。(3)先驗(yàn)知識(shí)的應(yīng)用：超分辨率圖像重構(gòu)是病態(tài)求逆的過程，因此恢復(fù)過程中利用各種先驗(yàn)知識(shí)進(jìn)行圖像調(diào)整是很重要的。最早的研究工作是由Tsai和Huang在1984年進(jìn)行的。值得一提的是，國際著名的光學(xué)儀器制造公司Leica/Hellawa公司、法國國家航天研究中心已經(jīng)把該領(lǐng)域的理論研究成果轉(zhuǎn)化到硬件產(chǎn)品交錯(cuò)CCD傳感器陣列的設(shè)計(jì)中，并已將其分別應(yīng)用于他們的遙感設(shè)備“ADS40”和“SPOT5”衛(wèi)星，取得了相當(dāng)理想的效果。2 超分辨率圖像重建算法研究 超分辨率技術(shù)概述超分辨率圖像復(fù)原是將多幅圖像的退化因素去除后再融合，這需要解決圖像的運(yùn)動(dòng)估計(jì)、退化圖像去模糊和去噪聲以及對(duì)還原后的圖像信息進(jìn)行融合等，超分辨率圖像復(fù)原是一個(gè)病態(tài)問題，主要表現(xiàn)在：第一，圖像在獲取的過程中，噪聲嚴(yán)重，觀測圖像與原始圖像嚴(yán)重不一致，無法進(jìn)行估計(jì)，造成無解。并且從算法復(fù)雜度以及圖像重構(gòu)的效果等幾個(gè)方面對(duì)頻域算法與空間域算法進(jìn)行了比較。利用超分辨率圖像重建技