【文章內容簡介】 子空間內進行以插值為目的的尺度變換，然后將插值空間逆變換到原始空間。這樣原始空間也就包含了插值函數，相當于在原始空間內插值。挑選這些子空間的原則是：尺度變換的操作能夠保持原始函數的特性。使用估算的相對運動信息，可以獲得非均勻間隔樣點上的HR圖像。一旦通過非均勻插值獲得一幅HR圖像，就能處理復原問題以消除模糊與噪聲?？梢允褂萌魏慰紤]噪聲存在的去卷積方法來進行復原。Aizawa,Komatsu和Saito提出了另一種基于內插的方法，對通過立體相機獲取超分辨率影像的方法進行了討論Masayuki用內插濾波方法對遙感影像進行了模擬試驗，證明了超分辨率的可行性，但效果并不很理想。近年來，有的學者對基于小波的圖像超分辨率技術進行了初步的研究和試驗，Nguyen和Milanfar提出了基于小波插值方法的超分辨率復原。其基本思想是將多幀低分辨率數據變換到不同尺度的小波空間，然后在不同尺度的小波空間進行圖像復原，得到HR圖像，取得了比較滿意的試驗結果?？偟膩碚f，非均勻插值方法的優(yōu)勢是它具有相對較低的計算負荷，并能進行實時應用。但是，內插方法過于簡單化，因為觀察數據是從嚴格的欠采樣得到的，在復原這一步(典型的假設是脈沖采樣)不能得到比低分辨率圖像中更多的頻率成分。并且退化模型是受限制的，它們只適用于模糊和噪聲特性對全部低分辨率圖像都一樣的情況，也能利用任何先驗信息。另外，由于復原步驟忽視了插值階段中產生的誤差，所以不能保證整個復原算法的最優(yōu)性。 迭代反投影法 Irani等提出了一種迭代反投影算法。這種算法首先用輸出圖像的一個初始估計作為當前結果，并把這個當前結果投影到低分辨率觀測圖像上以獲得低分辨率模擬圖像，低分辨率模擬圖像與實際觀測圖像的差值稱為模擬誤差，根據模擬誤差不斷更新當前估計。Tom等通過改進運動補償方法，進一步提高了迭代反投影算法的性能，并將迭代反投影算法推廣應用到彩色視頻序列的超分辨率圖像重建上。迭代反投影算法的優(yōu)點是直觀、簡單；缺點是問題具有病態(tài)性，解不惟一，而且難以利用先驗信息。凸集投影算法是一種集合理論重建方法。超分辨率圖像的可行域是一組凸約束集合的交集，而這組凸約束集合代表了期望的超分辨率圖像的一些特性，如數據可靠、能量有限、正定、支撐域有界、平滑等。POCS算法是一種迭代過程，在給定超分辨率圖像可行域中任意一個點的前提下，可以找到一個滿足所有凸約束條件的點（即收斂解）。Stark和Oskoui首先將POCS應用于超分辨率圖像重建。Tekalp等進行了改進，考慮了傳感器噪聲。Patti等又提出了考慮多種降質因素的圖像獲取模型，包括照相機運動、非零孔徑時間、傳感器單元的非零物理尺寸、由光學成像元件引起的模糊、傳感器噪聲、任意空間時間采樣等。最大后驗概率估計和最大似然估計算法是一種統計重建方法，它是把超分辨率重建問題看成一個統計估計問題。最大后驗概率估計的含義就是在已知低分辨率視頻序列的條件下，使出現高分辨率圖像的后驗概率達到最大。根據貝葉斯理論，高分辨率圖像的后驗概率等于以下兩項之積：1）已知理想高分辨率圖像的條件下，低分辨率視頻序列的條件概率；2）理想高分辨率圖像的先驗概率。條件概率項通常采用高斯模型，先驗概率項在不同的算法中采用不同的模型。通常采用的先驗模型應該具有三個特點：1）是一個局部平滑函數；2）具有邊緣保持能力；3）是一個凸函數。大多數最大后驗概率估計算法的差別就是在先驗模型的選擇上。一種常用的先驗模型是HuberMarkov模型。將對數似然函數化簡，得到一個約束最優(yōu)化問題。MAP估計算法就是將目標函數最小化。若目標函數是凸函數，則保證了它在最優(yōu)化過程中的收斂性。Schultz等提出了MAP超分辨率圖像重建算法，它是單幀圖像插值算法的推廣。這種方法采用HuberMarkov模型作為圖像的先驗信息，這些先驗約束是解決超分辨率重建問題的病態(tài)性所必須的。Hardie等提出了一種與超分辨率圖像和配準參數同時有關的MAP目標函數，這種方法可以同時進行運動估計和圖像重建。為了解決MAP超分辨率重建方法的病態(tài)性問題，可以把TikhonovArsenin正則化引入到超分辨率重建方法中TikhonovArsenin正則化函數可以認為是貝葉斯框架中Markov隨機場先驗的特例?；旌螹AP/POCS方法就是在最大后驗概率方法的迭代優(yōu)化過程中加人一些先驗約束。在對超分辨率重建進行深人研究的基礎上，有的學者提出將統計理論與集合論有機統一在一起，能同時考慮觀察圖像的隨機統計特征和凸集特征，這就是所謂的混合MAP/POCS方法，對于最大后驗概率估計算法，其優(yōu)點是可以在解中直接加入先驗約束、能確保解的存在和惟一，其降噪能力較強且收斂穩(wěn)定性高；其缺點是收斂慢、運算量大。另外，最大后驗概率估計算法的邊緣保持能力不強，由這類方法超分辨率復原的圖像的細節(jié)信息容易被平滑掉，對于凸集投影算法，其優(yōu)點是可以方便地加入先驗信息，可以較好的保持高分辨率圖像上的邊緣和細節(jié)特征；缺點是解不唯一且依賴于初始估計，并且運算量大、收斂穩(wěn)定性不高等。另外，POCS算法中的圖像修正過程是基于數據一致性的，因而超分辨率估計圖像的邊緣振蕩效應是它的一個明顯不足之處。比較MAP估計、POCS兩種算法的優(yōu)缺點，可以發(fā)現兩種算法有許多互補性，如：MAP估計的迭代收斂穩(wěn)定性比POCS算法好，但POCS算法的收斂速度卻比MAP估計快；MAP估計的降噪能力比POCS強，但POCS的邊緣保持能力卻比MAP估計來的好；MAP估計可以平滑性參數控制，但POCS對先驗知識可以強制約束等。同時兩種算法也用共同的優(yōu)良特性，比如兩種算法都容易加入先驗約束等。鑒于兩種算法有這樣的特點，很多學者提出了將基于概率理論的方法與基于集合理論的方法統一起來形成混合MAP/POCS算法，以期待新算法能將數學的嚴格性、解的唯一性與先驗約束的方便性有機地結合。已有的理論證實，只有采用梯度下降最優(yōu)化方法才能保證這種混合MAP/POCS方法收斂到全局最優(yōu)解。超分辨率圖像重構包括頻域和空間域兩類主要算法，頻域算法首先被提出，但是目前的研究則基本都是對空間域算法進行的，通過前面的介紹我們己經可以看到空間域算法具有更好的適應性和重構效果，下面對這兩類算法做一個詳細比較，可以更清楚地看到它們各自優(yōu)劣所在。表21：頻域算法與空間域算法的比較頻域算法空間域算法運動模型全局性限制基本上沒有限制噪聲模型受限制較靈活退化模型受限制可為移變或移不變超分辨率圖像重構機制去混迭、去模糊去混迭和利用先驗知識進行頻帶展寬計算的復雜性低高先驗知識約束難利用能夠有效的利用可拓展性差好復原圖像的質量一定條件下較好很好 從表中可以看到，頻域算法中采用的各系統模型都是相對簡單的，而空間域算法則盡量采用通用的，能夠包含各種實際可能遇到情況的模型，因此頻域算法只能在特定的情況下使用，空間域算法則適用于幾乎是所有的場合。當然這是因為二者的出發(fā)點不一樣，頻域算法本身就是為了對一種特定的圖像序列(衛(wèi)星拍攝圖像)進行處理而產生的，它的處理思想也是基于這樣的特殊情況，所以難以改進擴展。頻域算法的提出引出了超分辨率圖像重構的課題，而空間域算法是為了解決超分辨率圖像重構問題而產生的，在設計算法的時候自然要先考慮算法的適應范圍的問題。頻域算法的理論很簡單，只涉及到一些傅立葉變換的知識，進行圖像重構時的計算量也不大，空間域算法考慮了各種運動、降質、噪聲情況以及圖像的先驗知識，因此算法相對復雜，而且多數空間域算法要采用重復修正逼近的方法求解，計算量也非常大。從圖像重構的效果來看，空間域算法比頻域算法好，主要是因為它對先驗知識有較好的包容性，先驗知識對圖像的限制通常是非線性的，而從圖像復原的相關知識中我們可以了解到圖像頻譜的擴展是要通過非線性過程的作用來實現?？臻g域算法中最有前途的是MAP算法與POCS算法，它們都具有高度的靈活性和良好的可擴展性，重構圖像的效果也比較令人滿意，貝葉斯算法與POCS算法相比有更嚴謹的理論框架，其最大的優(yōu)點是重構結果是唯一的，POCS算法的優(yōu)點則是算法比較直觀，對先驗知識的利用更加簡單靈活。下面把這兩種算法的一些特性作一比較。表22：MAP算法與POCS算法的比較MAP算法POCS算法使用的理論大量有限先驗知識使用先驗概率密度，容易應用，沒有大的限制使用凸集，容易應用，有效而且簡單重構結果唯一的MAP估計值不唯一，凸集的交集優(yōu)化方法標準的迭代算法，收斂性好迭代投影法，收斂較慢計算量高較高3 POCS算法及其改進算法的實現超分辨率圖像重構是一個典型的病態(tài)求逆問題。所謂病態(tài)問題，用數學的語言來講，就是由方程的己知條件，無法唯一地確定方程的解。求解病態(tài)問題的通用方法是采用正則化方法，即利用圖像的各種有關信息來約束問題的可能解的空問范圍。在超分辨率圖像重構中，正則化一般是通過以下兩種方式來進行：(1) 利用圖像序列所能提供的額外的、有關圖像的空間一時間約束信息(低分辨率圖像序列通常能夠提供有關約束同一場景高分辨率圖像的亞像素信息)。(2) 利用各種有關圖像的先驗知識來約束高分辨率圖像的解空間(例如有關圖像的局部平滑先驗知識，邊界先驗知識，能量有界性先驗知識等)。凸集投影(Projection onto convex sets,POCS)是圖像重構的重要理論方法之一，該方法以其強大的先驗知識包含能力，成為近年來圖像復原領域中一種主要方法，并在圖像超分辨率重構方面也得到了很好的應用。POCS方法之所以在圖像超分辨率重構領域收到如此重視，主要在于該方法存在著以下優(yōu)點：(1) 原理簡單POCS方法原理直觀，實現算法簡單。唯一的困難在于投影操作算子的確定。(2) 靈活的空域觀測模型，因為POCS方法是空間域的典型公式，非常一般的運動模型、觀測值模型均能適應其中，運動即觀測值模型的復雜度對POCS方法幾何沒有影響。(3) 強大的先驗信息包含能力，PO