【文章內(nèi)容簡介】 列全局位移的要求很可能不被滿足，由于傅立葉變換的平移特性是頻域算法使用的基本技術(shù)之一，很難對運動模型進行調(diào)整以適應(yīng)有局部運動情況的圖像序列，缺少靈活性，從而限制了在大多數(shù)實際情況。 (2) 退化模型與運動模型的問題類似，頻域算法因為要把所有像素點統(tǒng)一轉(zhuǎn)換到頻域進行處理，所以無法應(yīng)用隨空間變化的退化模型，沒有考慮光學系統(tǒng)的點擴散函數(shù) PSF、運動模糊和觀測噪聲的影響。對觀察噪聲的處理能力也非常有限。 (3)先驗知識的應(yīng)用：超分辨率圖像重構(gòu)是病態(tài)求逆 的過程，因此恢復過程中 6 利用各種先驗知識進行圖像調(diào)整是很重要的。通常最有用的先驗知識都是在空間域?qū)D像的重構(gòu)范圍進行限制的，它們很難被用于頻域，除非其效果是移不變的。 (4)圖像頻帶受限：圖像頻帶有限與全局位移都是進行頻域重構(gòu)的基本假設(shè)。算法中 L 值的設(shè)置會限制重構(gòu)圖像的質(zhì)量，如果設(shè)置得高，就會導致線性方程組中的未知量過多，數(shù)據(jù)點不足的問題。 空間域方法 空間域方法是圖像超分辨率重建應(yīng)用中另一類主要的方法，是目前研究的熱點，它的性能要遠遠高于頻域的方法。它將復雜的運動模型與相應(yīng)的插值、迭代及濾波重采 樣放在一起進行處理，作為影像重建的全部內(nèi)容，其線性空間域觀測模型涉及到全局和局部運動、光學模糊、幀內(nèi)運動模糊、空間可變點擴散函數(shù)、非理想采樣及其他一些內(nèi)容?？臻g域影像超分辨率重建方法主要包括非均勻間隔樣本內(nèi)插 (Interpolation of NonUniformly Spaced Samples)、后向投影迭代(IBP)，概率論方法 (Probabilitic Methods)以及集合論方法 (Set Theoretic Methods)、混合 MAP/POCS 方法以及自適應(yīng)濾波方法等。 非均勻 空 間樣本差值算法 觀測影像序列經(jīng)過配準后，形成一幅由非均勻間隔采樣格網(wǎng)點上的樣本值形成的復合影像，這些非均勻間隔樣本點經(jīng)過內(nèi)插和重采樣可形成超分辨率的采樣格網(wǎng)。非均勻間隔樣本內(nèi)插方法是超分辨率圖像復原最直觀的方法。在這一方法中，首先對圖像進行相對運動估算，即配準，然后進行非均勻插值以便產(chǎn)生一幅分辨率較高的圖像，最后對圖像進行去模糊。通用插值方法將包含原始函數(shù)的空間分解為適當?shù)淖涌臻g，在每一個子空間內(nèi)進行以插值為目的的尺度變換，然后將插值空間逆變換到原始空間。這樣原始空間也就包含了插值函數(shù)，相當于在原始 空間內(nèi)插值。挑選這些子空間的原則是：尺度變換的操作能夠保持原始函數(shù)的特性。使用估算的相對運動信息，可以獲得非均勻間隔樣點上的 HR 圖像。一旦通過非均勻插值獲得一幅 HR 圖像，就能處理復原問題以消除模糊與噪聲?？梢允褂萌魏慰紤]噪聲存在的去卷積方法來進行復原。 Aizawa,Komatsu 和 Saito 提出了另一種基于內(nèi)插的方法，對通過立體相機獲取超分辨率影像的方法進行了討論Masayuki 用內(nèi)插濾波方法對遙感影像進行了模擬試驗，證明了超分辨率的可行性，但效果并不很理想。近年來，有的學者對基于小波的圖像超分辨率技術(shù)進行 了初步的研究和試驗， Nguyen 和 Milanfar 提出了基于小波插值方法的超分辨率復原。其基本思想是將多幀低分辨率數(shù)據(jù)變換到不同尺度的小波空間，然后在不同尺度的小波空間進行圖像復原，得到 HR 圖像，取得了比較滿意的試驗結(jié)果?？偟膩碚f，非均勻插值方法的優(yōu)勢是它具有相對較低的計算負荷，并能進行實時應(yīng)用。但是， 7 內(nèi)插方法過于簡單化，因為觀察數(shù)據(jù)是從嚴格的欠采樣得到的，在復原這一步 (典型的假設(shè)是脈沖采樣 )不能得到比低分辨率圖像中更多的頻率成分。并且退化模 型是受限制的，它們只適用于模糊和噪聲特性對全部低分辨率圖像都一 樣的情況，也能利用任何先驗信息。另外，由于復原步驟忽視了插值階段中產(chǎn)生的誤差，所以不能保證整個復原算法的最優(yōu)性 。 迭代反投影法 Irani 等提出了一種迭代反投影算法。這種算法首先用輸出圖像的一個初始估計作為當前結(jié)果，并把這個當前結(jié)果投影到低分辨率觀測圖像上以獲得低分辨率模擬圖像，低分辨率模擬圖像與實際觀測圖像的差值稱為模擬誤差，根據(jù)模擬誤差不斷更新當前估計。 Tom 等通過改進運動補償方法，進一步提高了迭代反投影算法的性能，并將迭代反投影算法推廣應(yīng)用到彩色視頻序列的超分辨率圖像重建上。迭代反投影算 法的優(yōu)點是直觀、簡單；缺點是問題具有病態(tài)性，解不惟一，而且難以利用先驗信息。 投影算法 凸集投影算法是一種集合理論重建方法。超分辨率圖像的可行域是一組凸約束集合的交集，而這組凸約束集合代表了期望的超分辨率圖像的一些特性，如數(shù)據(jù)可靠、能量有限、正定、支撐域有界、平滑等。 POCS 算法是一種迭代過程，在給定超分辨率圖像可行域中任意一個點的前提下，可以找到一個滿足所有凸約束條件的點（即收斂解）。 Stark 和 Oskoui 首先將 POCS 應(yīng)用于超分辨率圖像重建。Tekalp 等進行了改進，考慮了傳感器噪聲。 Patti 等又提出了考慮多種降質(zhì)因素的圖像獲取模型，包括照相機運動、非零孔徑時間、傳感器單元的非零物理尺寸、由光學成像元件引起的模糊、傳感器噪聲、任意空間時間采樣等。 最大后驗概率估計和最大似然估計算法是一種統(tǒng)計重建方法，它是把超分辨率重建問題看成一個統(tǒng)計估計問題。最大后驗概率估計的含義就是在已知低分辨率視頻序列的條件下，使出現(xiàn)高分辨率圖像的后驗概率達到最大。根據(jù)貝葉斯理論，高分辨率圖像的后驗概率等于以下兩項之積： 1）已知理想高分辨率圖像的條件下，低分辨率視頻序列 的條件概率； 2）理想高分辨率圖像的先驗概率。條件概率項通常采用高斯模型，先驗概率項在不同的算法中采用不同的模型。通常采用的先驗?zāi)Ｐ蛻?yīng)該具有三個特點： 1）是一個局部平滑函數(shù)； 2）具有邊緣保持能力；3）是一個凸函數(shù)。大多數(shù)最大后驗概率估計算法的差別就是在先驗?zāi)Ｐ偷倪x擇上。一種常用的先驗?zāi)Ｐ褪?HuberMarkov 模型。將對數(shù)似然函數(shù)化簡，得到一個約束最優(yōu)化問題。 MAP 估計算法就是將目標函數(shù)最小化。若目標函數(shù)是凸函數(shù)，則保證了它在最優(yōu)化過程中的收斂性。 8 Schultz 等提出了 MAP 超分辨率圖像重建算法，它是單 幀圖像插值算法的推廣。這種方法采用 HuberMarkov 模型作為圖像的先驗信息，這些先驗約束是解決超分辨率重建問題的病態(tài)性所必須的。 Hardie 等提出了一種與超分辨率圖像和配準參數(shù)同時有關(guān)的 MAP 目標函數(shù)，這種方法可以同時進行運動估計和圖像重建。為了解決 MAP 超分辨率重建方法的病態(tài)性問題，可以把 TikhonovArsenin 正則化引入到超分辨率重建方法中 TikhonovArsenin 正則化函數(shù)可以認為是貝葉斯框架中 Markov 隨機場先驗的特例。 MAP/POCS 方法 混合 MAP/POCS 方法就是在最大后驗概率方法的迭代優(yōu)化過程中加人一些先驗約束。在對超分辨率重建進行深人研究的基礎(chǔ)上，有的學者提出將統(tǒng)計理論與集合論有機統(tǒng)一在一起，能同時考慮觀察圖像的隨機統(tǒng)計特征和凸集特征，這就是所謂的混合 MAP/POCS 方法，對于最大后驗概率估計算法，其優(yōu)點是可以在解中直接加入先驗約束、能確保解的存在和惟一，其降噪能力較強且收斂穩(wěn)定性高；其缺點是收斂慢、運算量大。另外，最大后驗概率估計算法的邊緣保持能力不強，由這類方法超分辨率復原的圖像的細節(jié)信息容易被平滑掉，對于凸集投影算法，其優(yōu)點是可以方便地加入先驗信息 ，可以較好的保持高分辨率圖像上的邊緣和細節(jié)特征；缺點是解不唯一且依賴于初始估計，并且運算量大、收斂穩(wěn)定性不高等。另外， POCS 算法中的圖像修正過程是基于數(shù)據(jù)一致性的，因而超分辨率估計圖像的邊緣振蕩效應(yīng)是它的一個明顯不足之處。比較 MAP 估計、 POCS 兩種算法的優(yōu)缺點，可以發(fā)現(xiàn)兩種算法有許多互補性，如： MAP 估計的迭代收斂穩(wěn)定性比 POCS算法好，但 POCS 算法的收斂速度卻比 MAP 估計快； MAP 估計的降噪能力比 POCS強，但 POCS 的邊緣保持能力卻比 MAP 估計來的好； MAP 估計可以平滑性參數(shù)控制，但 POCS 對先驗 知識可以強制約束等。同時兩種算法也用共同的優(yōu)良特性，比如兩種算法都容易加入先驗約束等。鑒于兩種算法有這樣的特點，很多學者提出了將基于概率理論的方法與基于集合理論的方法統(tǒng)一起來形成混合 MAP/POCS算法，以期待新算法能將數(shù)學的嚴格性、解的唯一性與先驗約束的方便性有機地結(jié)合。已有的理論證實，只有采用梯度下降最優(yōu)化方法才能保證這種混合MAP/POCS 方法收斂到全局最優(yōu)解 。 常見的圖像重構(gòu)算法的比較 超分辨率圖像重構(gòu)包括頻域和空間域兩類主要算法，頻域算法首先被提出，但是目前的研究則基本都是對空間域算法進行 的，通過前面的介紹我們己經(jīng)可以看到空間域算法具有更好的適應(yīng)性和重構(gòu)效果，下面對這兩類算法做一個詳細比較，可以更清楚地看到它們各自優(yōu)劣所在。 9 表 21：頻域算法與空間域算法的比較 頻域算法 空間域算法 運動模型 全局性限制 基本上沒有限制 噪聲模型 受限制 較靈活 退化模型 受限制 可為移變或移不變 超分辨率圖像重構(gòu)機制 去混迭、去模糊 去混迭和利用先驗知識進行頻帶展寬 計算的復雜性 低 高 先驗知識約束 難利用 能夠有效的利用 可拓展性 差 好 復原圖像的質(zhì)量 一定條件下較好 很好 從表中可以看到，頻域算法中采用的各系統(tǒng)模型都是相對簡單的，而空間域算法則盡量采用通用的，能夠包含各種實際可能遇到情況的模型，因此頻域算法只能在特定的情況下使用，空間域算法則適用于幾乎是所有的場合。當然這是因為二者的出發(fā)點不一樣，頻域算法本身就是為了對一種特定的圖像序列 (衛(wèi)星拍攝圖像 )進行處理而產(chǎn)生的，它的處理思想也是基于這樣的特殊情況，所以難以改進擴展 。頻域算法的提出引出了超分辨率圖像重構(gòu)的課題，而空間域算法是為了解決超分辨率圖像重構(gòu)問題而產(chǎn)生的，在設(shè)計算法的時候自然要先考慮算法的適應(yīng)范圍的問題。 頻 域算法的理論很簡單，只涉及到一些傅立葉變換的知識，進行圖像重構(gòu)時的計算量也不大，空間域算法考慮了各種運動、降質(zhì)、噪聲情況以及圖像的先驗知識，因此算法相對復雜，而且多數(shù)空間域算法要采用重復修正逼近的方法求解，計算量也非常大。從圖像重構(gòu)的效果來看，空間域算法比頻域算法好，主要是因為它對先驗知識有較好的包容性，先驗知識對圖像的限制通常是非線性的，而從圖像復原的相關(guān)知識中我們可以了解到圖像頻譜的擴展是要通過非線性過程的作用來實現(xiàn)。 空間域算法中最有前途的是 MAP 算法與 POCS 算法，它們都具有高度的靈活性和良好的可擴 展性，重構(gòu)圖像的效果也比較令人滿意，貝葉斯算法與 POCS 算法相比有更嚴謹?shù)睦碚摽蚣?，其最大的?yōu)點是重構(gòu)結(jié)果是唯一的， POCS 算法的優(yōu)點則是算法比較直觀，對先驗知識的利用更加簡單靈活。下面把這兩種算法的一些特性作一比較 。 10 表 22： MAP 算法與 POCS 算法的比較 MAP 算法 POCS 算法 使用的理論 大量 有限 先驗知識 使用先驗概率密度，容易應(yīng)用，沒有大的限制 使用凸集，容易應(yīng) 用，有效而且簡單 重構(gòu)結(jié)果 唯一的 MAP 估計值 不唯一，凸集的交 集 優(yōu)化方法 標準的迭代算法，收斂性好 迭代投影法，收斂 較慢 計算量 高 較高 11 3 POCS 算法及其改進算法的實現(xiàn) 超分辨率圖像重構(gòu)是一個典型的病態(tài)求逆問題。所謂病態(tài)問題，用數(shù)學的語言來講，就是由方程的己知條件，無法唯一地確定方程的解。求解病態(tài)問題的通用方法是采用正則化方法，即利用圖像的各種有關(guān)信息來約束問題的可能解的空問范圍。在超分辨率圖像重構(gòu)中，正則化一般是通過以下兩種方式來進行 ： (1) 利用圖像序列所能提供的額外的、有關(guān)圖像的空間一時間約束信息 (低分