【正文】 含能力 POCS 方法最有用的一面可能就是其很容易利用先驗(yàn)信息一般來(lái)說(shuō)確定包含理想解特點(diǎn)的限制集比較易于實(shí)現(xiàn)但可能施加的其他限制條件如正定性光滑性以及能量有界性則較難用代價(jià)函數(shù)來(lái)表示 POCS方法的缺點(diǎn)主要有其一解的不唯一性對(duì)基于 POCS的超分辨率重構(gòu)來(lái)說(shuō)其解空間定義為所有凸集的交集除非該交集 是單點(diǎn)集否則其解就是不唯一的其二對(duì)初始值的依賴性其三 POCS 方法需要可觀的計(jì)算代價(jià)和較多的迭代次數(shù)本章在介紹凸集投影概念特點(diǎn)以及其重構(gòu)算法的基礎(chǔ)上針對(duì) POCS 算法的第二個(gè)缺點(diǎn)本章將基于邊緣保持的插值算法與其相結(jié)合提出了基于邊緣保持的 POCS 超分辨率圖像重構(gòu)算法并對(duì)其進(jìn)行實(shí)現(xiàn)仿真仿真結(jié)果表明該算法具有良好的重構(gòu)效果 31 凸集投影算法 基于凸集投影 POCS 的高分辨率圖像重建算法就是給定一組低分辨率圖像假設(shè)為參考圖像利用圖像和其它的圖像其中且重建高分辨率圖像的過(guò)程通常的POCS重建算法可以分作三個(gè)具體的步 驟構(gòu)造參考幀進(jìn)行運(yùn)動(dòng)估計(jì)對(duì)參考幀進(jìn)行修正 用插值方法構(gòu)造參考幀 實(shí)現(xiàn) POCS 算法的第一步就是根據(jù)觀察圖像序列構(gòu)造參考幀也就是預(yù)估的超分辨率圖像從理論上來(lái)說(shuō)從整個(gè)成像空間圖像集合的任一點(diǎn)開(kāi)始在經(jīng)過(guò)向所有約束集投影的過(guò)程后都可以找到它在交集上的投影也就是說(shuō)以任意的圖像作為參考幀開(kāi)始重構(gòu)最后都能得出可以接受的重構(gòu)結(jié)果但實(shí)際上初始估計(jì)值對(duì)于算法是否可行的影響是比較大的實(shí)際中通常為了加快收斂速度減少重復(fù)修正需要的次數(shù)降低算法的計(jì)算量和消耗時(shí)間構(gòu)造的參考幀與最后的重構(gòu)結(jié)果越相似越好一般來(lái)說(shuō)初始點(diǎn)是由一幀低分辨率 圖像經(jīng)過(guò)插值得到的也就是構(gòu)造出來(lái)的參考幀在后續(xù)的處理中都是與預(yù)估計(jì)出來(lái)的參考幀作為基礎(chǔ)的 插值是將圖像的像素點(diǎn)恢復(fù)到更高速率的采樣?xùn)鸥裆贤ㄟ^(guò)插值我們可以得到和超分辨率重建圖像的分辨率相同的重建圖像初始估計(jì)并且對(duì)原始 LR 圖像插值可以提高下一個(gè)步驟中的運(yùn)動(dòng)估計(jì)的準(zhǔn)確性通常采用的插值方法有三種 a 最鄰近插值 b 雙線性插值 c 高階插值這三種插值方法相比起來(lái)最近鄰插值的計(jì)算最簡(jiǎn)單在許多情況下其結(jié)果也可以令人接受但是當(dāng)圖像中包含像素之間灰度級(jí)有變化的細(xì)微結(jié)構(gòu)時(shí)最鄰近插值所獲取的圖像中經(jīng)常帶有明顯的鋸齒現(xiàn)象可能對(duì)重構(gòu)圖像 的效果有不良影響雙線性插值和最近鄰插值法相比可能產(chǎn)生會(huì)更令人滿意的效果只是它稍微復(fù)雜一些運(yùn)行時(shí)間稍長(zhǎng)一點(diǎn)但是雙線性插值對(duì)圖像有平滑作用因此會(huì)使圖像的細(xì)節(jié)部分產(chǎn)生退化造成插值后圖像的邊緣模糊相比較而言高階插值對(duì)圖像細(xì)節(jié)的退化影響最小但是由于采用的插值核函數(shù)更加復(fù)雜所以其運(yùn)算的復(fù)雜度比較高 計(jì) 在獲取圖像序列的過(guò)程中由于物體的運(yùn)動(dòng)以及相機(jī)位置的改變而導(dǎo)致圖像內(nèi)容發(fā)生變化主要包括物體的平移旋轉(zhuǎn)形狀變化相機(jī)的變焦傾斜鏡頭抖動(dòng)等運(yùn)動(dòng)估計(jì)實(shí)際上就是求同一對(duì)象在兩幀圖像中的位置差也就是這個(gè)對(duì)象的兩幀圖像中的運(yùn)動(dòng)在對(duì) 同一場(chǎng)景進(jìn)行拍攝后假設(shè)總共拍攝到 N 幀分辨率為各自含有不同亞像素信息的低分辨率圖像并用來(lái)表示這些低分辨率圖像那么我們最終目的是要從這些低分辨率圖像中重構(gòu)出一幅分辨率為的高分辮率圖像其中是放大倍數(shù)為了能將這 N 幀低分辨率圖像中的不同亞像素信息甄別出來(lái)就需要在高分辨率網(wǎng)格上重新將所有這 N 幀低分辨率圖像進(jìn)行對(duì)準(zhǔn)這就是運(yùn)動(dòng)估計(jì)的目的所在在凸集投影方法中要把低分辨率圖像序列投影到參考幀上進(jìn)行修正為保證低分辨率圖像中的點(diǎn)投影到參考幀圖像中的正確的位置上就必須進(jìn)行運(yùn)動(dòng)估計(jì)實(shí)際上運(yùn)動(dòng)估計(jì)的好壞直接影響超分辨率復(fù)原的結(jié)果 基于點(diǎn)擴(kuò)散函數(shù)的修正 參考幀的修正過(guò)程其實(shí)就是成像空間的初始點(diǎn)在各個(gè)凸集中的投影過(guò)程絕大多數(shù)的成像系統(tǒng)并不是理想的光學(xué)系統(tǒng)圖像在經(jīng)過(guò)攝像頭的時(shí)候總會(huì)有一定的退化考慮一個(gè)光點(diǎn)源透過(guò)攝像頭形成圖像不可能與原先一樣就是一個(gè)點(diǎn)而是會(huì)產(chǎn)生一些模糊這個(gè)模糊是由點(diǎn)擴(kuò)散函數(shù) PSF 造成的低分辨率圖像序列由理想高分辨圖像通過(guò)采樣產(chǎn)生其中某點(diǎn)的像素灰度值是由理想圖像的一個(gè)小圖像塊中的點(diǎn)決定的至于觀察的低分辨圖像中一個(gè)像素點(diǎn)對(duì)應(yīng)于重構(gòu)圖像中多大范圍內(nèi)的點(diǎn)是由低分辨率傳感器單元的 PSF 決定的因此在超分辨率圖像重構(gòu)中不僅要考慮 光學(xué)模糊而且還要考慮高低分辨率之間轉(zhuǎn)換產(chǎn)生的 PSF POCS 算法的圖像修正方法是把一個(gè)觀察圖像像素投影到參考幀上找出參考幀中在它的 PSF范圍內(nèi)的像素由 PSF計(jì)算出這個(gè)像素的灰度估計(jì)值與實(shí)際值相比較如果誤差超出允許范圍就對(duì)參考幀中的像素灰度值進(jìn)行修正使得灰度估計(jì)值與實(shí)際值的誤差減小到允許范圍內(nèi)對(duì)所有觀察圖像中的每個(gè)像素都進(jìn)行這種處理因?yàn)橄袼攸c(diǎn)在參考幀上的 PSF 影響范圍可能部分重疊在使用后面的點(diǎn)修正圖像后前面處理過(guò)的點(diǎn)的誤差值可能會(huì)再超出閾值所以進(jìn)行修正的時(shí)候一般不會(huì)一次修正到位而是采取循環(huán)修正的方法在達(dá)到一定 的循環(huán)次數(shù)或者確定誤差值已收斂至足夠小才結(jié)束修正過(guò)程 POCS 圖像重建算法步驟 POCS 圖像重建算法的具體步驟如下 步驟 1 對(duì)圖像進(jìn)行運(yùn)動(dòng)估計(jì) 1 把每幀低分辨率圖像進(jìn)行雙線性插值放大放大到跟高分辨率圖像一樣大小 2 對(duì)插值以后的低分辨率圖像與參考圖像進(jìn)行運(yùn)動(dòng)估計(jì) 步驟 2 在運(yùn)動(dòng)軌跡精確的每一個(gè)像素點(diǎn)定義集合 步驟 3 在集合定義的每一個(gè)像素點(diǎn)計(jì)算模糊函數(shù) 步驟 4 對(duì)參考圖像進(jìn)行雙線性插值把插值以后圖像作為高分辨率圖像的初始估計(jì) 步驟 5 對(duì)集合定義每一個(gè)像素點(diǎn)進(jìn)行如下操作 a 根據(jù)式計(jì)算殘差 b 使用 式中投影算子投影殘差 步驟 6 基于式的幅值投影 步驟 7 如果滿足終止判據(jù)結(jié)束迭代 32 保留邊緣信息的 POCS 超分辨率圖像重建算法 從步驟 4 可以看出重建圖像質(zhì)量的好壞與雙線性插值出來(lái)的高分辨率圖像的初始估計(jì)有著直接的聯(lián)系而雙線性插值是將原始圖像上的各點(diǎn)首先對(duì)應(yīng)到放大圖像的各點(diǎn)上在此基礎(chǔ)上作插值并且不區(qū)分邊緣區(qū)域和平滑區(qū)域這是造成邊緣模糊的主要原因因而我們就想到了要對(duì)圖像的邊緣點(diǎn)進(jìn)行特殊的處理即用保持原始圖像的邊緣信息進(jìn)行圖像插補(bǔ)的方法代替雙線性插值來(lái)求解 POCS 算法中高分辨率圖像的初始估計(jì)然后在此基礎(chǔ)上進(jìn)行 POCS 算法本文假設(shè)原始圖像的邊緣信息完整那么在這種假設(shè)條件成立的情況下對(duì)于邊緣與靠近邊緣的像素點(diǎn)我們就不應(yīng)該去進(jìn)行中間插值簡(jiǎn)單的將其移動(dòng)到邊緣周圍即可我們所要重點(diǎn)處理的應(yīng)該是沿邊緣方向沿邊緣兩側(cè)邊緣到平滑區(qū)域的過(guò)渡處理以及邊緣密集區(qū)的處理 1 圖像的邊緣檢測(cè) 由于對(duì)數(shù)字圖像進(jìn)行插補(bǔ)放大處理的視覺(jué)質(zhì)量主要依賴于圖像輪廓邊緣所以第一步驟就是采取邊緣檢測(cè)算法檢測(cè)出原始圖像的邊緣 2 保持邊緣信息 所謂的邊緣信息即指跨越邊緣方向的灰度值變化情況和沿邊緣方向的灰度值變化情況本文指出的邊緣方向有兩個(gè)含義 1 在邊緣之上 2 緊 靠邊緣兩側(cè)所以保持邊緣信息的處理就分為以下兩個(gè)步驟 第一步首先將邊緣像素點(diǎn)的原始值對(duì)應(yīng)映射到放大圖像上然后跟蹤邊緣在邊緣之上沿邊緣方向進(jìn)行插值 第二步對(duì)邊緣兩側(cè)沿邊緣方向進(jìn)行平滑處理 1 保護(hù)邊緣信息 所謂保護(hù)邊緣信息指的是將放大圖像中經(jīng)過(guò)插補(bǔ)的邊緣用一個(gè)沿著邊緣方向兩側(cè)的一系列像素點(diǎn)將邊緣封閉目的是為了在以后的插補(bǔ)計(jì)算中對(duì)插補(bǔ)像素點(diǎn)的計(jì)算不涉及到邊緣像素點(diǎn)這樣會(huì)使放大圖像的灰度變化平滑而且不會(huì)在邊緣附近引進(jìn)噪聲 2 與邊緣不相接觸的平滑區(qū)處理 所謂與邊緣不相接觸的平滑區(qū)是指在原始圖像中 4 4 局部區(qū)域沒(méi) 有邊緣點(diǎn)這時(shí)我們只對(duì)其中心的 2 2 區(qū)域進(jìn)行處理將其原始圖像中平滑區(qū)像素點(diǎn)映射到放大圖像上并作插值處理 3 平移的非邊緣像素點(diǎn)與平滑區(qū)域的過(guò)渡處理 非邊緣點(diǎn)和那些不滿足在步驟 2 中的與邊緣相接觸的平滑區(qū)域的像素點(diǎn)分為兩種情況第一種是與平滑區(qū)相接近第二種是與圖像的邊緣相接近與平滑區(qū)相接近的未分配像素點(diǎn)我們可以以 1／ 3 的兩點(diǎn)灰度值之差沿著我們?cè)诘诙街械姆沁吘夵c(diǎn)的移動(dòng)方向向平滑區(qū)過(guò)渡這樣我們每次插補(bǔ)兩個(gè)點(diǎn) 4 未分配點(diǎn)在邊緣密集區(qū)域的處理 對(duì)于在邊緣密集區(qū)域的尚未分配的像素點(diǎn)我們處理的主要依據(jù)是根據(jù)第 2步驟 中移動(dòng)方向進(jìn)行判斷和處理我們沿其移動(dòng)的反方向查找第 2 個(gè)像素點(diǎn)的值這個(gè)值會(huì)有兩種情況第一種情況它就是一個(gè)邊緣點(diǎn)這說(shuō)明插值點(diǎn)在兩個(gè)邊緣之間 緊靠?jī)蛇吘? 這說(shuō)明插值點(diǎn)要不在斜坡邊緣的頂或底上要不就是在邊緣上并且還是線性的邊緣所以我們賦予插值點(diǎn)的值為原始圖像上對(duì)應(yīng)點(diǎn)的像素值第二種情況是它還沒(méi)有賦值這說(shuō)明插值點(diǎn)不是緊緊夾在兩邊緣之間這說(shuō)明插值點(diǎn)是在斜坡邊緣的過(guò)渡帶上所以可以將原始圖像中對(duì)應(yīng)的像素點(diǎn)的像素值賦予這個(gè)點(diǎn)然后對(duì)插值的點(diǎn)進(jìn)行 13 增量式賦值 5 填補(bǔ)其余未分配的像素點(diǎn) 通過(guò)以上的處理圖像中所有的關(guān)鍵點(diǎn)有 特征的點(diǎn)都被賦予了值剩下的工作就是將未分配的點(diǎn)與周圍的點(diǎn)進(jìn)行雙線性插值處理即可達(dá)到平滑的效果 經(jīng)過(guò)以上的處理得到了邊緣比較清晰的圖像作為高分辨率圖像的初始估計(jì)然后再按照 POCS 算法的其他步驟對(duì)圖像進(jìn)行重建處理生成高分辨率圖像 4 試驗(yàn)結(jié)果與分析 41 試驗(yàn)低分辨率圖像的生成 超分辨率圖像重構(gòu)的對(duì)象是描述同樣的場(chǎng)景彼此相似而又不完全相同的圖像序列可以用不同的方法獲取