【正文】 pqpqp PBpBPGpGPRpRd ,2?2?2???)()()()()()(, () 其中 )(),(),( ??? pBpGpR ppp 為目標(biāo)塊中 p?? 中某未知像素點(diǎn) p 的三基色值 RGB ，)(),(),( PBPGPR qqq 為匹配塊中 q? 中對(duì)應(yīng)像素點(diǎn) P 的三基色值 RGB 。最后用 q??中相應(yīng)點(diǎn)替代 p?? 中的未知點(diǎn)。 （ 3） 更新置信度 最高優(yōu)先權(quán)的目標(biāo)塊修補(bǔ)完成后，塊中原來(lái)的邊界點(diǎn)變成已知點(diǎn)，區(qū)域內(nèi)中的點(diǎn)變?yōu)橐阎c(diǎn)或者邊界點(diǎn)， 這時(shí)需重新計(jì)算已知點(diǎn)的置信度，以及邊界點(diǎn)的優(yōu)先權(quán)。對(duì)于新加入到待修補(bǔ)區(qū)域塊內(nèi)的像素點(diǎn)，都將它們?cè)O(shè)為與像素點(diǎn) p 有相同的置信度。設(shè) p? 為剛剛填充好的修補(bǔ)塊，則其像素點(diǎn)的置信度更新按公式? ? ? ? ????? ?pppCpC 39。39。 , 。重復(fù)上述 3個(gè)步驟，直至修復(fù)所有的破損區(qū)域。 （ 4） 圖像補(bǔ)全的整個(gè)步驟 ①用戶選擇需去除 并填充的目標(biāo)區(qū)域 ? 。 ②計(jì)算塊的優(yōu)先權(quán)。 ③尋找和復(fù)制最優(yōu)匹配塊。 ④更新優(yōu)先權(quán)。 23 ⑤得到新的邊緣后，若邊緣上的像素點(diǎn)不為零，則重復(fù)步驟② ④ ,直到整個(gè)目標(biāo)區(qū)域填充 完畢。 圖 Criminisi 給出的大量比較實(shí)驗(yàn)表明，該算法在時(shí)間和視覺效果上都優(yōu)于其它的算法。接著，就有大量的研究者開始研究 Criminisi 等的算法 [21,22,23]:國(guó)內(nèi)，浙江大學(xué)的唐峰等 [21]分析了 criminisi 算法的不足，提出了一種新穎的基于紋理合成的圖像修復(fù)算法。該算法首先縮小了尋找匹配塊的搜索范圍，給出了一種選擇最優(yōu)匹配塊的準(zhǔn)則以避免誤差的傳播，得到了相當(dāng)好的修復(fù)效果 。文獻(xiàn) [22]分析了Criminisi 算法中的優(yōu)先權(quán)計(jì)算，發(fā)現(xiàn)，隨著填充過(guò)程的進(jìn)行，置信度值迅速下降到零，使優(yōu)先權(quán)的計(jì)算不可靠，導(dǎo)致錯(cuò)誤的填充次序，進(jìn)而影響修補(bǔ)效果。為了克服這一不足，他們給出了一個(gè)更合理的優(yōu)先權(quán)函數(shù)，來(lái)保證圖像結(jié)構(gòu)和紋理的正確填充，取得了一定的效果。在上 述的這些算法中，由于 Crimlnisi 算法及其改進(jìn)算法實(shí)現(xiàn)簡(jiǎn)單、快速、效果好，故得到了廣泛的應(yīng)用。但對(duì)于基于樣本的紋理合成圖像修復(fù)技術(shù)，現(xiàn)有的算法在尋找匹配塊時(shí)，大多采用的是一種全局搜索方法。這種搜索方法不但容易產(chǎn)生錯(cuò)誤的匹配，還很耗時(shí)，很少有人研究自然圖像中紋理的特性。由于人眼對(duì)邊緣等線結(jié)構(gòu)特征最為敏感，在對(duì)自然圖像進(jìn)行修復(fù)時(shí)，圖像中的邊界結(jié)構(gòu)部分修補(bǔ)的好壞，直接影響到整幅圖像的修補(bǔ)效果。若能對(duì)規(guī)則紋理的方向特性進(jìn)行研究，找到圖像中紋理的大致走向，然后沿這一走向?qū)ふ移ヅ鋲K，不但會(huì)減少搜索空間，還會(huì)提高修補(bǔ) 的視覺效果。因此，對(duì)自然圖像中規(guī)則紋理特性的研究，可以減少修補(bǔ)時(shí)間，提高修補(bǔ)質(zhì)量，是一個(gè)很有意義的研究方向。 24 各種修復(fù)模型算法比較 表 各種修復(fù)算法比較 正則化項(xiàng) 圖像修復(fù)模型 優(yōu)缺點(diǎn) BSCB ? ? IItI ???????? 優(yōu)點(diǎn)：較好修復(fù)圖像，可避免邊緣模糊； 缺點(diǎn)：對(duì)于豐富紋理圖像，效果不佳。 TV ??? ?dI ? ?IIIIIIIItI D???????????????????????????????? 0 優(yōu)點(diǎn)：保持邊緣和數(shù)值實(shí)現(xiàn)方便。 缺點(diǎn)：破壞視覺連通原理，可能引起階梯效應(yīng)。 CDD ? ? ? ?? ???????????????????????????????????????IIgIII IgtI D???為增函數(shù)，0 優(yōu)點(diǎn)：曲率擴(kuò)散，異性擴(kuò)散 。 缺點(diǎn)：計(jì)算復(fù)雜度較高 TVEuler ? ? ?? dI???? 0 0 2\[ | , ] ( ) ( )2DE I I D I d I I d?? ? ? ???? ? ? ??? 優(yōu)點(diǎn)：含有 TV 模型的優(yōu)勢(shì)，彌補(bǔ)其缺陷 harmonic ?dI2??? ? ? ? ?? ? ?????IIIIIIItI??????????????? 0 缺點(diǎn)：各項(xiàng)同性擴(kuò)散，在去噪的同時(shí)使邊緣模糊化。 pLaplace ?dIp p???1 ? ? ? ?? ? ? ?121 22202????????????????????????pIIpIIIIIIIItIpppDp????? 權(quán)衡 TV 和Parmonic 模型利弊 ，擴(kuò)散速度更快，修補(bǔ)效果好。 25 本章小結(jié) 本章分別對(duì)圖像修復(fù)中的幾個(gè)典型算法模型的優(yōu)缺點(diǎn)以及相應(yīng)的算法做了詳細(xì)的理論基礎(chǔ)、模型介紹和分析。主要從基于非紋理合成的圖像修復(fù)算法和基于紋理合成的圖像修復(fù)算法兩個(gè)角度出發(fā)，分別介紹了其主要的算法模型?；诜羌y理合成的圖像修復(fù)算法的修復(fù)模型有： BSCB 模型、 TV 模型、 CDD 模型、調(diào)和模型，混合模型。這些模型在圖像去噪，去除文字等較細(xì)的圖像劃痕等小面積的圖像破損有比較好的修復(fù)效果。但是對(duì)大面積的圖像破損的修復(fù)效果并不理想，修復(fù)結(jié)果常常出現(xiàn)模糊的現(xiàn)象。基于紋理 合成的圖像修復(fù)算法則是針對(duì)大面積的圖像破損區(qū)域的修復(fù)，其主要的修復(fù)算法為基于樣本的圖像修復(fù)算法。這些算法都是在圖像紋理的基礎(chǔ)上考慮圖像修復(fù)，這樣可以保持圖像的紋理特征，對(duì)大面積的圖像破損區(qū)域的修復(fù)效果明顯優(yōu)于基于非紋理合成的圖像修復(fù)技術(shù)。 26 第三章 基于 TV 改進(jìn)的偏微分修復(fù)模型及其實(shí)現(xiàn) 預(yù)備知識(shí) 圖像處理中， ),( yxI 為二維灰度圖像，簡(jiǎn)記為 I ， IyxI ???????? ?????? ,，表示梯度方向向量； IxyI ???????? ???????? ,，表示邊緣方向向量，即等照度線方向向量；22 yx III ??? 表示梯度的模。將像素灰度信息的傳播分解為兩個(gè)始終相互垂直但隨圖像內(nèi)容變化的方向。為了較好地恢復(fù)邊緣結(jié)構(gòu)信息，我們令其中一個(gè)傳播方向與圖像的等照度線方向 (即 垂直于梯度的方向 )一致，沿這個(gè)方向的傳播強(qiáng)度保持不變 。而沿著與等照度線垂直的方向 (即梯度方向 )的傳播強(qiáng)度根據(jù)圖像內(nèi)容有所變化。如圖 所示，建立局部坐標(biāo)系，其中 ? 為等照度線方向的單位向量，? 為梯度方向的單位 IIII ?????? ? ?? , 向量，即有 ????????????????????? yxII IIIxyyx1?? ，同時(shí)可解得 ???????????? ????????? ??xyyx II IIIyx 1 。 圖 直角坐標(biāo)系和局部坐標(biāo)系 曲率 ? 描述了圖像等照度線局部彎曲程度 ,表述為等照度線切線轉(zhuǎn)角對(duì)弧長(zhǎng)的微分dsd???,因梯度方向與等照度線切向的方向垂直 ,所以曲率也可以用梯度方向的轉(zhuǎn)角對(duì)弧長(zhǎng)的變化率表示 ,單位梯度II??反映了梯度的方向 ,因此曲率 27 可 以 表 示 為 單 位 梯 度 的 散 度 ???????? ????????????? ??? IIIId i v? 。IIIIIIIyyIxxIIIIIIIIyyIxxII yyxxxyyx ???????????????????????????????????? ???? ?? ,0。 同 樣 繼 續(xù) 求 二 階 偏 導(dǎo) ，222222222222222200IIIIIIIIIIIIIIIIIIIIIIIIIIyyIyyyIxyxIxxIxyxyIxxIyyIxxIIxyyyxxyyxxyyyyxyyxxyxxyyxx??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? ，同理222 2IIIIIIIII yyyyxxyxxx??????，就有 yyxx IIII ??? ???? ，322 2IIIIIIIIIId i v xyyyxxyyxx???????????? ???? 。 連續(xù)型模型 Tony Chan 等人于 2021 年提出了整體變分法 [16]， TV 模型的主要思想是在保持圖像邊緣的同時(shí)，向異向進(jìn)行擴(kuò)散，最終達(dá)到圖像信息補(bǔ)全的效果?；谡w變分模型的圖像修復(fù)方法，即 TV 模型，其本質(zhì)是將圖像看成一個(gè)分段平滑函數(shù)，在有界空間上對(duì)圖像建立模型。由于該模型能夠起到延長(zhǎng)邊緣的作用，從而很適合圖像 破損面積較小的修復(fù)。 Chan 等人建立的全變分圖像修復(fù)模型為： 20\m in [ ] 2 DJ I u d I I d?????? ? ? ??? () 相應(yīng)的最速下降方程為 ? ? ? ?IIIIIIIItI DD ?????????????? ?????? 00 ?? ?? () 在圖像邊緣處灰度值發(fā)生突變，因此梯度的絕對(duì)值較大。為了避免產(chǎn)生邊緣模糊現(xiàn)象，在灰度突變處沿梯度方向傳播信息的強(qiáng)度應(yīng)減小 。相反，由于在平滑區(qū)中梯度的絕對(duì)值較小，因此沿梯度方向的傳播強(qiáng)度可以較大。總之，我們使得沿梯度 方向的傳播強(qiáng)度與梯度的絕對(duì)值成反比，這樣可以提高圖像修復(fù)的效率， 28 還能保持修復(fù)后的圖像邊緣清晰。 Chan 等人又將彈性能量引入到 TV 模型當(dāng)中，提出了 TVEuler 模型 [5]： 0 0 2\[ | , ] ( ) ( )2DE I I D I d I I d?? ? ? ???? ? ? ??? () 其中， 2( ) , Id ivI? ? ? ? ? ? ???? ? ? ????? 。同樣該模型也可彌補(bǔ) TV模型破壞視覺連通性的缺陷。 TV 模型中的邊緣方向上的擴(kuò)散系數(shù)I?1反應(yīng)了擴(kuò)散強(qiáng)度，由第二章中的 TV模型討論知，其沿直線修復(fù)，結(jié)果破壞了視覺連通性原理，構(gòu)造00()0g???????? ? ? ??? ? ? ?? 大 于 零 的 有 限 數(shù)，繼而提出了 CDD 模型 : ? ? ? ?? ???????????????????????????????????????IIgIII IgtI D???為增函數(shù)，0 () 基于以上分析，構(gòu)造合適的曲率函數(shù) ???g ，該函數(shù)非遞減。根據(jù) CDD模型和TVEuler 模型，構(gòu)造如下曲率函數(shù) ? ? ? ? ? ? 0,1,1ln1 ???????? spdscebassg sp ，其中 0, ?dcba .這樣構(gòu)造的目的，一是方便探討冪函數(shù)、指數(shù)函數(shù)、對(duì)數(shù)函數(shù)這些不同曲率函數(shù)對(duì)修復(fù)結(jié)果的影響，這些函數(shù)圖像如圖 所示；二是它概括了之前介紹的很多模型，如 ,1?d 其他為 0，則為 TV 模型； 1,1 ?? pa ，其它系數(shù)為 0時(shí)，則可得 CDD 的一般模型。而且此模型一定程度上，也可彌補(bǔ) TV 模型在修復(fù)大面積缺損區(qū)域時(shí)造成視覺不連通的缺陷。所以新建立的修復(fù)模型為? ?? ? ? ??????????????????? ?????????????????????? ?????????????????0,1,1ln1,0spdscsebpassgIIIIDIIgtI ??? () 29 圖 當(dāng) , , , ,a p b c d 取不同值時(shí)，可得到特殊情況下的模型，稱為它的子模型。 (1)當(dāng) 1?d ，其它為 0 時(shí)，退化為 TV 模型，可稱為常量模型