【文章內(nèi)容簡(jiǎn)介】 [9]：自1950年Gibson提出紋理概念后，紋理合成技術(shù)的發(fā)展經(jīng)歷如下幾個(gè)階段：首先是紋理映射時(shí)期。因?yàn)檫@個(gè)技術(shù)沒(méi)有特征提取和模型優(yōu)化，只是把樣圖直接匹配到目標(biāo)表面，所以可以視為是簡(jiǎn)化的基于樣圖的紋理合成。作為應(yīng)用于真實(shí)感圖形研制中的一項(xiàng)常用技術(shù)—紋理映射，首先由Catmull提出，其對(duì)象是減少或避免拼貼引起的扭曲和接縫。后來(lái)在此基礎(chǔ)上又提出了更多的改進(jìn)算法。其次是過(guò)程紋理的合成時(shí)期。過(guò)程紋理合成就是經(jīng)過(guò)對(duì)物理生成過(guò)程的仿真的步驟，直接就能在曲面上生成紋理，例如云霧、木紋、毛發(fā)等，以至于避免了紋理映射產(chǎn)生的失真。雖然這個(gè)技術(shù)沒(méi)有直接利用樣圖，但是在構(gòu)造物理仿真模型時(shí)也要求深刻認(rèn)識(shí)樣圖紋理的物理特性，再依靠這個(gè)認(rèn)識(shí)構(gòu)造對(duì)應(yīng)的物理仿真模型，因?yàn)檫@個(gè)技術(shù)隱含了特征的提取，并且加強(qiáng)了模型的構(gòu)造和優(yōu)化，所和基于樣圖的紋理合成是非常相似的。過(guò)程紋理具有如下特點(diǎn)：(1)表示的過(guò)程紋理是非常緊湊的。過(guò)程紋理的大小通常只是幾千個(gè)字節(jié)，但是普通的紋理圖像只含有幾兆的字節(jié)。(2)過(guò)程紋理的表示特點(diǎn)是無(wú)固定的分辨率。在很多的情況下，不管是在多么鄰近的區(qū)域觀察，都能提供高度清晰的紋理圖像，這也就說(shuō)過(guò)程紋理能夠提供任何高分辨率的圖像。(3)過(guò)程紋理表示的區(qū)域不是固定不變的?？梢哉f(shuō)，在一定的程度上，是沒(méi)有限度的，能夠用無(wú)縫隙的、不重復(fù)的紋理圖案修復(fù)任意的區(qū)域。(4)過(guò)程紋理是參數(shù)化的。這樣以來(lái)可以生成相似的相關(guān)紋理，而不是僅限于在某一個(gè)特定的紋理圖像上。當(dāng)然，過(guò)程紋理同樣存在許多不足的地方，比如：(1)過(guò)程紋理的構(gòu)造和調(diào)試存在很大的難題；(2)過(guò)程紋理有時(shí)有嚴(yán)重走樣現(xiàn)象；(3)過(guò)程紋理的計(jì)算要花費(fèi)很多的時(shí)間；(4)過(guò)程紋理很難控制，結(jié)果很難獲得；(5)過(guò)程紋理用在狹窄范圍很合適。 其次是基于樣圖的紋理合成。由于樣圖的紋理合成是近幾年來(lái)發(fā)展起來(lái)的最新的紋理合成技術(shù)，他的基本思路就是對(duì)于已給定的樣圖，通過(guò)合適的數(shù)學(xué)分析方法來(lái)運(yùn)用，提取原樣圖中的特殊的數(shù)據(jù)，建立出相應(yīng)的數(shù)學(xué)建模；接著基于此模型做出合適的優(yōu)化處理，形成中間數(shù)學(xué)模型：最后根據(jù)樣圖和優(yōu)化后的數(shù)學(xué)模型合成紋理。樣圖用于紋理合成一般劃分以下幾個(gè)方面：其一是二維平面紋理合成；其二是則曲面紋理合成；其三卻是食品紋理合成。該技術(shù)目前仍是研究的熱門(mén)話(huà)題，發(fā)展迅速，并且取得了顯著的成效。過(guò)程紋理雖然可以獲得良好的效果，可是對(duì)任何一種新的紋理卻都要求調(diào)整參數(shù)來(lái)多次測(cè)試，過(guò)程復(fù)雜。采用紋理本身所自帶的局部類(lèi)似性，得到啟發(fā)，已經(jīng)開(kāi)始研究基于樣圖的紋理合成方法：確定一小塊的紋理，產(chǎn)生大塊連續(xù)并且類(lèi)似的紋理。根據(jù)樣圖的紋理合成算法不單單克服了傳統(tǒng)的紋理技術(shù)中含有的問(wèn)題，并且其思想對(duì)相關(guān)領(lǐng)域的研究都有一定的指導(dǎo)意義，因此非常多的人在關(guān)注這個(gè)問(wèn)題，成為計(jì)算機(jī)圖形學(xué)、圖像處理領(lǐng)域和計(jì)算機(jī)視覺(jué)的熱門(mén)研究話(huà)題之一。TSFS技術(shù)[10]同樣能夠應(yīng)用到缺損圖像的填充、圖像壓縮傳輸?shù)阮I(lǐng)域；比如將此技術(shù)中的想法應(yīng)用到計(jì)算機(jī)動(dòng)畫(huà)的發(fā)展上，就能利用一個(gè)簡(jiǎn)短的視頻圖像，做成時(shí)域內(nèi)任何長(zhǎng)度的不重復(fù)的視頻動(dòng)畫(huà)等。所以基于樣本的紋理合成技術(shù)不單單在大規(guī)模領(lǐng)域的產(chǎn)生和真實(shí)感圖形繪制以及不真實(shí)感繪制等方面，同樣應(yīng)用在圖像編輯、數(shù)據(jù)壓縮、網(wǎng)絡(luò)數(shù)據(jù)的快速傳輸和視頻等領(lǐng)域，并能得良好前景。紋理是普遍存在的。紋理能夠表現(xiàn)出物體表面豐富多彩的細(xì)節(jié)等特性，也可以闡述多種多樣有著重復(fù)性質(zhì)的自然的現(xiàn)象，就像運(yùn)動(dòng)(人物的奔跑)、可視化表面(外表的顏色和幾何) 、聲音(工廠里的噪音)和人類(lèi)活動(dòng)(人們的日常生活)。大自然的真實(shí)重現(xiàn)的重要目的是計(jì)算機(jī)圖形學(xué)，因此就繪制合成動(dòng)畫(huà)和圖像而言，紋理是非常重要的。盡管因?yàn)榧y理的多種性，不容易在一個(gè)普遍的框架下去重現(xiàn)和描繪這些?？墒菑?950年Gibson提出了紋理于可視化感知中的重要意義到現(xiàn)在，紋理技術(shù)在計(jì)算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺(jué)、以及真實(shí)感繪制等的領(lǐng)域中，一直受到廣泛的重視，而且取得了優(yōu)異的成績(jī)。一般認(rèn)為紋理是二維平面上沒(méi)有邊界的可視的圖案，在特定的范圍內(nèi)遵守固定分布，具有一定的規(guī)則性、方向性和隨機(jī)性。紋理是用來(lái)識(shí)別目標(biāo)的最好方法，它是圖像中重要而且很難描述的特征。紋理的特征是按照像素的相鄰空間分布的，因此沒(méi)有辦法用點(diǎn)來(lái)進(jìn)行定義。但是有些圖像在部分區(qū)域內(nèi)卻可以出現(xiàn)不規(guī)則性，但是在整體上體現(xiàn)出特定的規(guī)律性，所以習(xí)慣上，可以把這樣局部不規(guī)則但是宏觀上卻極有規(guī)律的特征叫做紋理，按照紋理特性做為主導(dǎo)的圖像，也被叫做紋理圖像。紋理合成是現(xiàn)在計(jì)算機(jī)視覺(jué)、圖像處理和計(jì)算機(jī)圖形學(xué)領(lǐng)域的研究熱點(diǎn)話(huà)題之一，所以在圖像的真實(shí)感繪畫(huà)中起了主導(dǎo)性的地位。因?yàn)楸砻婕y理產(chǎn)生方法的不一樣，所以把它劃分過(guò)程紋理合成、基于樣圖紋理合成和紋理映射三類(lèi)。因?yàn)闃?gòu)成紋理的規(guī)律不是規(guī)則的就是隨機(jī)的，所以紋理往往被分為結(jié)構(gòu)性紋理(又叫規(guī)則紋理)和隨機(jī)紋理，規(guī)則紋理既可以識(shí)別單元又有一定的排列規(guī)則，所以現(xiàn)實(shí)世界中的紋理大多介于他們之間。圖像和紋理是不同的，對(duì)于一般圖像，隨即選擇兩個(gè)方形區(qū)域，這兩個(gè)區(qū)域有很大的區(qū)別；而對(duì)于紋理來(lái)說(shuō)，隨即選擇兩個(gè)方形區(qū)域，這兩個(gè)區(qū)域在視覺(jué)效果上是相似的。所以能把紋理當(dāng)作是擁有穩(wěn)定性和局部性的隨機(jī)過(guò)程，紋理存在的穩(wěn)定性：紋理中的每一個(gè)像素點(diǎn)都可以由空間鄰域內(nèi)的像素的全體作為表達(dá)，并且這中表達(dá)對(duì)任何一個(gè)像素都是相同的；紋理存在局部性：窗口中的任何一個(gè)像素都可以由其鄰近區(qū)域內(nèi)的像素推測(cè)獲取，而跟圖像中的其他剩余部分沒(méi)有絲毫關(guān)系?？偟膩?lái)說(shuō)，紋理圖像的特點(diǎn)是：(1)某些部分特性在較大的區(qū)域內(nèi)不斷的重復(fù)；(2)部分性質(zhì)是由按一定規(guī)則或著基本組成單元隨機(jī)組成的；(3)整個(gè)區(qū)域是一個(gè)均勻的統(tǒng)一體。紋理廣泛存在于生活中?？梢哉f(shuō)是無(wú)處不在，無(wú)所不有。紋理圖像與普通的圖像有所差異，它有很多重復(fù)規(guī)律的單元，可是有時(shí)卻顯得又隨機(jī)。紋理是表達(dá)對(duì)象表面或者結(jié)構(gòu)內(nèi)在的性質(zhì)，被廣泛的使用，并且在直覺(jué)上也許是顯而易見(jiàn)的，但是因?yàn)樗姆秶容^廣，所以紋理沒(méi)有精準(zhǔn)的定義。計(jì)算機(jī)圖形學(xué)中，目標(biāo)的外表的細(xì)節(jié)，同樣可以用紋理來(lái)表現(xiàn)出來(lái)。目標(biāo)的外表細(xì)節(jié)通常具有如下兩種特征：一種是顏色特征，如墻上的拼花圖案花瓶上多種不是立體的圖案，花瓶上的非立體的圖畫(huà)等；另一種是幾何特征，像桔子的褶皺的表皮等等。相似的，基于紋理的表現(xiàn)方式，紋理同樣可分為幾何紋理、顏色紋理。紋理中的基本部分往往叫做紋理基元。因此，同樣可說(shuō)紋理基元是按某種統(tǒng)計(jì)規(guī)律或某種確定性規(guī)律排列而組成出來(lái)的，前者叫做確定性紋理(像人上紋理)，后者叫做隨機(jī)性紋理(像自然紋理)。盡管對(duì)于確定性紋理，他的基元和重復(fù)性同樣僅是相似的，并不可能要求全部相同。所以，Goold等人給出了更加不清楚的定義：紋理是由很多有序的類(lèi)似的模式或者基元而構(gòu)成的一種特殊的結(jié)構(gòu)，這種模式或基元中沒(méi)有一個(gè)是特別引人注目的。把依靠紋理特征為主導(dǎo)特性的圖像稱(chēng)作紋理圖像；同時(shí)把根據(jù)紋理特性為主導(dǎo)特性的區(qū)域叫做紋理區(qū)域。紋理圖像的界線(xiàn)也不是非常明確，有些圖像可以說(shuō)是紋理，可是換一個(gè)角度又可當(dāng)做不是紋理。但是對(duì)于一些紋理來(lái)說(shuō)，所限定的界定卻是一樣的。這就表示紋理在主觀上有一定的標(biāo)準(zhǔn)，紋理越是符合這樣的標(biāo)準(zhǔn)，界定越清楚。假如圖像中的一些特征符合紋理標(biāo)準(zhǔn)，并且具備普遍圖像的特性，然而這樣圖像的判斷卻會(huì)產(chǎn)生混淆。盡管很難給紋理下個(gè)合適的定義，但是通常說(shuō)來(lái)，紋理中灰度的分布有著一定的周期性，那就是灰度變化是隨機(jī)的、有特定的統(tǒng)計(jì)等特點(diǎn)?；艚鹚褂X(jué)得紋理有這幾個(gè)要素：一種是某些部分的序列性，且在此序列比較大的范圍內(nèi)不停的重復(fù)；二是由基本部分非隨機(jī)序列組成序列；三是每個(gè)區(qū)域大體都是一個(gè)統(tǒng)一體，紋理范圍內(nèi)任意地方都有一樣的結(jié)構(gòu)和尺寸。在本文中，除了顧慮紋理含有的重復(fù)圖案，還要考慮在重復(fù)圖案之上的一定的隨機(jī)性。不同的紋理具有不一樣的隨機(jī)性，例如，橘子表皮紋理的隨機(jī)性很大，可是規(guī)則地紋理的隨機(jī)性卻很小。在計(jì)算機(jī)圖形學(xué)中常常用紋理繪制圖像。這些紋理可以從許多地方找到，比如手工繪圖或掃描照片。手工繪圖有審美藝術(shù)上的價(jià)值，可是很難做到真實(shí)的感覺(jué)。可是大多數(shù)掃描圖像，又有尺寸上的限制，于是直接用于紋理映射就會(huì)造成明顯的邊界或重復(fù)現(xiàn)象等問(wèn)題。一種創(chuàng)建新紋理的有效方法是紋理合成。由于合成的紋理能夠是任意尺寸的，并且能夠避免明顯的圖像重復(fù)現(xiàn)象。此外，經(jīng)過(guò)適當(dāng)?shù)倪吔鐥l件處理，紋理合成同樣能夠合成規(guī)則的圖像。因此，紋理合成的最終目標(biāo)是：給出一個(gè)樣本紋理，然后合成新的紋理，然而，就人的感知系統(tǒng)而言，新紋理就好比是從樣本紋理中自然衍生出來(lái)一樣(如圖3)。這里最主要的挑戰(zhàn)就是如下幾點(diǎn)：首先是建模：如何模擬從給定的有限的紋理樣本中產(chǎn)生新的紋理的模擬步驟要對(duì)輸入紋理的結(jié)構(gòu)的部分和隨機(jī)部分都可以夠成建模。因此成功的建模要決定于合成的新紋理是不是和給定的紋理樣本在視覺(jué)上是一樣的。然后是采樣：按照特定的合成紋理的步驟，怎樣開(kāi)發(fā)出一個(gè)有用的采樣程序來(lái)得出新的紋理，紋理合成的計(jì)算復(fù)雜度決定采樣程序的有效性是一個(gè)直接因素。 (a)紋理 (b)合成結(jié)果圖3紋理合成圖例圖3給定的紋理樣本(a)，目的是想合成出觀察起來(lái)和樣本紋理一樣的新紋理(b)。合成新的紋理可以被設(shè)定為任何尺寸。AIEI 算法[11]是在紋理合成修復(fù)算法的基礎(chǔ)上的算法，綜合了基于偏微分方程算法和紋理合成算法，算法的基本步驟：；；；；；。圖4 AIEI算法圖如圖4所示，I是所有圖像的區(qū)域，是要求修復(fù)的圖像區(qū)域， 是想要修補(bǔ)區(qū)域的邊界，是已知的圖像區(qū)域。算法有以下幾個(gè)步驟：1. 初始化想要修補(bǔ)的圖像的邊界2. 找到第n次迭代的邊界，如果，則退出3. 計(jì)算圖像的優(yōu)先權(quán)值p (p)。4. 搜尋最大的優(yōu)先權(quán)點(diǎn)，和它對(duì)應(yīng)的紋理塊（默認(rèn)為以為中心的55的矩形區(qū)域），其中 (32)。其中的任何一步都是非常關(guān)鍵的，那么詳細(xì)說(shuō)明一點(diǎn)關(guān)鍵的細(xì)節(jié)部分。第一，優(yōu)先權(quán)值的計(jì)算，圖像修復(fù)的順序是由優(yōu)先權(quán)的計(jì)算決定的，由于AIEI 算法是依靠紋理合成的修復(fù)算法，修復(fù)的步驟中是以塊作為基本單位的，不是把一個(gè)象素點(diǎn)作為單位的，所以對(duì)于圖像修復(fù)的非常關(guān)鍵的因素是圖像修復(fù)的順序。對(duì)于?p∈，AIEI 優(yōu)先權(quán)定義為p (p) = C(p)D(p)，其中C(p)叫做置信項(xiàng)，D(p)叫做數(shù)據(jù)項(xiàng)，各自定義為： (33) (34)其中是的像素點(diǎn)的個(gè)數(shù)，是的正交方向，是邊界的法方向，為歸一化因子，在灰度圖中取255，初始化過(guò)程中從公式中能得出數(shù)據(jù)項(xiàng)的值與等幅線(xiàn)強(qiáng)度是成反比的關(guān)系，在數(shù)值上等幅線(xiàn)強(qiáng)度的大小和梯度的大小是一樣的，在這個(gè)像素所在的塊中強(qiáng)度越大就會(huì)意味著，數(shù)字圖像的信息也會(huì)發(fā)生很大的變化，也就是像素變化越小的塊，越是具有較大的優(yōu)先權(quán)。其次，在一幅圖像中，是匹配塊q? ψ 搜索范圍，一般相鄰的像素相關(guān)性都是較大的，而相隔較遠(yuǎn)的像素的相關(guān)性比較小，并且為了避免采用全局搜索而導(dǎo)致的計(jì)算時(shí)間太長(zhǎng)，在這次算法中要采取局部搜索的方法，就是在需要修復(fù)的像素邊緣搜索最佳匹配塊，來(lái)節(jié)省計(jì)算的時(shí)間。在明確了匹配塊的搜索區(qū)域后，怎樣找到最優(yōu)的匹配塊是非常關(guān)鍵的，如若匹配規(guī)則選擇的不是非常的合理，尋找到的塊修復(fù)待修補(bǔ)區(qū)域后就不會(huì)得到較好的恢復(fù)效果。上述基本步驟5 中的方法是最基本的方法，還有非常大的改進(jìn)空間。4基于TV模型的數(shù)字圖像修復(fù)在日常的生活中由于各種各樣的原因使得一些圖像受到了損壞，早期的修補(bǔ)都是人工進(jìn)行的，這樣的修補(bǔ)不僅效率低下，而且由于有的圖像是藝術(shù)品，修補(bǔ)的過(guò)程還要特別的小心，防止藝術(shù)品失去其本身的價(jià)值。在科技發(fā)展的今天，可以用計(jì)算機(jī)來(lái)修補(bǔ)圖像，一個(gè)好的算法甚至可以使修補(bǔ)效果和那些藝術(shù)修補(bǔ)大師修補(bǔ)的效果相仿。最早在2000年的SIGGRAPH會(huì)議上Bertalmin等人提出用計(jì)算機(jī)進(jìn)行圖像修補(bǔ)，并把這種模型命名為BSCB圖像修補(bǔ)模型（模型的命名取的是四個(gè)人名字的第一個(gè)字母），明確地提出圖像修補(bǔ)的定義、預(yù)期目的及應(yīng)用分類(lèi)，并使用了基于偏微分方程（PDE）的分析方法，從而奠定了PDE圖像修補(bǔ)的基礎(chǔ)，促進(jìn)了圖像修補(bǔ)領(lǐng)域的發(fā)展。最早是用來(lái)對(duì)受到噪聲污染的圖像進(jìn)行降噪的方法是整體變分的方法[12]，2002年Chan等人把TV模型應(yīng)用到圖像修復(fù)中，同時(shí)提出了基于TV模型的圖像修復(fù)方法。數(shù)字圖像修復(fù)的應(yīng)用包括圖像修補(bǔ)，對(duì)一些圖像進(jìn)行物體的移除，以及文字的擦除等，可以運(yùn)用圖像修補(bǔ)的模型把這些需要擦除的地方當(dāng)成污損的區(qū)域來(lái)處理。TV修復(fù)模型要遵守的幾個(gè)基本原則：依據(jù)逼近原理，光滑的修復(fù)模型需要充分研究修復(fù)的精度。但是，很多的應(yīng)用中，基于下列的原因光滑的修復(fù)模型是不可行的：(1)圖像本身的特征有邊緣和非連續(xù)性，通常不可以采用光滑的函數(shù)來(lái)確定。(2)很多時(shí)候圖像包含噪音。(3)把圖像修復(fù)到原來(lái)沒(méi)有受到損壞的程度幾乎是不可能的。所以只可以建立一種有“最佳的猜測(cè)結(jié)果”的修復(fù)模型。但是，必須要涉及高層次的視覺(jué)知識(shí)(如模式學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí))，因?yàn)檫@個(gè)“最佳的猜測(cè)結(jié)果”修復(fù)模型也是很難得到的。和TV模型一樣，現(xiàn)在的修復(fù)模型和算法依舊建立在低層次的圖像級(jí)別上。TV模型遵守下面幾個(gè)原則：原則一：模型要是局部的。TV模型只可以涉及到修復(fù)區(qū)域和修復(fù)區(qū)域接近的范圍，而不應(yīng)該是全局的統(tǒng)計(jì)學(xué)模型，也就是TV模型只可以用修復(fù)處附近的區(qū)域填補(bǔ)修復(fù)區(qū)域的信息。原則二：模型一定要有修補(bǔ)相對(duì)較窄的平滑邊緣的能力。因?yàn)閷?duì)模式的識(shí)別和圖像分割等圖像處理圖像的邊緣信息非常重要，所以TV模型一定要考慮到圖像的邊緣修復(fù)難題。原則三：算法對(duì)噪音有魯棒性。從人的視覺(jué)原理看來(lái)，很難不忽略有噪音的圖像中的有些噪音部分，辨別出圖像的特征信息。用戶(hù)需要事先提供SOM網(wǎng)絡(luò)輸出層的結(jié)點(diǎn)[13]的初始結(jié)構(gòu)；當(dāng)輸出的初始拓?fù)浣Y(jié)構(gòu)和輸入模式在初始數(shù)據(jù)空間中的拓?fù)浣Y(jié)構(gòu)相同時(shí)，網(wǎng)絡(luò)就能達(dá)到良好的學(xué)習(xí)效果。但是因?yàn)槲谋緮?shù)據(jù)高維性的特性，不能簡(jiǎn)單的提前給出和初始數(shù)據(jù)空間中相同的網(wǎng)絡(luò)輸出層拓?fù)浣Y(jié)構(gòu)。網(wǎng)絡(luò)訓(xùn)練時(shí)識(shí)別的精度和有些文本聚類(lèi)的粒度受到影響，是因?yàn)檩敵鲞B接權(quán)值和輸入模式之間的差別很大，最終不能獲勝，變?yōu)椤八郎窠?jīng)元”造成的。相反有的網(wǎng)絡(luò)的學(xué)習(xí)效果不是很理想是因?yàn)樯窠?jīng)元由于獲勝的次數(shù)太多，產(chǎn)生神經(jīng)元利用過(guò)度的問(wèn)題所產(chǎn)生的。