【正文】 Conspicuity Maps)。此模型在九個(gè)尺度上分別計(jì)算三個(gè)特 征通道的注 意程度定量值，然后線性組合它們，通過(guò)迭代過(guò)程形成最終的關(guān)注度圖，此關(guān)注圖記錄了 圖像 中每一個(gè)點(diǎn)受關(guān)注的程度，亮度越大的點(diǎn)意味著受關(guān)注的程度也越大。 第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 23 第 四 章 基于視 覺(jué)感知的圖像檢索技術(shù) 算法主要流程 用戶在檢索 圖像 中，往往只想利用例子 圖像 中的他們感興趣的物體來(lái)檢索，因此，本章算法的核心思想與用戶檢索過(guò)程相吻合。當(dāng)提取到預(yù)定數(shù)目的感興趣物體后，使用顏色和紋理特征來(lái)描述每一個(gè)感興趣物體。我們利用了視覺(jué)注意計(jì)算模型，假設(shè)某個(gè)物體引起視覺(jué)注意越強(qiáng)烈，就越可能成為用戶感興趣的物體。一般地，種子區(qū)域增長(zhǎng)開(kāi)始于一個(gè)種子區(qū)域，然后不斷地將相鄰的點(diǎn)賦予此區(qū)域，而增長(zhǎng)的過(guò)程被一些相似度準(zhǔn)則所控制，只有通過(guò)相似度測(cè)試的點(diǎn)才能屬于此區(qū)域。 ※ 相對(duì)位置指示圖 (Relative position denote map):在顏色類 圖像 的基礎(chǔ)上生成一個(gè)相對(duì)位置指示圖，它能夠估測(cè)出每一個(gè)象素點(diǎn)的相對(duì)位置，是處于某一區(qū)域的內(nèi)部還是更靠近邊緣 ?？梢哉f(shuō)，相似性條件控制和引導(dǎo)著增長(zhǎng)。 圖像 中已經(jīng)被認(rèn)定屬于感興趣物體的點(diǎn)稱之為己標(biāo)注點(diǎn)，不屬于任何一個(gè)物體的點(diǎn)稱為未標(biāo)注點(diǎn)。因此，決定象素 P 是否歸入 O的相似度測(cè)試定義為 : () 通過(guò)測(cè)試， P就可以歸入 O。 于是，下一步需要解決的問(wèn)題就是如何確定 閾值 和 ，由于不同的 圖像的內(nèi)容不相同，因此固定的取值是相當(dāng)不合適的。 應(yīng)當(dāng)指出，不同 圖像 中感興趣物體的數(shù)目也應(yīng)該不同，客觀地講，如何自適應(yīng)地確定 圖像 中感興趣物體 的數(shù)目相當(dāng)困難，目前尚未找到好的解決方案。 基于感興趣物體的特征 提取 與表達(dá) 圖像特征的提取與表達(dá)是基于內(nèi)容的圖像檢索技術(shù)的基礎(chǔ)。前者用于描述所有圖像共有的特征，與圖像的具體類型或內(nèi)容無(wú)關(guān)，主要包括色彩、紋理和形狀；后者則建立在對(duì)所描述圖像內(nèi)容的某些先驗(yàn)知識(shí)（或假設(shè)）的基礎(chǔ)上， 與具體的應(yīng)用緊密有關(guān)，例如人的面部特征或指紋特征等。事實(shí)上，圖像特征的不同表達(dá)方式從各個(gè)不同的角度刻畫了該特征的某些性質(zhì)。此外，與其他的視覺(jué)特征相比，顏色特征對(duì)圖像本身的尺寸、方向、視角的依賴性較小，從而具有較高的魯棒性 【 20】【 22】【 24】 。它是所有物體表面共有的內(nèi)在特性，例如 云彩、樹(shù)木、磚、織物等都有各自的紋理特征。 Tamura 紋理特征的六個(gè)分量對(duì)應(yīng)于心理學(xué)角度上紋理特征的六種屬性，分別是粗糙度（ coarseness）、對(duì)比度（ contrast）、方向度（ directionality）、 線像度（ linelikeness）、規(guī)整度（ regularity）和粗略度（ roughness）。首先，計(jì)算圖像中大小為 2k 2k個(gè)像素的活動(dòng)窗口中像素的平均強(qiáng)度值，即有 () 其中 k=0, 1, ? , 5 而 g(i, j)是位于 (i, j)的像素強(qiáng)度值。這種改進(jìn)后的粗糙度特征能夠表達(dá)具有多種不同紋理特征的圖像或區(qū)域，因此對(duì)圖像檢索更為有利。 32 基于視覺(jué)感知的圖像檢索 ? 方向度 方向 度的計(jì)算需要首先計(jì)算每個(gè)像素處的梯度向量。這個(gè)直方圖對(duì)于具有明顯方向性的圖像會(huì)表現(xiàn)出峰值，對(duì)于無(wú)明顯方向的圖像則表現(xiàn)得比較平坦。 對(duì)于圖像 的顏色直方圖特征，由于顏色量化后的顏色空間為 256 維，我們對(duì)分割后的圖像進(jìn)行直方圖提取，如圖所示，對(duì)應(yīng)的橫坐標(biāo)為量化后的像素值，范圍在 0256 之間，縱坐標(biāo)對(duì)應(yīng)的是歸一化后的值（即該像素值的數(shù)量總量 /圖像總像素點(diǎn)數(shù)量），這樣 256 維的特征向量就都屬于（ 0,1）范圍內(nèi)了，且總和相加為1。顯然，最后得到的 越小說(shuō)明第 i 幅圖像與待檢索圖像相似性越高。 圖 (a)和 圖 (b)給出了本文算法和 傳統(tǒng)的基于 全局的顏色直方圖 的檢索方法 的平均 查全率 和平均 查準(zhǔn)率 的對(duì)比結(jié)果 ，其中查全率是在輸出 100 幅圖像中包含的相關(guān)圖像數(shù)目的比例，查準(zhǔn)率是輸出三十幅圖像時(shí)這三十幅圖像里 面的相第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 35 關(guān)圖像占的比例，而平均查全率和平均查準(zhǔn)率即為每一類圖像取 10 幅分別作為待檢索圖像得到各自的查全率和查準(zhǔn)率的平均值 。 在驗(yàn)證本文算法的實(shí)驗(yàn)最后， 我利用 MATLAB 的 可視化的界面環(huán)境 GUI 功能，生成了一個(gè)離 線檢索的實(shí)驗(yàn)平臺(tái) 如圖 (a)和 (b)所示 ， 圖 (a)所示的為 matlab里新建的自定義的 GUI 初 始界面，左邊有可供用戶使用的功能模塊，包括 Push Button， Slider， Edit Text， Axes 等，本實(shí)驗(yàn)平臺(tái)用到其中的 Push Button， Edit Text，Axes 三個(gè)模塊，其中有一個(gè)用戶輸入模塊 Edit Text文本輸入框（“輸入待檢索圖像名稱”），一個(gè)按鈕 Push Button功能按鈕（“開(kāi)始檢索”），和 “ 1+30”共 31個(gè) axes軸線區(qū)域，其中 axes1到 axes30 是顯示輸出結(jié)果的圖像，按相似性由高到低排列， axes31 顯示的是待檢索圖像。 第 五 章 圖像用戶界面 GUI 的生成 39 圖 (a)第 422 幅 恐龍類圖像 圖 (b) 第 644 幅花朵類圖像 40 基于視覺(jué)感知的圖像檢索 圖 (c) 第 704 幅馬類圖像 圖 (d) 第 946 幅食物類圖像 第 六 章 總結(jié)與展望 。 38 基于視覺(jué)感知的圖像檢索 圖5. 1 (a) 新建的圖形用戶界面 GUI 圖 (b)放入功能模塊的 GUI 界面 經(jīng)過(guò)實(shí)驗(yàn)，點(diǎn)擊“開(kāi)始檢索”按鈕后 1 到 2 秒后一次顯示 30幅檢索結(jié)果。 36 基于視覺(jué)感知的圖像檢索 第 五 章 圖像用戶界面 GUI 的生成 37 第五章 圖形用戶界面 GUI 的 生成 圖形用戶界面（ Graphical User Interfaces ， GUI）則是由窗口、光標(biāo)、按鍵、菜單、文字說(shuō)明等對(duì)象（ Objects）構(gòu)成的一個(gè)用戶界面。 實(shí)驗(yàn)結(jié)果與分析 為了驗(yàn)證本文算法的工作性能 ，我從 圖像數(shù)據(jù)庫(kù)中的 10類圖像（ 包括 古建筑、BUS、恐 龍、大象等 10類，見(jiàn)表 ，每一類 100 幅圖像 ）的每一類分別抽取 20張作為 待 檢索圖像分別用本文示例的方法進(jìn)行檢索。 圖 顏色直方圖示例 相似 性 度量 為了在線檢索節(jié)省了提取全部數(shù)據(jù)庫(kù)圖片特征的時(shí)間，我在此采取了一個(gè)離線提取特征數(shù)據(jù)的操作，將數(shù)據(jù)庫(kù)中 1000 幅圖像進(jìn)行特征提取后得到了兩個(gè)特征數(shù)組，即一個(gè) 256*1000 的顏色特征數(shù)組和一個(gè) 3*1000 的紋理特征數(shù)組，將此作為數(shù)據(jù)庫(kù)的特征數(shù)據(jù)庫(kù)保存在 MATLAB的 mat文件中，當(dāng)開(kāi)始執(zhí)行在線檢索功能時(shí)，只需直接使用 load 命令將兩個(gè)特征數(shù)組加載到當(dāng)前檢索過(guò)程，與程序提取的當(dāng)前待檢索圖像的特征值進(jìn)行相似性對(duì)比即可。對(duì)于某個(gè)峰值 p，Wp 代表該峰值所包含的所有的 bin，而 φ p 是具有最高值的 bin。 () 當(dāng)所有像素的梯度向量都被計(jì)算出來(lái)后，一個(gè)直方圖 HD 被構(gòu)造用來(lái)表達(dá) θ值。確切地說(shuō)，它是通過(guò) α 4 = μ 4/σ 4來(lái)定義的，其中 μ 4 是四次矩而 σ 2 是方差。 () () 其中對(duì)于每個(gè)像素，能使 E 值達(dá)到最大（無(wú)論方向）的 k 值用來(lái)設(shè)置最佳尺寸。本文中我就著重利用粗糙度、對(duì)比度和方向度這三種特征來(lái)描述圖像的紋理特征。正因?yàn)槿绱耍y理特征在基于內(nèi)容的圖像檢索中得到了廣泛的應(yīng)用，用戶可以通過(guò)提交包含有某種紋理的圖像來(lái)查找含有相似紋理的其他圖像。 通過(guò)以上的算法，將自動(dòng)提取感興趣物體后的圖像的每一點(diǎn)的像素值轉(zhuǎn)換到HSV 空間，得到 圖像 在 HSV 顏色空間 的直方圖， 然后將每一幅圖像得到的 256 個(gè)特征值存在一個(gè) 256 維的行向量數(shù)組里。由于物體的形狀信息相當(dāng)難刻畫，所以我采用了顏色和紋理描述方法。 對(duì)于某個(gè)特定的圖像特征，通常又有多種不同的表達(dá)方法。 其中 基于文本的圖像特征提取在數(shù)據(jù)庫(kù)系統(tǒng)和信息檢索等領(lǐng)域中已有深入的研究，本 節(jié) 中我主要 利用的是 圖像視覺(jué)特征的提取和表達(dá)。應(yīng)該說(shuō)，這個(gè)假定在特定條件下是有道理的，我們的應(yīng)用領(lǐng)域是 圖像 檢索，首先一般的用戶不會(huì)對(duì)一幅 圖像 中許多物體都感興趣，另外，通過(guò)觀察大量的 Corel 數(shù)據(jù)庫(kù)中的 圖 像 ，我們發(fā)現(xiàn) 圖像 中 經(jīng)常出現(xiàn)的受關(guān)注目標(biāo)不止一個(gè)。我們使用一個(gè)基于信息 熵 的自適應(yīng) 閾值 確定方法，此方法己經(jīng)被證明能夠在兩類問(wèn)題分類的應(yīng)用中取的良好的效果 。其中， 和 為 閾 值。與物體 O相鄰的點(diǎn)集合可以定義為 : () 26 基于視覺(jué)感知的圖像檢索 其中， 表示以點(diǎn) 為中心的 3 3的小區(qū)域。這也是我們的方法與一般的區(qū)域增長(zhǎng)技術(shù)的不同之處。 ※ 后期處理 (PostProcessing):使用兩個(gè)后處理技術(shù)，填充區(qū)域內(nèi)部孔洞和合并相鄰且相似區(qū)域，以期獲得最佳的結(jié)果。另一個(gè)優(yōu)點(diǎn)是種子點(diǎn)的選取過(guò)程很容易融合一些高層的語(yǔ)義信息，通過(guò)控制種子點(diǎn)的選擇，可 以生長(zhǎng)出符合需要的物體，這一優(yōu)點(diǎn)對(duì)于提取感興趣物體是相當(dāng)有吸引力的。 感興趣物體 的自動(dòng)提取算法 關(guān)注度圖的生成 本小節(jié)將結(jié)合關(guān)注度圖和種子區(qū)域增長(zhǎng)算法來(lái)自動(dòng)提取 圖像 中感興趣的物體。最后，按照相似度進(jìn)行排序，輸出相似 圖像 集合。 圖 本文算法流程圖 首先使用 Itti 提出的視覺(jué)注意計(jì)算模型對(duì)待查詢 圖像 進(jìn)行處理，得到 圖像 中每一點(diǎn)受關(guān)注程度的定量描述值，有理由認(rèn)為受關(guān)注程度越高則觀察者對(duì)其的興趣也就越大。本文算法僅僅使用此模型中的關(guān)注度圖。亮度突出圖為 : () 顏色突出圖為 : () 方向突出圖為 : () 最后，將不同特征下的突出圖做加權(quán)疊加得到顯著圖 SM(Saliency Map)，前模型中設(shè)置每個(gè)特征的權(quán)值都是一樣的。使用標(biāo)準(zhǔn)化算子進(jìn)行局部迭代后產(chǎn)生的特征圖更接近稀疏分布，顯著目標(biāo)周邊的區(qū)域能夠得到很好的抑制。過(guò)少的迭代次數(shù)，會(huì)造成激勵(lì)和抑制不足，目標(biāo)突出和噪聲抑制不明顯。 和 是興奮和抑制帶寬 (文中取經(jīng)驗(yàn)值， 和 分別為輸入圖像寬度的 2%和 25%)。顯著性視覺(jué)注意模型，使用一個(gè)非線性的標(biāo)準(zhǔn)化算子 N(?)對(duì)圖像進(jìn)行迭代操作，抑制 噪聲，突出顯著目標(biāo)，為特征圖的合并打下良好基礎(chǔ)，使合并后的結(jié)果更加直觀地反映圖像不同位置的顯著性。 基于顯著度的視覺(jué)注意模型認(rèn)為視覺(jué)注意力在一張二維顯著圖的指導(dǎo)下轉(zhuǎn)移，而顯著圖反映了場(chǎng)景不同位置的顯著性，所以必須合并以上計(jì)算所得的多張?zhí)卣鲌D。 ,135176。 同理可計(jì)算得到紅綠對(duì)比顏色通道和黃藍(lán)對(duì)比顏色通道的特征圖 : () () 這里， RG表示紅綠顏色對(duì)比通道， BY 表示藍(lán)黃顏色對(duì)比通道。為金字塔的 3,4,5 尺度級(jí)別，周邊尺度 ，其中 ∈ {3,4}，從而產(chǎn)生六對(duì)尺度， (36， 37， 47， 48， 58，59)。中央周邊差操作根據(jù)人眼的生理結(jié)構(gòu)設(shè)計(jì)。利用 Gabor小波的尺度函數(shù)和對(duì)應(yīng)的小波函數(shù)構(gòu)成一對(duì)奇偶濾波器，它具有很好的時(shí)空域局部化特點(diǎn)，可較好地模擬人類視皮層簡(jiǎn)單細(xì)胞的信號(hào)處理特點(diǎn)。方向具有明顯的朝向特征，該特征可能是 45176。 ,90176。局部方向高斯金字塔圖是對(duì)圖像中方向 (朝向 )信息的直觀反映，該圖給定區(qū)域內(nèi)的能量反映了該區(qū)域內(nèi)的灰度對(duì)比程度，進(jìn)而反映了 Gabor濾波后區(qū)域內(nèi)的紋線清晰程度。 45176。顯著性模型中設(shè)置金字塔尺度級(jí)別分別為σ =1,2，?， 1，代表當(dāng)前圖像和第 三 章 視覺(jué)感知技