【導(dǎo)讀】為了能夠準(zhǔn)確、快速和人性化地從浩瀚的圖像數(shù)據(jù)庫(kù)中找到用戶所需。并已成為國(guó)際學(xué)術(shù)界研究的一個(gè)熱點(diǎn)。意機(jī)制特點(diǎn)進(jìn)行檢索的，因而可以提高圖像檢索的精準(zhǔn)率。本論文重點(diǎn)圍繞基于。該方法使用Itti的視覺(jué)注意模型計(jì)算得到一個(gè)關(guān)注度圖，在關(guān)注度圖基礎(chǔ)上，使用種子區(qū)域增長(zhǎng)技術(shù)實(shí)現(xiàn)對(duì)圖像中感興趣物體的自動(dòng)提取。技術(shù)不同，種子點(diǎn)的選取和區(qū)域增長(zhǎng)過(guò)程都融合了個(gè)體視覺(jué)注意程度的信息。

　　

【正文】 子區(qū)域 : ※ 感興趣物體生長(zhǎng) (Attention objects growing):從種子區(qū)域開(kāi)始依次增長(zhǎng)感興趣物體，增長(zhǎng)過(guò)程由注意度圖和相對(duì)位置指示圖來(lái)共同引導(dǎo)和控制 。 ※ 后期處理 (PostProcessing):使用兩個(gè)后處理技術(shù)，填充區(qū)域內(nèi)部孔洞和合并相鄰且相似區(qū)域，以期獲得最佳的結(jié)果。 種子區(qū)域增長(zhǎng) 和 圖像分割 當(dāng)種子點(diǎn)確定后，區(qū)域就從種子點(diǎn)開(kāi)始增長(zhǎng)，反復(fù)地將與區(qū)域內(nèi)的點(diǎn)相鄰的且滿足一定的相似性要求的點(diǎn)歸入?yún)^(qū)域 【 12】【 13】 【 14】 ?？梢哉f(shuō)，相似性條件控制和引導(dǎo)著增長(zhǎng)。在一般的 圖像 分割應(yīng)用中，相似性條件大多為顏色一致性，而對(duì)于感興趣物體提取來(lái) 說(shuō)，既要滿足顏色一致性同時(shí)也要滿足一定的注意度條件。這也是我們的方法與一般的區(qū)域增長(zhǎng)技術(shù)的不同之處。假設(shè)一個(gè)感興趣物體 O 從種子區(qū)域 R開(kāi)始生長(zhǎng)。 圖像 中已經(jīng)被認(rèn)定屬于感興趣物體的點(diǎn)稱之為己標(biāo)注點(diǎn)，不屬于任何一個(gè)物體的點(diǎn)稱為未標(biāo)注點(diǎn)。于是，物體 O的生長(zhǎng)就可以描述為 :不斷地將未標(biāo)注的、與屬于口的點(diǎn)相鄰且通過(guò)相似度測(cè)試的點(diǎn)歸入物體 O。與物體 O相鄰的點(diǎn)集合可以定義為 : () 26 基于視覺(jué)感知的圖像檢索 其中， 表示以點(diǎn) 為中心的 3 3的小區(qū)域。假定象素 ，它對(duì)應(yīng)的注意度為 S，對(duì)應(yīng)的相對(duì)位置指示為 PSD。因此，決定象素 P 是否歸入 O的相似度測(cè)試定義為 : () 通過(guò)測(cè)試， P就可以歸入 O。否則， 不 能歸入。其中， 和 為 閾 值。相似度測(cè)試的本質(zhì)是認(rèn)為注意度較大且不是邊緣的相鄰點(diǎn)屬于感興趣物體。 于是，下一步需要解決的問(wèn)題就是如何確定 閾值 和 ，由于不同的 圖像的內(nèi)容不相同，因此固定的取值是相當(dāng)不合適的。最佳的 閾值 應(yīng)當(dāng)能夠自動(dòng)地隨著 圖像 的具體內(nèi)容而 自適應(yīng)地變化。我們使用一個(gè)基于信息 熵 的自適應(yīng) 閾值 確定方法，此方法己經(jīng)被證明能夠在兩類(lèi)問(wèn)題分類(lèi)的應(yīng)用中取的良好的效果 。但是在本文 中為了簡(jiǎn)化算法，閾值我采取了一個(gè)固定的值。 應(yīng)當(dāng)指出，不同 圖像 中感興趣物體的數(shù)目也應(yīng)該不同，客觀地講，如何自適應(yīng)地確定 圖像 中感興趣物體 的數(shù)目相當(dāng)困難，目前尚未找到好的解決方案。因此，我們簡(jiǎn)單地假定每 幅 圖像 中的感興趣物體數(shù)目為兩個(gè)。應(yīng)該說(shuō)，這個(gè)假定在特定條件下是有道理的，我們的應(yīng)用領(lǐng)域是 圖像 檢索，首先一般的用戶不會(huì)對(duì)一幅 圖像 中許多物體都感興趣，另外，通過(guò)觀察大量的 Corel 數(shù)據(jù)庫(kù)中的 圖 像 ，我們發(fā)現(xiàn) 圖像 中 經(jīng)常出現(xiàn)的受關(guān)注目標(biāo)不止一個(gè)。 下面以圖像庫(kù)中的一幅恐龍圖像和 公交車(chē) 圖像作為示例 （ 見(jiàn)表 ） ， 再以花朵為示例展示單個(gè)目標(biāo)和多個(gè)目標(biāo)的 圖像分割結(jié)果（見(jiàn)表 ），通過(guò)簡(jiǎn)單的對(duì)比可以大致體現(xiàn)通過(guò) 本文算 法得到的 分割圖像 的特點(diǎn) ： 第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 27 表 單個(gè)目標(biāo)的分割示例（ Dinosaur 和 Bus） 原始圖像 亮度顯著圖 顏色顯著圖 方向顯著圖 分割后圖像 28 基于視覺(jué)感知的圖像檢索 表 單個(gè)目標(biāo)和多個(gè)目標(biāo)的分割示例（ Flower） 原始圖像 亮度顯著圖 顏色顯著圖 方向顯著圖 分割后圖像 第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 29 從上面兩個(gè)表格的情況來(lái)看，本算法可以很好地做到充分體現(xiàn)人的視覺(jué)感知的圖像分割，并可以講同一幅圖像中的多個(gè)受關(guān)注目標(biāo)提取出來(lái)。 基于感興趣物體的特征 提取 與表達(dá) 圖像特征的提取與表達(dá)是基于內(nèi)容的圖像檢索技術(shù)的基礎(chǔ)。從廣義上講，圖像的特征包括基于文本的特征（如關(guān)鍵字、注釋等）和視覺(jué)特征（如色彩、紋理、形狀、對(duì)象表面等）兩類(lèi)。 其中 基于文本的圖像特征提取在數(shù)據(jù)庫(kù)系統(tǒng)和信息檢索等領(lǐng)域中已有深入的研究，本 節(jié) 中我主要 利用的是 圖像視覺(jué)特征的提取和表達(dá)。 視覺(jué)特征又可分為通用的視覺(jué)特征和領(lǐng)域相關(guān)的視覺(jué)特征。前者用于描述所有圖像共有的特征，與圖像的具體類(lèi)型或內(nèi)容無(wú)關(guān)，主要包括色彩、紋理和形狀；后者則建立在對(duì)所描述圖像內(nèi)容的某些先驗(yàn)知識(shí)（或假設(shè)）的基礎(chǔ)上， 與具體的應(yīng)用緊密有關(guān)，例如人的面部特征或指紋特征等。而在本文中我 只考慮通用的視覺(jué)特征。 對(duì)于某個(gè)特定的圖像特征，通常又有多種不同的表達(dá)方法。由于人們主觀認(rèn)識(shí)上的千差萬(wàn)別，對(duì)于某個(gè)特征并不存在一個(gè)所謂的最佳的表達(dá)方式。事實(shí)上，圖像特征的不同表達(dá)方式從各個(gè)不同的角度刻畫(huà)了該特征的某些性質(zhì)。 在本文算法中，圖像用感 興趣物體的特征來(lái)代表 。由于物體的形狀信息相當(dāng)難刻畫(huà)，所以我采用了顏色和紋理描述方法。 HSV 顏色空間 的直方圖特征提取 顏色特征是在圖像檢索中應(yīng)用最為廣泛的視覺(jué)特征，主要原因在于顏色往往和圖像中所包含的物體或場(chǎng)景十分相關(guān)。此外，與其他的視覺(jué)特征相比，顏色特征對(duì)圖像本身的尺寸、方向、視角的依賴性較小，從而具有較高的魯棒性 【 20】【 22】【 24】 。 首 先我將前文自動(dòng)提取出來(lái)的感興趣物體 每點(diǎn)的像素值從 RGB顏色空間 轉(zhuǎn)化到HSV顏色空間計(jì)算， 因?yàn)?HSV顏色空間更接近于人們對(duì)顏色的主觀認(rèn)識(shí)，它的三個(gè)分量分別 代表色彩（ Hue）、飽和度（ Saturation）和值（ Value）， 每點(diǎn)的像素值在0～ 255之間， 從 RGB空間到 HSV空間的轉(zhuǎn)化公式如下所示： 30 基于視覺(jué)感知的圖像檢索 v=max(r,g,b) s=[vmin(r,g,b)]/v () r’=[vr]/[vmin(r,g,b)] g’=[vg]/[vmin(r,g,b)] b’=[vb]/[vmin(r,g,b)] 其中 r, g, b∈ [0 … 1], h ∈ [0 … 6], and s, v ∈ [0 … 1]。 通過(guò)以上的算法，將自動(dòng)提取感興趣物體后的圖像的每一點(diǎn)的像素值轉(zhuǎn)換到HSV 空間，得到 圖像 在 HSV 顏色空間 的直方圖， 然后將每一幅圖像得到的 256 個(gè)特征值存在一個(gè) 256 維的行向量數(shù)組里。 Tamura 紋理特征提取 紋理特征是一種不依賴于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺(jué)特征。它是所有物體表面共有的內(nèi)在特性，例如 云彩、樹(shù)木、磚、織物等都有各自的紋理特征。紋理特征包含了物體表面結(jié)構(gòu)組織排列的重要信息以及它們與周?chē)h(huán)境的聯(lián)系。正因?yàn)槿绱?，紋理特征在基于內(nèi)容的圖像檢索中得到了廣泛的應(yīng)用，用戶可以通過(guò)提交包含有某種紋理的圖像來(lái)查找含有相似紋理的其他圖像。 基于人類(lèi)對(duì)紋理的視覺(jué)感知的心理學(xué)的研究， Tamura 等人提出了紋理特征的表達(dá)。 Tamura 紋理特征的六個(gè)分量對(duì)應(yīng)于心理學(xué)角度上紋理特征的六種屬性，分別是粗糙度（ coarseness）、對(duì)比度（ contrast）、方向度（ directionality）、 線像度（ linelikeness）、規(guī)整度（ regularity）和粗略度（ roughness）。其中，前三個(gè)分量對(duì)于圖像檢索尤其重要。本文中我就著重利用粗糙度、對(duì)比度和方向度這三種特征來(lái)描述圖像的紋理特征。 第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 31 ? 粗糙度 粗糙度的計(jì)算可以分為以下幾個(gè)步驟進(jìn)行。首先，計(jì)算圖像中大小為 2k 2k個(gè)像素的活動(dòng)窗口中像素的平均強(qiáng)度值，即有 () 其中 k=0, 1, ? , 5 而 g(i, j)是位于 (i, j)的像素強(qiáng)度值。然后，對(duì)于每個(gè)像素，分別計(jì)算它在水平和垂直方向上互不重疊的窗口之間的平均強(qiáng)度差。 () () 其中對(duì)于每個(gè)像素，能使 E 值達(dá)到最大（無(wú)論方向）的 k 值用來(lái)設(shè)置最佳尺寸。最后，粗糙度可以通過(guò)計(jì)算整幅圖像中 平均值來(lái)得到，表達(dá)為 () 粗糙度特征的另一種該進(jìn)形式是采用直方圖來(lái)描述 的分布，而不是像上述方法一樣簡(jiǎn)單地計(jì)算 的平均值。這種改進(jìn)后的粗糙度特征能夠表達(dá)具有多種不同紋理特征的圖像或區(qū)域，因此對(duì)圖像檢索更為有利。 ? 對(duì)比度 對(duì)比度是通過(guò)對(duì)像素強(qiáng)度分布情況的統(tǒng)計(jì)得到的 。確切地說(shuō)，它是通過(guò) α 4 = μ 4/σ 4來(lái)定義的，其中 μ 4 是四次矩而 σ 2 是方差。對(duì)比度是通過(guò)如下公式衡量的 : () 該值給出了整個(gè)圖像或區(qū)域中對(duì)比度的全局度量。 32 基于視覺(jué)感知的圖像檢索 ? 方向度 方向 度的計(jì)算需要首先計(jì)算每個(gè)像素處的梯度向量。該向量的模和方向分別定義 為 () () 其中 Δ H 和 Δ V 分別是通過(guò)圖像卷積下列兩個(gè) 3x3 操作符所得的水平和垂直方向上的變化量。 () 當(dāng)所有像素的梯度向量都被計(jì)算出來(lái)后，一個(gè)直方圖 HD 被構(gòu)造用來(lái)表達(dá) θ值。該直方圖首先對(duì) θ 的 值域范圍進(jìn)行離散化，然后統(tǒng)計(jì)了每個(gè) bin 中相應(yīng)的 |Δ G|大于給定閾值的像素?cái)?shù)量。這個(gè)直方圖對(duì)于具有明顯方向性的圖像會(huì)表現(xiàn)出峰值，對(duì)于無(wú)明顯方向的圖像則表現(xiàn)得比較平坦。最后，圖像總體的方向性可以通過(guò)計(jì)算直方圖中峰值的尖銳程度獲得，表示如下 : () 上式中的 p 代表直方圖中的峰值， 為直方圖中所有的峰值。對(duì)于某個(gè)峰值 p，Wp 代表該峰值所包含的所有的 bin，而 φ p 是具有最高值的 bin。 然后將粗糙度、對(duì)比度和方向度三個(gè)特征值歸一化并存在一個(gè)三維行向量數(shù)組內(nèi)。 對(duì)于圖像 的顏色直方圖特征，由于顏色量化后的顏色空間為 256 維，我們對(duì)分割后的圖像進(jìn)行直方圖提取，如圖所示，對(duì)應(yīng)的橫坐標(biāo)為量化后的像素值，范圍在 0256 之間，縱坐標(biāo)對(duì)應(yīng)的是歸一化后的值（即該像素值的數(shù)量總量 /圖像總像素點(diǎn)數(shù)量），這樣 256 維的特征向量就都屬于（ 0,1）范圍內(nèi)了，且總和相加為1。 第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 33 對(duì)于圖像的紋理特征，由于提取的粗糙度、對(duì)比度和方向度三個(gè)特征各有各自的范圍，所以我對(duì)每個(gè)評(píng)價(jià)方面進(jìn)行歸一化操作，具體的方法是 P=(P1Pmin)/ (PmaxPmin) 就粗糙度這個(gè)方面舉例來(lái)說(shuō)，其中 P1 代表某一幅圖 像的粗糙度特征值， Pmax 和Pmin 分別指的是 1000 幅圖像的粗糙度特征值中最大和最小的值，這樣得到的 P當(dāng)前圖像的粗糙度特征值即在（ 0,1）之間。 圖 顏色直方圖示例 相似 性 度量 為了在線檢索節(jié)省了提取全部數(shù)據(jù)庫(kù)圖片特征的時(shí)間，我在此采取了一個(gè)離線提取特征數(shù)據(jù)的操作，將數(shù)據(jù)庫(kù)中 1000 幅圖像進(jìn)行特征提取后得到了兩個(gè)特征數(shù)組，即一個(gè) 256*1000 的顏色特征數(shù)組和一個(gè) 3*1000 的紋理特征數(shù)組，將此作為數(shù)據(jù)庫(kù)的特征數(shù)據(jù)庫(kù)保存在 MATLAB的 mat文件中，當(dāng)開(kāi)始執(zhí)行在線檢索功能時(shí)，只需直接使用 load 命令將兩個(gè)特征數(shù)組加載到當(dāng)前檢索過(guò)程，與程序提取的當(dāng)前待檢索圖像的特征值進(jìn)行相似性對(duì)比即可。 對(duì)于顏色特征，我利用直方交計(jì)算其距離 () 34 基于視覺(jué)感知的圖像檢索 其中 i 為（ 1,1000）中的整數(shù)， 為 待檢索 圖像的特征矩陣， 為特征庫(kù)中第 i 幅圖像的特征矩陣。顯然，最后得到的 越小說(shuō)明第 i 幅圖像與待檢索圖像相似性越高。 對(duì)于紋理特征，我計(jì)算其距離公式為 () 同理，其中 i 為（ 1,1000）中的整數(shù)， 為待檢索圖像的特征矩陣， 為特征庫(kù)中第 i 幅圖像的特征矩陣，最后得到的 越小說(shuō)明第 i 幅圖像與待檢索圖像相似性越高。 實(shí)驗(yàn)結(jié)果與分析 為了驗(yàn)證本文算法的工作性能 ，我從 圖像數(shù)據(jù)庫(kù)中的 10類(lèi)圖像（ 包括 古建筑、BUS、恐 龍、大象等 10類(lèi)，見(jiàn)表 ，每一類(lèi) 100 幅圖像 ）的每一類(lèi)分別抽取 20張作為 待 檢索圖像分別用本文示例的方法進(jìn)行檢索。 表 實(shí)驗(yàn)圖像庫(kù)包涵的圖像語(yǔ)義類(lèi) Class NO. 1 2 3 4 5 6 7 8 9 10 Semantic People Beach Building Bus Dinosaur Elephant Flower Horse Scenery Dish 本文還統(tǒng)計(jì)了下每一類(lèi)圖像檢索的查準(zhǔn)率和查全率，并與傳統(tǒng)的基于 全局的顏色直方 的檢索方法的檢索進(jìn)行了對(duì)比。 圖 (a)和 圖 (b)給出了本文算法和 傳統(tǒng)的基于 全局的顏色直方圖 的檢索方法 的平均 查全率 和平均 查準(zhǔn)率 的對(duì)比結(jié)果 ，其中查全率是在輸出 100 幅圖像中包含的相關(guān)圖像數(shù)目的比例，查準(zhǔn)率是輸出三十幅圖像時(shí)這三十幅圖像里 面的相第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 35 關(guān)圖像占的比例，而平均查全率和平均查準(zhǔn)率即為每一類(lèi)圖像取 10 幅分別作為待檢索圖像得到各自的查全率和查準(zhǔn)率的平均值 。 圖 (a)平均 查全率 對(duì)比 （輸出 100 幅） 圖 (b)平均 查準(zhǔn)率 對(duì)比 （輸出 30 幅） 由上面兩個(gè)表格可以很明顯的看出，雖然對(duì)于某些例如風(fēng)景和建筑的語(yǔ)義類(lèi)圖像檢索準(zhǔn)確率不是十分理想，但是通過(guò)對(duì)比發(fā)現(xiàn)，本文的算法在這 10 類(lèi)圖像中的實(shí)驗(yàn)中都具有相對(duì)于傳統(tǒng)的檢索方法更高的查 全率和查準(zhǔn)率。 36 基于視覺(jué)感知的圖像檢索 第 五 章 圖像用戶界面 GUI 的生成 37 第五章 圖形用戶界面 GUI 的 生成 圖形用戶界面（ Graphical User Interfaces ， GUI）則是由窗口、光標(biāo)、按鍵、菜單、文字說(shuō)明等對(duì)象（ Objects）構(gòu)成的一個(gè)用戶界面。用戶通過(guò)一定的方法（如鼠標(biāo)或鍵盤(pán)）選擇、激活這些圖形對(duì)象，使計(jì)算機(jī)產(chǎn)生某種動(dòng)作或變化，比如實(shí)現(xiàn)計(jì)算、繪圖等。 在驗(yàn)證本文算法的實(shí)驗(yàn)最后， 我利用 MATLAB 的 可視化的界面環(huán)境 GUI 功能，生成了一個(gè)離 線檢索的實(shí)驗(yàn)平臺(tái) 如圖 (a)和 (b)所示 ， 圖 (a)所示的為 matlab里新建的自定義的 GUI 初 始界面，左邊有可供用戶使用的功能模塊，包括 Push Button， Slider， Edit Text， Axes 等，本實(shí)驗(yàn)平臺(tái)用到其中的 Push Button， Edit Text，Axes 三個(gè)模塊，其中有一個(gè)用戶輸入模塊 Edit Text文本輸入框（“輸入待檢索圖像名稱”），一個(gè)按鈕 Push Button功能按鈕（“開(kāi)始檢索”），和 “ 1+30”共 31個(gè) axes軸線區(qū)域，其中 axes1到 axes30 是顯示輸出結(jié)果的圖像，按相似性由高到低排列， axes31 顯示的是待檢索圖像。 文本輸入框內(nèi)可以輸入待檢索圖像的 名稱，本實(shí)驗(yàn)中的輸入范圍為 0到 999 共 1000 幅數(shù)據(jù)庫(kù)圖像，點(diǎn)擊“開(kāi)始檢索”按鈕后， axes31 顯示待檢索圖像， 開(kāi)始檢索與帶檢索圖像相關(guān)的圖像并輸出在 axes1到 axes30 中，最后的完整界面如圖 (b)所示。 38 基于視覺(jué)感知的圖像檢索 圖5. 1 (a) 新建的圖形用戶界面 GUI 圖 (b)放入功能模塊的 GUI 界面 經(jīng)過(guò)實(shí)驗(yàn)，點(diǎn)擊“開(kāi)始檢索”按鈕后 1 到 2 秒后一次顯示 30幅檢索結(jié)果。操作簡(jiǎn)便，效果良好，便于觀察和分析，圖 所示 四幅 圖 （分別來(lái)自恐龍類(lèi)、花朵類(lèi)、馬類(lèi)和食物類(lèi)） 的檢索效果圖示意。 第 五 章 圖像用戶界面 GUI 的生成 39 圖 (a)第 422 幅 恐龍類(lèi)圖像 圖 (b) 第 644 幅花朵類(lèi)圖像 40 基于視覺(jué)感知的圖像檢索 圖 (c) 第 704 幅馬類(lèi)圖像 圖 (d) 第 946 幅食物類(lèi)圖像 第 六 章 總結(jié)與展望