【導讀】為了能夠準確、快速和人性化地從浩瀚的圖像數(shù)據(jù)庫中找到用戶所需。并已成為國際學術(shù)界研究的一個熱點。意機制特點進行檢索的，因而可以提高圖像檢索的精準率。本論文重點圍繞基于。該方法使用Itti的視覺注意模型計算得到一個關(guān)注度圖，在關(guān)注度圖基礎(chǔ)上，使用種子區(qū)域增長技術(shù)實現(xiàn)對圖像中感興趣物體的自動提取。技術(shù)不同，種子點的選取和區(qū)域增長過程都融合了個體視覺注意程度的信息。

　　

【正文】 子區(qū)域 : ※ 感興趣物體生長 (Attention objects growing):從種子區(qū)域開始依次增長感興趣物體，增長過程由注意度圖和相對位置指示圖來共同引導和控制 。 ※ 后期處理 (PostProcessing):使用兩個后處理技術(shù)，填充區(qū)域內(nèi)部孔洞和合并相鄰且相似區(qū)域，以期獲得最佳的結(jié)果。 種子區(qū)域增長 和 圖像分割 當種子點確定后，區(qū)域就從種子點開始增長，反復地將與區(qū)域內(nèi)的點相鄰的且滿足一定的相似性要求的點歸入?yún)^(qū)域 【 12】【 13】 【 14】 ?？梢哉f，相似性條件控制和引導著增長。在一般的 圖像 分割應用中，相似性條件大多為顏色一致性，而對于感興趣物體提取來 說，既要滿足顏色一致性同時也要滿足一定的注意度條件。這也是我們的方法與一般的區(qū)域增長技術(shù)的不同之處。假設(shè)一個感興趣物體 O 從種子區(qū)域 R開始生長。 圖像 中已經(jīng)被認定屬于感興趣物體的點稱之為己標注點，不屬于任何一個物體的點稱為未標注點。于是，物體 O的生長就可以描述為 :不斷地將未標注的、與屬于口的點相鄰且通過相似度測試的點歸入物體 O。與物體 O相鄰的點集合可以定義為 : () 26 基于視覺感知的圖像檢索 其中， 表示以點 為中心的 3 3的小區(qū)域。假定象素 ，它對應的注意度為 S，對應的相對位置指示為 PSD。因此，決定象素 P 是否歸入 O的相似度測試定義為 : () 通過測試， P就可以歸入 O。否則， 不 能歸入。其中， 和 為 閾 值。相似度測試的本質(zhì)是認為注意度較大且不是邊緣的相鄰點屬于感興趣物體。 于是，下一步需要解決的問題就是如何確定 閾值 和 ，由于不同的 圖像的內(nèi)容不相同，因此固定的取值是相當不合適的。最佳的 閾值 應當能夠自動地隨著 圖像 的具體內(nèi)容而 自適應地變化。我們使用一個基于信息 熵 的自適應 閾值 確定方法，此方法己經(jīng)被證明能夠在兩類問題分類的應用中取的良好的效果 。但是在本文 中為了簡化算法，閾值我采取了一個固定的值。 應當指出，不同 圖像 中感興趣物體的數(shù)目也應該不同，客觀地講，如何自適應地確定 圖像 中感興趣物體 的數(shù)目相當困難，目前尚未找到好的解決方案。因此，我們簡單地假定每 幅 圖像 中的感興趣物體數(shù)目為兩個。應該說，這個假定在特定條件下是有道理的，我們的應用領(lǐng)域是 圖像 檢索，首先一般的用戶不會對一幅 圖像 中許多物體都感興趣，另外，通過觀察大量的 Corel 數(shù)據(jù)庫中的 圖 像 ，我們發(fā)現(xiàn) 圖像 中 經(jīng)常出現(xiàn)的受關(guān)注目標不止一個。 下面以圖像庫中的一幅恐龍圖像和 公交車 圖像作為示例 （ 見表 ） ， 再以花朵為示例展示單個目標和多個目標的 圖像分割結(jié)果（見表 ），通過簡單的對比可以大致體現(xiàn)通過 本文算 法得到的 分割圖像 的特點 ： 第 四 章 基于視覺感知的圖像檢索技術(shù) 27 表 單個目標的分割示例（ Dinosaur 和 Bus） 原始圖像 亮度顯著圖 顏色顯著圖 方向顯著圖 分割后圖像 28 基于視覺感知的圖像檢索 表 單個目標和多個目標的分割示例（ Flower） 原始圖像 亮度顯著圖 顏色顯著圖 方向顯著圖 分割后圖像 第 四 章 基于視覺感知的圖像檢索技術(shù) 29 從上面兩個表格的情況來看，本算法可以很好地做到充分體現(xiàn)人的視覺感知的圖像分割，并可以講同一幅圖像中的多個受關(guān)注目標提取出來。 基于感興趣物體的特征 提取 與表達 圖像特征的提取與表達是基于內(nèi)容的圖像檢索技術(shù)的基礎(chǔ)。從廣義上講，圖像的特征包括基于文本的特征（如關(guān)鍵字、注釋等）和視覺特征（如色彩、紋理、形狀、對象表面等）兩類。 其中 基于文本的圖像特征提取在數(shù)據(jù)庫系統(tǒng)和信息檢索等領(lǐng)域中已有深入的研究，本 節(jié) 中我主要 利用的是 圖像視覺特征的提取和表達。 視覺特征又可分為通用的視覺特征和領(lǐng)域相關(guān)的視覺特征。前者用于描述所有圖像共有的特征，與圖像的具體類型或內(nèi)容無關(guān)，主要包括色彩、紋理和形狀；后者則建立在對所描述圖像內(nèi)容的某些先驗知識（或假設(shè)）的基礎(chǔ)上， 與具體的應用緊密有關(guān)，例如人的面部特征或指紋特征等。而在本文中我 只考慮通用的視覺特征。 對于某個特定的圖像特征，通常又有多種不同的表達方法。由于人們主觀認識上的千差萬別，對于某個特征并不存在一個所謂的最佳的表達方式。事實上，圖像特征的不同表達方式從各個不同的角度刻畫了該特征的某些性質(zhì)。 在本文算法中，圖像用感 興趣物體的特征來代表 。由于物體的形狀信息相當難刻畫，所以我采用了顏色和紋理描述方法。 HSV 顏色空間 的直方圖特征提取 顏色特征是在圖像檢索中應用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中所包含的物體或場景十分相關(guān)。此外，與其他的視覺特征相比，顏色特征對圖像本身的尺寸、方向、視角的依賴性較小，從而具有較高的魯棒性 【 20】【 22】【 24】 。 首 先我將前文自動提取出來的感興趣物體 每點的像素值從 RGB顏色空間 轉(zhuǎn)化到HSV顏色空間計算， 因為 HSV顏色空間更接近于人們對顏色的主觀認識，它的三個分量分別 代表色彩（ Hue）、飽和度（ Saturation）和值（ Value）， 每點的像素值在0～ 255之間， 從 RGB空間到 HSV空間的轉(zhuǎn)化公式如下所示： 30 基于視覺感知的圖像檢索 v=max(r,g,b) s=[vmin(r,g,b)]/v () r’=[vr]/[vmin(r,g,b)] g’=[vg]/[vmin(r,g,b)] b’=[vb]/[vmin(r,g,b)] 其中 r, g, b∈ [0 … 1], h ∈ [0 … 6], and s, v ∈ [0 … 1]。 通過以上的算法，將自動提取感興趣物體后的圖像的每一點的像素值轉(zhuǎn)換到HSV 空間，得到 圖像 在 HSV 顏色空間 的直方圖， 然后將每一幅圖像得到的 256 個特征值存在一個 256 維的行向量數(shù)組里。 Tamura 紋理特征提取 紋理特征是一種不依賴于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺特征。它是所有物體表面共有的內(nèi)在特性，例如 云彩、樹木、磚、織物等都有各自的紋理特征。紋理特征包含了物體表面結(jié)構(gòu)組織排列的重要信息以及它們與周圍環(huán)境的聯(lián)系。正因為如此，紋理特征在基于內(nèi)容的圖像檢索中得到了廣泛的應用，用戶可以通過提交包含有某種紋理的圖像來查找含有相似紋理的其他圖像。 基于人類對紋理的視覺感知的心理學的研究， Tamura 等人提出了紋理特征的表達。 Tamura 紋理特征的六個分量對應于心理學角度上紋理特征的六種屬性，分別是粗糙度（ coarseness）、對比度（ contrast）、方向度（ directionality）、 線像度（ linelikeness）、規(guī)整度（ regularity）和粗略度（ roughness）。其中，前三個分量對于圖像檢索尤其重要。本文中我就著重利用粗糙度、對比度和方向度這三種特征來描述圖像的紋理特征。 第 四 章 基于視覺感知的圖像檢索技術(shù) 31 ? 粗糙度 粗糙度的計算可以分為以下幾個步驟進行。首先，計算圖像中大小為 2k 2k個像素的活動窗口中像素的平均強度值，即有 () 其中 k=0, 1, ? , 5 而 g(i, j)是位于 (i, j)的像素強度值。然后，對于每個像素，分別計算它在水平和垂直方向上互不重疊的窗口之間的平均強度差。 () () 其中對于每個像素，能使 E 值達到最大（無論方向）的 k 值用來設(shè)置最佳尺寸。最后，粗糙度可以通過計算整幅圖像中 平均值來得到，表達為 () 粗糙度特征的另一種該進形式是采用直方圖來描述 的分布，而不是像上述方法一樣簡單地計算 的平均值。這種改進后的粗糙度特征能夠表達具有多種不同紋理特征的圖像或區(qū)域，因此對圖像檢索更為有利。 ? 對比度 對比度是通過對像素強度分布情況的統(tǒng)計得到的 。確切地說，它是通過 α 4 = μ 4/σ 4來定義的，其中 μ 4 是四次矩而 σ 2 是方差。對比度是通過如下公式衡量的 : () 該值給出了整個圖像或區(qū)域中對比度的全局度量。 32 基于視覺感知的圖像檢索 ? 方向度 方向 度的計算需要首先計算每個像素處的梯度向量。該向量的模和方向分別定義 為 () () 其中 Δ H 和 Δ V 分別是通過圖像卷積下列兩個 3x3 操作符所得的水平和垂直方向上的變化量。 () 當所有像素的梯度向量都被計算出來后，一個直方圖 HD 被構(gòu)造用來表達 θ值。該直方圖首先對 θ 的 值域范圍進行離散化，然后統(tǒng)計了每個 bin 中相應的 |Δ G|大于給定閾值的像素數(shù)量。這個直方圖對于具有明顯方向性的圖像會表現(xiàn)出峰值，對于無明顯方向的圖像則表現(xiàn)得比較平坦。最后，圖像總體的方向性可以通過計算直方圖中峰值的尖銳程度獲得，表示如下 : () 上式中的 p 代表直方圖中的峰值， 為直方圖中所有的峰值。對于某個峰值 p，Wp 代表該峰值所包含的所有的 bin，而 φ p 是具有最高值的 bin。 然后將粗糙度、對比度和方向度三個特征值歸一化并存在一個三維行向量數(shù)組內(nèi)。 對于圖像 的顏色直方圖特征，由于顏色量化后的顏色空間為 256 維，我們對分割后的圖像進行直方圖提取，如圖所示，對應的橫坐標為量化后的像素值，范圍在 0256 之間，縱坐標對應的是歸一化后的值（即該像素值的數(shù)量總量 /圖像總像素點數(shù)量），這樣 256 維的特征向量就都屬于（ 0,1）范圍內(nèi)了，且總和相加為1。 第 四 章 基于視覺感知的圖像檢索技術(shù) 33 對于圖像的紋理特征，由于提取的粗糙度、對比度和方向度三個特征各有各自的范圍，所以我對每個評價方面進行歸一化操作，具體的方法是 P=(P1Pmin)/ (PmaxPmin) 就粗糙度這個方面舉例來說，其中 P1 代表某一幅圖 像的粗糙度特征值， Pmax 和Pmin 分別指的是 1000 幅圖像的粗糙度特征值中最大和最小的值，這樣得到的 P當前圖像的粗糙度特征值即在（ 0,1）之間。 圖 顏色直方圖示例 相似 性 度量 為了在線檢索節(jié)省了提取全部數(shù)據(jù)庫圖片特征的時間，我在此采取了一個離線提取特征數(shù)據(jù)的操作，將數(shù)據(jù)庫中 1000 幅圖像進行特征提取后得到了兩個特征數(shù)組，即一個 256*1000 的顏色特征數(shù)組和一個 3*1000 的紋理特征數(shù)組，將此作為數(shù)據(jù)庫的特征數(shù)據(jù)庫保存在 MATLAB的 mat文件中，當開始執(zhí)行在線檢索功能時，只需直接使用 load 命令將兩個特征數(shù)組加載到當前檢索過程，與程序提取的當前待檢索圖像的特征值進行相似性對比即可。 對于顏色特征，我利用直方交計算其距離 () 34 基于視覺感知的圖像檢索 其中 i 為（ 1,1000）中的整數(shù)， 為 待檢索 圖像的特征矩陣， 為特征庫中第 i 幅圖像的特征矩陣。顯然，最后得到的 越小說明第 i 幅圖像與待檢索圖像相似性越高。 對于紋理特征，我計算其距離公式為 () 同理，其中 i 為（ 1,1000）中的整數(shù)， 為待檢索圖像的特征矩陣， 為特征庫中第 i 幅圖像的特征矩陣，最后得到的 越小說明第 i 幅圖像與待檢索圖像相似性越高。 實驗結(jié)果與分析 為了驗證本文算法的工作性能 ，我從 圖像數(shù)據(jù)庫中的 10類圖像（ 包括 古建筑、BUS、恐 龍、大象等 10類，見表 ，每一類 100 幅圖像 ）的每一類分別抽取 20張作為 待 檢索圖像分別用本文示例的方法進行檢索。 表 實驗圖像庫包涵的圖像語義類 Class NO. 1 2 3 4 5 6 7 8 9 10 Semantic People Beach Building Bus Dinosaur Elephant Flower Horse Scenery Dish 本文還統(tǒng)計了下每一類圖像檢索的查準率和查全率，并與傳統(tǒng)的基于 全局的顏色直方 的檢索方法的檢索進行了對比。 圖 (a)和 圖 (b)給出了本文算法和 傳統(tǒng)的基于 全局的顏色直方圖 的檢索方法 的平均 查全率 和平均 查準率 的對比結(jié)果 ，其中查全率是在輸出 100 幅圖像中包含的相關(guān)圖像數(shù)目的比例，查準率是輸出三十幅圖像時這三十幅圖像里 面的相第 四 章 基于視覺感知的圖像檢索技術(shù) 35 關(guān)圖像占的比例，而平均查全率和平均查準率即為每一類圖像取 10 幅分別作為待檢索圖像得到各自的查全率和查準率的平均值 。 圖 (a)平均 查全率 對比 （輸出 100 幅） 圖 (b)平均 查準率 對比 （輸出 30 幅） 由上面兩個表格可以很明顯的看出，雖然對于某些例如風景和建筑的語義類圖像檢索準確率不是十分理想，但是通過對比發(fā)現(xiàn)，本文的算法在這 10 類圖像中的實驗中都具有相對于傳統(tǒng)的檢索方法更高的查 全率和查準率。 36 基于視覺感知的圖像檢索 第 五 章 圖像用戶界面 GUI 的生成 37 第五章 圖形用戶界面 GUI 的 生成 圖形用戶界面（ Graphical User Interfaces ， GUI）則是由窗口、光標、按鍵、菜單、文字說明等對象（ Objects）構(gòu)成的一個用戶界面。用戶通過一定的方法（如鼠標或鍵盤）選擇、激活這些圖形對象，使計算機產(chǎn)生某種動作或變化，比如實現(xiàn)計算、繪圖等。 在驗證本文算法的實驗最后， 我利用 MATLAB 的 可視化的界面環(huán)境 GUI 功能，生成了一個離 線檢索的實驗平臺 如圖 (a)和 (b)所示 ， 圖 (a)所示的為 matlab里新建的自定義的 GUI 初 始界面，左邊有可供用戶使用的功能模塊，包括 Push Button， Slider， Edit Text， Axes 等，本實驗平臺用到其中的 Push Button， Edit Text，Axes 三個模塊，其中有一個用戶輸入模塊 Edit Text文本輸入框（“輸入待檢索圖像名稱”），一個按鈕 Push Button功能按鈕（“開始檢索”），和 “ 1+30”共 31個 axes軸線區(qū)域，其中 axes1到 axes30 是顯示輸出結(jié)果的圖像，按相似性由高到低排列， axes31 顯示的是待檢索圖像。 文本輸入框內(nèi)可以輸入待檢索圖像的 名稱，本實驗中的輸入范圍為 0到 999 共 1000 幅數(shù)據(jù)庫圖像，點擊“開始檢索”按鈕后， axes31 顯示待檢索圖像， 開始檢索與帶檢索圖像相關(guān)的圖像并輸出在 axes1到 axes30 中，最后的完整界面如圖 (b)所示。 38 基于視覺感知的圖像檢索 圖5. 1 (a) 新建的圖形用戶界面 GUI 圖 (b)放入功能模塊的 GUI 界面 經(jīng)過實驗，點擊“開始檢索”按鈕后 1 到 2 秒后一次顯示 30幅檢索結(jié)果。操作簡便，效果良好，便于觀察和分析，圖 所示 四幅 圖 （分別來自恐龍類、花朵類、馬類和食物類） 的檢索效果圖示意。 第 五 章 圖像用戶界面 GUI 的生成 39 圖 (a)第 422 幅 恐龍類圖像 圖 (b) 第 644 幅花朵類圖像 40 基于視覺感知的圖像檢索 圖 (c) 第 704 幅馬類圖像 圖 (d) 第 946 幅食物類圖像 第 六 章 總結(jié)與展望