【正文】 雜描述、通用性好和應用前景廣闊等許多優(yōu)點，正受到了越來越廣泛的重視，并得到了迅速的發(fā)展， CBIR已經(jīng)代替了基于文本的圖像檢索成了圖像檢索技術的重心。 基于區(qū)域 (Regionbased)的檢索方法是目前基于內(nèi)容的 圖像 檢索研究的熱點之一。相對于全局 圖像 特征，使用基于區(qū)域或者物體的特征可以對 圖像 進行更進一步的理解和分析，而且也更容易獲取 圖像 的語義信息。目前，己經(jīng)出現(xiàn)了一些基于區(qū)域的 圖像 檢索方法，這類方法大致的思路是 :利用經(jīng)典的 圖像分割技術，首先將 圖像 分成不同的區(qū)域，然后對于每一個區(qū)域提取一些特征，如 :顏色、紋理、形狀等，并且結(jié)合基于區(qū)域的視覺特征與區(qū)域的位置等約束條件生成特征矢量，最后進行基于區(qū)域的特征匹配，輸出最為相似的 圖像 集合。盡管有些方法讓用戶來手工選擇感興趣的區(qū)域，但這又增加了用戶的工作量，這種查詢方式，用戶并不習慣。一般地，用戶在檢索之前應當有自己希望檢索的物體，如 :一只老虎、一條魚等，然后他尋找一幅或多幅 圖像 包含他感興趣的物體或者能夠代表其檢索目的，然后將這些 圖像 作為例子提供給 圖像 檢索系統(tǒng)，系統(tǒng)按照一定的特征描述和相似度度量方法給出與之相似的 圖像 集合。 本文的研究內(nèi)容及章節(jié)安排 4 基于視覺感知的圖像檢索 充分地考慮到用戶檢索時的實際過程，結(jié)合目前的技術發(fā)展，本文提出一個基于用戶感興趣物體的 圖像 檢索方法中。本文的方法具有以下兩個較大的 特點 : （ 1）提出了一種 圖像 檢索的新思路，即 :并不是 圖像 中的所有區(qū)域都對檢索有貢獻，真正起作用的應該是能夠引起用戶興趣的物體。這種思路與用戶檢索的要求相吻合 。 本文的結(jié)構(gòu)安排如下：第二章，介紹 基于內(nèi)容 圖像 檢索的預備知識及關鍵技術 ； 第三章，介紹 視覺感知 技術和 Itti 視覺注意模型 【 9】【 10】【 11】 ； 第四章， 基于視覺感知的圖像檢索技術， 詳細介 紹本文算法的技術細節(jié)、 模擬實驗 和最后的檢索平臺的展示 ； 第五章， 最后給出本文的 總結(jié)和對圖像檢索未來的展望 。本章的結(jié)構(gòu)安排如下 :第 一 節(jié)介紹基本的 圖像 低層特征描述方法 。第 三 節(jié)介紹圖像 檢索算法的評價方法。本節(jié)將簡要地一一介紹，較為詳細地介紹分布于本文后續(xù)的相關章節(jié)。 ? 顏色直方圖 (Color histogram):顏色直方圖具有與生俱來的旋轉(zhuǎn)不變性(Rotationinvariance)、尺度不變性 (Sealeinvariance)和平移不變性(Translationinvariance)，因此它被被廣泛的 應用到 圖像 檢索中。常用的顏色空間有 RGB和 HSI 空間，量化的方法有均勻量化方法、基于主觀感知的量化、參考顏色表法、顏色聚類量化 。 ? 包含空間信息的顏色描述方法 (Spatial color):顏色直方圖的缺點是失去了象素點的位置信息 ，為了克服此缺點，許多方法在描述顏色的同時考慮了空間信息。 6 基于視覺感知的圖像檢索 ? 顏色不變量 (Color constant):由十顏色通常隨著光照的變化發(fā)生變化，一些學者試圖提取出一些顏色不變量來進行 圖像 檢索，利用每一象素點周圍小鄰域中顏色的分布信息，通過差分或相比來獲得顏色不變量。 ? 基于區(qū)域的形狀描述方法 :利用區(qū)域內(nèi)的灰度分布信息，包括不變矩法、小 波重要系數(shù)法等。紋理特征描述方法主要有四類 :基于統(tǒng)計的方法、幾何的方法、基于模型和基于信號處理的方法。 ? 幾何方法 :將紋理看作是紋理基元按照一定的幾何規(guī)則排列的組合。 ? 基于模型的方法 :利用一些成熟的圖像模型來描述紋理，如基于隨機場(Random field)的方法、分形 (Fractals)的方法和多尺度子回歸的方法(Multiresolution simultaneous autoregressive， MRSA)等。 圖像 檢索中的相似性度量方法 第二章 基于內(nèi)容圖像檢索的預備知識及關鍵技術 7 相似性度量方法 【 1】 用來計算兩幅 圖像 之間的相似程度，其模型是多種多樣的，但沒有一個適用于任何情況，主要原因是相似性具有特征依賴的特點，不同的特征應該應用不同的度量方法。 1. 距離度量方法 :圖像 特征抽取后，最直觀的方法是直接利用特征向量的距離來衡量兩幅圖像的相似性，下面列 舉了一些 CBIR 系統(tǒng)中常用的距離公式，其中用 x， y 代表兩幅 圖像 對應的特征矢量， ， 代表特征分量。 ? 加權(quán) Euclidean 距離： () 加權(quán) Euclidean 距離考慮不同維分量的重要性，而一般的 系統(tǒng)抽取的特 征的重要性是不同的，因此此距離應用范圍很廣。 ? 直方圖交 () 該距離只能用于以直方圖為特征矢量的相似性度量。如在認知試驗中，人們?nèi)菀装涯撤N特征不太顯著的物體認為象特征顯著的物體，卻不認為顯著的物體象不顯著的物體，這就違反了對稱性公理。 第二章 基于內(nèi)容圖像檢索的預備知識及關鍵技術 9 圖像 檢索算法的評價準則 由于 圖像 檢索具有很強的主觀性，因此，評價一個 圖像 檢索算法性能的優(yōu)劣并不容易。 ? 準確率 (Precision rate)和回想率 (Recall rate): 對于一幅查詢 圖像 Q，其準確率和回想率分別定義為 : PR=n/T RR=n/N 其中 : N:人眼主觀從 圖像 庫中找出域 圖像 Q相似的 圖像 數(shù)目 。 T:圖像 檢索系統(tǒng)自動檢索輸出的總的 圖像 數(shù)目。這兩個指標都是越大越好。如果 圖像 庫測試集已經(jīng)提前進行了分類，如 Corel Image Gallery 等，就可以簡單的將每一個 圖像 類作為其中每一幅 圖像 的 Ground truth，由此來度量算法的檢索準確率。 排序值評測法 10 基于視覺感知的圖像檢索 設 Q 為一幅查詢 圖像 ， , ,??， 為 圖像 檢索算法輸出與 Q 相關的一且從主觀上認為相似的 圖像 (等同于上公式中的 )， ( )， i=1， 2，??， n 是它們在檢索結(jié)果中對應的排序值，則有兩個指標可以衡量檢索算法的性能 : () () 其中，第一個指標定義了所有相關 圖像 在檢索結(jié)果中的平均排序，顯然，此指標越小，檢索算法的準確率越高。 應當指出，除了 主 觀因素， 圖像 檢索的準確率與 圖像 數(shù)據(jù)庫有很大的關系，即使同一算法根據(jù)相同的評價方法在不同的數(shù)據(jù)庫中計算出的檢索準確率都可能會存在較大的差異。 本章簡單介紹了基于內(nèi)容 圖像 檢索研究中的一些預備知識和關鍵技術，主要包括 三 個方面的內(nèi)容 :描述圖像的低層視覺特征、圖像的相似度度量方法和圖像 檢索算法 的評價準則 。但是，每一部分 介紹的都比較概括，詳細的應用將在下一章節(jié)進行展開介紹 。從本質(zhì)上講，視覺注意是屬于神經(jīng)生物學范疇的概念，它意味著人具有精神或者觀察能量能夠集中的技能。 研究視覺注意機制的一個重要實驗被稱為眼動實驗 (Eye movement)，即 :通過大量實驗樣本 (人 )在觀察 圖像 時眼睛的轉(zhuǎn)動頻率和視點位置的移動歸納出若干能夠影響視覺注意的低層因素和高層因素。 影響視覺注意的高層因素包括 : ※ 位置 (Location):人往往對位于 圖像 中心的區(qū)域更加關注； ※ 前景和背景 (Foreground amp。 根據(jù) 眼動實驗總結(jié)的影響視覺注意的諸多因素，近年來，一些學者提出了視覺注意的計算模型。首先，12 基于視覺感知的圖像檢索 融合 圖像 的一些低層視覺特征生成關注度圖 (Saliency map)【 23】 ，然后使用一個動態(tài)的神經(jīng)網(wǎng)絡 (Dynamic neural work)按照顯著度遞減的順序依次發(fā)現(xiàn) 圖像 中的注意 點。 Privitera 等通過對大量的人做眼動實驗，然后將人工實驗的結(jié)果與常見的 圖像 處理算法的結(jié)果作對比，從而歸納出哪些 圖像 處理算法對興趣區(qū)域的發(fā)現(xiàn)更加有效。 有相關文獻 將視覺注意模型應用到目標識別中，結(jié)合一些先驗知識利用此模型濾除掉 圖像 中與待識別目標無關的部分，這樣既可以減小計算量節(jié)省識別時間，還可以使系統(tǒng)專注于 圖像中的一部分區(qū)域，提高了識別的精度。最 近， 一些 工作又將注意機制引入到視頻分析中，通過線性組合用戶對三個信息通道 :視覺 (visual)、聽覺 (Audio)和語言文字 (Linguistic)的感興趣程度， 對 每 一幀 圖像 都計算出總的受關注程度，并基于此動態(tài)提取關鍵幀。這就為視覺注意計算模型的應用提供了科學的依據(jù) 。 ※ 已有的工作中還沒有根據(jù)視覺注意模型提取 圖像 中用戶感興趣物體的研究，更 沒有將其應用到基于內(nèi)容的 圖像 檢索中，而這些正是本 文 研究的創(chuàng)新 點。 在數(shù)字圖像處理領域內(nèi)，在缺乏先驗信息的情況下對圖像進行理解，由于沒有明確的目標和目的，大多數(shù)的傳統(tǒng)方法都會采取對圖像進行全面分析的方式。一般情況下，最能反映圖像內(nèi)容的信息或者數(shù)據(jù)，僅僅占據(jù)完整圖像的很小一部分。自底向上的基于顯著度的空間視覺注意模型能夠很好地解決這一問題。盡管更為普遍的觀點是 :自頂向下和自底向上的信息綜合處理結(jié)果影響人類的行為。通過計算機建模，場景中的突出目標因其特殊的視覺特征分布模式而具有較高的顯著性，根據(jù)顯著性的優(yōu)先級計算程序就能夠快速準確地認知場景內(nèi)容，進行邏輯推理和決策。 圖 的空間視覺注意模型框架。輸入一幅彩色圖像，首先使用線性濾波器將圖像分解為多個特征通道，提取顏色、亮度和方向等多個維度的特征 。接著，采取有效的特征合并策略，將不同維度的多幅特征圖合并得到突出圖和顯著圖 。模型中使用勝者為王 WIA競爭網(wǎng)絡尋找顯著圖中存在的 最顯著的點同時返回其坐標。進一步的迭代保證注意力能夠以顯著性降序為標志關注其它目標。將不同通道的信號之和與高斯低通濾波器進行卷積，獲得濾波結(jié)果并以 2為步長進行橫行和縱向的減抽樣操作，建立高斯金字塔。 圖 高斯金字塔圖例 使用 r， g和 b表示彩色圖像的紅、綠和藍三色通道值。 然后，使用 Garbor濾波器對亮度金字塔 進行濾波，濾波器設定四個主要的方向 : ∈ {0176。 90176。 }，得到局部方向高斯金字塔圖 。如果輸入圖像該區(qū)域內(nèi)的紋線方向接近濾波 器方向，則 Gabor濾波后該區(qū)域內(nèi)的紋線結(jié)構(gòu)相對清晰，亮度高，和周圍環(huán)境對比反常大。 ,45176。 ,135176。方向濾波結(jié)果灰度亮度最高，表示該區(qū)域在 45176。方向的一條直線或者規(guī)則紋理引起的。 1985年提出了二維 Gabor濾波器理論，并指出二維 Gabor濾波器可以同時在空域、頻域和方向上獲得最佳的分辨率，可以在頻域不同尺度、不同方向 上提取相關的特征。在模型中，可設置任意方向數(shù)目，但是太多的方向數(shù)對系統(tǒng)運行表現(xiàn)并無明顯改進，因此，模型設置四個方向進行 Gabor濾波。 第 三 章 視覺感知技術和 Itti 視覺注意模型 17 圖 多方向多尺度 Gabor濾波器和測試圖片濾波結(jié)果 多特征圖的計算與合并 對顏色、亮度和方向多維特征，在其圖像金字塔上，應用中央周邊差操作(Center Surround Difference)。人眼感受野對于反差大的視覺信息輸入反應強烈，例如中央暗周邊亮的情況，中央是紅色周邊是綠色的情況，這都屬于反差較大的視覺信息。對于每維特征，中央尺度。通過將周邊尺度 s 的圖像進行線性插值，使之和中央尺度 c 的圖像具有相同大小，然后進行點對點的減操作，獲得中央周邊差圖，這樣的跨尺度的減操作用符號 Θ 表示。 ， s 表示周邊尺度， ∈ {3， 4}， I 表示亮度。 類似地，局部方向通道的特征圖定義為 : () 這里， {0176。 ,90176。 }，后產(chǎn)生的四個方向特征通道。表示使用 Gabor 濾波器對亮度金字塔進行四個方向濾波 6張，顏色特征圖 2 6張，局部方向圖 4 6張，總共 42 張?zhí)卣鲌D。模型使用不同機制提取不同通道的特征，如何衡量顏色、亮度或者方向特征圖中的顯著點的重要性，進而合并形成一張圖，