【文章內(nèi)容簡介】 )完成檢索的愿望。相對(duì)于全局 圖像 特征，使用基于區(qū)域或者物體的特征可以對(duì) 圖像 進(jìn)行更進(jìn)一步的理解和分析，而且也更容易獲取 圖像 的語義信息。此外，基于區(qū)域的 圖像 檢索方法的另一個(gè)突出優(yōu)點(diǎn)是 :它更貼近于用戶進(jìn)行檢索時(shí)的思路，用戶在尋找 圖像 時(shí)，往往是想查詢與例子 圖像 中包含的物體相似的 圖像 。目前，己經(jīng)出現(xiàn)了一些基于區(qū)域的 圖像 檢索方法，這類方法大致的思路是 :利用經(jīng)典的 圖像分割技術(shù)，首先將 圖像 分成不同的區(qū)域，然后對(duì)于每一個(gè)區(qū)域提取一些特征，如 :顏色、紋理、形狀等，并且結(jié)合基于區(qū)域的視覺特征與區(qū)域的位置等約束條件生成特征矢量，最后進(jìn)行基于區(qū)域的特征匹配，輸出最為相似的 圖像 集合。 然而，現(xiàn)有的這些基于區(qū)域的 圖像 檢索方法仍然具有以下幾個(gè)沒有解決的問題 : （ 1）由于 圖像 分割仍然是 圖像 處理和計(jì)算機(jī)視覺領(lǐng)域一個(gè)相當(dāng)困難的課題，目前的技術(shù)還無法保證準(zhǔn)確地提取到 圖像 中的物體 : （ 2）用戶對(duì)多數(shù)提取出的區(qū)域不感興趣，因此使用用戶不感興趣的區(qū)域進(jìn)行檢索不但無法體現(xiàn)用戶的檢索目的，而且，這些無關(guān)的區(qū)域往往難以正確 的匹配，導(dǎo)致檢索準(zhǔn)確率的降低。盡管有些方法讓用戶來手工選擇感興趣的區(qū)域，但這又增加了用戶的工作量，這種查詢方式，用戶并不習(xí)慣。 其實(shí)，我們可以分析用戶在使用舉例查詢時(shí)的具體過程來得到一些有用的信息，或許通過這些有用的信息能夠總結(jié)出有效的方案。一般地，用戶在檢索之前應(yīng)當(dāng)有自己希望檢索的物體，如 :一只老虎、一條魚等，然后他尋找一幅或多幅 圖像 包含他感興趣的物體或者能夠代表其檢索目的，然后將這些 圖像 作為例子提供給 圖像 檢索系統(tǒng)，系統(tǒng)按照一定的特征描述和相似度度量方法給出與之相似的 圖像 集合。從用戶的查詢過程不難看出，用 戶一般只對(duì)例子 圖像 中的某些物體感興趣，因此，從用戶的角度出發(fā)，使用全局的 圖像 特征很難滿足用戶的希望，而基于區(qū)域的方法提取的區(qū)域大多用戶根本不感興趣，也不是最佳的方案。 本文的研究內(nèi)容及章節(jié)安排 4 基于視覺感知的圖像檢索 充分地考慮到用戶檢索時(shí)的實(shí)際過程，結(jié)合目前的技術(shù)發(fā)展，本文提出一個(gè)基于用戶感興趣物體的 圖像 檢索方法中。此方法的關(guān)鍵技術(shù)有兩個(gè) :其一，結(jié)合用戶感興趣模型 (Attention model)和種子區(qū)域增長技術(shù) (Seeded region growing)來自動(dòng)提取 圖像 中用戶感興趣的物體 :其二，對(duì)提取出的用戶感興趣物體 進(jìn)行特征描述，并用它們的特征來代表 圖像 ，完成 圖像 匹配。本文的方法具有以下兩個(gè)較大的 特點(diǎn) : （ 1）提出了一種 圖像 檢索的新思路，即 :并不是 圖像 中的所有區(qū)域都對(duì)檢索有貢獻(xiàn)，真正起作用的應(yīng)該是能夠引起用戶興趣的物體。所以，本文的算法首先提取 圖像 中用戶感興趣的物體，用它們來代表 圖像 特征，進(jìn)而檢索 圖像 。這種思路與用戶檢索的要求相吻合 。 （ 2）提出了一個(gè)感興趣物體自動(dòng)提取算法，此方法有效地結(jié)合了感興趣模型和 圖像 分割技術(shù)，實(shí)現(xiàn)過程相當(dāng)簡單，但效果很好 。 本文的結(jié)構(gòu)安排如下：第二章，介紹 基于內(nèi)容 圖像 檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) ； 第三章，介紹 視覺感知 技術(shù)和 Itti 視覺注意模型 【 9】【 10】【 11】 ； 第四章， 基于視覺感知的圖像檢索技術(shù)， 詳細(xì)介 紹本文算法的技術(shù)細(xì)節(jié)、 模擬實(shí)驗(yàn) 和最后的檢索平臺(tái)的展示 ； 第五章， 最后給出本文的 總結(jié)和對(duì)圖像檢索未來的展望 。第二章 基于內(nèi)容圖像檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 5 第二章 基于內(nèi)容 圖像 檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 為了后續(xù)各章內(nèi)容的展開，本章將系統(tǒng)地介紹基于內(nèi)容 圖像 檢索領(lǐng)域研究的一些預(yù)備知識(shí)和若干關(guān)鍵技術(shù)。本章的結(jié)構(gòu)安排如下 :第 一 節(jié)介紹基本的 圖像 低層特征描述方法 。第 二 節(jié)介紹在 圖像 匹配中一些常用的相似性度量準(zhǔn)則 。第 三 節(jié)介紹圖像 檢索算法的評(píng)價(jià)方法。 圖像 檢索中常用的低層特征描述方法 目前，用于 圖像 檢索的低層視覺特征主要有三種 :顏色、形狀和紋理 【 3】【 4】【 5】 。本節(jié)將簡要地一一介紹，較為詳細(xì)地介紹分布于本文后續(xù)的相關(guān)章節(jié)。 一、顏色特征描述 顏色是彩色 圖像 最顯著的、最直觀的物理特征，因此顏色特征的描述方法很多。 ? 顏色直方圖 (Color histogram):顏色直方圖具有與生俱來的旋轉(zhuǎn)不變性(Rotationinvariance)、尺度不變性 (Sealeinvariance)和平移不變性(Translationinvariance)，因此它被被廣泛的 應(yīng)用到 圖像 檢索中。其核心思想是在顏色空間中采用一定的量化方法對(duì)顏色進(jìn)行量化，然后統(tǒng)計(jì)每一各量化通道在整幅 圖像 顏色中所占的比重。常用的顏色空間有 RGB和 HSI 空間，量化的方法有均勻量化方法、基于主觀感知的量化、參考顏色表法、顏色聚類量化 。 ? 顏色矩 (Color moment):類似于描述形狀的區(qū)域矩不變量，顏色矩的主要思想是在顏色直方圖的基礎(chǔ)上計(jì)算出一些統(tǒng)計(jì)量如 :一階中心矩、二階矩等，用這些統(tǒng)計(jì)量來表示顏色特征 。 ? 包含空間信息的顏色描述方法 (Spatial color):顏色直方圖的缺點(diǎn)是失去了象素點(diǎn)的位置信息 ，為了克服此缺點(diǎn)，許多方法在描述顏色的同時(shí)考慮了空間信息。 Huang 提出了一種 Color correlogram 的描述子，它的本質(zhì)是用顏色對(duì)相對(duì)于距離的分布來描述顏色信息 。 6 基于視覺感知的圖像檢索 ? 顏色不變量 (Color constant):由十顏色通常隨著光照的變化發(fā)生變化，一些學(xué)者試圖提取出一些顏色不變量來進(jìn)行 圖像 檢索，利用每一象素點(diǎn)周圍小鄰域中顏色的分布信息，通過差分或相比來獲得顏色不變量。 二、 形狀特征描述 形狀是刻畫物體的最本質(zhì) 的 特征，也是最難描述的 圖像 特征之一，目前用于圖像 檢索的形狀描述方法大致分為兩類 :基于邊緣和基 于區(qū)域的形狀方法 . ? 基于邊緣的形狀描述方法 :利用 圖像 的邊緣信息，如邊緣曲線、邊緣方向直 方圖、角點(diǎn)、興趣點(diǎn)等來描述物體的形狀 。 ? 基于區(qū)域的形狀描述方法 :利用區(qū)域內(nèi)的灰度分布信息，包括不變矩法、小 波重要系數(shù)法等。 三、紋理特征描述 紋理是 圖像 的重要特征之一，其本質(zhì)是刻畫象素的鄰域灰度空間分布規(guī)律。紋理特征描述方法主要有四類 :基于統(tǒng)計(jì)的方法、幾何的方法、基于模型和基于信號(hào)處理的方法。 ? 基于統(tǒng)計(jì)的方法 :其主要思想是通過統(tǒng)計(jì) 圖像 中灰度的分布來描述紋理特 有文獻(xiàn)提出了一種以灰度級(jí)空間相關(guān)矩陣即共生矩陣為基礎(chǔ)描述紋理信 息的方法， 也有 文獻(xiàn)提出了一種利用象素灰度間的自相關(guān)函數(shù)來提取紋理特征 。 ? 幾何方法 :將紋理看作是紋理基元按照一定的幾何規(guī)則排列的組合。這種方法的代表工作有利用 V 氏圖剖分提取紋理特征和利用結(jié)構(gòu)法提取紋理基元 。 ? 基于模型的方法 :利用一些成熟的圖像模型來描述紋理，如基于隨機(jī)場(chǎng)(Random field)的方法、分形 (Fractals)的方法和多尺度子回歸的方法(Multiresolution simultaneous autoregressive， MRSA)等。 ? 基于信號(hào)處理的方法 :利用信號(hào)處理的頻率分析理論來提 取紋理特征，包括基于傅立葉變換域 (Fourier domain)的方法、基于加博濾波器 (Gabor filter)的方法、基于小波域 (Wavelet)的方法。 圖像 檢索中的相似性度量方法 第二章 基于內(nèi)容圖像檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 7 相似性度量方法 【 1】 用來計(jì)算兩幅 圖像 之間的相似程度，其模型是多種多樣的，但沒有一個(gè)適用于任何情況，主要原因是相似性具有特征依賴的特點(diǎn)，不同的特征應(yīng)該應(yīng)用不同的度量方法。以下是目前 圖像 檢索中用到的若干相似性度量方法。 1. 距離度量方法 :圖像 特征抽取后，最直觀的方法是直接利用特征向量的距離來衡量兩幅圖像的相似性，下面列 舉了一些 CBIR 系統(tǒng)中常用的距離公式，其中用 x， y 代表兩幅 圖像 對(duì)應(yīng)的特征矢量， ， 代表特征分量。 ? Minkkowsky 距離： () ? Manhattan 距離： () ? Euclidean 距離： () Euclidean 距離沒有考慮到向量各維之間的關(guān)系，各維分量同等重要。 ? 加權(quán) Euclidean 距離： () 加權(quán) Euclidean 距離考慮不同維分量的重要性，而一般的 系統(tǒng)抽取的特 征的重要性是不同的，因此此距離應(yīng)用范圍很廣。 ? Mahalanobis 距離： 8 基于視覺感知的圖像檢索 () A矩陣是相應(yīng)的協(xié)方差矩陣，此距離考慮了樣品的統(tǒng)計(jì)一性和樣品之間的相關(guān)性。 ? 直方圖交 () 該距離只能用于以直方圖為特征矢量的相似性度量。 2. 人類視覺相似性模型 : 距離度量模型的公式應(yīng)受以下四條計(jì)量公理的限制 : D(A,A)=D(B,B)=0 自相似常數(shù)公理 D(A,B) D(A,A) 最小公理 D(A,B)=D(B,A) 對(duì)稱性公理 D(A,B)+D(B,C) D(A,C) 三角不等公理 然而，這四條公理對(duì)于 圖像 檢索來說并不完全成立，實(shí)驗(yàn)證明，這四條公理都有反例。如在認(rèn)知試驗(yàn)中，人們?nèi)菀装涯撤N特征不太顯著的物體認(rèn)為象特征顯著的物體，卻不認(rèn)為顯著的物體象不顯著的物體，這就違反了對(duì)稱性公理。所以，有文獻(xiàn)提出了模糊特征對(duì)照 FFC(Fuzzy feature contrast)模型，其相似性計(jì)算公式如下 : () 在 FFC 中， 圖像 的特征向量的各維分量的取值是模糊的 ，只要各個(gè)特征取值范圍有限， FFC 度量比傳統(tǒng)的距離度量更為接近人類對(duì)相似性衡量的心理上的特點(diǎn)。 第二章 基于內(nèi)容圖像檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 9 圖像 檢索算法的評(píng)價(jià)準(zhǔn)則 由于 圖像 檢索具有很強(qiáng)的主觀性，因此，評(píng)價(jià)一個(gè) 圖像 檢索算法性能的優(yōu)劣并不容易。下面列舉的是幾個(gè)公認(rèn)的 圖像 檢索算法的評(píng)價(jià)準(zhǔn)則。 ? 準(zhǔn)確率 (Precision rate)和回想率 (Recall rate): 對(duì)于一幅查詢 圖像 Q，其準(zhǔn)確率和回想率分別定義為 : PR=n/T RR=n/N 其中 : N:人眼主觀從 圖像 庫中找出域 圖像 Q相似的 圖像 數(shù)目 。 n:圖像 檢索系統(tǒng)自動(dòng)檢索輸出的包含在 N中的 圖像 數(shù)目 。 T:圖像 檢索系統(tǒng)自動(dòng)檢索輸出的總的 圖像 數(shù)目。 回想率相當(dāng)于在一定范圍內(nèi)的查全率，而準(zhǔn)確率相當(dāng)于在一定范圍內(nèi)的查準(zhǔn)率。這兩個(gè)指標(biāo)都是越大越好?？梢越y(tǒng)計(jì)多幅查詢 圖像 的平均檢索準(zhǔn)確率和回想率，直接分別用它們來衡量 圖像 檢索算法的性能，也可以使用準(zhǔn)確率對(duì)回想率的曲線來評(píng)價(jià)算法的性能，另外，還可以根據(jù)準(zhǔn)確率和回想率計(jì)算出檢索效率來評(píng)價(jià)檢索算法，檢索效率定義為 : () ? 命中準(zhǔn)確率 : 準(zhǔn)確率和回想率需要用戶在 圖像 庫中人工找出與查詢 圖像 相似的 圖像 集，這將耗費(fèi)大量的人工勞動(dòng)，因此這種度量準(zhǔn)則僅適用于小型 的 圖像 數(shù)據(jù)庫。如果 圖像 庫測(cè)試集已經(jīng)提前進(jìn)行了分類，如 Corel Image Gallery 等，就可以簡單的將每一個(gè) 圖像 類作為其中每一幅 圖像 的 Ground truth，由此來度量算法的檢索準(zhǔn)確率。設(shè) 圖像 Q 所在的 Ground truth 圖像 集為 G， 圖像 檢索算法自動(dòng)輸出了 T 個(gè)相似 圖像 ，其中命中 G 的有 n 圖像 ，此次檢索的準(zhǔn)確率定義為 : () 由此，平均多個(gè)查詢的檢索準(zhǔn)確率就可以度量算法的檢索性能。 排序值評(píng)測(cè)法 10 基于視覺感知的圖像檢索 設(shè) Q 為一幅查詢 圖像 ， , ,??， 為 圖像 檢索算法輸出與 Q 相關(guān)的一且從主觀上認(rèn)為相似的 圖像 (等同于上公式中的 )， ( )， i=1， 2，??， n 是它們?cè)跈z索結(jié)果中對(duì)應(yīng)的排序值，則有兩個(gè)指標(biāo)可以衡量檢索算法的性能 : () () 其中，第一個(gè)指標(biāo)定義了所有相關(guān) 圖像 在檢索結(jié)果中的平均排序，顯然，此指標(biāo)越小，檢索算法的準(zhǔn)確率越高。第二個(gè)指標(biāo)定義了所有相關(guān) 圖像 在靠前排列的緊密程度，此值越大越好，如果所有的相關(guān) 圖像 都排在最前面，則此指 標(biāo)取值為 1。 應(yīng)當(dāng)指出，除了 主 觀因素， 圖像 檢索的準(zhǔn)確率與 圖像 數(shù)據(jù)庫有很大的關(guān)系，即使同一算法根據(jù)相同的評(píng)價(jià)方法在不同的數(shù)據(jù)庫中計(jì)算出的檢索準(zhǔn)確率都可能會(huì)存在較大的差異。目前流行的評(píng)價(jià)策略是 :根據(jù)具體的實(shí)驗(yàn)環(huán)境，采用上述三種評(píng)價(jià)方法之一，在 圖像 數(shù)據(jù)庫中任意挑選若干個(gè) 圖像 進(jìn)行檢索，用平均檢索準(zhǔn)確率來衡量算法的效率。 本章簡單介紹了基于內(nèi)容 圖像 檢索研究中的一些預(yù)備知識(shí)和關(guān)鍵技術(shù)，主要包括 三 個(gè)方面的內(nèi)容 :描述圖像的低層視覺特征、圖像的相似度度量方法和圖像 檢索算法 的評(píng)價(jià)準(zhǔn)則 。通過這些預(yù)備知識(shí)的介紹， 讓我 能夠從整體上了 解該領(lǐng)域研究的主要問題和己有的工作基礎(chǔ)，同時(shí)也為后續(xù)章節(jié)的展開作了鋪墊。但是，每一部分 介紹的都比較概括，詳細(xì)的應(yīng)用將在下一章節(jié)進(jìn)行展開介紹 。第 三 章 視覺感知技術(shù)和 Itti 視覺注意模型 11 第 三 章 視覺感知技術(shù) 和 Itti 視覺注意模型 視覺注意機(jī)制 視覺注意 (Visual attention)是人類視覺 (Human vision)研究領(lǐng)域的重要課題，通俗地講，視覺注意就是研究人在觀看 圖像 時(shí)，到底對(duì)什么更加注意。從本質(zhì)上講，視覺注意是屬于神經(jīng)生物學(xué)范疇的概念，它意味著人具有精神或者觀察能量能夠集中的技能。從事視覺注意機(jī)制研究的學(xué)者大多是心理學(xué)家或生物 神經(jīng)學(xué)家，因此， 圖像 處理和計(jì)算機(jī)視覺領(lǐng)域并沒有對(duì)此產(chǎn)生很大的研究興趣，但是近幾年來，己經(jīng)有一些學(xué)者將注意機(jī)制的一些方法應(yīng)用到 圖像 處理應(yīng)用中。 研究視覺注意機(jī)制的一個(gè)重要實(shí)驗(yàn)被稱為眼動(dòng)實(shí)驗(yàn) (Eye movement)，即 :通過大量實(shí)驗(yàn)樣本 (人 )在觀察 圖像 時(shí)眼睛的轉(zhuǎn)動(dòng)頻率和視點(diǎn)位置的移動(dòng)歸納出若干能夠影響視覺注意的低層因素和高層因素。目前，總結(jié)出來的低層視覺特征有 : ※ 對(duì)比度 (Contrast):人往往會(huì)更加關(guān)注 圖像 中顏色或亮度反差較大的地方； ※ 尺寸 (Size):尺寸一大的物體更能吸引人的注意； ※ 形狀 (Shape):細(xì)長條的物體更能引起人的注意； ※ 顏色 (Color):人類視覺對(duì)某些顏色較為敏感，如紅色； ※ 運(yùn)動(dòng) (Motion):運(yùn)動(dòng)的區(qū)域能夠強(qiáng)烈地吸引人的注意。 影響視覺注意的高層因素包括 : ※ 位置 (Location):人往往對(duì)位于 圖像 中心的區(qū)域更加關(guān)注； ※ 前景和背景 (Foreground amp。 background):人們往往更關(guān)心 圖像 中的前景區(qū)域； ※ 人 (People):圖像 中的人或者人臉、手等都更加吸引觀察者的注意； ※ 觀察者自身的素質(zhì) (Context):觀察者自身的職業(yè)、受教育情況、性別等都會(huì)影響它們注意機(jī)制。 根據(jù) 眼動(dòng)實(shí)驗(yàn)總結(jié)的影響視覺注意的諸多因素，近年來，一些學(xué)者提出了視覺注意的計(jì)算模型。 Itti 等回顧了與視覺注意機(jī)制相關(guān)的一些工作，并且提出了一個(gè)自下而上 (Bottomup)、基于顯著度 (Saliency based)的注意計(jì)算模型。首先，12 基于視覺感知的圖像檢索 融合 圖像 的一些低層視覺特征生成關(guān)注度圖 (Saliency map)【 23】 ，然后使用一個(gè)動(dòng)態(tài)的神經(jīng)網(wǎng)絡(luò) (Dynamic neural work)按照顯著度遞減的順序依次發(fā)現(xiàn) 圖像 中的注意 點(diǎn)。在此工作中，顯著度圖是一個(gè)相當(dāng)重要的貢獻(xiàn)，它用具體的定量描述給出了 圖像 中每一點(diǎn)受 關(guān)注程度的情況。 Privitera 等通過對(duì)大量的人做眼動(dòng)實(shí)驗(yàn)，然后將人工實(shí)驗(yàn)的結(jié)果與常見的 圖像 處理算法的結(jié)果作對(duì)比，從而歸納出哪些 圖像 處理算法對(duì)興趣區(qū)域的發(fā)現(xiàn)更加有效。 有相關(guān)文獻(xiàn) 提出一種極大似然(Maximumlikelihood)方法來定義視覺注意的計(jì)算模型。 有相關(guān)文獻(xiàn) 將視覺注意模型應(yīng)用到