【正文】 ) 26 基于視覺(jué)感知的圖像檢索 其中， 表示以點(diǎn) 為中心的 3 3的小區(qū)域。 ※ 后期處理 (PostProcessing):使用兩個(gè)后處理技術(shù)，填充區(qū)域內(nèi)部孔洞和合并相鄰且相似區(qū)域，以期獲得最佳的結(jié)果。 感興趣物體 的自動(dòng)提取算法 關(guān)注度圖的生成 本小節(jié)將結(jié)合關(guān)注度圖和種子區(qū)域增長(zhǎng)算法來(lái)自動(dòng)提取 圖像 中感興趣的物體。 圖 本文算法流程圖 首先使用 Itti 提出的視覺(jué)注意計(jì)算模型對(duì)待查詢 圖像 進(jìn)行處理，得到 圖像 中每一點(diǎn)受關(guān)注程度的定量描述值，有理由認(rèn)為受關(guān)注程度越高則觀察者對(duì)其的興趣也就越大。亮度突出圖為 : () 顏色突出圖為 : () 方向突出圖為 : () 最后，將不同特征下的突出圖做加權(quán)疊加得到顯著圖 SM(Saliency Map)，前模型中設(shè)置每個(gè)特征的權(quán)值都是一樣的。過(guò)少的迭代次數(shù)，會(huì)造成激勵(lì)和抑制不足，目標(biāo)突出和噪聲抑制不明顯。顯著性視覺(jué)注意模型，使用一個(gè)非線性的標(biāo)準(zhǔn)化算子 N(?)對(duì)圖像進(jìn)行迭代操作，抑制 噪聲，突出顯著目標(biāo)，為特征圖的合并打下良好基礎(chǔ)，使合并后的結(jié)果更加直觀地反映圖像不同位置的顯著性。 ,135176。為金字塔的 3,4,5 尺度級(jí)別，周邊尺度 ，其中 ∈ {3,4}，從而產(chǎn)生六對(duì)尺度， (36， 37， 47， 48， 58，59)。利用 Gabor小波的尺度函數(shù)和對(duì)應(yīng)的小波函數(shù)構(gòu)成一對(duì)奇偶濾波器，它具有很好的時(shí)空域局部化特點(diǎn)，可較好地模擬人類視皮層簡(jiǎn)單細(xì)胞的信號(hào)處理特點(diǎn)。 ,90176。 45176。同時(shí)，使用禁止返回 IOR機(jī)制使注意力不返回已經(jīng)關(guān)注過(guò)的區(qū)域。同時(shí)，自底向上的視覺(jué)注意模型的研究能夠推動(dòng)自頂向下視覺(jué)注意模型的研究進(jìn)一步深入，并且和神經(jīng)生物學(xué)方面的視覺(jué)注意機(jī)制研究工作相互促進(jìn)、相輔相成。這第 三 章 視覺(jué)感知技術(shù)和 Itti 視覺(jué)注意模型 13 意味著，在圖像中，興 趣區(qū)域和非興趣區(qū)域享有相同的計(jì)算資源，分配到同樣的計(jì)算時(shí)間。此方法在手寫字識(shí)別和人臉檢測(cè)方面都取得了不錯(cuò)的結(jié)果。 background):人們往往更關(guān)心 圖像 中的前景區(qū)域； ※ 人 (People):圖像 中的人或者人臉、手等都更加吸引觀察者的注意； ※ 觀察者自身的素質(zhì) (Context):觀察者自身的職業(yè)、受教育情況、性別等都會(huì)影響它們注意機(jī)制。通過(guò)這些預(yù)備知識(shí)的介紹， 讓我 能夠從整體上了 解該領(lǐng)域研究的主要問(wèn)題和己有的工作基礎(chǔ)，同時(shí)也為后續(xù)章節(jié)的展開(kāi)作了鋪墊?？梢越y(tǒng)計(jì)多幅查詢 圖像 的平均檢索準(zhǔn)確率和回想率，直接分別用它們來(lái)衡量 圖像 檢索算法的性能，也可以使用準(zhǔn)確率對(duì)回想率的曲線來(lái)評(píng)價(jià)算法的性能，另外，還可以根據(jù)準(zhǔn)確率和回想率計(jì)算出檢索效率來(lái)評(píng)價(jià)檢索算法，檢索效率定義為 : () ? 命中準(zhǔn)確率 : 準(zhǔn)確率和回想率需要用戶在 圖像 庫(kù)中人工找出與查詢 圖像 相似的 圖像 集，這將耗費(fèi)大量的人工勞動(dòng)，因此這種度量準(zhǔn)則僅適用于小型 的 圖像 數(shù)據(jù)庫(kù)。所以，有文獻(xiàn)提出了模糊特征對(duì)照 FFC(Fuzzy feature contrast)模型，其相似性計(jì)算公式如下 : () 在 FFC 中， 圖像 的特征向量的各維分量的取值是模糊的 ，只要各個(gè)特征取值范圍有限， FFC 度量比傳統(tǒng)的距離度量更為接近人類對(duì)相似性衡量的心理上的特點(diǎn)。以下是目前 圖像 檢索中用到的若干相似性度量方法。 三、紋理特征描述 紋理是 圖像 的重要特征之一，其本質(zhì)是刻畫象素的鄰域灰度空間分布規(guī)律。其核心思想是在顏色空間中采用一定的量化方法對(duì)顏色進(jìn)行量化，然后統(tǒng)計(jì)每一各量化通道在整幅 圖像 顏色中所占的比重。第二章 基于內(nèi)容圖像檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 5 第二章 基于內(nèi)容 圖像 檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 為了后續(xù)各章內(nèi)容的展開(kāi)，本章將系統(tǒng)地介紹基于內(nèi)容 圖像 檢索領(lǐng)域研究的一些預(yù)備知識(shí)和若干關(guān)鍵技術(shù)。從用戶的查詢過(guò)程不難看出，用 戶一般只對(duì)例子 圖像 中的某些物體感興趣，因此，從用戶的角度出發(fā)，使用全局的 圖像 特征很難滿足用戶的希望，而基于區(qū)域的方法提取的區(qū)域大多用戶根本不感興趣，也不是最佳的方案。它的目的是為了克服使用全局 圖像 特征無(wú)法滿足用戶在物體層 (Object level)完成檢索的愿望。更為重要的是，人們對(duì)于一幅圖像的理解有著強(qiáng)烈的主觀性，所以在其注釋的過(guò)程中完全可能出現(xiàn)理解上的偏差，這就直接導(dǎo)致了在檢索的過(guò)程中不可避免的出現(xiàn)錯(cuò)誤。 本章內(nèi)容安排如下： 1． 1節(jié)，簡(jiǎn)述圖像檢索的應(yīng)用和技術(shù)背景： 1． 2節(jié)，國(guó)內(nèi)外研究和發(fā)展現(xiàn)狀； 1． 3節(jié)，本文的研究?jī)?nèi)容及章節(jié)安排； 圖像檢索的應(yīng)用和技術(shù)背景 隨著多媒體技術(shù)、計(jì)算機(jī)技術(shù)、通信技術(shù)以及互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，信息數(shù)量和信息媒體種類在不斷增加，各種各樣的信息被人們更多的接觸。41 ii 目錄 對(duì)圖像檢索技術(shù)未來(lái)的展望 該方法 使用 Itti的視覺(jué)注意模型 計(jì)算得到 一個(gè) 關(guān)注度圖， 在 關(guān)注度圖 基礎(chǔ)上 ，使用種子區(qū)域增長(zhǎng)技術(shù) 實(shí)現(xiàn) 對(duì)圖像中感興趣物體 的 自動(dòng)提取 。本 論文 重點(diǎn) 圍繞基于視覺(jué)感知的圖像檢索進(jìn)行研究 ，并提出了一種 基于視覺(jué)感知的圖像檢索方法 。2 本文的研究?jī)?nèi)容及章節(jié)安排 41 致謝 主要工作集中在視覺(jué)注意模型的建立、感興趣目標(biāo)的自動(dòng)提取、顏色空間的量化、底層特征提取、相似度量設(shè)計(jì)五個(gè)方面。其次，圖像內(nèi)容非常豐富，人工注釋所采用的少量文字很難充分表達(dá)圖像的內(nèi)涵。 基于區(qū)域 (Regionbased)的檢索方法是目前基于內(nèi)容的 圖像 檢索研究的熱點(diǎn)之一。一般地，用戶在檢索之前應(yīng)當(dāng)有自己希望檢索的物體，如 :一只老虎、一條魚等，然后他尋找一幅或多幅 圖像 包含他感興趣的物體或者能夠代表其檢索目的，然后將這些 圖像 作為例子提供給 圖像 檢索系統(tǒng)，系統(tǒng)按照一定的特征描述和相似度度量方法給出與之相似的 圖像 集合。 本文的結(jié)構(gòu)安排如下：第二章，介紹 基于內(nèi)容 圖像 檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) ； 第三章，介紹 視覺(jué)感知 技術(shù)和 Itti 視覺(jué)注意模型 【 9】【 10】【 11】 ； 第四章， 基于視覺(jué)感知的圖像檢索技術(shù)， 詳細(xì)介 紹本文算法的技術(shù)細(xì)節(jié)、 模擬實(shí)驗(yàn) 和最后的檢索平臺(tái)的展示 ； 第五章， 最后給出本文的 總結(jié)和對(duì)圖像檢索未來(lái)的展望 。 ? 顏色直方圖 (Color histogram):顏色直方圖具有與生俱來(lái)的旋轉(zhuǎn)不變性(Rotationinvariance)、尺度不變性 (Sealeinvariance)和平移不變性(Translationinvariance)，因此它被被廣泛的 應(yīng)用到 圖像 檢索中。 ? 基于區(qū)域的形狀描述方法 :利用區(qū)域內(nèi)的灰度分布信息，包括不變矩法、小 波重要系數(shù)法等。 圖像 檢索中的相似性度量方法 第二章 基于內(nèi)容圖像檢索的預(yù)備知識(shí)及關(guān)鍵技術(shù) 7 相似性度量方法 【 1】 用來(lái)計(jì)算兩幅 圖像 之間的相似程度，其模型是多種多樣的，但沒(méi)有一個(gè)適用于任何情況，主要原因是相似性具有特征依賴的特點(diǎn)，不同的特征應(yīng)該應(yīng)用不同的度量方法。如在認(rèn)知試驗(yàn)中，人們?nèi)菀装涯撤N特征不太顯著的物體認(rèn)為象特征顯著的物體，卻不認(rèn)為顯著的物體象不顯著的物體，這就違反了對(duì)稱性公理。這兩個(gè)指標(biāo)都是越大越好。 本章簡(jiǎn)單介紹了基于內(nèi)容 圖像 檢索研究中的一些預(yù)備知識(shí)和關(guān)鍵技術(shù)，主要包括 三 個(gè)方面的內(nèi)容 :描述圖像的低層視覺(jué)特征、圖像的相似度度量方法和圖像 檢索算法 的評(píng)價(jià)準(zhǔn)則 。 影響視覺(jué)注意的高層因素包括 : ※ 位置 (Location):人往往對(duì)位于 圖像 中心的區(qū)域更加關(guān)注； ※ 前景和背景 (Foreground amp。 有相關(guān)文獻(xiàn) 將視覺(jué)注意模型應(yīng)用到目標(biāo)識(shí)別中，結(jié)合一些先驗(yàn)知識(shí)利用此模型濾除掉 圖像 中與待識(shí)別目標(biāo)無(wú)關(guān)的部分，這樣既可以減小計(jì)算量節(jié)省識(shí)別時(shí)間，還可以使系統(tǒng)專注于 圖像中的一部分區(qū)域，提高了識(shí)別的精度。 在數(shù)字圖像處理領(lǐng)域內(nèi)，在缺乏先驗(yàn)信息的情況下對(duì)圖像進(jìn)行理解，由于沒(méi)有明確的目標(biāo)和目的，大多數(shù)的傳統(tǒng)方法都會(huì)采取對(duì)圖像進(jìn)行全面分析的方式。通過(guò)計(jì)算機(jī)建模，場(chǎng)景中的突出目標(biāo)因其特殊的視覺(jué)特征分布模式而具有較高的顯著性，根據(jù)顯著性的優(yōu)先級(jí)計(jì)算程序就能夠快速準(zhǔn)確地認(rèn)知場(chǎng)景內(nèi)容，進(jìn)行邏輯推理和決策。模型中使用勝者為王 WIA競(jìng)爭(zhēng)網(wǎng)絡(luò)尋找顯著圖中存在的 最顯著的點(diǎn)同時(shí)返回其坐標(biāo)。 然后，使用 Garbor濾波器對(duì)亮度金字塔 進(jìn)行濾波，濾波器設(shè)定四個(gè)主要的方向 : ∈ {0176。 ,45176。 1985年提出了二維 Gabor濾波器理論，并指出二維 Gabor濾波器可以同時(shí)在空域、頻域和方向上獲得最佳的分辨率，可以在頻域不同尺度、不同方向 上提取相關(guān)的特征。對(duì)于每維特征，中央尺度。 ,90176。使用合適的合并策略，能凸現(xiàn)真正顯著的目標(biāo)，有效地抑制噪聲。 圖 使用標(biāo)準(zhǔn)化算子進(jìn)行局部迭代的 流程圖 20 基于視覺(jué)感知的圖像檢索 迭代的次數(shù)可以是任意的，對(duì)于輸入的二維非空特征圖，過(guò)多的迭代次數(shù)最終導(dǎo)致在特征圖中形成一個(gè)單峰。這里使用到跨尺度加⊕操22 基于視覺(jué)感知的圖像檢索 作，將特征圖約減到尺度級(jí)別 σ =4 金字塔圖的大小，然后將特征圖做點(diǎn)對(duì)點(diǎn)加操作。圖 給出了算法的基本流程圖。在感興趣物體的提取過(guò)程中，使用了種子區(qū)域增長(zhǎng)技術(shù)，與一般的 圖像 分割技術(shù) 相似度 計(jì)算 顏色紋理特征提取 示例 圖像 圖像 數(shù)據(jù) 特征庫(kù) 檢索結(jié)果 感興趣區(qū)顏色量化 視覺(jué)注意模型 感興趣區(qū)自動(dòng)提取 24 基于視覺(jué)感知的圖像檢索 不同，種子點(diǎn)的選取和區(qū)域增長(zhǎng)過(guò)程都融合了視覺(jué)注意程度的信息。 ※ 感興趣物體種子區(qū)域的選取 (Attention seed area determination):結(jié)合相對(duì)位置指示圖和注意度圖選擇用于開(kāi)始感興趣物體生長(zhǎng)的種子區(qū)域 : ※ 感興趣物體生長(zhǎng) (Attention objects growing):從種子區(qū)域開(kāi)始依次增長(zhǎng)感興趣物體，增長(zhǎng)過(guò)程由注意度圖和相對(duì)位置指示圖來(lái)共同引導(dǎo)和控制 。于是，物體 O的生長(zhǎng)就可以描述為 :不斷地將未標(biāo)注的、與屬于口的點(diǎn)相鄰且通過(guò)相似度測(cè)試的點(diǎn)歸入物體 O。最佳的 閾值 應(yīng)當(dāng)能夠自動(dòng)地隨著 圖像 的具體內(nèi)容而 自適應(yīng)地變化。從廣義上講，圖像的特征包括基于文本的特征（如關(guān)鍵字、注釋等）和視覺(jué)特征（如色彩、紋理、形狀、對(duì)象表面等）兩類。 在本文算法中，圖像用感 興趣物體的特征來(lái)代表 。紋理特征包含了物體表面結(jié)構(gòu)組織排列的重要信息以及它們與周圍環(huán)境的聯(lián)系。然后，對(duì)于每個(gè)像素，分別計(jì)算它在水平和垂直方向上互不重疊的窗口之間的平均強(qiáng)度差。該向量的模和方向分別定義 為 () () 其中 Δ H 和 Δ V 分別是通過(guò)圖像卷積下列兩個(gè) 3x3 操作符所得的水平和垂直方向上的變化量。 第 四 章 基于視覺(jué)感知的圖像檢索技術(shù) 33 對(duì)于圖像的紋理特征，由于提取的粗糙度、對(duì)比度和方向度三個(gè)特征各有各自的范圍，所以我對(duì)每個(gè)評(píng)價(jià)方面進(jìn)行歸一化操作，具體的方法是 P=(P1Pmin)/ (PmaxPmin) 就粗糙度這個(gè)方面舉例來(lái)說(shuō)，其中 P1 代表某一幅圖 像的粗糙度特征值， Pmax 和Pmin 分別指的是 1000 幅圖像的粗糙度特征值中最大和最小的值，這樣得到的 P當(dāng)前圖像的粗糙度特征值即在（ 0,1）之間。 圖 (a)平均 查全率 對(duì)比 （輸出 100 幅） 圖 (b)平均 查準(zhǔn)率 對(duì)比 （輸出 30 幅） 由上面兩個(gè)表格可以很明顯的看出，雖然對(duì)于某些例如風(fēng)景和建筑的語(yǔ)義類圖像檢索準(zhǔn)確率不是十分理想，但是通過(guò)對(duì)比發(fā)現(xiàn)，本文的算法在這 10 類圖像中的實(shí)驗(yàn)中都具有相對(duì)于傳統(tǒng)的檢索方法更高的查 全率和查準(zhǔn)