【正文】 圖像檢索技術，是指直接根據(jù)描述媒體對象內容的各種特征，從數(shù)據(jù)庫中查找出具有指定特征或含有特定內容的圖像。每天， 無論是軍用還是民用領域都會產(chǎn)生十億比特的圖 像 /視頻數(shù)據(jù)。41 已完成工作的總結 34 第五章 圖形用戶界面 GUI 的生成 17 第四章 基于視覺感知的圖像檢索技術 6 圖像檢索算法的評價準則 3 第二章 基 于內容圖像檢索的預備知識及關鍵技術 與一般的圖像分割技術不同，種子點的選取和區(qū)域增長過程都融合了個體視覺注意程度的信息 。 隨著基于內容的 圖像檢索技術的 漸漸 研究深入，一種基于視覺感知的圖像檢索技術逐漸活躍起來， 它 是 根據(jù) 人眼的視覺注意機制特點 進行檢索的，因而可以 提高圖像檢索的精準率。1 國內外研究和發(fā)展現(xiàn)狀 9 第三章 視覺感知技術和 Itti 視覺注意模型 29 HSV 顏色空間的直方圖特征提取 33 實驗結果與分析 本文對圖像檢索系統(tǒng)的結構、功能以及該領域相關技術進行了較為深入的研究，重點討論：如何利用、反映視覺感知特性，提高基于內容的圖像檢索 (ContentBased Image Retrieval， CBIR)系統(tǒng) 【 1】【 2】 的性能。傳統(tǒng)的基于文本的圖像檢索 技術 (TextBased Image Retrieval)是將圖像作為數(shù)據(jù)庫中存儲的一個對 象，然后利用人工對其進行人工標注，在系統(tǒng)檢索時，使用2 基于視覺感知的圖像檢索 標注以后得到的關鍵字進行匹配，這種做法本身存在著許多缺陷：首先，每一幅圖像都需要人工進行注釋，因此標注較大的圖像數(shù)據(jù)庫就需要大量的人力。 國內外研究和發(fā)展現(xiàn)狀 基于內容的 圖像 檢索技術始于 90 年代初期，目前己有十年的發(fā)展歷史，由于此技術涉及的領域很多，因此迅速成為研究的熱點，各大研究機構和公司如 :IBM、MIT、 Columbia、 Stanford、 UIUC、 UCSB、 Berkeley、 Microsoft 等都推出了它們的系 統(tǒng)，各大著名雜志 IEEE Trans. On PAMI、 IEEE Trans. On Image Processing、IEEE Trans. On Multimedia、 IEEE Trans. On CSVT、 Computer Vision and Image Understanding、 International Joural of Computer Vision、 Pattern Recognition、Signal Processing: Image Communication、 Joural of Electronic Imaging、 Multimedia Systems 等紛紛設?？榻B該領域研究的成果，著名的國際會議如 :IEEE Conference on CVPR、 IEEE Conference on ICME、 IEEE Conference on ICIP、 ACM 第一章 緒論 3 Conference on Multimedia、 SPIE Conference on Electronic Imaging 等紛紛設專題交流最新的研究成果 【 2】 。 其實，我們可以分析用戶在使用舉例查詢時的具體過程來得到一些有用的信息，或許通過這些有用的信息能夠總結出有效的方案。 （ 2）提出了一個感興趣物體自動提取算法，此方法有效地結合了感興趣模型和 圖像 分割技術，實現(xiàn)過程相當簡單，但效果很好 。 一、顏色特征描述 顏色是彩色 圖像 最顯著的、最直觀的物理特征，因此顏色特征的描述方法很多。 二、 形狀特征描述 形狀是刻畫物體的最本質 的 特征，也是最難描述的 圖像 特征之一，目前用于圖像 檢索的形狀描述方法大致分為兩類 :基于邊緣和基 于區(qū)域的形狀方法 . ? 基于邊緣的形狀描述方法 :利用 圖像 的邊緣信息，如邊緣曲線、邊緣方向直 方圖、角點、興趣點等來描述物體的形狀 。 ? 基于信號處理的方法 :利用信號處理的頻率分析理論來提 取紋理特征，包括基于傅立葉變換域 (Fourier domain)的方法、基于加博濾波器 (Gabor filter)的方法、基于小波域 (Wavelet)的方法。 2. 人類視覺相似性模型 : 距離度量模型的公式應受以下四條計量公理的限制 : D(A,A)=D(B,B)=0 自相似常數(shù)公理 D(A,B) D(A,A) 最小公理 D(A,B)=D(B,A) 對稱性公理 D(A,B)+D(B,C) D(A,C) 三角不等公理 然而，這四條公理對于 圖像 檢索來說并不完全成立，實驗證明，這四條公理都有反例。 回想率相當于在一定范圍內的查全率，而準確率相當于在一定范圍內的查準率。目前流行的評價策略是 :根據(jù)具體的實驗環(huán)境，采用上述三種評價方法之一，在 圖像 數(shù)據(jù)庫中任意挑選若干個 圖像 進行檢索，用平均檢索準確率來衡量算法的效率。目前，總結出來的低層視覺特征有 : ※ 對比度 (Contrast):人往往會更加關注 圖像 中顏色或亮度反差較大的地方； ※ 尺寸 (Size):尺寸一大的物體更能吸引人的注意； ※ 形狀 (Shape):細長條的物體更能引起人的注意； ※ 顏色 (Color):人類視覺對某些顏色較為敏感，如紅色； ※ 運動 (Motion):運動的區(qū)域能夠強烈地吸引人的注意。 有相關文獻 提出一種極大似然(Maximumlikelihood)方法來定義視覺注意的計算模型。 視覺注意計算模型和關注度圖 Itti提出的基于顯著度的空間視覺注意模型 , 是當前視覺注意機制領域中具有主導地位的自底向上的視覺注意模型，為實現(xiàn)本文相關功能提供了必要的理論基礎和指導。但是，目前將這種自底向上的數(shù)據(jù)驅動的視覺注意機制引入到圖像信息處理過程是非常有意義的。最后，根據(jù)得到的顯著圖定位待注意目標，完成對目標的關注。使用以下公式計算亮度： () 使用 ，來計算亮度高斯金字塔 . 為了突出不同顏色通道產(chǎn)生的反差效果，模型計算對應紅綠 (RG)對比通道以及藍黃 (BY)對比通道的顏色圖 : 16 基于視覺感知的圖像檢索 () () 使用 和 構建顏色高斯金字塔 和 。例如，對同一區(qū)域進行 0176。 Gabor濾波器與人類初級視皮層的簡單細胞的生物作用相仿。對每維特征進行中央周邊差操作，以探測場景或圖像中的空間不連續(xù)性，很好地模仿了視網(wǎng)膜上探測突出目標的機制。 ,45176。同時，顯著目標可能在某一通道對應的特征圖中引起強烈的響應，但是這種響應往往會被其它特征通道中的噪聲所湮沒。為了避免將具有均勻紋理的區(qū)域當成顯著的目標，公式中引入了一個偏置常量 ，抑制相應的區(qū)域 (文中取經(jīng)驗值 )。 第 三 章 視覺感知技術和 Itti 視覺注意模型 21 圖 經(jīng)過迭代標準化操作后，將不同尺度上的亮度、顏色和方向特征圖疊加起 來，形成各個維度對應的突出圖 CM(Conspicuity Maps)。 第 四 章 基于視覺感知的圖像檢索技術 23 第 四 章 基于視 覺感知的圖像檢索技術 算法主要流程 用戶在檢索 圖像 中，往往只想利用例子 圖像 中的他們感興趣的物體來檢索，因此，本章算法的核心思想與用戶檢索過程相吻合。我們利用了視覺注意計算模型，假設某個物體引起視覺注意越強烈，就越可能成為用戶感興趣的物體。 ※ 相對位置指示圖 (Relative position denote map):在顏色類 圖像 的基礎上生成一個相對位置指示圖，它能夠估測出每一個象素點的相對位置，是處于某一區(qū)域的內部還是更靠近邊緣 。 圖像 中已經(jīng)被認定屬于感興趣物體的點稱之為己標注點，不屬于任何一個物體的點稱為未標注點。 于是，下一步需要解決的問題就是如何確定 閾值 和 ，由于不同的 圖像的內容不相同，因此固定的取值是相當不合適的。 基于感興趣物體的特征 提取 與表達 圖像特征的提取與表達是基于內容的圖像檢索技術的基礎。事實上，圖像特征的不同表達方式從各個不同的角度刻畫了該特征的某些性質。它是所有物體表面共有的內在特性，例如 云彩、樹木、磚、織物等都有各自的紋理特征。首先，計算圖像中大小為 2k 2k個像素的活動窗口中像素的平均強度值，即有 () 其中 k=0, 1, ? , 5 而 g(i, j)是位于 (i, j)的像素強度值。 32 基于視覺感知的圖像檢索 ? 方向度 方向 度的計算需要首先計算每個像素處的梯度向量。 對于圖像 的顏色直方圖特征，由于顏色量化后的顏色空間為 256 維，我們對分割后的圖像進行直方圖提取，如圖所示，對應的橫坐標為量化后的像素值，范圍在 0256 之間，縱坐標對應的是歸一化后的值（即該像素值的數(shù)量總量 /圖像總像素點數(shù)量），這樣 256 維的特征向量就都屬于（ 0,1）范圍內了，且總和相加為1。 圖 (a)和 圖 (b)給出了本文算法和 傳統(tǒng)的基于 全局的顏色直方圖 的檢索方法 的平均 查全率 和平均 查準率 的對比結果 ，其中查全率是在輸出 100 幅圖像中包含的相關圖像數(shù)目的比例，查準率是輸出三十幅圖像時這三十幅圖像里 面的相第 四 章 基于視覺感知的圖像檢索技術 35 關圖像占的比例，而平均查全率和平均查準率即為每一類圖像取 10 幅分別作為待檢索圖像得到各自的查全率和查準率的平均值 。 第 五 章 圖像用戶界面 GUI 的生成 39 圖 (a)第 422 幅 恐龍類圖像 圖 (b) 第 644 幅花朵類圖像 40 基于視覺感知的圖像檢索 圖 (c) 第 704 幅馬類圖像 圖 (d) 第 946 幅食物類圖像 第 六 章 總結與展望 。 36 基于視覺感知的圖像檢索 第 五 章 圖像用戶界面 GUI 的生成 37 第五章 圖形用戶界面 GUI 的 生成 圖形用戶界面（ Graphical User Interfaces ， GUI）則是由窗口、光標、按鍵、菜單、文字說明等對象（ Objects）構成的一個用戶界面。 圖 顏色直方圖示例 相似 性 度量 為了在線檢索節(jié)省了提取全部數(shù)據(jù)庫圖片特征的時間，我在此采取了一個離線提取特征數(shù)據(jù)的操作，將數(shù)據(jù)庫中 1000 幅圖像進行特征提取后得到了兩個特征數(shù)組，即一個 256*1000 的顏色特征數(shù)組和一個 3*1000 的紋理特征數(shù)組，將此作為數(shù)據(jù)庫的特征數(shù)據(jù)庫保存在 MATLAB的 mat文件中，當開始執(zhí)行在線檢索功能時，只需直接使用 load 命令將兩個特征數(shù)組加載到當前檢索過程，與程序提取的當前待檢索圖像的特征值進行相似性對比即可。 () 當所有像素的梯度向量都被計算出來后，一個直方圖 HD 被構造用來表達 θ值。 () () 其中對于每個像素，能使 E 值達到最大（無論方向）的 k 值用來設置最佳尺寸。正因為如此，紋理特征在基于內容的圖像檢索中得到了廣泛的應用，用戶可以通過提交包含有某種紋理的圖像來查找含有相似紋理的其他圖像。由于物體的形狀信息相當難刻畫，所以我采用了顏色和紋理描述方法。 其中 基于文本的圖像特征提取在數(shù)據(jù)庫系統(tǒng)和信息檢索等領域中已有深入的研究，本 節(jié) 中我主要 利用的是 圖像視覺特征的提取和表達。我們使用一個基于信息 熵 的自適應 閾值 確定方法，此方法己經(jīng)被證明能夠在兩類問題分類的應用中取的良好的效果 。與物體 O相鄰的點集合可以定義為 : (