【文章內容簡介】 合的數(shù)目 n，設 R 為相關圖像數(shù)目， p 為相關圖像的排序序號， T 為實際的相關圖像數(shù)目，評價參數(shù)為： 其中 AVPR 是相關圖像的平均排序， LAVPR 是理想的相關圖像的平均排序， MT 為丟失的相關圖像率。一般地， AVPR 和 LAVPR 越小，檢索算法越好， MT 越好，性能越好。 AVPR=R1 ??Ri pi1， LAVPR=2T， MT=TR ， 第二章 Web 圖像檢索原理 基于文本的圖 像 檢索 基于文本的圖像檢索方法誕生于二十世紀 70年代，是圖像檢索方法的常用技術之一，它利用人工進行圖像語義識別，并用相應的文本關鍵詞對圖像語義進行注解以實現(xiàn)圖像的檢索。由于語言文字是人們進行語義表達最直觀和熟知的手段，也是檢索技術中廣泛采用的檢索方法，故通過其實現(xiàn)的圖像檢索使得檢索形式較為簡便、且由于采用人工注解圖像語義，有效跨越了。語義鴻溝”，從一定意義上說是基于語義的圖像檢索方法。在圖像規(guī)模較小的初期應用中，這種方法有效地滿足了圖像的檢索需求，然而，隨著圖像檢索應用的不斷深入，利用人工提取圖像語義標識以實現(xiàn)檢索的方法存在著一些明顯的缺陷： 人工提取圖像語義標識需要耗費大量的人力資源， 尤其面對呈指數(shù)級增長態(tài)勢的圖像資源，完全依賴人工工作存在著明顯的效率問題； 人工實現(xiàn)圖像語義標識的提取過程存在著主觀片面性，圖像的語義豐富，充分理解圖像語義依賴于不同的知識結構及理解能力，不同人對其理解存在著主觀 差異性。 因此，面對不斷增長的圖像資源檢索需求，如何高效、客觀地實現(xiàn)圖像語義的識別是影響基于文本的圖像檢索方法發(fā)展的瓶頸技術。 基于文本的圖像檢索結構如下所示： 圖 基于文本的圖像檢索系統(tǒng)構成 圖像庫 文 本檢索 人工標注 圖像關鍵字 圖像文本數(shù)據(jù) 結果輸出 基于內容的圖像檢索 體系結構 本設計以 VC++為開發(fā)環(huán)境實現(xiàn)了一個基于內容的圖像檢索原型系統(tǒng)如圖 22 所示，主要用于驗證各種特征提取算法的可行性和有效性。首先對用戶提交的示例圖像進行特征提取，然后與圖像特征庫中的特征值進行匹配，最后將檢索結果返回給用戶。系統(tǒng)的關鍵模塊包括查詢模塊、特征提取模塊、匹配模塊，實際應用中每個模塊都有許多具體技術可以采用，下面主要討論各模塊的功能及相關實現(xiàn)技術。 圖 基于內容的圖像檢索系統(tǒng)結構 查詢模塊 查詢模塊用于 提供前端界面的有關查詢接口，用戶通過查詢界面訪問圖像庫從而找到滿足要求的圖像，檢索結果也是通過這個接口返回給用戶。通常提供用戶查詢的方法有 : (1)利用示例圖像 ： 即用戶給定一幅與期望圖像類似的圖像作為查詢圖像。 (2)利用繪制草圖 ： 即用戶借助繪圖工具繪制出待查詢圖像。 (3)利 用主色調的檢索 ： 用戶可以設置圖像顏色百分比和顏色分布信息，從而找到具有相似顏色及比率的圖像。 用戶界面 圖像輸入模塊 特征提取模塊 查詢接口模塊 圖像顯示模塊 檢索匹配模塊 圖像特征庫 特征提取模塊 基于內容的圖像檢索首先要解決的問題就是圖像內容的分析和表示。圖像內容的分析和表示指的是通過對圖像像素的顏色屬性以及像 素間的相住關系進行分析，從而得到一系列數(shù)字或者描述特征，這些特征可以在一定程度卜描述圖像本身的內容。然后，利用這此特征可以對圖像建立索引，從而達到圖像檢索的目的。因此，圖像內容的表示問題本質上是一個圖像特征的提取問題。 從廣義上來講，圖像的特征包括圖像的底層特征和高層語義特征。底層特征用來描述圖像共有的特征，主要包括顏色、紋理、形狀等 。后者則用來描述圖像自身的內容信息，比較抽象。本 設計 主 要 基于圖像底層特征的特征提取。 系統(tǒng)中的特征提取模塊負責圖像處理工作，具體實現(xiàn) CBIR 系統(tǒng)中支持的各種特征提取算法，從而能 從圖像中提取相應的特征信息。本節(jié)簡要地介紹幾種圖像特征。 常用的圖像特征 顏色特征： 顏色信息是在圖像檢索中 使用最廣泛的底層特征，它和圖像中的物體和場景有找緊密的聯(lián)系。與其他底層特征相比，顏色特征對于圖像縮放、旋轉、遮擋及其他形變有更強的魯棒性。 最早采用顏色特征進行圖像檢索的是由 Swain 和 Ballard 提出的基于顏色直方圖的檢索方法。圖像顏色特征的表達涉及如下幾個方面的問題 :一是選擇一個合適的顏色空間 。二是將顏色特征量化為向量形式 。三是定義種相似度 (距離 )標準用來度量不同圖像之間在顏色上的相 似性。由于顏色特征和其他特征相比具有一定的穩(wěn)定性，不隨物體的平移、旋轉、觀察距離的變化而變化，對于圖像縮放、旋轉、遮擋及其他形變 有著更強的變化。 紋理特征：紋理也是圖像的一個重要屬性。航空、遙感照片、織物設計圖案、復雜的自然風景以及動植物都有紋理。紋理特征有兩個要素構成： (1)紋理基元； (2)基元的排列。紋理基元是一種或多種圖像基元的組合 ，有一定的現(xiàn)狀和大小。紋理由紋理基元排列而成?；帕械氖杳艹潭?、周期性、方向性的不同，能使圖像的外觀產(chǎn)生極大地改變。 紋理可以認為是灰度 (顏色 )在空間以 一定的形式變化 而產(chǎn)生的圖案，是真實圖像區(qū)域固有的特征之一。類似于顏色，紋理也常取決于飛人們的感知，一般說來可以認為紋理是由許多相似接近的、互相編織的元素構成，所以直觀來說紋理描述可提供圖像區(qū)域的平滑、稀疏、規(guī)則性等特性 。 形狀特征： 形狀特征對于人類說是識別物體的主要信息，是一種重要的圖像內容表達手段。按表達的形式分，可分為基于邊界的和基于區(qū)域的兩種類型 。邊界特征包括：線型形狀，多邊形逼近，有限元模型和傅里葉描繪子。區(qū)域特征主要有矩不變量等。 形狀特征是比顏色和紋理更高層一些的特征，對形狀的表達比對顏色或紋理的表達從本質 上要復雜的多 ，圖像的形狀信息不隨圖像顏色等特征的變化而變化，是物體穩(wěn)定的特征。特別對于圖形，形狀是它唯一重要的特征。 形狀特征的各種表示方法中一個重要標準是它必須具有仿射不變性，即相對于旋轉平移和尺度變換具有不變性。通常來說，形狀特征有兩種表示方法，一種是基于邊界輪廓特征(contourbased)的，包括 :傅立葉形狀描述戶、小波輪廓描述子、邊界直方圖、鏈編碼、曲率尺度空間等，其中最典型的方法為傅立葉形狀描述子。一種是基于區(qū)域特征 (regionbased)的，如不變矩。前者只用到物體的外邊界，而后者則關 系到整個對象所在的區(qū)域。 語義特征： 圖像的視覺特征在一定程度上能代表圖像包含的信息，但事實上，人們判斷圖像的相似性并非僅僅建立在視覺特征的相似性上．更多的狀況下，用戶主要根據(jù)返回圖像 的含義，而不是顏色、紋理、形狀等特征，來判別圖像滿足自己需要的程度．這些圖像的含義就是圖像的高層語義特征，它包含了人對圖像內容的理解．基于語義的圖 像檢索的目的，就是要使計算機檢索圖像的能力達到人的理解水平．在一般的圖像內容層次模型中，語義位于最高層； 第 2層和第 3層之間的差別被許多學者稱為“語義鴻溝” ， 語義鴻溝的存在是目前CBIR系統(tǒng)還難以被普通用戶接受的原因．在某些狹窄的專業(yè)領域。比如指紋識別和醫(yī)學圖像檢索中，將圖像低層特征和高層語義建立某種聯(lián)系是可能的，但是 在廣泛領域內 ，低層視覺特征與高層語義之間并沒有很直接的聯(lián)系。 采用顏色、紋理、形狀等底層特征對圖像進行的描述往往與人對圖像的描述存在較大的差異，直接利用這些特征作為檢索依據(jù)常得不到令人滿意的結果。解決這類問題的辦法是采用高層的特征即“語義特征”進行檢索。由于它是從人類視覺理解出發(fā)，著眼于提取圖像中符合人類視覺的概念?；谡Z義的檢索技術難度很大，是圖像檢索領域的研究方向。 在語義級圖像檢索技術中，關鍵是實現(xiàn)語義的提取。這就要解決兩個問題：語義特征具有“模糊性”，因此要提取圖像的語義特征就必須解決特征的“模糊化”問題；語義特征與人的視覺理解緊密相關，所以在檢索中要融入人的視覺感知，在“理解”圖像的基礎上檢索圖像。 雖然采用語義內容進行查詢是最符合人的使用要求的方式，也是理想的檢索方式，但是就當前的計算機和圖像理解的發(fā)展水平來看，這種完全智能化的檢索方法前正處于研究階段，與實際應用還有較大的距離。 匹配模塊 查詢模塊將用戶的查詢請求通過特征提取模塊轉換為查詢特征向量，然 后調用匹配模塊計算特征庫中的侮一個特征與待查圖像特征的相似度，并按相似程度由大到小排列返回給用戶所需要的圖像。 基于內容的圖像檢索系統(tǒng)所使用的匹配不是精確匹配而是一種基一于相似的檢索，它關心的是排序，選擇合適的相似性度量函數(shù)很重要。目前研究圖像內容的相似性度量是指圖像特征間的相似性，是圖像檢索研究的重要組成部分。相似性度量方法的好壞影響到圖像檢索的性能 。而相似性度量的計算復雜性影響到圖像檢索的用戶響應時間。一般假設圖像特征矢量是距離空間中的元素 (其中的元素稱為點 )，通過計算兩點之間的接近程度來衡量圖 像特征之間的相似度。 相似性度量函數(shù) 對于圖像特征向量 X， Y，若滿足相似性度量中的正定性、對稱性和一三角不等性度量公理，它們之間的相似程度可以采用下面的距離度量或統(tǒng)計學方法來進行圖像相似性判斷。定義 D(I， J)為示例圖像 I 和圖像數(shù)據(jù)庫中圖像 J 之問的距離 表示圖像 I 的 N 維特征向量中第 i 個特征向量。 (1)Minkowski 距離 如果圖像特征向量互相獨立而且同等重要，那么可以采用 Minkowski 距離 L。來度量圖像之間的相似性 : 這里當 P分別等于 1， 2， ? ，∞，時， D(I， J)稱為 L1， L2， L3， ? ， L∞ 。 (2)歐幾里德距離 歐幾里德趾離是一個應用非常普遍的距離度量。它的計算簡單，并且與參考系統(tǒng)的旋轉不變量相關。它可以看作是當 p=2時的 Murkowski 距離吞，即 3)直方圖交距離 (Histogram intersection) 直方圖交距離 (Histogram intersection) G‘可以認為是 L， 距離的一種特殊形式， Swain等用直方圖交距離來計算圖像顏 色之間的相似性。圖像 I 和圖像 J 的直方圖間的交距離定義為 : D(I,J)= (??Ni Ifi1 )(fi(J)| p)P1 L2= 2)()(1JfiIfiNi??? S(I,J)=????NiNiJfiJfIfi11)())(),(min( 第三章 基于內容的圖像 顏色 特征提取 在圖像的形狀、顏色、紋理等特征中，顏色特征是最顯著 、最可靠、最穩(wěn)定的視覺特征，是人識別圖像的主要感知特征。相對幾 何特征而言，顏色對圖像中子對象的大小和方向的變化都不敏感，具有相當強的魯棒性。同時，在許多情況下，顏色又是描述一幅圖像最簡便而有效的特征。人們對于幅圖像的印象，往往從圖像中顏色的空間分布開 始。所有這些 都促使顏色成為基一于內容的圖像檢索所采取的主要手段， 如何準確充分的提取一幅圖像的顏色信息，井以適當?shù)姆绞奖硎?，將改接影響整個系統(tǒng)的效率和精度。 常用的顏色模型 所謂顏色模型就是指某個三維顏色空間的一個一可見光一子集，它包含某個顏色域的所有顏色。顏色模型的用途是在某個顏色域內方便地指定顏色，對于每一個顏色域都是可見光的子集，所以任何一個顏色模型都無法包含所有可見光。 RGB 模型 所謂 RGB 模型，是指采用 CIE 規(guī)定的、以 700nm(紅 )、 (綠 )、 (藍 )三個光色為三基元 ，及顏色的三個屬性所構成的模型。該模型將自然界的顏色通過選用這三基色按照不同比例混合而形成的模型，該模型可以用如下立方體來示意： 圖 RGB 顏色模型示意圖 值得注意的是， RGB 模型所覆蓋的顏色域取決于顯示設備熒光點的顏色特性，是與硬件相關的，與人的視覺感知有一定的距離，人們無法感知給定一個 RGB 值其所對應的顏色，這時使用面向視覺感知的顏色模型比較方便。 HSV模型 HSV空間是一種符合人類視覺感知特征的顏色空間，特別適合于人類肉眼對顏色的識別，因此被廣泛應用于計算機視覺領域。它 把彩色信號表示為三種屬性 :色調 H(Hue)、飽和度S(Saturation)和亮度 V(value)，其中亮度又稱 LightneSS 或 Intensity，所以 HSV空間還有 HLS和 HIS 這兩種叫法。 HSV模型的色調 H 表示從一個物體反射過來的或透過物體的光的波長，更一般地說，色調是由顏色名稱來辨別的，如紅、橙、黃、綠等，它用角度 180～ 180 或 O～ 360 來度量。亮度 V是顏色的明暗程度，通常用百分比度量， 0%為最暗的黑色，而 100%為最亮的白色。飽和度 S 指顏色的深淺程度，即在純色中包含的白色光的成份。例如同樣 是紅色，也會因顏色濃度不同而分為深紅色、粉紅色和淺紅色。飽和度 S 也用百分比來度量，從濃度最小的 0%到濃度完全飽和的 100%。色調 H 和飽和度 S 分量合起來定義了顏色的色度 (Chromatieity)特性。 L*a*b 模型