【文章內(nèi)容簡(jiǎn)介】 容易把握，因所以要對(duì)定義一些標(biāo)準(zhǔn)和指標(biāo)，優(yōu)化檢索結(jié)果的有效性。一般地，圖像檢索分為兩種主要類型：圖像匹配和相似性查詢。設(shè)圖像庫有 N 幅圖像。對(duì)匹配問題，理想情況是正確圖像是檢索結(jié)果中的第一個(gè)。通常用下面的式子評(píng)價(jià)匹配效果：匹配比率＝檢索性能的評(píng)價(jià)一般采用查準(zhǔn)率－查全率(Precision－Recall)的相似檢索評(píng)價(jià)準(zhǔn)則，通過執(zhí)行檢索集合中的各個(gè)查詢，就可以計(jì)算出查詢的平均查準(zhǔn)率和查全率，據(jù)此就可以給出系統(tǒng)的檢索性能評(píng)價(jià)。查準(zhǔn)率和查全率的定義如下：v 查準(zhǔn)率 Precision 定義為查詢結(jié)果中與例子圖像相關(guān)的圖像所占的百分比例，Precision= 100%表示查詢出圖像均為相關(guān)圖像。Precision =v 查全率 Recall 定義為查詢結(jié)果中與例子圖像相關(guān)的圖像占全部相關(guān)圖像的百分比。Recall= 100%表示全部相關(guān)圖像均被檢索出來。Recall =查準(zhǔn)率則反映檢索的準(zhǔn)確性，而查全率反映檢索的全面性，因此可以用來評(píng)價(jià)系統(tǒng)的有效性。查準(zhǔn)率和查全率越高說明檢索系統(tǒng)的效果越好。但是查準(zhǔn)率和查全率是一對(duì)矛盾，當(dāng)查全率較高時(shí)，查準(zhǔn)率就會(huì)降低，反之亦然。因此一般檢索系統(tǒng)要求通過調(diào)整，使查準(zhǔn)率和查全率兩者達(dá)到一個(gè)最優(yōu)平衡。 排序評(píng)價(jià)方法如果圖像匹配采用相似性比較，那么，根據(jù)不同的相似性尺度，返回的圖像數(shù)目可能不同，此時(shí)采用該方法。檢索到的相關(guān)圖像的平均排序?yàn)镻1；檢索到的相關(guān)圖像的數(shù)目；所有實(shí)際的相關(guān)圖像的排序號(hào)之和為 SUM；則有 理想的相關(guān)圖像的平均排序P2；實(shí)際的相關(guān)圖像數(shù)目N；則有 相關(guān)圖像丟失率：R=在理想情況下，所有相關(guān)圖像都排在最前面，因此，平均值越小，表明檢索算法越好。相關(guān)圖像丟失率計(jì)算丟失的相關(guān)圖像占所有相關(guān)圖像的比例，這個(gè)值越小，表明成功率越高。第二章 基于內(nèi)容的圖像檢索 圖像流的特點(diǎn)圖像和視頻信息與傳統(tǒng)的文本、數(shù)值信息相比具有如下的特點(diǎn)：1)非結(jié)構(gòu)化特性。傳統(tǒng)的文本、數(shù)值數(shù)據(jù)，記錄信息具有明顯的結(jié)構(gòu)特性，它是現(xiàn)實(shí)世界中對(duì)象間關(guān)系的反映，可通過實(shí)體——關(guān)系模型抽象得到。圖像和視頻對(duì)象具有較強(qiáng)的非結(jié)構(gòu)化特性，許多多媒體信息以流的形式存在(例如視頻流)，這種媒體想要得到它的信息，必須對(duì)它先進(jìn)行結(jié)構(gòu)化處理，而這種結(jié)構(gòu)化不能通過簡(jiǎn)單的抽象來完成，而需要相應(yīng)的媒體分割和組織技術(shù)。2) 內(nèi)容多義性。在傳統(tǒng)的文本、數(shù)值數(shù)據(jù)庫中，每一個(gè)記錄所包含的語義確定而且有限。而對(duì)于像圖像或視頻這樣的多媒體對(duì)象來說，具內(nèi)容往往對(duì)不同的用戶、不同的應(yīng)用具有不同的解釋，即具有多義性的特點(diǎn)，這樣其內(nèi)容就很難通過有限的屬性來充分描述。此外，對(duì)多媒體對(duì)象的檢索一般都是內(nèi)容相似程度的檢索——即查找內(nèi)容描述與檢索要求最接近的對(duì)象。這就要求建立的內(nèi)容描述支持內(nèi)容相似性程度的比較，這是在傳統(tǒng)的文本、數(shù)值數(shù)據(jù)庫中廣泛采用的定性描述所不能滿足的。 CBIR的定義基于內(nèi)容圖像的檢索主要依據(jù)圖像的畫面內(nèi)容特征和主題對(duì)象特征來進(jìn)行檢索。由圖像分析軟件對(duì)輸入的圖像先進(jìn)行圖像分析，根據(jù)圖像自身所包含的顏色(灰度)、紋理、形狀、空間關(guān)系等特征以及這些特征的組合，自動(dòng)抽取特征，在將輸入圖像存入圖像庫的同時(shí)將其相應(yīng)的特征向量也存入與圖像庫相連的特征庫。在進(jìn)行檢索圖像時(shí)，對(duì)每一幅給定的查詢圖，進(jìn)行圖像分析，并提取圖像特征向量，利用基于這些特征定義的特征度量函數(shù)計(jì)算或評(píng)價(jià)特征之間的相似性，將該圖像的特征向量和特征庫中的特征向量進(jìn)行匹配，根據(jù)匹配的結(jié)果搜索圖像庫中將最相似的一些檢索結(jié)果就可以提取出所需要的檢索圖，返回給用戶?；趦?nèi)容的視覺信息檢索的目的不是去理解或識(shí)別圖像目標(biāo)，它所關(guān)注的是能否基于內(nèi)容快速發(fā)現(xiàn)信息，旨在對(duì)視覺信息提供強(qiáng)有力的描述，實(shí)現(xiàn)視覺信息的結(jié)構(gòu)化，在用戶可以接受的響應(yīng)時(shí)間內(nèi)從圖像庫中查詢到符合要求的圖像，最終達(dá)到用戶對(duì)這些視覺信息內(nèi)容自由訪問的目標(biāo)。基于內(nèi)容的圖像檢索過程充分體現(xiàn)了圖像的信息特點(diǎn)又結(jié)合了圖像處理、圖像理解、數(shù)據(jù)庫技術(shù)、計(jì)算機(jī)視覺（puter vision）、模式識(shí)別技術(shù)及神經(jīng)網(wǎng)絡(luò)等學(xué)科，同時(shí)也和人腦的認(rèn)識(shí)程度緊密相關(guān)，這諸多因素使得基于內(nèi)容的圖像檢索的研究成為一項(xiàng)極富挑戰(zhàn)性的課題。 CBIR的分類按照檢索時(shí)所基于的不同顏色特征，可將基于內(nèi)容的圖像檢索技術(shù)分為如下四種類型：v 基于顏色特征的檢索最基本的思想是利用顏色空間直方圖的匹配，進(jìn)一步研究集中在:表示顏色特征的顏色模型與人的視覺特征一致性研究。降低表示顏色特征維數(shù)的方法。與其它視覺特征結(jié)合進(jìn)行多特征檢索研究等幾個(gè)方面。v 基于紋理特征的檢索其本質(zhì)是刻畫像素的鄰域灰度空間分布規(guī)律，區(qū)分有相似顏色的區(qū)域，分割物體和背景。它描述了圖像或區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)，包括表面結(jié)構(gòu)組織及其與周圍環(huán)境關(guān)系的許多重要信息。并且，紋理特征是一種統(tǒng)計(jì)特征，有旋轉(zhuǎn)不變性和較強(qiáng)的抗噪音能力。v 基于形狀特征的檢索對(duì)形狀特征的提取主要是尋找一些幾何不變量，主要難在對(duì)圖像中感興趣目標(biāo)的分割。目前用于圖像檢索的形狀描述方法主要有兩類:基于邊緣和基于區(qū)域的形狀方法。前者利用圖像的邊緣信息，而后者則利用區(qū)域內(nèi)的灰度分布信息。v 基于空間位置關(guān)系的檢索是基于圖像中對(duì)象所在的位置和對(duì)象之間的空間關(guān)系的研究?？臻g關(guān)系是指空間對(duì)象之間具有空間特性的關(guān)系，主要包括拓?fù)?、方向、度量關(guān)系。空間關(guān)系特征的自動(dòng)抽取非常困難的，所以大多采用人工繪制草圖的查詢方法。 CBIR的系統(tǒng)結(jié)構(gòu)CBIR系統(tǒng)由5個(gè)子系統(tǒng)構(gòu)成，包括圖像數(shù)據(jù)的存儲(chǔ)，特征提取，相似性度量，高維特征索引過濾技術(shù)，用戶查詢和瀏覽接口。 特征 索 引顏 色形 狀紋 理空間關(guān) 系用戶引擎領(lǐng)域知識(shí)圖像源 圖 像 庫 查詢 匹配 預(yù)處理 索引 結(jié)果 索引 相關(guān)反饋 過濾 用戶 存儲(chǔ) 相似度度量 索引 特征提取 子系統(tǒng) 子系統(tǒng) 子系統(tǒng) 子系統(tǒng) 子系統(tǒng) CBIR的系統(tǒng)結(jié)構(gòu)v 用戶子系統(tǒng)是用戶提交查詢請(qǐng)求和接收瀏覽查詢結(jié)果的接口。提交查詢的方式：關(guān)鍵詞查找、瀏覽查找（通過等級(jí)式類目組織檢索）、特征輸入查找（設(shè)置特征參數(shù)）、草圖查找、示例查詢。v 相似性度量子系統(tǒng)是檢索引擎，利用圖像的特征來度量圖像之間的相似性，并按相似性的大小對(duì)結(jié)果圖像集合排序，并返回給用戶。v 索引子系統(tǒng)主要功能是對(duì)圖像數(shù)據(jù)作索引。目前主要使用圖像的特征作為索引，利用相似性度量獲得相似結(jié)果集合。圖像特征主要用高維矢量來表示。v 特征提取子系統(tǒng)功能是提取圖像的特征，表達(dá)圖像的內(nèi)容。目前主要以視覺特征為主，包括顏色特征，紋理特征，形狀特征，物體空間關(guān)系特征等。v 存儲(chǔ)子系統(tǒng)負(fù)責(zé)存儲(chǔ)和管理原始圖像數(shù)據(jù)。圖像數(shù)據(jù)庫中存儲(chǔ)的信息有圖像數(shù)據(jù)，特征索引數(shù)據(jù)和其他文本描述信息。存儲(chǔ)技術(shù)包括圖像預(yù)處理技術(shù)和壓縮技術(shù)等。預(yù)處理技術(shù)是圖像在入庫之前的處理，包括濾出噪聲，對(duì)比度調(diào)整，幾何矯正和比例變換等。壓縮技術(shù)是節(jié)約圖像數(shù)據(jù)占用空間的手段，系統(tǒng)需要支持各種不同的壓縮格式和它們之間的相互轉(zhuǎn)換。 CBIR的檢索過程基于內(nèi)容的圖像檢索是一個(gè)逐步求精的過程，大致可以經(jīng)過以下幾個(gè)步驟:v 查詢要求用戶查找一個(gè)數(shù)據(jù)對(duì)象時(shí)，利用系統(tǒng)人機(jī)界面提供的輸入方式形成一個(gè)查詢條件。查詢接口一般要對(duì)所提交的數(shù)據(jù)進(jìn)行預(yù)處理，然后再傳遞給搜索引擎。v 特征提取特征提取是以手工提取、半自動(dòng)提取或自動(dòng)提取的廣度提取圖像的顏色、紋理、形狀等特征或它們的組合。圖像的特征，是人對(duì)圖像視覺效果的量化表示，能較好的表征人對(duì)圖像的視覺感受。v 相似性匹配在選取了特征之后，將待識(shí)別的圖像的特（查詢特征）與數(shù)據(jù)庫中的特征按照一定的匹配算法進(jìn)行匹配。將圖像的特征看作是坐標(biāo)空間中的點(diǎn)，通過距離度量函數(shù)計(jì)算兩個(gè)點(diǎn)之間的接近程度來衡量圖像特征間的相似度。v 結(jié)果返回將滿足一定相似性條件的一組候選結(jié)果按相似度大小排列后返回給用戶。v 特征調(diào)整對(duì)系統(tǒng)返回的結(jié)果可通過瀏覽來挑選，直至找到滿意的結(jié)果，或從候選結(jié)果中選擇一個(gè)示例，經(jīng)過特征調(diào)整，形成一個(gè)新的查詢。如此重復(fù)，逐步縮小查詢的范圍，直到用戶對(duì)查詢結(jié)果滿意為止。特征提取相似性匹配返回候選結(jié)果滿意？輸出檢索結(jié)果用戶查詢說明示例、一般性描述從候選結(jié)果中選擇一個(gè)示例修改用戶查詢說明 N Y CBIR的處理過程第三章 基于顏色的圖像檢索 顏色模型和顏色空間顏色是視覺系統(tǒng)對(duì)可見光的感知結(jié)果。自然界中的任何一種顏色都可以由R、G、B這3 種顏色值之和來確定，它們構(gòu)成一個(gè)三維的RGB矢量空間。顏色模型（color model）是用數(shù)值方法指定顏色的一套規(guī)則和定義，可使人們方便地描述任何一種顏色，顏色模型通常用顏色空間描述，如RGB、CMY和CMYK，從這個(gè)意義上說，顏色模型和顏色空間互為同義詞。任何一種顏色都可用三種基本顏色按不同的比例混合得到，顯示彩色圖像用RGB相加混色模型：顏色=R（Red 百分比）+G（Green 百分比）+B（Blue 百分比）顏色空間是表示顏色的一種數(shù)學(xué)方法，人們用它來指定和產(chǎn)生顏色，使顏色形象化。顏色空間通常用三維模型表示，空間中的顏色能夠看到或者使用顏色模型產(chǎn)生。顏色空間中的顏色通常使用代表三個(gè)參數(shù)的三維坐標(biāo)來指定，這些參數(shù)描述的是顏色在顏色空間中的位置，其顏色要取決于使用的坐標(biāo)。 顏色的度量體系顏色度量體系（color system），也叫做顏色制或者叫做顏色體制，實(shí)際上就是人們組織和表示顏色的方法。組織和表示顏色的方法主要有兩種：一種是顏色模型，一種是編目系統(tǒng)。顏色模型是用簡(jiǎn)單方法描述所有顏色的一套規(guī)則和定義。顏色空間是顏色模型最普通的例子，RGB、CIE XYZ、CIE LAB、CMYK等。對(duì)于顏色空間的構(gòu)造需要滿足三個(gè)要求：v 完備性(Completeness)，顏色空間應(yīng)能描述人能感知的所有顏色；v 一致性(Uniformity )，顏色在空間度量的差異和感知的差異相吻合；v 唯一性(Uniqueness)，顏色空間中顏色在感知上彼此不同。 RGB顏色空間RGB空間模型是使用紅、綠、藍(lán)的亮度值，大小限定到一定范圍，如0255。R、G、B以不同程度的混合可以調(diào)出各種各樣的色彩，并都能用三維空間中第一象限的一個(gè)點(diǎn)來表示，如圖的立方體所示，三色圖像的灰度級(jí)直方圖是RGB空間的點(diǎn)分布。在RGB彩色空間的原點(diǎn)上，任何一種基色的亮度值都為0，即原點(diǎn)為黑色。三基色都達(dá)到最高亮度時(shí)則表示為白色。在連接黑色與白色的正方體對(duì)角線上，各原色的強(qiáng)度相等，產(chǎn)生由暗到明的白色，也就是不同的灰度值。立方體位于坐標(biāo)軸上的三個(gè)頂點(diǎn)分別為三基色紅、綠、藍(lán)色，而另外三個(gè)頂