【文章內(nèi)容簡(jiǎn)介】 進(jìn)一步，支持基于顏色、顏色布局、紋理 和結(jié)構(gòu) (對(duì)象邊界信息 )及這四個(gè)原子查詢的任意組合。VirageVirageEngine 主要有 3方面的功能 :圖像分析、圖像比較和圖像管理，技術(shù)的核心是 VirageEngine 以及在圖像對(duì)象層上的操作。 ? 美國(guó)哥倫比亞大學(xué)的 VisualSEEK 系統(tǒng) VISualSEEK 圖像查詢系統(tǒng)是一個(gè)可視化的圖像特征搜索引擎，實(shí)現(xiàn)了互聯(lián)網(wǎng)上的 基于內(nèi)容 的圖像 /視頻檢索系統(tǒng)，它由四部分組成 :圖形用戶界面、服務(wù)器應(yīng)用、圖像檢索服務(wù)器、圖像歸檔。在 VisualSEEK 中，整幅圖的顏色分布使用全局顏色直方圖，區(qū)域顏色的索引采用二進(jìn) 制顏色集的表達(dá)方法。它采用基于小波變換的方法來表示圖像的紋理特征。 國(guó)內(nèi)研究成果 相對(duì)國(guó)外而言，國(guó)內(nèi)在這方面的研究起步相對(duì)較晚： ? 浙江大學(xué)從 95年開始進(jìn)行多媒體圖像檢索的研究，完成了基于顏色和基于形狀的圖像原型系統(tǒng)，總體設(shè)計(jì)思想是允許用戶找到包含特定顏色、紋理和形狀的圖像。 ? 中科院計(jì)算技術(shù)研究所開發(fā)了一個(gè)圖像檢索原型系統(tǒng)“ ImageSeek，作為“中國(guó)數(shù)字圖書館示范工程”課題的一個(gè)關(guān)鍵技術(shù)。該系統(tǒng)實(shí)現(xiàn)了基于文本、顏色、紋理特征的圖像檢索。 ? 杭州貝爾研發(fā)的具有自主知識(shí)產(chǎn)權(quán)的智能圖像檢索系統(tǒng)，通過 提取圖像的顏色、紋理和形狀等特征，實(shí)現(xiàn)了基于圖像內(nèi)容的快速智能檢索，被列入 2021年信息產(chǎn)業(yè)部重點(diǎn)科研計(jì)劃。 相關(guān)反饋技術(shù) 目前，基于內(nèi)容檢索的圖像數(shù)據(jù)庫(kù)中存在的一個(gè)主要問題是現(xiàn)有的檢索方法基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 4都是以計(jì)算機(jī)為中心的，使得一些查詢結(jié)果計(jì)算機(jī)認(rèn)為是相似的，而人卻認(rèn)為是不相似的，其主要原因是圖像的底層特征和高層語義間存在很大差距。 目前的計(jì)算機(jī)視覺、人工智能發(fā)展的程度對(duì)于高層的語義概念與底層物理特征之間的映射還是很不完善的。要解決這個(gè)矛盾，一方面對(duì)上述的檢索方法進(jìn)行改進(jìn)，尤其是底層特征的選取、表示及匹配，盡可 能縮小其與高層豐富語義之間的差距；另一方面增進(jìn)人機(jī)之間的交互，計(jì)算機(jī)將查詢的信息反饋給人，人對(duì)查詢結(jié)果的評(píng)判信息反饋給計(jì)算機(jī)，這種反饋技術(shù)使計(jì)算機(jī)能夠具有一定的學(xué)習(xí)能力，從而使檢索結(jié)果逐步達(dá)到用戶的要求。 相關(guān)反饋技術(shù)基本思路是： ? 在檢索過程中，用戶提供的范例圖像； ? 系統(tǒng)根據(jù)范例圖像與圖像數(shù)據(jù)庫(kù)中圖像的相似距離，給出一個(gè)基于相似度的排序列表，數(shù)據(jù)庫(kù)中圖像和范例圖像在特征空間越相似，則排序越靠前 ? 用戶對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)和標(biāo)記，指出結(jié)果中那些與查詢結(jié)果相關(guān)的，那些不相關(guān)的； ? 將用戶標(biāo)記的相關(guān)信息，作為訓(xùn)練樣本反 饋給系統(tǒng)進(jìn)行學(xué)習(xí)，指導(dǎo)下一輪檢索，從而使得檢索結(jié)果更符合用戶需要。 用戶與系統(tǒng)進(jìn)行交互 圖相關(guān)反饋的人機(jī)交互過程圖 N Y 檢索系統(tǒng) 圖像 數(shù)據(jù)庫(kù) 查詢結(jié)果圖像 滿意？ 標(biāo)記圖像 獲取用戶信息 查詢圖像 結(jié)束 基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 5 圖像檢索性能評(píng)價(jià)標(biāo)準(zhǔn) 檢索效果評(píng)價(jià)方法 圖像檢索系統(tǒng)有效性評(píng)價(jià)可以從以下兩個(gè)方面來考慮 :一是人的主觀感受 。二是有一個(gè)量化的評(píng)價(jià)標(biāo)準(zhǔn) ， 而人的主觀感受很不容易把握，因 所以要對(duì)定義一些標(biāo)準(zhǔn)和指標(biāo)，優(yōu)化檢索結(jié)果的有效性。 一般地，圖像檢索分為兩種主要類型：圖像匹配和相似性查詢。設(shè)圖像庫(kù)有 N 幅圖像。對(duì)匹配問題，理想情況是正確圖像是檢索結(jié)果中的第一個(gè)。 通常用下面的式子評(píng)價(jià)匹配效果： 匹配比率＝ 1NN 正確圖像的名次 檢索性能的評(píng)價(jià)一般采用查準(zhǔn)率－查全率 (Precision－ Recall)的相似檢索評(píng)價(jià)準(zhǔn)則，通過執(zhí)行檢索集合中的各個(gè)查詢，就可以計(jì)算出查詢的平均查準(zhǔn)率和查全率，據(jù)此就可以給出系統(tǒng)的檢索性能評(píng)價(jià)。 查準(zhǔn)率和查全率的定義如下： ? 查準(zhǔn)率 Precision 定義為查詢結(jié)果中與例子圖像相關(guān)的圖像所 占的百分比例， Precision= 100%表示查詢出圖像均為相關(guān)圖像。 Precision =目檢索得到的全部圖像數(shù) 目檢索得到的相關(guān)圖像數(shù) ? 查全率 Recall 定義為查詢結(jié)果中與例子圖像相關(guān)的圖像占全部 相關(guān)圖像的百分比。 Recall= 100%表示全部相關(guān)圖像均被檢索出來。 Recall =全部相關(guān)圖像數(shù)目 目檢索得到的相關(guān)圖像數(shù) 查準(zhǔn)率則反映檢索的準(zhǔn)確性，而查全率反映檢索的全面性，因此可以用來評(píng)價(jià)系統(tǒng)的有效性。查準(zhǔn)率和查全率越高說明檢索系統(tǒng)的效果越好。但是查準(zhǔn)率和查全率是一對(duì)矛盾，當(dāng)查全率較高時(shí)，查準(zhǔn)率就會(huì) 降低，反之亦然。因此一般檢索系統(tǒng)要求通過調(diào)整，使查準(zhǔn)率和查全率兩者達(dá)到一個(gè)最優(yōu)平衡。 排序評(píng)價(jià)方法 基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 6如果圖像匹配采用相似性比較，那么，根據(jù)不同的相似性尺度，返回的圖像數(shù)目可能不同，此時(shí)采用該方法。 檢索到的相關(guān)圖像的平均排序?yàn)?P1； 檢索到的相關(guān)圖像的數(shù)目 N? ； 所有實(shí)際的相關(guān)圖像的排序號(hào)之和為 SUM； 則有 NSUMP ??1 理想的相關(guān)圖像的平均 排序 P2； 實(shí)際的相關(guān)圖像數(shù)目 N； 則有 22 NP? 相關(guān)圖像丟失率： R= NNN ?? 在理想情況下，所有相關(guān)圖像都排在最前面，因此，平均值越小，表明檢索算 法越好。相關(guān)圖像丟失率計(jì)算丟失的相關(guān)圖像占所有相關(guān)圖像的比例，這個(gè)值越小，表明成功率越高。 第二章 基于內(nèi)容的圖像檢索 圖像流的特點(diǎn) 圖像和視頻信息與傳統(tǒng)的文本、數(shù)值信息相比具有如下的特點(diǎn)： 1)非結(jié)構(gòu)化特性。傳統(tǒng)的文本、數(shù)值數(shù)據(jù)，記錄信息具有明顯的結(jié)構(gòu)特性，它是現(xiàn)實(shí)世界中對(duì)象間關(guān)系的反映，可通過實(shí)體 —— 關(guān)系模型抽象得到。圖像和視頻對(duì)象具有較強(qiáng)的非結(jié)構(gòu)化特性，許多多媒體信息以流的形式存在 (例如視頻流 )，這種媒體想要得到它的信息，必須對(duì)它先進(jìn)行結(jié)構(gòu)化處理，而這種結(jié)構(gòu)化不能通過簡(jiǎn)單的抽象來完成，而需要相應(yīng)的媒體分割和組織技術(shù)。 2) 內(nèi)容多義性。在傳統(tǒng)的文本、數(shù)值數(shù)據(jù)庫(kù)中，每一個(gè)記錄所包含的語義確定而且有限。而對(duì)于像圖像或視頻這樣的多媒體對(duì)象來說，具內(nèi)容往往對(duì)不同的用戶、不同的應(yīng)用具有不同的解釋，即 具有多義性的特點(diǎn)，這樣其內(nèi)容就很難通過有限的屬性來充分描述。此外，對(duì)多媒體對(duì)象的檢索一般都是內(nèi)容相似程度基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 7的檢索 —— 即查找內(nèi)容描述與檢索要求最接近的對(duì)象。這就要求建立的內(nèi)容描述支持內(nèi)容相似性程度的比較，這是在傳統(tǒng)的文本、數(shù)值數(shù)據(jù)庫(kù)中廣泛采用的定性描述所不能滿足的。 CBIR 的定義 基于內(nèi)容圖像的檢索 主要依據(jù)圖像的畫面內(nèi)容特征和主題對(duì)象特征來進(jìn)行檢索 。由圖像分析軟件對(duì)輸入的圖像先進(jìn)行圖像分析，根據(jù)圖像 自身所包含的顏色 (灰度 )、紋理、形狀 、空間關(guān)系等特征以及這些特征的組合，自動(dòng)抽取特征，在將輸入圖像存入圖 像庫(kù)的同時(shí)將其相應(yīng)的特征向量也存入與圖像庫(kù)相連的特征庫(kù)。 在進(jìn)行檢索圖像時(shí)，對(duì)每一幅給定的查詢圖，進(jìn)行圖像分析，并提取圖像特征向量， 利用基于這些特征定義的特征度量函數(shù)計(jì)算或評(píng)價(jià)特征之間的相似性，將該圖像的特征向量和特征庫(kù)中的特征向量進(jìn)行匹配，根據(jù)匹配的結(jié)果搜索圖像庫(kù)中 將最相似的一些檢索結(jié)果 就可以提取出所需要的檢索圖， 返回給用戶。 基于內(nèi)容的視覺信息檢索 的目的不是去理解或識(shí)別圖像目標(biāo)，它所關(guān)注的是能否基于內(nèi)容快速發(fā)現(xiàn)信息， 旨在對(duì)視覺信息提供強(qiáng)有力的描述，實(shí)現(xiàn)視覺信息的結(jié)構(gòu)化， 在用戶可以接受的響應(yīng)時(shí)間內(nèi)從圖像庫(kù) 中查詢到符合要求的圖像， 最終達(dá)到用戶對(duì)這些視覺信息內(nèi)容自由訪問的目標(biāo)。 基于內(nèi)容的圖像檢索過程充分體現(xiàn)了圖像的信息特點(diǎn)又結(jié)合了圖像處理、圖像理解、數(shù)據(jù)庫(kù)技術(shù)、 計(jì)算機(jī)視覺（ puter vision）、 模式識(shí)別技術(shù) 及神經(jīng)網(wǎng)絡(luò)等學(xué)科 ， 同時(shí)也和人腦的認(rèn)識(shí)程度緊密相關(guān)，這諸多因素使得基于內(nèi)容的圖像檢索的研究成為一項(xiàng)極富挑戰(zhàn)性的課題。 CBIR 的分類 按照檢索時(shí)所基于的不同顏色特征，可將基于內(nèi)容的圖像檢索技術(shù)分為如下四種類型： ? 基于顏色特征的檢索 最基本的思想是利用顏色空間直方圖的匹配，進(jìn)一步研究集中在 :表示顏色特征的顏色模型與人的視覺特征一致性研究 。降低表示顏色特征維數(shù)的方法 。與基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 8其它視覺特征結(jié)合進(jìn)行多特征檢索研究等幾個(gè)方面。 ? 基于紋理特征的檢索 其本質(zhì)是刻畫像素的鄰域灰度空間分布規(guī)律，區(qū)分有相似顏色的區(qū)域，分割物體和背景。 它描述了圖像或區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)，包括表面結(jié)構(gòu)組織及其與周圍環(huán)境關(guān)系的許多重要信息。并且，紋理特征是一種統(tǒng)計(jì)特征，有旋轉(zhuǎn)不變性和較強(qiáng)的抗噪音能力。 ? 基于形狀特征的檢索 對(duì)形狀特征的提取主要是尋找一些幾何不變量，主要難在對(duì)圖像中感興趣目標(biāo)的分割。目前用于圖像檢索的形狀描述方法主要有兩 類 :基于邊緣和基于區(qū)域的形狀方法。前者利用圖像的邊緣信息，而后者則利用區(qū)域內(nèi)的灰度分布信息。 ? 基于空間位置關(guān)系的檢索 是基于圖像中對(duì)象所在的位置和對(duì)象之間的空間關(guān)系的研究?？臻g關(guān)系是指空間對(duì)象之間具有空間特性的關(guān)系，主要包括拓?fù)?、方向、度量關(guān)系?？臻g關(guān)系特征的自動(dòng)抽取非常困難的，所以大多采用人工繪制草圖的查詢方法。 CBIR 的系統(tǒng)結(jié)構(gòu) CBIR 系統(tǒng)由 5 個(gè)子系統(tǒng)構(gòu)成，包括圖像數(shù)據(jù)的存儲(chǔ)，特征提取，相似性度量，高維特征索引過濾技術(shù)，用戶查詢和瀏覽接口。 查詢 匹配 預(yù)處理 索引 結(jié)果 索引 相關(guān)反饋 過濾 用戶 存儲(chǔ) 相似度度量 索引 特征提取 子系統(tǒng) 子系統(tǒng) 子系統(tǒng) 子系統(tǒng) 子系統(tǒng) CBIR的系統(tǒng)結(jié)構(gòu) ? 用戶子系統(tǒng)是用戶提交查詢請(qǐng)求和接收瀏覽查詢結(jié)果的接口。提交查詢的方 特征 索 引 顏 色 形 狀 紋 理 空間關(guān) 系 用 戶 引 擎 領(lǐng)域知識(shí) 圖像源 圖 像 庫(kù) 基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 9式：關(guān)鍵詞查找、瀏覽查找（通過等級(jí)式類目組織檢索）、特征輸入查找（設(shè)置特征參數(shù)）、草圖查找、示例查詢。 ? 相似性度量子系統(tǒng)是檢索引擎，利用圖像的特征來度量圖像之間的相似性，并按相似性的大小對(duì)結(jié)果圖像集合排序，并返回給用戶。 ? 索引子系統(tǒng)主要功能是對(duì)圖像數(shù)據(jù)作索引。目前主要使用圖像的特征作為索引，利用相似性度量獲得相似結(jié)果集合。圖像特征主要用高維矢量來表示。 ? 特征提取子系統(tǒng)功能是提取圖像的 特征，表達(dá)圖像的內(nèi)容。目前主要以視覺特征為主，包括顏色特征，紋理特征，形狀特征，物體空間關(guān)系特征等。 ? 存儲(chǔ)子系統(tǒng)負(fù)責(zé)存儲(chǔ)和管理原始圖像數(shù)據(jù)。圖像數(shù)據(jù)庫(kù)中存儲(chǔ)的信息有圖像數(shù)據(jù)，特征索引數(shù)據(jù)和其他文本描述信息。存儲(chǔ)技術(shù)包括圖像預(yù)處理技術(shù)和壓縮技術(shù)等。預(yù)處理技術(shù)是圖像在入庫(kù)之前的處理，包括濾出噪聲，對(duì)比度調(diào)整，幾何矯正和比例變換等。壓縮技術(shù)是節(jié)約圖像數(shù)據(jù)占用空間的手段，系統(tǒng)需要支持各種不同的壓縮格式和它們之間的相互轉(zhuǎn)換。 CBIR 的檢索過程 基于內(nèi)容的圖像檢索是一個(gè)逐步求精的過程，大致可以經(jīng)過以下幾個(gè)步驟 : ? 查詢要求 用戶查找一個(gè)數(shù)據(jù)對(duì)象時(shí)，利用系統(tǒng)人機(jī)界面提供的輸入方式形成一個(gè)查詢條件。查詢接口一般要對(duì)所提交的數(shù)據(jù)進(jìn)行預(yù)處理，然后再傳遞給搜索引擎。 ? 特征提取 特征提取是以手工提取、半自動(dòng)提取或自動(dòng)提取的廣度提取圖像的顏色、紋理、形狀等特征或它們的組合。圖像的特征，是人對(duì)圖像視覺效果的量化表示，能較好的表征人對(duì)圖像的視覺感受。 ? 相似性匹配 在選取了特征之后，將待識(shí)別的圖像的特（查詢特征）與數(shù)據(jù)庫(kù)中的特征按照一定的匹配算法進(jìn)行匹配。將圖像的特征看作是坐標(biāo)空間中的點(diǎn)，通過距離度量函數(shù)計(jì)算兩個(gè)點(diǎn)之間的接近程度來衡 量圖像特征間的相似度。 ? 結(jié)果返回 將滿足一定相似性條件的一組候選結(jié)果按相似度大小排列后返回給用戶。 ? 特征調(diào)整 基于顏色特征的圖像檢索技術(shù) 西安郵電學(xué)院 10對(duì)系統(tǒng)返回的結(jié)果可通過瀏覽來挑選，直至找到滿意的結(jié)果，或從候選結(jié)果中選擇一個(gè)示例，經(jīng)過特征調(diào)整，形