【正文】 象，如果描述的標簽改變，則標簽也得重新制作才能滿足新的查詢要求； 最后，目前這些標簽都是觀察者選出來自己加上去的，因此受主觀因素的影響較大，不同的觀察者或者同一觀察者在不同條件下對同一幅圖像可能給出不同 的描述，因此不夠客觀，沒有統(tǒng)一標準，常會自相矛盾 [3]。 為解決以上問題，需要全面地、客觀地 來提取圖像內容，所以只有根據內容進行的檢索才能有效地獲得所需要的圖像信息，同時在掌握圖像內容的基礎上數據庫中的信息才能有效地進行管理 ， 圖像信息的檢索是信息技術研究的一個新的重要研究內容，目的就是從圖像數據庫中快速的提取出與一個查詢相關的圖像或者圖像序列，圖像信息的檢索實際上是傳統(tǒng)信息檢索的一個擴展 ， 這幾年比較顯著和重要的一點就是大量 各種類型的信息在全球得到了 采集，傳輸，流通和應用， 人們正在進入一個信息化的社會，各種信 息工具技術載 體方法和手段的綜合集成產生了許多他們原來沒有的新功能和新概念。 從技術上一個重要原因就是由于多媒體信息 系統(tǒng)具有將不同的信息都表示成碼流 形式的能力，這樣 ， 不同的形式的信息就都 有 可能容于同一設備 —— 計算機，這對多媒體信息的檢索和存儲都帶來了極大的方便，因為碼 流是一種非常適合目前計算機和通信設備進行存儲和傳輸的方式，不過多媒體的應用不僅有信息傳輸問題，越來越多的是信息加工問題，目前對多媒體信息的應用主要是放在了存儲和傳輸 多媒體信息上， 然而信息的傳輸常常是一些應用的開始，而不是 應用的最終目的，如果沒有 碼流結構方面的知識和信息，碼流實際上沒有什么用處，也就是說必須將碼流轉化成一種人的感覺可以理解的形式，才可以獲得和利用它所攜帶的信息，這種轉 化從本質上說就是一個對信息抽象化和結構化的過程。隨著研究的深入， 人們逐漸認識到了上述過程對多媒體信息的重要性，并提出了不少解決方法，這其中最具特 色 中國礦業(yè)大學 2021 屆本科生畢業(yè)設計 第 2 頁 的 就是基于內容的多媒體信息檢索 [3]。 由上述可見，對視覺信息的檢索需要根據圖像所 表達的內容來進行，基于內容的檢索方法是獲得和利用視覺信息的有效手段，只有根據內容進行檢索，才有可能有效的獲取需要的信息，同時在掌握信息內容的基礎 上，數據庫中的信息才有可能被有效的利用和管理， 基于內容的查詢還能幫助計算機調度圖像，對分布式的多媒體數據庫， 可減少網絡上的傳輸量。 基于內容的圖像檢索的研究現(xiàn)狀 基于圖象內容的查詢，內容包括圖象的色度、形狀、紋理和語義等特征。其中，圖象的色度、形狀、紋理被認為是同一層次上的特征， 有相對直觀的特點。語義內容是較高層次上的特征，有相對主觀抽象的特點。大多數情況下，人們偏愛語義查詢。但是 這種查詢方式的完全智能化目前還不能成為現(xiàn)實。比如：查詢者需要查找一幅“公園里玩耍的孩子”的圖象。這個簡單的查詢，對具有五十 年發(fā)展歷史的計算機視覺來說，目前幾乎是不可能的。因為圖象理解的現(xiàn)有水平，還不能實現(xiàn)自動地識別“公園”和“正在玩耍的孩子”。雖然，基于語義內容的查詢在目前還不容易達到，但是基于圖象外觀特征的查詢可以幫助查詢者更快速地接近查詢結果，大大地減少工作量。 基于內容的圖象檢索技術主要包括：接口技術，即查詢者與系統(tǒng)之間的交互方式，查詢者以何種方式提出查詢的內容，系統(tǒng)如何解釋接受。對系統(tǒng)給出的結果，查詢者如何給出正確的反饋，進行再次查詢，優(yōu)化結果；匹配技術，即圖象相似性的度量準則；數據庫技術，包括圖象存儲的技術，圖象的查 找技術，即最快捷，最有效率地遍歷圖象庫中的每一幅圖象，找出所需要的圖象；評價技術。對不同的檢索系統(tǒng)，評價系統(tǒng)性能的標準。根據檢索的精度，檢索的返回率，檢索的速度等，來評價系統(tǒng)的優(yōu)劣。 基于內容的圖象檢索就是在圖象庫中找到查詢者需要的圖象。雖然使用目的和在書籍庫查找某本書是完全類似的。但是就本質而言，書籍文獻的查找可以實現(xiàn)精確定位，如知道書的名字就可以從書庫中查找到。而基于圖象的檢索就目前計算機和人工智能發(fā)展的水平來講，完全是一種基于相似性的度量。雖然查詢者的要求千差萬別，但是查找的層次基本可以分為三層： （ 1）基于原始數據的查找。每一幅圖象是象素點簡單有序的集合體，查找時相似性的度量準則是點對點的比較。這個層次的比較是非常具體的，只有在使用相對精確匹配計算時才使用。 （ 2）基于特征的查找。在基于特征的層次上描述圖象。圖象的特征就是一幅圖象與其他圖象不同的原始特性或根本屬性。有的特征與圖象的視覺外觀相對應，具有原始性，如亮度，形狀描述子，灰度紋理；還有一些特征 中國礦業(yè)大學 2021 屆本科生畢業(yè)設計 第 3 頁 缺少自然的對應性，如灰度直方圖，顏色直方圖，空間頻譜圖。不同的特征被劃分在不同的特征矢量組。圖象的區(qū)域劃分基本上是根據特征矢量的不同特性。同一個區(qū)域內的特 征矢量具有相同的屬性。在 n維特征空間的查找，實質就是模板特征矢量與存儲在數據庫內的特征矢量的相似性度量。數據庫內的圖象文件的特征矢量集以及抽取的方法被事先抽取并保存。查詢時，使用者給出的模板圖象按照庫內保存的方法抽取出目標特征矢量。 （ 3）基于 語義的查找。可以看作是基于對象的查找。查找圖象中包括的具體物體、 發(fā)生的場景 、 圖象所描述的感情色彩等都屬于這個層次的查找。目前對基于內容的圖象檢索的研究熱點主要集中在基于特征的查找。雖然基于語義的查找，是最符合人的使用要求的方式，但是由于目前計算機視覺和圖象理解的發(fā)展水 平，使實現(xiàn)這種方式的查找還很難實現(xiàn)?；趦热莸膱D象檢索的研 究難點在于接口技術和評價技術。接口技術應最充分地表達用戶的要求， 對用戶對檢索結果的反饋有較好地修正能力。評價技術的難點在于制定統(tǒng)一的準則，因為不同的檢索系統(tǒng)應用于不同的領域，使用不同的方法，很難用普適性強的準則加以評價。雖然匹配技術是當前研究的熱點，但是尋找性能優(yōu)良的相似性度量標準，仍然需要做更進一步的研究。目前研究和應用的層次主要是基于特征的查找?；谔卣鞯牟檎揖褪潜容^由圖象中自動抽取的特征之間的相似性。最常用的特征包括顏色，紋理和形狀，已有的軟件系統(tǒng)都是基于這三種特征的檢索。 （ 1）顏色檢索。計算每一幅圖象的顏色直方圖，即每一種顏色在圖象象素點中的比例。作為圖象的特征矢量加以保存。在查詢時，使用者只需要定義各種顏色之間的比例，如查詢者給出一幅模板圖象，從中計算出該圖象的顏色直方圖。任何一種方式，匹配過程都是返回直方圖與模板顏色直方圖最為接近的圖象。直方圖交叉的相似性度量最早是由 Swain和 Ballad 于 1991年提出的，所有的基于直方圖的相似性度量都是基于這種概念的，改進的度量包括直方圖的累加測量（ Stricker and Dimain， 1996） 以及在直方圖的相似性度量時加入空間位置信息和基于區(qū)域的顏色查詢（ Carson et al ，1997）。顏色的檢索一般應用于色彩較為豐富的自然圖景的檢索中。 （ 2）紋理檢索?；诩y 理的檢索在區(qū)分有相似顏色的區(qū)域時是非常有用的，（比如天空和海洋， 樹葉和草地）。各種各樣的技術已經被用來計算紋理的相似性，使用最多的是基于圖象的二階統(tǒng)計量。通過選擇點對的相對亮度，計算出表征圖象紋理的測度，如對比度 、粒度、 方向性和規(guī)則性（ Tamura et al 1978 ）或者周期性、 自由度（ Liu and Picard， 1996 ）。小波理論（ Manjunath and Ma， 1996）和分形理論（ Kaplan et al， 1998）的發(fā)展， 中國礦業(yè)大學 2021 屆本科生畢業(yè)設計 第 4 頁 為紋理分析提供了新的工具。紋理查詢的方式可以是查詢者提供紋理模板或給定模板圖象。最新的研究成果是紋理詞典（ Ma and Manjunath）的建立，自動產生的紋理代碼作 為檢索時相似性度量的標準。使用紋理作為檢索的特征，一般是圖象的內容較為豐富，物體和背景不易分割的情況。 （ 3）形狀檢索。形狀的概念是非常明確的 ，而且由形狀的特征來區(qū)別物體是非常直觀的。物體的形狀特征被提取 并被存貯。特征一般 包括兩類：全局特征和局部特征。全局特征有縱橫比，環(huán)狀度和矩不變量等（ Niblack et al， 1993）。局部特征包括對連續(xù)邊界的分割點集（ Mehrotra et， al ， 1995） 。新的研究方向包括使用彈性變形的模板（ Pentland et al [1996]， del Bimbo et al[1996]），使用邊界的方向直方圖（ Jain and Vailaya[1996],Androutsas et al[1998] ）。形狀查詢的方式包括使用模板圖象或由查詢者提供模板草圖?；谔卣鞯膱D象檢索除了上述的 三個特征外，還包括物體的空間位置，以及多尺度下的變換域系數等。 基于內容的圖像檢索 自 10 年前冠名以 來，得到國內外信息領域科技人員的廣泛重視和研究，迅速成為多媒體 特別是圖像、視頻、數據庫技術的研究熱點之一和中國圖像工程的新類別之一（章 2021a），基于內容的信息檢索的發(fā)展也得到了許多國際學術組織的重視和關注，在國際上每年召開的有關多媒體的會議上有許多重要的系列大會都開辟了基于內容的信息檢索主題和分會，而 IEEE和 SPIE都組織了專門的基于內容的多媒體信息檢索會議。這些都極大地推動了基于內容的信息檢索的發(fā)展。 近年來在圖象檢索領域的研究出現(xiàn)很多新的研究成果，這些研究大都有一個共同的特點，就是應用現(xiàn)有的各種工具和方法，如傅立葉變換、小波分析、模糊理論 [23]等，利用圖象的多種特征綜合起來進行檢索。經過國內外專家的 10 多年的研究，基于內容的信息檢索已經取得了長足的發(fā)展，已有大量相關的理論研究和技術應用的論文發(fā)表。例如在 INSPEC 上用 image retrival 為關鍵詞，可搜索到從 1992 年以來的文獻一接近 3000 篇，M． 和 在文獻 [21]中提出了利用圖象的小波變換在表現(xiàn)圖象方 向性方面的特點，直接在壓縮域中抽取圖象特征進行相似度匹配的方法，以較小的計算量取得了較好的檢索效果，在文獻 [20]中， Pei 和 cheng提出使用圖象的代表色作為識別的特征依據 ,這種 方法與人眼在獲取圖象信息時的過程是相似的。當我們從遠處看圖象時 ,我們的 眼睛重合處取小區(qū)域內的細節(jié)的平均值以得到次圖象的代表色。代表色 也叫特征色，是通過一個依賴的分級量化（ DSQ）算法來提取的，然后經過排序得 到一個特征向量序列。為克服圖象觀察點變化、 遮擋和照明條件變化以得到最好的匹配路徑， 中國礦業(yè)大學 2021 屆本科生畢業(yè)設計 第 5 頁 使用了基于動態(tài)方程的動態(tài)匹配方法來對查詢圖象 和數據庫中圖象的特征色進行匹配。較近期的研究中，基于圖象分割和彩色的檢索方法越發(fā)得到研究者的重視，這種方法大多先用較少的彩色數對圖象進行分割和聚色，再選取適當的特征向量進行相似度匹配。國內的研究在理論研究和算法改進的基礎上，也已經開發(fā)出一些初步實用的圖象檢索系統(tǒng)。例如，國防科技大學的多媒體信息查詢和檢索系統(tǒng) MIRc，該系統(tǒng)設計了能夠描述多媒體內容和結構特征，記憶信息線索的數據模型；以此為基礎，進行基于內容的多媒體信息查詢和檢索，可以根據用戶提供的圖象或視頻幀例子，根據顏色和輪廓特征進行查詢。浙江大學也在早些 年完成了兩個原型系統(tǒng)：基于圖象顏色的檢索系統(tǒng) Photo Navigator 以及基于圖象形狀的檢索系統(tǒng) Photo Engine。并在這兩個系統(tǒng)的基礎上開發(fā)了一個基于內容的多媒體檢索系統(tǒng) —— WebscopeCBR,它支持基于關鍵字、全局顏色、局部紋理、對象形狀、顏色布局、紋理布局等的查詢。 WebscopeCBR 是一個開放式的系統(tǒng)，任何圖象都可以為了檢索的用途加到圖象數據庫中去。 基于內容的視覺信息檢索是一個挑戰(zhàn)性的課題，目前還方興未艾，涉及到許多領域，必須要 考慮 許多問題，包括從獲取和表達原始數據的方法，獲取和表 達原始數據的信息，到通過對這些數據和信息的處理、分析和理解以提供對內容的訪問以及發(fā)送、顯示、傳輸和 操作 這些內容，由于上述問題的存在，基于內容的信息檢索還面臨著許多挑戰(zhàn)，例如，如何建立語義層次的描述， 使 用戶自然的與檢索系統(tǒng)交互，如何挖掘更多的實際應用場合使 視覺信息檢索技術真正使用起來都是推動基于內容的圖像檢索的需要解決的問題。 檢索系統(tǒng)及其應用 典型的圖像檢索系統(tǒng) [12] 目前已有許多通用目的的圖像搜索引擎，例如 在商用領域， IBM 首先研制出了 QBIC 系統(tǒng)；在學術研究領域， MIT 的 Photobook 系統(tǒng)，新加坡國立大學的 CORE 系統(tǒng)，美國哥倫比亞大學的 VisualSEEK 系統(tǒng)，加利福尼亞大學Santa Barbara 分校的 Netra、伊利諾依大學的 MARS、 CMU 的 Infomedia 以及哥倫比亞大學的 VideoQ 等。 1． QBIC 系統(tǒng) IBM Almaden 研究中心研究開發(fā)的，是基于內容檢索系統(tǒng)的典型代表。QBIC 系統(tǒng)允許使用例子圖像、用戶構建的草圖和圖畫、選擇的顏色和紋理模式、鏡頭和目標運動和其他圖形信息等，對大型圖像和視頻數據庫進行查詢。 2． Photobook 系統(tǒng)