【文章內(nèi)容簡(jiǎn)介】 基于文本的關(guān)鍵字查找方式與基于內(nèi)容的相似性查找方式相結(jié) 合，共同完成查找功能。 QBIC 演示程序可以在如下的網(wǎng)址中找到： Photobook Photobook 是美國(guó)麻省理工大學(xué)的多媒體實(shí)驗(yàn)室所開(kāi)發(fā)的用于圖像查詢和瀏覽的交互式工具。它由三個(gè)子系統(tǒng)組成，分別負(fù)責(zé)提取形狀、紋理、人臉特征。這樣一來(lái)，用戶可以分別在這三個(gè)子系統(tǒng)中根據(jù)相應(yīng)的特征來(lái)進(jìn)行查找。另外的關(guān)于 Photobook 的資料可以在下面的網(wǎng)址中找到 : FourEyes FourEyes 相當(dāng)于是 Photobook 的一個(gè)改良版本，它包括了相關(guān)反饋機(jī)制。通過(guò)給出一組正的和負(fù)的例子，系統(tǒng)決定使用哪個(gè)模型或者幾個(gè)模型的組合并學(xué)習(xí)哪個(gè)組合能最好的解決特殊類別的問(wèn)題。當(dāng)系統(tǒng)遇到 一個(gè)與它以前所解決的問(wèn)題類似的新問(wèn)題時(shí)， FourEyes 能在比第一次更快的時(shí)間內(nèi)解決問(wèn)題。更多的關(guān)于系統(tǒng)的細(xì)節(jié)可以從如下的網(wǎng)址獲?。?Netra Netra 系統(tǒng)是在 UCSB 大學(xué)的 Alexandria 數(shù)字化圖書(shū)館（ Alexandria Digital Library 縮寫為ADL ）項(xiàng)目中。它從分割后的圖像區(qū)域中提取顏色、形狀、紋理和空間位置信息，并依靠這些信息從數(shù)據(jù)庫(kù)中查找相似的區(qū)域。在線演示網(wǎng)址為： Netra 的新版本 —— Netra2 著重于組最后處理的顏色圖像區(qū)域和本地的顏色特征，演示網(wǎng)址為： MARS MARS (Multimedia Analysis and Retrieval System，多媒體分析和檢索系統(tǒng) )是伊利諾斯大學(xué)UrbanaChampaign 分校開(kāi)發(fā)的。 MARS 系統(tǒng)的重點(diǎn)不在于找到所謂“最好”的圖像特征，而在于根據(jù)實(shí)際的應(yīng)用環(huán)境和用戶需要在檢索框架中動(dòng)態(tài)地組合調(diào)整各種不同的圖像特征。MARS 在圖像檢索領(lǐng)域正式提出了相關(guān)反饋的體系結(jié) 構(gòu)。相關(guān)反饋的技術(shù)在各種層次上融合到檢索的過(guò)程中，包括查詢向量的優(yōu)化，相似度算法的自動(dòng)選擇，以及圖像特征權(quán)重的調(diào)整。 MARS 系 統(tǒng) 的 更 多 信 息 可 以 在 下 面 的 網(wǎng) 址 找 到 ： PicToSeek PicToSeek 是由阿姆斯特但大學(xué)開(kāi)發(fā)的一個(gè)圖像搜索引擎。 PicToSeek 使用 autonomous Web crawlers 從互聯(lián)網(wǎng)搜集圖像。然后系統(tǒng)對(duì)搜集的圖像自動(dòng)地進(jìn)行編目并按照預(yù)先定義的類別進(jìn)行分類，系統(tǒng)還抽取這些圖像的相關(guān)特征。用戶可以使用多種方法對(duì) PicToSeek 系統(tǒng)進(jìn)行查詢，可以使用圖像特征、實(shí)例圖像或者簡(jiǎn)單地瀏覽預(yù)計(jì)算的圖像目錄。 PicToSeek 的演示版可在如下的網(wǎng)址找到： isis/zomax/ 。 VisualSEEk VisualSEEk 是由哥倫比亞大學(xué)開(kāi)發(fā)的一系列 CBVIR 系統(tǒng)中的一部分。它同時(shí)支持基 于視覺(jué)特征的查詢和基于空間關(guān)系的查詢。它的在線演示程序可以在下面的網(wǎng)址中找到： 。 PicHunter PicHunter 是由 NEC 新澤西研究所開(kāi)發(fā)的一個(gè) CBVIR 系統(tǒng)。 Pic Hunter 使用了相關(guān)反饋和貝葉斯準(zhǔn)則來(lái)預(yù)測(cè)目標(biāo)圖像。 ImageRover ImageRover 是由波士頓大學(xué)開(kāi)發(fā)的一個(gè) CBVIR 系統(tǒng)。這是一 個(gè)基于 Web 的工具，它通過(guò)一系列的自動(dòng)化儀器搜集關(guān)于 HTML 頁(yè)面的信息。這些儀器使用向量的格式收集、處理和存儲(chǔ)圖像元數(shù)據(jù)，用戶對(duì)系統(tǒng)進(jìn)行查詢時(shí)搜索這些向量格式的元數(shù)據(jù)，然后系統(tǒng)以索引圖像的形式向用戶返回相關(guān)反饋的結(jié)果，用戶選擇與他們搜索要求相關(guān)的圖像，這樣便可以利用系統(tǒng)的基于內(nèi)容的搜索能力直到用戶找到所需的圖像。更多的細(xì)節(jié)內(nèi)容可以從如下的網(wǎng)址找到： WebSEEk WebSEEk 在通過(guò) Web robots 對(duì) HTML 進(jìn)行收集處理上與 ImageRover 類似，雖然它也有視頻搜索和收集的優(yōu)點(diǎn)。它是由哥倫比亞大學(xué)開(kāi)發(fā)的，相應(yīng)演示程序的站點(diǎn)為： Virage Virage 是由 Virage 有限公司開(kāi) 發(fā)的商業(yè)化的基于內(nèi)容的圖像檢索引擎。 Virage 支持基于顏色、顏色布局、紋理和結(jié)構(gòu)特征（對(duì)象邊緣）的查詢功能，而且還支持以上四種基本查詢的任意組合的查詢方式。用戶還可以根據(jù)需要來(lái)調(diào)整基本圖像特征的權(quán)重。更多的關(guān)于 Virage產(chǎn)品的信息可以在如下的網(wǎng)址找到： Visual RetrievalWare Visual RetrievalWare 是由 Excalibur Technologies Corp 開(kāi)發(fā)的 CBVIR 系統(tǒng)。與 Virage類似，它支持多種視覺(jué)查詢特征的組合，這些特征的權(quán)重由用戶設(shè)定。在 2021 年底， Excalibur改名為 Convera.。 Convera 公司的產(chǎn)品信息可以在如下網(wǎng)址找到： AMORE Amore (Advanced Multimedia Oriented Retrieval Engine，高級(jí)面向多媒體檢索引擎 )是由 NEC USA 的一個(gè) 分支機(jī)構(gòu) C amp。 C Research Laboratories (CCRL)開(kāi)發(fā)的具有圖像檢索能力的一個(gè)搜索引擎。它并不能夠通過(guò)自動(dòng)儀器對(duì)整個(gè) Web 進(jìn)行搜索，但是它有一個(gè)自動(dòng)儀器（他們叫它 harvest gatherer）用來(lái)對(duì)來(lái)自用戶給定的 URL 的圖像進(jìn)行 scour 和分類。系統(tǒng)使用Harvest Information Discovery and Access System 進(jìn)行文本編目 （ indexing） 和搜索，使用面向內(nèi)容的圖象檢索（ COIR）對(duì)圖像進(jìn)行標(biāo)引（ index）并對(duì)這些圖像進(jìn)行檢索。 COIR 使 用基于區(qū)域的方式，使用顏色、紋理和位置進(jìn)行 indexing。對(duì)用戶而言，除了 URL 地址，所有的事都是自動(dòng)完成。關(guān)于 AMORE 的更多信息可以在如下網(wǎng)址找到： Blobworld Blobworld 是由 . Berkeley 開(kāi)發(fā)的 CBVIR 系統(tǒng)。程序自動(dòng)地將圖像分割為不同的區(qū)域，這些區(qū)域大體上與對(duì)象或?qū)ο蟮囊徊糠窒鄬?duì)應(yīng)，系統(tǒng)支持用戶基于照片或圖像所包含的對(duì)象的查詢。他們?cè)?查找特定對(duì)象方面的做法是有效的，不足之處是，正如大多數(shù)的系統(tǒng)一樣，改系統(tǒng)只關(guān)注于“低層”特征而很少關(guān)心這些特征的空間組織關(guān)系。 Blobworld 系統(tǒng)同時(shí)支持基于文本和基于內(nèi)容的搜索。 該系統(tǒng)在對(duì)用戶相關(guān)反饋的支持方面也是很有效的，因?yàn)樗故玖颂峤粓D像的內(nèi)部表示以及查詢的結(jié)果。因此，與其它的一些考慮顏色直方圖相似度量的系統(tǒng)有所不同的是，該系統(tǒng)能夠幫助用戶理解為什么他們得到了某個(gè)結(jié)果。 其他的公司和產(chǎn)品 在過(guò)去的一些年里許多公司進(jìn)入了視覺(jué)搜索解決方案的這片新開(kāi)辟的市場(chǎng)。這些公司包括： Ereo ( Cobion ( ，和 ImageLock ( OPEN 研究問(wèn)題以及未來(lái)發(fā)展方向 視覺(jué)信息檢索是一個(gè)比較活躍的研究領(lǐng) 域，許多 open 問(wèn)題仍然處于研究階段，其中的一些最突出的技術(shù)挑戰(zhàn)和研究機(jī)遇包括： ?用戶與系統(tǒng)之間更好的協(xié)作 大家公認(rèn) CBVIR 系統(tǒng)如果在處理循環(huán)中允許用戶的介入且允許他們提供相關(guān)反饋信息，則系統(tǒng)將只會(huì)達(dá)到可接受的性能。研究人員仍在研究用戶如何給出相關(guān)反饋的信息以及系統(tǒng)如何進(jìn)行相應(yīng)的處理的細(xì)節(jié)。 ?最小化圖像低層特征與人對(duì)圖象內(nèi)容的解釋之間的語(yǔ)義鴻溝 視覺(jué)信息查詢的高層的概念與使用計(jì)算機(jī)視覺(jué)技術(shù)從圖像中抽取的低層的特征之間的區(qū)別用文字表述為“語(yǔ)義鴻溝”。最小化這個(gè)語(yǔ)義鴻溝的最有希望的方法是結(jié)合聯(lián)機(jī)的相關(guān)反饋信息使用脫機(jī)學(xué)習(xí)算法。 ?使系統(tǒng)面向 Web 基于 Web 的搜索時(shí)使用的基于文本的搜索引擎還沒(méi)有相應(yīng)的能力完成對(duì)視覺(jué)信息的搜索。元數(shù)據(jù)的表示還沒(méi)有一個(gè)標(biāo)準(zhǔn)，縮短系統(tǒng)的最大可承受的響應(yīng)時(shí)間，是目前需要克服的兩大困難。 ? 高維索引 目前，對(duì)高效的支持非歐幾里德的相似度度量方法的高維索引技術(shù)以及相似性函數(shù)功能運(yùn)行時(shí)它們自適應(yīng)進(jìn)行改動(dòng)的研究很活躍，但還沒(méi)有找到最終的解決方案。 ?性能評(píng)價(jià)的標(biāo)準(zhǔn)化以及標(biāo)準(zhǔn)化基準(zhǔn)套件和實(shí)驗(yàn)臺(tái)的創(chuàng)造 人們一致公認(rèn)需要一系列標(biāo)準(zhǔn)化的的圖像、查詢和性能度量方法來(lái)對(duì)不同的解決方案之間進(jìn)行比較。國(guó) 際模式識(shí)別聯(lián)合會(huì)（ IAPR）的一個(gè)技術(shù)委員會(huì)（ TC）正試圖解決這個(gè)問(wèn)題，到目前位置還未有一個(gè)最終的結(jié)果。 ?人對(duì)圖像內(nèi)容的感知 對(duì)人的視覺(jué)感知的心理物理特征 (psychophysical aspects of human visual perception)的深入研究能夠使得我們對(duì)人如何進(jìn)行視覺(jué)相似性判斷有進(jìn)一步的了解，同時(shí)也會(huì)幫助提高 CBVIR系統(tǒng)的性能 help improve the performance of CBVIR systems without precluding the inclusion of the human user in the loop。 ? 訪問(wèn)圖像視頻數(shù)據(jù)庫(kù)的新的 visual interfaces 查詢、瀏覽以及視覺(jué)信息圖像庫(kù)的定位方法都需要進(jìn)行改進(jìn)，尤其是視頻信息引入后。 ?計(jì)算機(jī)視覺(jué)與其他學(xué)科和媒體相集合 圖像數(shù)據(jù)庫(kù)系統(tǒng)的成功離不開(kāi)計(jì)算機(jī)視覺(jué)領(lǐng)域、數(shù)據(jù)庫(kù)領(lǐng)域以及其它一些研究領(lǐng)域研究人員的通力協(xié)作。 MUSE：具有相關(guān)反饋機(jī)制的基于內(nèi)容的圖象檢索系統(tǒng) 相關(guān)背景 過(guò)去的兩年中作者一直在研究 MUSE，這是一個(gè)具有相關(guān)反饋機(jī)制和學(xué)習(xí)能力的 CBVIR 系統(tǒng)。 這個(gè)項(xiàng)目的目的是建立一 個(gè)從大型的庫(kù)中檢索視覺(jué)信息的智能化系統(tǒng)。其中的一些目標(biāo)包括： 圖 3： MUSE：結(jié)構(gòu)示意圖 ? 簡(jiǎn)潔、簡(jiǎn)單、友好的用戶接口 ? 從用戶交互學(xué)習(xí)的能力 ? 用戶透明度：對(duì)用戶隱藏檢索引擎復(fù)雜的低層細(xì)節(jié) ? 對(duì)其他媒體種類的可擴(kuò)展性，尤其是視頻 系統(tǒng)綜述 圖 3 顯示了 MUSE 的主要組成部分。部分的系統(tǒng)操作是脫機(jī)狀態(tài)下完成的，還有一些操作是聯(lián)機(jī)執(zhí)行的。脫機(jī)階段的工作包括：特征抽取、圖像的表示以及庫(kù)中每幅圖像的組織。聯(lián)機(jī)交互由用戶通過(guò) GUI 命令執(zhí)行。系統(tǒng)抽取用戶選出的相關(guān)圖像的特征并與所有其它的圖像特征相比較。根據(jù) 相似度比較的結(jié)果來(lái)更新圖像是目標(biāo)圖像的概率并進(jìn)行排列。根據(jù)這些，系統(tǒng)存儲(chǔ)學(xué)習(xí)信息并決定下一步將顯示哪一張候選圖像。經(jīng)過(guò)一系列的循環(huán)重復(fù)，目標(biāo)圖像將會(huì)在屏幕上顯示出來(lái)。 用戶的觀點(diǎn) MUSE 的用戶接口比較簡(jiǎn)單、簡(jiǎn)潔，而且還很直觀（如圖 4）。它包括一個(gè)菜單，兩個(gè)工具條和一個(gè)工作區(qū)，工作區(qū)被分為兩個(gè)部分：左邊包括一個(gè)選定的圖像（可選的）；右邊作為一個(gè)瀏覽器，它的具體細(xì)節(jié)依賴于操作模式。 MUSE 支持四種操作模式：自由瀏覽，隨機(jī)瀏覽，根據(jù)實(shí)例查詢以及相關(guān)反饋（不需要實(shí)例圖像）。在自由瀏覽模式下（如圖 5），瀏覽器顯示當(dāng) 前用戶所選擇的目錄下圖像的索引圖像。隨機(jī)模式下（如圖 6），在顯示索引圖像之前打亂了目錄的內(nèi)容， working as a baseline against which the fourth mode (relevance feedback) can be pared。基于實(shí)例的查詢模式（如圖 7）已經(jīng)被實(shí)現(xiàn)用于當(dāng)做特征抽取和相似度度量階段的實(shí)驗(yàn)臺(tái)。使用一個(gè)圖像（左邊）作為例子，最好的匹配顯示在瀏覽器。最后，相關(guān)反饋模式起始于一個(gè)隨機(jī)的圖像的子集，基于用戶的輸入（指定每幅圖像是好的、壞的或者兩者都不是）系統(tǒng) 來(lái)理解哪幅圖像是目標(biāo)圖像。在一個(gè)典型的使用相關(guān)反饋模式的