【正文】 述，而許多形狀特征可能被包含在一個(gè)封閉的圖像中。 為了提高檢索的精確度，基于形狀特征的數(shù)據(jù)庫(kù)中常常包含三種數(shù)據(jù)庫(kù)：即圖像庫(kù)、形狀庫(kù)、特征庫(kù)，并提供形狀特征的索引。檢索是根據(jù)用戶(hù)提供的形狀特征從圖像庫(kù)中匹配出形狀相似的圖像。 檢索主要有兩種： 針對(duì)輪廓線進(jìn)行的形狀特征檢索，這是最常用的方式。用戶(hù)可以選擇形狀或勾畫(huà)一幅輪廓草圖，通過(guò)形狀分析獲得到目標(biāo)的輪廓線。所謂形狀分析主要是通過(guò)分割圖像進(jìn)行邊緣提取，邊緣也是圖像分割的重要依據(jù)。較好的邊緣提取過(guò)程必須與濾波器配合使用。 直接對(duì)圖形尋找適當(dāng)?shù)南蛄刻卣鬟M(jìn)行檢索。 基于紋理特征的檢索 紋理特征 是所有表面具有的內(nèi)在特征，它包含了關(guān)于表面的結(jié)構(gòu)布局、密度、及變化關(guān)系。圖像或物體的紋理特征反映了圖像或物體本身的屬性，常用粗糙性、方向性和對(duì)比度等來(lái)描述。紋理研究的包括紋理分析和紋理合成兩個(gè)方面，而紋理分析是基于紋理檢索的重要基礎(chǔ)。 紋理分析 的方法大致可以 統(tǒng)計(jì)方法 和 結(jié)構(gòu)方法 兩種。統(tǒng)計(jì)方法用于分析木紋、草坪等細(xì)致而不規(guī)則的物體，并根據(jù)關(guān)于像素間灰度的統(tǒng)計(jì)性質(zhì)對(duì)紋理規(guī)定出特征及參數(shù)間的關(guān)系。 結(jié)構(gòu)方法 適于具有紋理排列規(guī)則的圖案，根據(jù)紋理基元及其排列規(guī)則來(lái)描述紋理、特征、以及特征與參數(shù)間的關(guān)系。 紋理的檢索一般都采用示例查詢(xún)方法。同時(shí)結(jié)合紋理顏色作為檢索特征，可以縮小查找紋理的范圍。 一種有效的 紋理特征 的表示法稱(chēng)為灰度共生矩陣 GLCM，是 70年代初由Haralick等人提出的。其方法是根據(jù)像素間的方向和距離構(gòu)造一個(gè)共生矩陣，然后從共生矩陣中抽取有意義的統(tǒng)計(jì)量作為紋理表示。 基于內(nèi)容的視頻檢索 視頻內(nèi)容 中包含了一系列的連續(xù)圖像，其基本單位是鏡頭（ shot）。每個(gè)鏡頭可包含一個(gè)事件或者包含一組連續(xù)的動(dòng)作。鏡頭由在時(shí)間上連續(xù)的視頻幀組成，它們反映的就是組成動(dòng)作的不同畫(huà)面，在一段經(jīng)過(guò)非線性編輯的視頻序列中，常常包含了許多鏡頭。鏡頭之間可存在多種類(lèi)型的過(guò)渡方式，最簡(jiǎn)單連接是切變，表現(xiàn)為在相鄰兩幀間發(fā)生突變性的鏡頭轉(zhuǎn)換。此外，還存在一些逐漸過(guò)渡方式，如淡入、淡出等。 有時(shí)，根據(jù)拍攝劇情的需要，還常采用攝像機(jī)鏡頭運(yùn)動(dòng)的方式來(lái)處理鏡頭。攝像機(jī)鏡頭的運(yùn)動(dòng)方式 包括 ：推拉鏡頭、搖鏡頭、鏡頭跟蹤、鏡頭仰視、鏡頭臥視等等。 解決基于內(nèi)容的視頻檢索的 關(guān)鍵 是視頻結(jié)構(gòu)的模型化或形式化。為此需要解決關(guān)鍵幀抽取與鏡頭分割的問(wèn)題。 首先要進(jìn)行視頻結(jié)構(gòu)分析，將視頻序列分割為鏡頭，并在鏡頭內(nèi)選擇關(guān)鍵幀，這是實(shí)現(xiàn)一個(gè)高效的 CBVR系統(tǒng)的基礎(chǔ)和關(guān)鍵。然后提取鏡頭的運(yùn)動(dòng)特征和關(guān)鍵幀中的視覺(jué)特征，作為一種檢索機(jī)制存入視頻數(shù)據(jù)庫(kù)。最后根據(jù)用戶(hù)提交的查詢(xún)按照一定特征進(jìn)行視頻檢索，將檢索結(jié)果按相似性程度交給用戶(hù)，當(dāng)用戶(hù)對(duì)查詢(xún)結(jié)果不滿(mǎn)意時(shí)可以?xún)?yōu)化查詢(xún)結(jié)果，自動(dòng)根據(jù)用戶(hù)的意見(jiàn)靈活地優(yōu)化檢索結(jié)果。 視頻結(jié)構(gòu)的構(gòu)造及有關(guān)的算法 為了對(duì)視頻數(shù)據(jù)庫(kù)進(jìn)行基于內(nèi)容的查詢(xún)，首要要構(gòu)造便于檢索的視頻結(jié)構(gòu)。視頻數(shù)據(jù)可以按照由粗到細(xì)的順序劃分為四個(gè)層次結(jié)構(gòu)： 視頻 (Video)、場(chǎng)景 ( Scene)、鏡頭 (Shot)和圖像幀(Frame)。 鏡頭是視頻數(shù)據(jù)的基本單元，它代表一個(gè)場(chǎng)景中在時(shí)間上和空間上連續(xù)的動(dòng)作，是攝像機(jī)的一次操作所攝制的視頻圖像，任何一段視頻數(shù)據(jù)流都是由許多鏡頭組成的。 鏡頭的切換有兩種：突變和漸變。 突變是指從一個(gè)鏡頭直接切變到另一個(gè)鏡頭；而漸變根據(jù)視頻編輯手法的不同可以分為 3種：淡化 (Fade，又細(xì)分為 Fade in和 Fade out)、融化 (Dissolve)和滑變 (Wipe)。漸變是切變檢測(cè)中的難點(diǎn)。 從視頻流中提取鏡頭（即對(duì)視頻流的切變檢測(cè)） 鏡頭是視頻數(shù)據(jù)的基本單元，視頻處理首先就需要把視頻自動(dòng)地分割為鏡頭，以作為基本的索引單元，這一過(guò)程就稱(chēng)為鏡頭邊界的檢測(cè)。它是實(shí)現(xiàn)基于內(nèi)容的視頻檢索的第一步，其核心處理是鏡頭切變檢測(cè)。 視頻結(jié)構(gòu)的構(gòu)造中，鏡頭切變檢測(cè)是重點(diǎn) 整個(gè)視頻結(jié)構(gòu)構(gòu)造過(guò)程分以下三個(gè)步驟： 從視頻流中提取鏡頭、從鏡頭中選擇關(guān)鍵幀和從視頻流中構(gòu)造場(chǎng)景或組。 1 、基于顏色特征的方法 (1) 模板匹配法 (對(duì)應(yīng)像素法 ) 模板匹配法是將兩幀對(duì)應(yīng)像素差的絕對(duì)值之和作為幀間差，當(dāng)幀間差大于某個(gè)閾值 t時(shí)，則認(rèn)為有鏡頭的切換。模板匹配法的缺點(diǎn)是，由于與像素的位置密切相關(guān)，因此對(duì)噪聲和物體運(yùn)動(dòng)十分敏感，容易造成誤識(shí)別。 (2) 直方圖法 直方圖法是使用得最多的計(jì)算幀間差的方法，它丟失了顏色的位置信息，因而抗噪聲能力要比模板匹配強(qiáng)。顏色直方圖法的缺點(diǎn)是，兩幅圖像可能內(nèi)容完全不同但直方圖相似，也容易造成誤識(shí)別。 基于邊緣的方法 由于在鏡頭切變時(shí)新舊邊緣應(yīng)在不同的位置，所以可先提取兩幅圖像的邊緣，計(jì)算新邊緣在舊邊緣的基礎(chǔ)上增加和減少像素比例，當(dāng)大于某一個(gè)閾值時(shí)便認(rèn)為發(fā)生鏡頭切換。缺點(diǎn)是計(jì)算量大，當(dāng)邊緣不明顯時(shí)效果差。 從鏡頭中選擇關(guān)鍵幀 關(guān)鍵幀 (也稱(chēng)代表幀 )是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀，它通常會(huì)反映一個(gè)鏡頭的主要內(nèi)容。關(guān)鍵幀的使用大大減少了視頻索引的數(shù)據(jù)量，同時(shí)也為檢索和瀏覽視頻提供了一個(gè)組織框架。關(guān)鍵幀的提取原則是“寧濫勿缺”。關(guān)鍵幀選取的方法有以下幾類(lèi)： 基于鏡頭的方法 一段視頻分割成鏡頭后，將每個(gè)鏡頭的首幀 (或首幀與末幀 )作為鏡頭的關(guān)鍵幀。該方法實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單，無(wú)論鏡頭的內(nèi)容如何，關(guān)鍵幀的數(shù)量都是一定的 (1幀或 2幀 )，但效果不是很穩(wěn)定，因?yàn)槊總€(gè)鏡頭的首幀或末幀不一定總是能夠反映鏡頭的主要內(nèi)容。 基于內(nèi)容分析的方法 這種方法基于每一幀的顏色、紋理等視覺(jué)信息的改變來(lái)提取關(guān)鍵幀，當(dāng)這些信息有顯著變化時(shí)，當(dāng)前的幀即可作為關(guān)鍵幀依據(jù)幀間的顯著變化來(lái)選擇多個(gè)關(guān)鍵幀，首先把鏡頭的第一幀作為關(guān)鍵幀，然后計(jì)算前一個(gè)關(guān)鍵幀與剩余幀之差，如果差值大于某一閾值，則再選取一個(gè)關(guān)鍵幀。這種方法可以根據(jù)鏡頭內(nèi)容的變化程度選擇相應(yīng)數(shù)目的關(guān)鍵幀，但所選取的幀不一定具有代表意義，而且在有鏡頭運(yùn)動(dòng)時(shí)，容易選取過(guò)多的關(guān)鍵幀。 從視頻流中構(gòu)造場(chǎng)景或組 計(jì)算鏡頭間的相似性（實(shí)際是關(guān)鍵幀間的比較），選擇合適的聚類(lèi)算法進(jìn)行分析。按時(shí)間順序和關(guān)鍵幀的相似程度可分為場(chǎng)景，也可以只按關(guān)鍵幀的相似程度進(jìn)行分組。 特征提取 視頻分割成鏡頭后就要對(duì)各個(gè)鏡頭進(jìn)行特征提取，得到一個(gè)盡可能充分反映鏡頭內(nèi)容的特征空間，這個(gè)特征空間將作為視頻聚類(lèi)和檢索的依據(jù)。特征提取包括關(guān)鍵幀中的視覺(jué)特征和鏡頭的運(yùn)動(dòng)特征的提取。 運(yùn)動(dòng)特征 運(yùn)動(dòng)特征是視頻鏡頭的重要特征，它反映了視頻的時(shí)域變化，也是用視頻例子進(jìn)行檢索的重要內(nèi)容。將整個(gè)視頻序列沿時(shí)間軸進(jìn)行切片，從切片圖像中分析運(yùn)動(dòng)情況或者用計(jì)算鏡頭內(nèi)各幀平均亮度和主要顏色的均值和方差作為鏡頭運(yùn)動(dòng)量大小的度量，在新聞視頻中取得了較好的效果 視頻檢索和瀏覽 在對(duì)視頻流中各鏡頭提取關(guān)鍵幀并進(jìn)行特征提取后，還要建立基于視頻特征的索引。通過(guò)索引，就可利用基于關(guān)鍵幀特征，或是基于鏡頭動(dòng)態(tài)特征，或是將二者相結(jié)合進(jìn)行對(duì)視頻進(jìn)行檢索和瀏覽了。于內(nèi)容的檢索是一個(gè)近似匹配，逐步求精的循環(huán)過(guò)程，主要包括初始查詢(xún)說(shuō)明、相似性匹配、返回結(jié)果、特征調(diào)整、人機(jī)交互，檢索反饋等步驟，直至獲得用戶(hù)滿(mǎn)意的查詢(xún)結(jié)果 基于內(nèi)容的音頻檢索 由于音頻媒體可以分為語(yǔ)音、音樂(lè)和其他聲響，基于內(nèi)容的音頻檢索自然也必須進(jìn)行分類(lèi)。音頻內(nèi)容可分為樣本級(jí)、聲學(xué)特征級(jí)和語(yǔ)義級(jí)。從低級(jí)到高級(jí)，內(nèi)容的表達(dá)是逐級(jí)抽象和概括的。音頻內(nèi)容的物理樣本可以抽象出如音調(diào)、旋律，節(jié)奏、能量等聲學(xué)特征，進(jìn)一步可抽象為音頻描述、語(yǔ)音識(shí)別文本、事件等語(yǔ)義。 基于內(nèi)容的音頻檢索中，用戶(hù)可以提交概念查詢(xún)或按照聽(tīng)覺(jué)感知來(lái)查詢(xún)，即查詢(xún)依據(jù)是基于聲學(xué)特征級(jí)和語(yǔ)義級(jí)的。 音頻的聽(tīng)覺(jué)特性決定其查詢(xún)方式不同于常規(guī)的信息檢索系統(tǒng)。 基于內(nèi)容的查詢(xún)是一種相似查詢(xún)，它實(shí)際上是檢索出與用戶(hù)指定的要求非常相似的所有聲音。查詢(xún)中可以指定返回的聲音數(shù)或相似度的大小。另外，可以強(qiáng)調(diào)或忽略某些特征成分，甚至可以利用邏輯運(yùn)算來(lái)指定檢索條件。 基于語(yǔ)音技術(shù)的檢索 語(yǔ)音經(jīng)過(guò)識(shí)別可以轉(zhuǎn)換為文本，這種文本就是語(yǔ)音的一種腳本形式。語(yǔ)音檢索主要采用語(yǔ)音識(shí)別等處理技術(shù)，這些技術(shù)的研究包括： 利用大詞匯語(yǔ)音識(shí)別技術(shù)進(jìn)行檢索 這種方法采用了自動(dòng)語(yǔ)音識(shí)別 (ASR)技術(shù)，可以把語(yǔ)音轉(zhuǎn)換為文本，然后使用文本檢索方法進(jìn)行檢索。在實(shí)際應(yīng)用中識(shí)別率并不高。 基于子詞單元進(jìn)行檢索 利用子詞索引單元檢索。首先將用戶(hù)的查詢(xún)分解為子詞單元，然后將這些單元的特征與庫(kù)中預(yù)先計(jì)算好的特征進(jìn)行匹配。 基于識(shí)別關(guān)鍵詞進(jìn)行檢索 通過(guò)關(guān)鍵詞自動(dòng)檢測(cè)“詞”或“短語(yǔ)”。通常用來(lái)識(shí)別錄音或音軌段中感興趣的事件。 基于說(shuō)話(huà)人的辨認(rèn)進(jìn)行分割 這種技術(shù)只是簡(jiǎn)單地辨別出說(shuō)話(huà)人話(huà)音的差別，而不是識(shí)別出內(nèi)容。這種技術(shù)可用于分割錄音并建立錄音索引。 音頻檢索 音頻檢索 是針對(duì)波形聲音的，這些音頻都統(tǒng)一用聲學(xué)特征來(lái)進(jìn)行檢索。音頻數(shù)據(jù)庫(kù)的瀏覽和查找可使用基于音頻數(shù)據(jù)的訓(xùn)練、分類(lèi)和分割的檢索方法，而基于 聽(tīng)覺(jué)特征的檢索 為用戶(hù)提供了高級(jí)的音頻查詢(xún)接口。 聲音訓(xùn)練和分類(lèi) 音頻數(shù)據(jù)庫(kù)中的一個(gè)聲音類(lèi)的模型可以通過(guò)訓(xùn)練來(lái)形成。首先要將一些聲音樣本送入數(shù)據(jù)庫(kù)，并計(jì)算其 N維聲學(xué)特征矢量，然后計(jì)算這些訓(xùn)練樣本的平均矢量和協(xié)方差矩陣，從而建立起某類(lèi)聲音的類(lèi)模型。 聲音分類(lèi) 是把聲音按照預(yù)定的類(lèi)組合。首先計(jì)算被分類(lèi)聲音與以上類(lèi)模型的距離，可以利用 Euclidean或 Manhattan距離度量，然后距離值與門(mén)限 (閾值 )比較，以確定該聲音的類(lèi)型。對(duì)于特別聲音可以建立新的聲音類(lèi)。 聽(tīng)覺(jué)檢索 利用聲音的響度、音調(diào)等聽(tīng)覺(jué)感知特性，可以自動(dòng)提取并用于聽(tīng)覺(jué)感知的檢索，也可以提取其他能夠區(qū)分不同聲音的聲學(xué)特征，形成特征矢量用于查詢(xún)。 例如，按時(shí)間片計(jì)算一組聽(tīng)覺(jué)感知特征，如基音、響度、音調(diào)等?？紤]到聲音波形隨時(shí)間的變化，最終的特征矢量將是這些特征的統(tǒng)計(jì)值，例如用平均值、方差和自相關(guān)值表示。這種方法適合檢索和對(duì)聲音效果數(shù)據(jù)進(jìn)行分類(lèi)，如動(dòng)物聲、機(jī)器聲、樂(lè)器聲、語(yǔ)音和其他自然聲等。 音頻分割 對(duì)于復(fù)雜的聲音組合，需要在處理單體聲音之前先分割出語(yǔ)音、靜音、音樂(lè)、廣告聲和音樂(lè)背景上的語(yǔ)音等。 通過(guò)信號(hào) 的聲學(xué)分析并查找聲音的轉(zhuǎn)變點(diǎn)就可以實(shí)現(xiàn)音頻的分割。轉(zhuǎn)變點(diǎn)是度量特征突然改變的地方。轉(zhuǎn)變點(diǎn)定義信號(hào)的區(qū)段，然后這些區(qū)段就可以作為單個(gè)的聲音處理。這些技術(shù)包括：暫停段檢測(cè)、說(shuō)話(huà)人改變檢測(cè)、男女聲辨別，以及其他的聲學(xué)特征。 音頻 是時(shí)基線性媒體。在分割的基礎(chǔ)上，就可以結(jié)構(gòu)化表示音頻的內(nèi)容，建立超越常規(guī)的順序?yàn)g覽界面和基于內(nèi)容的音頻瀏覽接口。 頻譜分析獲得音樂(lè)和聲的基本頻率，可以用這些基本頻率進(jìn)行音樂(lè)檢索。有的方法是使用直接獲得的節(jié)奏特征，即假設(shè)低音樂(lè)器更適合提取節(jié)拍特征，通過(guò)歸一化低音時(shí)間序列得到節(jié)奏特征矢量。 除了用示例進(jìn)行音樂(lè)查詢(xún)之外，用戶(hù)甚至可以唱或哼出要查找的曲調(diào)?；舫槿∷惴ò堰@些錄音轉(zhuǎn)換成音符形式的表示，然后用于對(duì)音樂(lè)數(shù)據(jù)庫(kù)的查詢(xún)。但是，抽取樂(lè)譜這樣的屬性，哪怕是極其簡(jiǎn)單的一段也是非常困難的。研究人員現(xiàn)在改用 MIDI音樂(lè)數(shù)據(jù)格式解決這個(gè)問(wèn)題。用戶(hù)可以給出一個(gè)旋律查詢(xún)，然后搜索 MIDI文件，就可以找出相似的旋律。