【正文】 。研究人員現(xiàn)在改用 MIDI音樂數(shù)據(jù)格式解決這個問題。基音抽取算法把這些錄音轉(zhuǎn)換成音符形式的表示，然后用于對音樂數(shù)據(jù)庫的查詢。有的方法是使用直接獲得的節(jié)奏特征，即假設(shè)低音樂器更適合提取節(jié)拍特征，通過歸一化低音時間序列得到節(jié)奏特征矢量。在分割的基礎(chǔ)上，就可以結(jié)構(gòu)化表示音頻的內(nèi)容，建立超越常規(guī)的順序瀏覽界面和基于內(nèi)容的音頻瀏覽接口。這些技術(shù)包括：暫停段檢測、說話人改變檢測、男女聲辨別，以及其他的聲學(xué)特征。轉(zhuǎn)變點(diǎn)是度量特征突然改變的地方。 音頻分割 對于復(fù)雜的聲音組合，需要在處理單體聲音之前先分割出語音、靜音、音樂、廣告聲和音樂背景上的語音等?？紤]到聲音波形隨時間的變化，最終的特征矢量將是這些特征的統(tǒng)計值，例如用平均值、方差和自相關(guān)值表示。 聽覺檢索 利用聲音的響度、音調(diào)等聽覺感知特性，可以自動提取并用于聽覺感知的檢索，也可以提取其他能夠區(qū)分不同聲音的聲學(xué)特征，形成特征矢量用于查詢。首先計算被分類聲音與以上類模型的距離，可以利用 Euclidean或 Manhattan距離度量，然后距離值與門限 (閾值 )比較，以確定該聲音的類型。首先要將一些聲音樣本送入數(shù)據(jù)庫，并計算其 N維聲學(xué)特征矢量，然后計算這些訓(xùn)練樣本的平均矢量和協(xié)方差矩陣，從而建立起某類聲音的類模型。音頻數(shù)據(jù)庫的瀏覽和查找可使用基于音頻數(shù)據(jù)的訓(xùn)練、分類和分割的檢索方法，而基于 聽覺特征的檢索 為用戶提供了高級的音頻查詢接口。這種技術(shù)可用于分割錄音并建立錄音索引。通常用來識別錄音或音軌段中感興趣的事件。首先將用戶的查詢分解為子詞單元，然后將這些單元的特征與庫中預(yù)先計算好的特征進(jìn)行匹配。在實(shí)際應(yīng)用中識別率并不高。 基于語音技術(shù)的檢索 語音經(jīng)過識別可以轉(zhuǎn)換為文本，這種文本就是語音的一種腳本形式。查詢中可以指定返回的聲音數(shù)或相似度的大小。 音頻的聽覺特性決定其查詢方式不同于常規(guī)的信息檢索系統(tǒng)。音頻內(nèi)容的物理樣本可以抽象出如音調(diào)、旋律，節(jié)奏、能量等聲學(xué)特征，進(jìn)一步可抽象為音頻描述、語音識別文本、事件等語義。音頻內(nèi)容可分為樣本級、聲學(xué)特征級和語義級。通過索引，就可利用基于關(guān)鍵幀特征，或是基于鏡頭動態(tài)特征，或是將二者相結(jié)合進(jìn)行對視頻進(jìn)行檢索和瀏覽了。 運(yùn)動特征 運(yùn)動特征是視頻鏡頭的重要特征，它反映了視頻的時域變化，也是用視頻例子進(jìn)行檢索的重要內(nèi)容。 特征提取 視頻分割成鏡頭后就要對各個鏡頭進(jìn)行特征提取，得到一個盡可能充分反映鏡頭內(nèi)容的特征空間，這個特征空間將作為視頻聚類和檢索的依據(jù)。 從視頻流中構(gòu)造場景或組 計算鏡頭間的相似性（實(shí)際是關(guān)鍵幀間的比較），選擇合適的聚類算法進(jìn)行分析。 基于內(nèi)容分析的方法 這種方法基于每一幀的顏色、紋理等視覺信息的改變來提取關(guān)鍵幀，當(dāng)這些信息有顯著變化時，當(dāng)前的幀即可作為關(guān)鍵幀依據(jù)幀間的顯著變化來選擇多個關(guān)鍵幀，首先把鏡頭的第一幀作為關(guān)鍵幀，然后計算前一個關(guān)鍵幀與剩余幀之差，如果差值大于某一閾值，則再選取一個關(guān)鍵幀。關(guān)鍵幀選取的方法有以下幾類： 基于鏡頭的方法 一段視頻分割成鏡頭后，將每個鏡頭的首幀 (或首幀與末幀 )作為鏡頭的關(guān)鍵幀。關(guān)鍵幀的使用大大減少了視頻索引的數(shù)據(jù)量，同時也為檢索和瀏覽視頻提供了一個組織框架。缺點(diǎn)是計算量大，當(dāng)邊緣不明顯時效果差。顏色直方圖法的缺點(diǎn)是，兩幅圖像可能內(nèi)容完全不同但直方圖相似，也容易造成誤識別。模板匹配法的缺點(diǎn)是，由于與像素的位置密切相關(guān)，因此對噪聲和物體運(yùn)動十分敏感，容易造成誤識別。 視頻結(jié)構(gòu)的構(gòu)造中，鏡頭切變檢測是重點(diǎn) 整個視頻結(jié)構(gòu)構(gòu)造過程分以下三個步驟： 從視頻流中提取鏡頭、從鏡頭中選擇關(guān)鍵幀和從視頻流中構(gòu)造場景或組。 從視頻流中提取鏡頭（即對視頻流的切變檢測） 鏡頭是視頻數(shù)據(jù)的基本單元，視頻處理首先就需要把視頻自動地分割為鏡頭，以作為基本的索引單元，這一過程就稱為鏡頭邊界的檢測。 突變是指從一個鏡頭直接切變到另一個鏡頭；而漸變根據(jù)視頻編輯手法的不同可以分為 3種：淡化 (Fade，又細(xì)分為 Fade in和 Fade out)、融化 (Dissolve)和滑變 (Wipe)。 鏡頭是視頻數(shù)據(jù)的基本單元，它代表一個場景中在時間上和空間上連續(xù)的動作，是攝像機(jī)的一次操作所攝制的視頻圖像，任何一段視頻數(shù)據(jù)流都是由許多鏡頭組成的。 視頻結(jié)構(gòu)的構(gòu)造及有關(guān)的算法 為了對視頻數(shù)據(jù)庫進(jìn)行基于內(nèi)容的查詢，首要要構(gòu)造便于檢索的視頻結(jié)構(gòu)。然后提取鏡頭的運(yùn)動特征和關(guān)鍵幀中的視覺特征，作為一種檢索機(jī)制存入視頻數(shù)據(jù)庫。為此需要解決關(guān)鍵幀抽取與鏡頭分割的問題。攝像機(jī)鏡頭的運(yùn)動方式 包括 ：推拉鏡頭、搖鏡頭、鏡頭跟蹤、鏡頭仰視、鏡頭臥視等等。此外，還存在一些逐漸過渡方式，如淡入、淡出等。鏡頭由在時間上連續(xù)的視頻幀組成，它們反映的就是組成動作的不同畫面，在一段經(jīng)過非線性編輯的視頻序列中，常常包含了許多鏡頭。 基于內(nèi)容的視頻檢索 視頻內(nèi)容 中包含了一系列的連續(xù)圖像，其基本單位是鏡頭（ shot）。 一種有效的 紋理特征 的表示法稱為灰度共生矩陣 GLCM，是 70年代初由Haralick等人提出的。 紋理的檢索一般都采用示例查詢方法。統(tǒng)計方法用于分析木紋、草坪等細(xì)致而不規(guī)則的物體，并根據(jù)關(guān)于像素間灰度的統(tǒng)計性質(zhì)對紋理規(guī)定出特征及參數(shù)間的關(guān)系。紋理研究的包括紋理分析和紋理合成兩個方面，而紋理分析是基于紋理檢索的重要基礎(chǔ)。 基于紋理特征的檢索 紋理特征 是所有表面具有的內(nèi)在特征，它包含了關(guān)于表面的結(jié)構(gòu)布局、密度、及變化關(guān)系。較好的邊緣提取過程必須與濾波器配合使用。用戶可以選擇形狀或勾畫一幅輪廓草圖，通過形狀分析獲得到目標(biāo)的輪廓線。檢索是根據(jù)用戶提供的形狀特征從圖像庫中匹配出形狀相似的圖像。一般可用矩形、圓形、面積、周長等來描述，而許多形狀特征可能被包含在一個封閉的圖像中。 基于形狀特征的檢索 形狀特征 也稱為輪廓特征，是指整個圖像或圖像中子對象的邊緣特征。即： 全圖的顏色直方圖算法的查準(zhǔn)率和查全率都不是最高的，但是，如果對圖像進(jìn)行分割，那么，子塊能在一定程度的提供位置信息，子塊 Gij與 Sij的相似性度量公式為： 其中： P為所選顏色空間的樣點(diǎn)數(shù)。 為了消除外來因素（如噪音）或為了尋找某一特定圖像組合的查詢，可以對 sim(G,S)公式乘上一個顏色權(quán)重因子 Wi，便可對統(tǒng)計的值域加以限制。 顏色直方圖的相似性匹配 假定用戶的示例直方圖和數(shù)據(jù)庫中的直方圖分別用 G(G1, G2,? Gn) 和 S(S1, S2,? Sn) 來表示，兩圖片是否相似可以采用歐氏距離 Ed來描述，那么 Ed值越小相似度就越大。 指明一幅示例圖像 ：通過示例圖像的顏色直方圖和數(shù)據(jù)庫中的顏色直方圖值進(jìn)行的相似性匹配得到查詢結(jié)果。 利用顏色直方圖的查詢 在利用顏色直方圖的查詢中，可以使用域關(guān)系演算語言如 Query By Example（ QBE），如要給出查詢的示例，一般可采用以下三種方式之一來指明查詢的示例： 指明顏色組成 ：通常應(yīng)在連續(xù)變化的色輪上來指定，而不適合用文字進(jìn)行描述。具有相似的總體顏色內(nèi)容的圖像檢索基于一個圖像索引表，它可以按照全局顏色分布，通過計算每種顏色的像素個數(shù)并構(gòu)造顏色灰度直方圖來建立。直方圖的值反映了圖像的統(tǒng)計特征，包括平均值、標(biāo)準(zhǔn)偏差、中間值和像素個數(shù)，顏色集中的地方峰值較高。直方圖的橫軸表示顏色等級，縱軸表示在某一顏色等級上具有該顏色的像素在整幅圖像中所占的比例。局部顏色信息是指局部相似的顏色區(qū)域，它考慮了顏色的分類與一些初級的幾何特征。 基于顏色特征的圖像信息檢索 顏色內(nèi)容包含 2個一般的概念，一個對應(yīng)于全局顏色分布，一個對應(yīng)于局部顏色信息。 Limit all把檢索的全過程限制在某些指定的字段內(nèi)。 使用范圍符號 ：有 =、 Less than、 Greater than、 From to等，如 Greater than 2021。 字段檢索 ：把檢索詞限定在某個或一些字段中，如查找 li hong寫的文章，可以輸入檢索式： au＝ li hong 使用限制符 ：用表示語種、文獻(xiàn)類型、出版國家、出版年代等的字段標(biāo)識符來限制檢索范圍。 限制檢索 限制檢索是通過限制檢索范圍以優(yōu)化檢索結(jié)果。例如 machine(s)plant (n)算符 near：檢索詞必須緊密相連，詞之間只允許有空格、標(biāo)點(diǎn)、連字符，詞序不限； (Nn)表示兩個檢索詞之間最多可以夾 N個詞 (N為自然數(shù) )，且詞序任意。如 big(f)small。 位置檢索 位置檢索是在檢索詞之間使用位置算符，來規(guī)定檢索詞出現(xiàn)在記錄中的位置。 其中有限截斷是指允許截去有限個字符。它的特點(diǎn)是可以擴(kuò)大檢索范圍、減少檢索詞的輸入量、節(jié)省檢索時間。 對于復(fù)雜的邏輯表達(dá)式，檢索系統(tǒng)的處理是從左向右進(jìn)行的，但有括號的情況下，先執(zhí)行括號內(nèi)的運(yùn)算，有多層括號時的執(zhí)行次序由內(nèi)向外進(jìn)行。 布爾邏輯檢索 所謂布爾邏輯檢索是用布爾邏輯算符將檢索詞、短語或代碼進(jìn)行邏輯組配，指定文獻(xiàn)檢索的條件和次序。 中文信息全文檢索 研究中文信息全文檢索方法，有布爾邏輯檢索、截詞模糊匹配檢索、位置相鄰檢索、限制檢索、加權(quán)檢索等多種檢索機(jī)制。但仍需要研究和探索有效的高維索引方法，以支持多特征、異構(gòu)特征、權(quán)重、主鍵特征方面的查詢要求。在信息檢索、分類和排序的意義上的多媒體檢索，可以采用語義模板、用戶交互、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等方法。多種特征表示法容易達(dá)到較高的檢索率，問題是如何來有機(jī)地組織多種特征。 綜合的多特征檢索技術(shù) 多媒體的同一種特征，可以從不同的角度去表示。重新檢索逐步縮小查詢范圍，直到用戶滿意。 結(jié)果審核 ：用戶可以從滿足初始特征的一組檢索結(jié)果中，挑選所需要的結(jié)果，結(jié)束檢索過程。 １、 提供查詢依據(jù) ：用戶檢索需要提交要求，但要基于一個特定的檢索格式，可以通過特定的查詢語言來建立，以便作用檢索引擎的匹配依據(jù)。 基于內(nèi)容檢索中的 相關(guān)反饋技術(shù) 大致可分為 4種類型 ：參數(shù)調(diào)整方法、聚類分析方法、概率學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)方法。 相關(guān)反饋技術(shù)的基本思想 是建立一個由用戶參與的交互過程，在交互過程逐步求得精確的的查詢結(jié)果。因為僅僅基于圖像低層特征很難給出令人滿意的結(jié)果，主要原因是圖像低層特征和高層語義間存在著很大的差距。 索引過濾 在大規(guī)模多媒體數(shù)據(jù)檢索過程中，為了提高檢索效率，常在檢索引擎進(jìn)行匹配之前采用索引過濾方法，取出高維特征用于匹配。不同的媒體各自具有不同的相似度算法，這些算法也稱為相似性測度函數(shù)。必須提供可視化手段，可采用交互操縱、摸板選擇和樣本輸入三種方式提交查詢依據(jù)。特征庫中包含了由用戶輸入的和預(yù)處理自動提取的特征數(shù)據(jù)，通過檢索引擎組織與媒體類型相匹配的索引來達(dá)到快速搜索的目的。提取特征時需要知識處理模塊的輔助，與標(biāo)準(zhǔn)化的知識定義直接有關(guān)。特征標(biāo)識可通過用戶輸入或系統(tǒng)定義。 基于內(nèi)容檢索的體系結(jié)構(gòu) 從基于內(nèi)容檢索系統(tǒng)結(jié)構(gòu) 如圖 107所示 ， 由特征分析子系統(tǒng)、特征提取子系統(tǒng)、數(shù)據(jù)庫、查詢接口、檢索引擎和索引過濾等子系統(tǒng)組成，同時需要相應(yīng)的知識輔助支持特定領(lǐng)域的內(nèi)容處理。有許多這方面的名詞和術(shù)語。MPEG7標(biāo)準(zhǔn)定義了一系列的描述結(jié)構(gòu)、一種詳細(xì)說明描述結(jié)構(gòu)的語言、描述定義語言 (DDL)和多