【正文】 跟在 “ vids” 之后的是字符一般有幾種，如“ DIB、“ tscc、“ RLE、“ DX50”等。大小的后面也是一個(gè)數(shù)據(jù)結(jié)構(gòu)，即 AVI 流頭部結(jié)構(gòu)AVIStreamHeader，它描述是這個(gè)流的類型、壓縮方式、數(shù)據(jù)量、音頻采樣大小等。大小之后是 MainAVlHeader的數(shù)據(jù)結(jié)構(gòu)，顯示了很多關(guān)于 AVI 文件的信息，如顯示速率、文件總幀數(shù)、圖像寬和高等 。然后是“ hdrl，表示后面的是頭部列表的數(shù)據(jù)。 AVI 視頻是 RIFF 格式文件，它的數(shù)據(jù)是從 LIST 標(biāo)記開始的。 AVI 文件一般由 3 部分構(gòu)成：信息區(qū)、數(shù)據(jù)區(qū)和索引 區(qū) 。它對(duì)視頻文件采用了一種有損壓縮方式，盡管畫面質(zhì)量不是太好，但壓縮率比較高，應(yīng)用范圍非常廣泛。 視 頻 序 列 視 頻 解 碼視 頻 播 放鏡 頭 檢 測 關(guān) 鍵 幀 提 取摘 要 播 放摘 要 形 成 圖 視頻摘要系統(tǒng) 結(jié)構(gòu) 圖 視頻文件是研究 視頻 摘要技術(shù)的起點(diǎn)，盡管存在著各種不同格式的視頻文件如 AVI、 MPEG、 WMV、 MOV 等，并且它們的編碼方式各異，視頻、音頻和字幕的存儲(chǔ)方式各有特點(diǎn)，但是，只要對(duì)視頻文件的物理結(jié)構(gòu)進(jìn)行分析，了解其編碼和存儲(chǔ)方式，就可以對(duì)其進(jìn)行準(zhǔn)確的操作。視頻播放和摘要播放是系統(tǒng)的輔助功能。 *****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 19 第四章 簡單 視頻摘要 系統(tǒng) 的 設(shè)計(jì) 第 一 節(jié) 視頻解碼 本文設(shè)計(jì)的視頻摘要系統(tǒng)主要由六個(gè)部分組成：視頻解碼、鏡頭檢測、關(guān)鍵幀提取、摘要形成、視頻播放和摘要播放。本章 主要介紹的是視頻摘要的理論和技術(shù)基礎(chǔ) 。該方法的主要原理是用某些特征點(diǎn)的連線 (特征 線 )近似并代表某個(gè)類的所有特征樣本軌跡 ， 而這些特征點(diǎn)就是關(guān)鍵幀。 ⑷ 基于聚類的方法 聚類提取 ??25 的方法首先要確定一個(gè)初始類心 ， 然后根據(jù)當(dāng)前幀與類心的距離來判斷是歸為該類還是作為新的類心 ， 再將鏡頭中幀分類后取各類中離類心最近的幀作為關(guān)鍵幀。如果先把圖像中的運(yùn)動(dòng)對(duì)象從背景中取出 ， 再計(jì)算對(duì)象所在位置的光流 ， 可以取得更好的效果。 ⑶ 基于運(yùn)動(dòng)分析的方法 Wolf??24 通過光流分析來計(jì)算鏡頭中的運(yùn)動(dòng)量 ， 在運(yùn)動(dòng)量取局部最小值處來選取關(guān)鍵幀 ， 它反映了視頻數(shù)據(jù)中的靜止 ， 視頻中通過攝像機(jī)在一個(gè)新的位置上停留或通過人物的某一動(dòng)作的短暫停留來強(qiáng)調(diào)其本身的重要性。 張宏江 等人 [3]依據(jù)幀間的顯著變化來選擇多個(gè)關(guān)鍵幀 ， 首先把鏡頭的第一幀作為關(guān)鍵幀 ， 然后計(jì)算前一個(gè)關(guān)鍵幀與剩余幀之差 ， 如果差值大于某一閾值 ， 則再選取一個(gè)關(guān)鍵幀。該方法實(shí)現(xiàn)起來比較簡單 ， 無論鏡頭的內(nèi)容如何 ， 關(guān)鍵幀的數(shù)量都是一定的 (1幀或 2幀 )， 但效果不是很穩(wěn)定 ， 因?yàn)槊總€(gè)鏡頭的首幀 或末幀不一定總是能夠反映鏡頭的主要內(nèi)容。關(guān)鍵幀的提取原則是“寧濫勿缺” ??14 。 視頻關(guān)鍵幀提取算法 關(guān)鍵幀 (也稱代表幀 )是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀 ， 它通常會(huì)反映一個(gè)鏡頭的主要內(nèi)容。 張宏江 等人 ??20 用計(jì)算鏡頭內(nèi)各幀平均亮度和主要顏色的均值和方差作為鏡頭運(yùn)動(dòng)量大小的度量 ， 在新聞視頻中取得了較好的效果。 Patel和 Sethi ??36 提出利用 MPEG中的 B和 P幀的運(yùn)動(dòng)向量來避免 光流計(jì)算和塊匹配。運(yùn)動(dòng)分析的方法有基于光流方程的方法、基于塊的方法、像素遞歸方法和貝葉斯方法 ??34 等 ， 但這些方法計(jì)算量大。最近的表達(dá)方法還有 Chamfer匹配 ??33 ， Berfos提出的層次 Chamfer匹配算法，以及 Wallace和 Mitchell提出的局部形狀分析算法的 3D形狀表達(dá)。形狀特征表示的一個(gè)重要準(zhǔn)則是要求對(duì)位移、旋轉(zhuǎn)、縮放的不變性 ， 通常形狀的表示可以分為基于邊界和基于區(qū)域兩類 ??29 。隨著小波理論的建立， Gross M IT??30 等人提出了基于小波的紋理表達(dá)。 另外 ， 許多研究者開始將小波變換應(yīng)用于紋理特征表示。于是不少人提出了其它的紋理特征度量方法 ， 其中 Tamura ??28 提出的紋理特征集可以很好地與人類視覺感知相對(duì)應(yīng) ， 這些特征包括 ： 粗糙度、對(duì)比度、方向性、線像度、規(guī)則性、粗略度。 ⑵ 紋理特征 20世紀(jì) 70年代初 Haralick??29 等人提出了紋理特征的共生矩陣表示法 ， 即利用紋理在灰度級(jí)的空間相關(guān)性 ， 先根據(jù)圖像像素間的方向和 距離構(gòu)造一個(gè)共生矩陣 ， 再從中提出有意義的統(tǒng)計(jì)數(shù)據(jù)作為紋理的特征表示。為了能夠在大規(guī)模圖像數(shù)據(jù)集中進(jìn)行快速的搜索 ， Smith和 Change ??28 等人提出了顏色集的概念 ：首先將 RBG顏色空間轉(zhuǎn)換為視覺上一致空間 HSV， 然后量化為 m個(gè)顏色條 ， 顏色集就定義為量化后的顏色空間中顏色的一種選擇。顏色特征包括顏色直方圖、主要顏色、平均亮度 ??27 等。靜態(tài)特征分顏色特征，紋理特征和形狀特征等。 視頻鏡頭聚類 視頻分割成鏡頭后就要對(duì)各個(gè)鏡頭進(jìn)行特征提取 ， 得到一個(gè)盡可能充分反映鏡頭內(nèi)容的特征空間 ， 這個(gè)特征空間將作為視頻聚類和檢索的依據(jù) ??15 。 對(duì) 于突變變換，幀間差在切換處會(huì)出現(xiàn)明顯的峰值；對(duì)于漸變變換，幀間差雖然 所增大，但沒有一個(gè)明顯的峰值，而是會(huì)出現(xiàn)“高原區(qū)”。此 設(shè)計(jì)一開始就是采用這*****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 16 種方法， 計(jì)算量 非常大，并且對(duì)于噪聲的影響非常敏感，如常發(fā)生一個(gè)鏡頭內(nèi)，主持人位置的移動(dòng)就被檢測成鏡頭變換，或者是環(huán)境稍微變化如鏡頭中出現(xiàn)一個(gè)污點(diǎn)也會(huì)誤判為兩個(gè)不同鏡頭的情況發(fā)生。 ⑶ 邊緣檢測法 邊緣法 檢測法 ??13 的基本思想是，在鏡頭轉(zhuǎn)換時(shí)，新出現(xiàn)的邊緣遠(yuǎn)離舊邊緣的位置， 同 樣舊邊緣消失的位置應(yīng)遠(yuǎn)離新邊緣的位置。 A. Nagasaka和 Y. Tanaka ??21 提出了一種將視頻幀劃分為 4 4相同大小的子塊并比較相應(yīng)子塊的方法。 ⑵ 直方圖法 直方圖法 ??13 的基理是將顏色空間分為一個(gè)個(gè)離散的顏色小區(qū)間，然后計(jì)算落入每個(gè)小區(qū)間的 象 素?cái)?shù)目， 得 到 圖 像的直方圖統(tǒng)計(jì)， 通 過比較兩 幀圖像的直方圖統(tǒng)計(jì)得到幀間 差。 ⑴ 模板匹配法 模板匹配法 ??13 是以兩幀圖像對(duì)應(yīng)象素差 的絕對(duì)值之和作為幀間 差， 如果 前后兩幀的幀間差變化超出某個(gè)閾值，則認(rèn)為有鏡頭的切換， 它的 缺 點(diǎn)是對(duì)噪聲和鏡頭或物體運(yùn)動(dòng)非常敏感，導(dǎo)致誤 檢。它是形成 動(dòng)態(tài)視頻摘要的第一步，其核心處理是鏡頭切變檢測。 二、視頻摘要的關(guān)鍵技術(shù) 傳統(tǒng)的針對(duì)視頻結(jié)構(gòu)的研究主要分為以下三種技術(shù) ： 鏡頭檢測、關(guān)鍵幀提取、視頻鏡頭聚類 。它們?yōu)楹罄m(xù)的摘要工作提供鋪墊。 *****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 15 以上四條就是視頻摘要的基本步驟，有關(guān) 視頻摘要的研究都是圍繞著這幾個(gè)步驟展開的。 ③ 視頻對(duì)象重要度評(píng)判：通過建立一定的重要度評(píng)判標(biāo)準(zhǔn)或評(píng)判模型，對(duì)視頻對(duì)象重要程度進(jìn)行評(píng)判，選擇出相關(guān)度高，概括性強(qiáng)的重要視頻內(nèi)容對(duì)象作為視頻摘要的組成元素。比如視頻數(shù)據(jù)采用不同的邊界檢測算法被分割為鏡頭、場景等。 一段視頻序列可以劃分為若干個(gè)場景，每個(gè)場景描述一個(gè)完整的事件；場景又包含一個(gè)或多個(gè)鏡頭，鏡頭是視頻數(shù)據(jù)的基本單元 ， 它代表一個(gè)場景中在時(shí)間上和空間上連續(xù)的動(dòng)作 ， 是攝像機(jī)的一次操作所攝制的視頻圖像 ， 任何一段視頻數(shù)據(jù)流都是由許多鏡頭組成的；視頻數(shù)據(jù)的最小單位 —— 圖像幀 ， 又構(gòu)成了鏡頭，圖像幀就是一幅幅靜止的圖像 ??13 。 *****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 14 二 、視頻 數(shù)據(jù) 的 結(jié)構(gòu)分析 為了 形成視頻摘要 ，首先要構(gòu)造便于 分析 的視頻 結(jié)構(gòu) ??13 。用戶可以通過播放視頻概述來了解整個(gè)視頻的故事情節(jié)。它也可以得到了視頻的時(shí)間動(dòng)態(tài)。它在表現(xiàn)形式上是一個(gè)有向圖，圖中的節(jié)點(diǎn)代表含有相似鏡頭的聚類，圖中的邊用來描述節(jié)點(diǎn)之間的關(guān)系，表示鏡頭的先后順序。用戶通過瀏覽漫畫書，就可以很容易知道視頻中哪個(gè)部分是重要的，而哪些又是不很重要的，根據(jù)自己的需要來選擇進(jìn)一步的操作。不同之處在于它采用了圖像不同的大小來表示視頻中相應(yīng)內(nèi)容的重要程度。這種方式相對(duì)于海報(bào)的一幅圖像來說，通過更多的視頻圖像向用戶提供了更詳細(xì)的情節(jié)信息，但是它也還是無法表現(xiàn)視頻的動(dòng)態(tài)特性。 ③ 故事板 (Story Boards) 故事板 ??14 也叫 Filmstrips， Comic Book，是由一組從整個(gè)視頻片段中抽取出來的圖像按照發(fā)生的時(shí)間順序組合而成的摘要形式。它可以向用戶提供很直觀的可視化信息，將視頻所要表達(dá)的故事情節(jié)展現(xiàn)出來。很難由計(jì)算機(jī)自動(dòng)生成能準(zhǔn)確概括視頻內(nèi)容、滿足用戶需要的文字，一般只能采用人工輸入的方式，當(dāng)然也可以通過識(shí)別視頻標(biāo)題或視頻中的其它注釋文字來獲 得。 其中視頻 概要 提供快速方便的瀏覽方式 ， 而 縮略 視頻是視頻內(nèi)容的濃縮 ，它們各自的 具體表現(xiàn)形式，如圖 ： 視 頻 摘 要視 頻 概 要（ V i d e o S u m m a r y ）縮 略 視 頻（ V i d e o S k i m m i n g ）標(biāo)題（Titles）海報(bào)（Posts Frames）場景轉(zhuǎn)移圖（Scene Transfer Graphs）精彩片段（Highlights）視頻概述（Summary Sequence）漫畫書（Cartoon Pictures）故事版（StoryBoards） 圖 視頻摘要分類示意圖 ① 標(biāo)題 (Titles) 標(biāo)題 ??13 是對(duì)整個(gè)視頻內(nèi)容的一段簡短、精確的文字描述，對(duì)視頻中所 發(fā)生的故事情節(jié)進(jìn)行了高度概括。 靜態(tài)和動(dòng)態(tài)視頻摘要有明顯的區(qū)別 ??13 ：靜態(tài)視頻摘要只考慮其關(guān)鍵幀（對(duì)象），忽略了音頻信息，生成摘要的速度比動(dòng)態(tài)的快；動(dòng)態(tài)視頻摘要表現(xiàn)的內(nèi)容比靜態(tài)視頻摘要豐富。 一般來說，視頻 概要 ??14 往往為靜態(tài)視頻摘要模式，即通過一系列關(guān)鍵幀（對(duì)象）組成相應(yīng)的語義單元，概括表示鏡頭內(nèi)容，并支持視頻快速導(dǎo)航。 *****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 12 第 三 章 視頻摘要 的 理論和技術(shù)基礎(chǔ) 第 一 節(jié) 視頻摘要 的表現(xiàn)形式 以及 視頻 結(jié)構(gòu)分析 一、視頻摘要的表現(xiàn)形式 視頻 摘要的主要研究內(nèi)容是 研究 如何從整個(gè)視頻中提取有效的片段，高度而又準(zhǔn)確地概括視頻 內(nèi)容 ??13 。 或兼容機(jī)（ Pentium 133 MHz 或更高、 Pentium PRO、 Pentium II 或 Pentium III） 內(nèi)存： (RAM) 最小 32 MB（推薦 64 MB） 磁盤驅(qū)動(dòng)器： CDROM 驅(qū)動(dòng)器 *****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 11 硬盤空間： 50 – 90 MB 運(yùn)行軟件環(huán)境 Windows 98/NT/2021/XP,Microsoft Visual C++ ， DirectX SDK 及其更高版本。 ⑧ 除了配置 Filter 項(xiàng)目外，還需將 DirectX SDK 的 Lib 目錄配置到 VC 的系統(tǒng)目錄中去，并且放在標(biāo)準(zhǔn)的 VC 目錄之前，以保證編譯器能夠拿到最新版本的源文件。 ⑥ 定義一個(gè) .def 文件用于導(dǎo)出 DLL 函數(shù)。我們所要做的就是配置好 Filter的開發(fā)環(huán)境 ??18 。 *****大學(xué)本科 畢業(yè)設(shè)計(jì)（論文） 10 第三節(jié) 開發(fā)環(huán)境的配置 Filter 是一種進(jìn)程內(nèi)的 COM 組件。大致說來， Platform SDK 是以 Microsoft C/C++編譯器為核心（不是 Visual C++，看清楚了），配合 MASM，輔以其他一些工具和文檔資料。但是， Visual C++也不等于 MFC。同 時(shí)，用 Visual C++編寫代碼也并不意味著一定要用 MFC，只要愿意，用 Visual C++來編寫 SDK 程序，或者使用 STL， ATL，一樣沒有限制。所以它充其量只是 Visual C++的一個(gè)殼子而已。所以實(shí)際中，更多的是以 Visual C++ 為平臺(tái)。自 1993年 Microsoft 公司推出 Visual C++ 后，隨著其新版本的不斷問世， Visual C++已成為專業(yè)程序員進(jìn)行軟件開發(fā)的首選工具 ??20 。 ④ 提供建立 FilterGraph 的方法。 ② 建立一個(gè)參考時(shí)鐘。 源濾波組件（ Source Filter）： 主要負(fù)責(zé)獲取數(shù)據(jù)，數(shù)據(jù)源 可以是文件、因特網(wǎng)計(jì)算機(jī)里的采集卡（ WDM 驅(qū)動(dòng)的或 VFM 驅(qū)動(dòng)的）數(shù)字?jǐn)z像機(jī)等，然后將數(shù)據(jù)往下傳輸； 變換濾波組件（ Transform Filter） 主要負(fù)責(zé)數(shù)據(jù)的格