【文章內(nèi)容簡介】 成為了影視廣告業(yè)中的一個迫切需要。 ④ 家庭娛樂 業(yè) ????89 視頻摘要技術在家庭娛樂業(yè)中的一個重要的應用就是視頻點播業(yè)務，用戶可以快速瀏覽視頻摘要，并通過視頻摘要來輕松選取自己中意的電影。而另外一個應用就是用于家庭視頻的處理、存儲等。隨著數(shù)字攝像設備 的越來越普及，家庭中的視頻資料也會快速增長，但是家庭視頻多數(shù)是以原始、未經(jīng)編輯過的形式存在的，使得家庭用戶對視頻的瀏覽和欣賞極為不便，這就需要一種技術或方法來處理這些家庭視頻。因此，視頻摘要對于家庭視頻的瀏覽、娛樂、存儲以及索引和檢索有著很大的作用。 第 二 節(jié) 國內(nèi)外研究現(xiàn)狀 隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)交換的內(nèi)容已經(jīng)不再是單純的文本信息，許多交換的數(shù)據(jù)都是像在線點播、視頻圖書館、遠程視頻教學、虛擬博物館那樣的圖像或視頻格式。為了能夠 快速瀏覽大容量的視頻信息，獲取和表現(xiàn)視頻的內(nèi)容，產(chǎn)生了視頻摘要技術。對于視 頻摘要的研究，國外 已經(jīng)有了不少的原型系統(tǒng) 。 一、 國外 的視頻摘要 研究現(xiàn)狀 目前國際上 已經(jīng) 對視頻分析技術 研究得非常的深入了，而且還取得了許多的研究成果。 他們對一些 低層結(jié)構(gòu) (如鏡頭變換 )和低層語義特征 (如顏色、紋理等 )的研 究開展得較早，所以研究得比較成熟和深入， 但是，對于高層結(jié)構(gòu) （ 如*****大學本科 畢業(yè)設計（論文） 4 場景分割 ） 和高層語義特征 （ 文字、人臉等 ） 的研究， 還沒有 達到最終解決的程度。 Carnegie Mellon 大學 ??17 、德國 Mannheim大學 ??9 、 Columbia 大學 ??10 、加州大學 Berkeley 分校 ??11 、 Philips 研究院 ??12 、微軟研究院 ??13 、 ATamp。T 實驗室 ??14 、IBM Almaden 研究中心 ??15 等等大學或機構(gòu)都展開了此方面的研究， 而且 開發(fā) 了多種 多樣 的摘要和生成算法。 其中比較有 代表性的項目主要有： Informedia Digital Video Library Informedia Digital Video Library 項目是最早 從事媒體內(nèi)容分析的 系統(tǒng) 之一 ， 它在視頻摘要方面有非常系統(tǒng)而深入的研究 ??10 。 1994 年，由美國國家自然科學基金委員會 (NSF)，美國國防部高級研究計劃署 (DARPA)和美國國家宇航局 (NASA)共同支持的數(shù)字圖書館預研工程 DLI(Digital Library Initiative)項目正式立項，該項目被分為六個子項目分別交由美國六所著名大學承擔，其中卡內(nèi)基梅 隆大學 承擔 的 項目簡稱為 Informedia 工程，該項目的目的在于通過抽取重要的音 /視頻信息生成視頻摘要，其研究重點是新聞 ??11 。在建立 視頻摘要過程中，根據(jù)新聞的特點，利用了我們熟知的 TFIDF 方法，從語音 文檔以及字幕中 抽取文字，并對其進行重要度排序，與查詢文本相關的重要的音頻片段將生成音頻縮略。而圖像的縮略是從視頻中選擇有代表性的視頻幀來 合成，這些視頻幀滿足一 定的條件，即包含人臉或字幕的幀、攝像機運動后的靜止幀、包含攝像機運動以及人臉或文本的幀、場景的開始幀，這些幀的優(yōu)先權(quán)從高到低呈遞減趨勢，得到視頻幀的集合，最終通過綜合分析文本、音頻以及圖像縮略來生成完整的視頻摘要 ??10 。 MoCA（ Automatic Movie Content Analysis） MoCA 項目于 1994 年在德國 Mannheim University 開始，由 W． Efelsberg博士 所 主持 ??11 。這個系統(tǒng) 使用了兩條啟發(fā)式規(guī)則來減少關鍵幀的數(shù)目 ： ① 選擇運動最多的鏡頭以及與電影主色調(diào)一致的鏡頭 。 他們認為短時間內(nèi)的運動鏡頭將包含更多的信息 ， 而選擇與電影主色調(diào)一致的鏡頭是為了表達電影的某種情緒 ??11 。 ② 根據(jù)視頻的類型來選取 。 通過對大量視 /音頻數(shù)據(jù)的計算判斷出視頻的類型 ， 如新聞 、 體育 、 MTV、 卡通 、 故事片等 。 于是 ， 與該類電影特征最近的剪輯將被選取 ??11 。 采用 這 兩種啟發(fā)式規(guī)則 的優(yōu)點在于可以生成具有指定類型風格的摘要 。 QBIC(Query By Image Content) QBIC系統(tǒng)是 IBM的 Almaden研究中心開 發(fā)的基于視頻內(nèi)容檢索 系統(tǒng)的典型代表 ??12 ， 允許用戶使用 例子 圖像、 構(gòu)建的草圖和簡圖、選擇的顏色和紋理模*****大學本科 畢業(yè)設計（論文） 5 式、鏡頭和目標運動和其他 形式的多媒體信息檢索功能，是最早的基于內(nèi)容的視頻檢索原型系統(tǒng)，其系統(tǒng)框架與技術對圖像處理系統(tǒng)的發(fā)展有深遠的影響。 Video Manga 系統(tǒng) Video Manga 系統(tǒng) ? ?? ?1012 是由 美國 FX Palo Alto 實驗室研制 的 ，該系統(tǒng)提出了一種自動生成漫畫書 （ Comic Book） 的視頻摘要方法， 他們認為 視頻片段的重要度 是 根據(jù)其長度及新穎度來計算 的 ，圖像與音頻的分析 可以 用來自動探測和強調(diào)有意義的事件。在此基礎上選擇相關的代表幀，代表幀的大小由重要度決定， 其重要度決定它在屏幕上的大小 ， 然后 將所有幀 包裝成一個海報或漫畫書形式的摘要。 其實驗主要針對會議視頻進行的。 二、國內(nèi)的視頻摘要研究現(xiàn)狀 國內(nèi)的 許多 研究機構(gòu)如中國科學 院計算所 ??17 、清華大學 ??14 、浙江大學 ??15 、復旦大學 ??16 、國防科技大學 ??17 以及微軟亞洲研究院 ??19 等也研究開發(fā)出了一些視頻摘要系統(tǒng)，在視頻鏡頭的分割、鏡頭探測、場景聚類、關鍵幀提取、視頻檢索等方面有了比較深厚的技術積 累， 并取得了一些研究成果： 中國數(shù)字圖書館示范工程 “中國數(shù)字圖書館示范工程 ”是數(shù)字圖書館的重點項目 。該項目所涉及的領域非常廣泛，包括 中文信息自動摘要 、 基于內(nèi)容的圖像與視頻檢索 、 分類與數(shù)據(jù)描述標準、海量多媒體數(shù)據(jù)存儲與管理、多媒體數(shù)據(jù)壓縮與傳輸、數(shù)字水印與版權(quán)保護、中文 OCR， 語音識別、機器翻譯、自然語言理解 等等 ， 視頻摘要 就 是其中重要的一項 ??17 。 Videowser 系統(tǒng) Videowser 是國防科技大學多媒體實驗室建立的一個視頻結(jié)構(gòu)化瀏覽和查詢原型系 統(tǒng)。該實驗室在多媒體數(shù)據(jù)庫方面開展研究比較早，在鏡頭探測、場景聚類、關鍵幀提取方面有了比較成熟的的技術，并且開發(fā)過多個實用的視頻分析與檢索系統(tǒng)，有比較深厚的技術積累 ??16 。 WebMARS 視頻信息檢索系統(tǒng) WebMARS 視頻信息檢索系統(tǒng)是浙江大學計算機科學系建立的， 該系主要研究 從 視頻字幕中提取出基本的關鍵字集合 ，然后通過語義聯(lián)想以提高檢索性能 ??17 。該系統(tǒng)就是該研究組從視頻流中的嵌入字幕（ ClosedCaption）中來提取信息進行檢索產(chǎn)生的。 該系統(tǒng)利用 SunBelt 公司的字幕捕捉 TextGrabber 來獲取 NTSC 制式模擬視頻流中的嵌入字幕，然后用普林斯頓大學開發(fā)的電子詞典系統(tǒng) WordNet 來進行關鍵詞的匹配和檢索。 *****大學本科 畢業(yè)設計（論文） 6 視頻鏡頭檢測、 關鍵幀提取 以及視頻鏡頭聚類 是視頻摘要 技術 研究尚待解決的 三個關鍵 問題 。視頻鏡頭檢測的 準確 性 ，關鍵幀提取 算法的有效性以及視頻鏡頭聚類的可行性 ，直接關系到視頻摘要提取的成功率。因此，在視頻摘要技術研究中，首先要解決 的就是這三個問題。目前，國內(nèi)外的許多研究機構(gòu)針對這三 個問題，都提出了自己 的解決方法，也取得了不錯的效果。但是，由于視頻 種類繁多，不同類型和題材的視頻從結(jié)構(gòu)到表現(xiàn)手法上都存在非常大的差別，還很難找到一種適用于各種視頻類型，而且效果良好的通用視頻摘要技術。 第 三 節(jié) 本文的研究 工作 和論文 的 組織結(jié)構(gòu) 一 、本文的研究工作 本論文主要圍繞目前國內(nèi)外視頻摘要領域的研究現(xiàn)狀和發(fā)展趨勢，對視頻摘要的 三個關鍵 技術進行分析總結(jié)，同時設計了 一種基于交互信息量 和雙線性插值 的 生成 視頻摘要 的原型系統(tǒng) 。 具體過程如下： ① 首先 提取出視頻序列的所有幀，對于相鄰的連續(xù)兩幀圖 像，分別獨立地計算其三個 RGB 分量的交互信息量 ，采用相鄰幀間的交互信息量表示鏡頭突變的可能性。交互信息量的值越小，則表示突變的可能性越大。 ② 計算每一個 鏡頭 類的交互信息量的平均值，及其相鄰類間的交互信息量平均值的差異，通過一個確定的閾值對先前劃分的鏡頭重新進行聚類 ，提 取出候選關鍵幀。 ③ 對候選關鍵幀按照相鄰幀 間 交互信息量的比較來提取關鍵幀 ， 如果一個類的交互信息量的最大幀和最小幀間差大于每秒幀率的一半，就選取交互信息量最大和最小的兩個關鍵幀，反之 ， 就選取最接近 平均 交 互信息量的那幀作為關鍵幀 。 ④ 對提取出的關鍵幀進行雙線性插值形成視頻段 ， 再 運用 DirectShow 開發(fā)軟件的 DES(DirectShow Editing Services)對視頻段編輯 ， 最終 融合成動態(tài)視頻摘要。 ⑤ 在上述理論研究成果的基礎上，構(gòu)建了一個簡單的視頻摘要的原型系統(tǒng) 。 該 系統(tǒng)分為視頻播放、關鍵幀提取以及摘要顯示幾個功能模塊， 能 夠滿足用戶的基本要求。 實驗結(jié)果表明，在不需要人工干預的情況下，自動生成的視頻摘要不僅包含視頻 的主要信息，而且冗余信息少 。 *****大學本科 畢業(yè)設計（論文） 7 二 、本文的組織與結(jié)構(gòu) 本文共分六章，各章的主要內(nèi)容如下： 在第一章中，介紹了視頻摘要的研究背景、意義、 發(fā)展前景以及國內(nèi)外的研究狀況 ，分析了當前視頻摘要研究技術的中尚待解決的問題，并且介紹了本文的研究工作和文章的組織結(jié)構(gòu)。 在第二章中， 介紹了 開發(fā)工具 DirectShow 和 Microsoft visual c++ 以及開發(fā)環(huán)境的配置 和 本實驗系統(tǒng) 計算機 軟硬件 配置 ； 在第三章中， 是 對視頻摘要 的表現(xiàn)形式 視頻數(shù)據(jù)的結(jié)構(gòu)進行 介紹 ，由此引出了視頻摘要的生成過程 以及其中的關鍵技術 ，并 對這些技術 的優(yōu)缺點 進了分析。 在第四章中， 設計了 一種基于交互信息量 和雙線性插值 的視頻摘要生成算法 。 該算法首先使用基于交互信息 量的方法進行視頻鏡頭檢測 ， 通過對檢測到鏡頭幀的聚類 來 提取鏡頭候選關 鍵幀， 然后對候選關鍵幀按照相鄰幀 間 交互信息量的比較來提取鏡頭關鍵幀 ， 再 對提取出的關鍵幀進行雙線性插值形成視頻段 ， 接著 運用 DES 對視頻段編輯融合成最終的動態(tài)視頻摘要。 在第五章中， 是 在第四章研究成果的基礎上，構(gòu)建 了一個簡單 視頻摘要的原型系統(tǒng) 。 該 系統(tǒng)分為視頻播放、關鍵幀提取以及摘要顯示幾個功能模塊， 能夠滿足用戶的基本要求。 在第六章中， 是對第五章中構(gòu)建的視頻摘要系統(tǒng)進行測試 。實驗結(jié)果表明，在不需要人工干預的情況下，自動生成的視頻摘要不僅包含視頻的主要信息，而且冗余信息少 。 最后是對本文進行總結(jié)，以及對未來研究工作的設想。 *****大學本科 畢業(yè)設計（論文） 8 第 二 章 開發(fā)工具的介紹 第一節(jié) DirectShow 的介紹 DirectX SDK(DirectX Software Develop Kit)是美國微軟公司開發(fā)的一套主要用于設計多媒體、 2D、 3D 游戲及程序 API，其中包含了各類制作多媒體功能相關的組件 (Component)，各組件則提供了 許 多媒體的接口和方法，包括DirectShow， DirectInput， DirectMusic， DirectPlay， Direct3D， Direct3D??18 。 DirectShow 的設計初衷就是盡量 讓應用程序開發(fā)人員從復雜的數(shù)據(jù)傳輸、硬件差異、同步性等工作中解脫出來，總體應用程序框架和底層工作由DirectShow 來完成，這樣，基于 DirectShow 框架開發(fā)多媒體應用程序就會變得非常簡單。 DirectShow 使用 Filter Graph 的模型來管理整個 數(shù)據(jù)流的處理過程：參與數(shù)據(jù)處理的各個模塊（ COM 組件）叫做 Filter。各個 Filter 在 Filter Graph 中按一定的順序連接成一個“流水線”協(xié)同工作?？蚣?結(jié)構(gòu) 如 圖 所示： 應 用 程 序命 令 事 件D i r e c t s h o wF i l t e r G r a p h M a n a g e rS o u r c eF i l t e rT r a n s f o r mF i l t e rR e n d e r i n gF i l t e rF i l t e r G r a p h 圖 DirectShow 及其與應用程序直接之間的關系 按照功能來分， Filter 大致分為 3 類 ： Source Filters、 Transform Filters 和Rendering Filters。 源濾波組件（ Source Filter）： 主要負責獲取數(shù)據(jù)，數(shù)據(jù)源 可以是文件、因特網(wǎng)計算機里的采集卡（ WDM 驅(qū)動的或 VFM 驅(qū)動的）數(shù)字攝像機等，然后將數(shù)