【正文】 以近年來出現(xiàn)了直接對壓縮視頻進行鏡頭邊界檢測的算法。 本文研究內(nèi)容是基于 MATLAB 針對非壓縮域視頻的鏡頭邊界檢測算法。 內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 4 視頻數(shù)據(jù)處理過程 圖 視頻數(shù)據(jù)處理過程 （ 1）選擇特征向量 選擇一個合適的特征向量對鏡頭邊界的正確檢測有很大的幫助。基于連續(xù)幀相減的像素差法對于運動和噪聲十分敏感，容易造成誤檢，而直方圖相減方法又丟失 了幀圖像的位置信息，容易造成漏檢測。所以需要找到一個更好的特征或者是特征組合來提高鏡頭邊界的檢測的效果。 （ 2）選擇閾值 如何選擇一個合適的閾值是應用幀差法進行鏡頭邊界檢測最關鍵的一個問題，選取的閾值是否合適直接影響著鏡頭邊界檢測的結果。如果選取的閾值過大，會造成漏檢，而閾值太小又會造成誤檢。并且不同類型的視頻需要選擇不同的閾值，很難有一個統(tǒng)一的標準。 （ 3）鏡頭漸變與鏡頭運動的區(qū)別 因為鏡頭漸變與鏡頭運動都會使幀間差連續(xù)的增大，所以利用基于 MATLAB 幀間差的方法很難將鏡頭漸變和鏡頭運動區(qū)分開來。 （ 4） 光照變化及閃光引起的誤檢 在鏡頭中出現(xiàn)的閃光以及光照條件的變化會造成視頻幀亮度的變化，從而引起視頻幀間差的變化，使得鏡頭邊界檢測出現(xiàn)錯誤，造成誤檢。 內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 5 視頻鏡頭邊界檢測過程 本文所用鏡頭邊界檢測方法的關鍵在于計算相鄰幀間差，第一步要從視頻鏡頭圖像幀中選取合適的特征值，選取的特征值要能準確反映視頻內(nèi)容的變化程度，然后就是對特征值進行計算，獲取幀間差。第二步進行鏡頭邊界判斷，需要設定一個閾值，然后根據(jù)幀間差與閾值的關系判斷是否發(fā)生了鏡頭的變換?；?MATLAB 解壓縮域鏡頭邊界檢測過程如圖 所示，其中 F(i)代表視頻鏡頭第 i 幀圖像， D(i)代表 i 幀和 i+1 幀圖像幀間差， S(k)代表檢測到的第 k個鏡頭邊界。 圖 鏡頭邊界檢測過程 內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 6 主要方法及存在的問題 視頻鏡頭邊界檢測的實質(zhì)就是檢測視頻鏡頭連續(xù)相鄰幀或非相鄰幀差的差異度或相似度，當相似度或差異度大于或小于一個閾值時，則判定出現(xiàn)視頻鏡頭突變或漸變邊界。 （ 1）利用視頻圖像相鄰幀差檢測鏡頭邊界的方法 本文所用的利用視頻圖像相鄰幀差進行鏡頭邊界檢測的方法主要有連續(xù)幀相減法和直方圖相減法，它們是最簡單的計算幀間差的方法，原理也很簡單， 基于 連續(xù)幀相減的像素差方法的主要原理就是判斷相鄰圖像幀中發(fā)生變化的像素點的多少。首先統(tǒng)計兩幅圖像對應像素點變化率超過閾值 F1 的像素點個數(shù)。然后，將變化的像素點個數(shù)與第二個預定的閾值 F2 比較，如果超過范圍，則認為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界?；谥狈綀D的方法也是利用視頻圖像幀間差進行鏡頭邊界檢測的方法。首先計算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。當差異的累加值超過閾值 T 時，即檢測到鏡頭邊界。還有一種基于塊的鏡頭邊界檢測算法。這種算法將圖像進行分塊，然后 將相鄰幀所對應的塊進行比較，統(tǒng)計變化率超過閾值 F1 的個數(shù)。當個數(shù)超過閾值 F2時，即標為視頻鏡頭邊界。 這個方法就是根據(jù)視頻幀間差與閾值的關系達到檢測鏡頭邊界的目的，既可以檢測突變鏡頭邊界也可以檢測漸變鏡頭邊界。因為基于連續(xù)幀幀間差的方法有很多，例如本文中所用的基于連續(xù)幀相減的像素差法和直方圖相減法。檢測漸變鏡頭邊界與突變鏡頭邊界唯一不同的是閾值的選取不同。一般來說，只計算相鄰幀的幀間差，對于漸變鏡頭邊界的檢測來講，有一種方法就是當幀間差超過閾值 F1 時，標記為漸變起始幀，然后接下來每一幀都與起始幀作差，以此來 判定鏡頭邊界。 （ 2） 利用視頻鏡頭相鄰幀相似度檢測視頻鏡頭邊界方法 直方圖交集法是利用兩個視頻圖像幀直方圖交集來檢測視頻鏡頭邊界的。與其它利用幀間差檢測視頻鏡頭邊界方法不同的是，直方圖交集是檢測連續(xù)兩個視頻圖像幀相似度的。它的原理也比較簡單，具體實現(xiàn)過程如下，首先計算連續(xù)兩幀的直方圖，然后計算直方圖交集，當連續(xù)兩個視頻圖像幀的相似度小于閾值 F1 時，則判定出現(xiàn)鏡頭邊界。在實際中，經(jīng)常需要將突變鏡頭與漸變鏡頭放在一起檢測。在進行鏡頭漸變檢測時，用檢測鏡頭突變的方法檢測效果并不明顯。所以需要一些方法的組合來實現(xiàn)漸變鏡頭 邊界檢測，例如二次幀差法，利用重復幀差值的計算提高漸變鏡頭邊界檢內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 7 測效率。還可以利用像素差法與直方圖法的結合來實現(xiàn)，不僅可以達到好的漸變檢測效果，還能消除攝像機及目標運動對結果的影響?；蛘卟捎弥狈綀D幀差的均值與方差變化來找出漸變鏡頭邊界。 現(xiàn)階段視頻鏡頭邊界檢測算法有很多 ,但其中大部分不能普遍適用于不同類型的視頻鏡頭 ,或者僅僅只針對某一類視頻鏡頭中的某一種鏡頭變換 ,而且這些算法大都對攝像機與物體的運動以及閃光比較敏感，容易出現(xiàn)誤檢與漏檢。 本文所采用的方法為基于連續(xù)幀相減的像素差法和直方圖相減法。這兩種方法對于閾值的依賴性較強。如何選擇一個合適的閾值是應用這兩種方法進行鏡頭邊界檢測最關鍵的一個問題，選取的閾值是否合適直接影響著鏡頭邊界檢測的結果。如果選取的閾值過大，會造成漏檢，而閾值太小又會造成誤檢。并且不同類型的視頻需要選擇不同的閾值，很難有一個統(tǒng)一的標準。 性能標準 通常，在視頻鏡頭邊界檢測中，要用查全率和準確率兩個概念還衡量檢測算法的檢測精度，這兩個概念定義如下： 另外，在鏡頭邊界檢測中還有兩個參數(shù)經(jīng)常被用到，即漏檢率和誤檢率： （ 1）漏檢率 =1查全率 （ 2）誤檢率 =1查準率 實際的鏡頭切變數(shù) 數(shù)準確檢測到的鏡頭切變查全率 ? 數(shù)全部檢測到的鏡頭切變 數(shù)準確檢測到的鏡頭切變查準率 ?內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 8 第二章 視頻數(shù)據(jù)結構 MATLAB 簡介 在所有的多媒體數(shù)據(jù)類型中，視頻數(shù)據(jù)是最復雜的。因為它所包含的內(nèi)容比較多，其中不僅包括每個視頻幀圖像的內(nèi)容，還有鏡頭中目標的運動信息以及隨時間變化的信息。正因為視頻數(shù)據(jù)自身特點如此，所以對視頻數(shù)據(jù)的處理顯得異常艱難。 MATLAB可以實現(xiàn)對數(shù)字視頻的讀取以及將數(shù)字視頻分離為幀并用數(shù)字圖像處理工具箱對其進處理。 視頻數(shù)據(jù)結構 視頻數(shù)據(jù)特點 視頻是對于人類來講，是非常重要的信息源。因為視頻是動態(tài)幀序列的組合 ,所以它與普通圖像有所不同，除了靜態(tài)圖像可以表示的 內(nèi)容以外，它還包括鏡頭中目標運動的信息以及目標隨時間變化的信息 ,因此對于視頻數(shù)據(jù)結構的研究很有必要，意義重大。 通常來講，視頻所包含的信息量非常大 ,并且結構也很特殊 ,例如每一秒視頻包含24 幀圖像，而且內(nèi)容多種多樣，同時每個人對于所看到的內(nèi)容理解不同，所以對于視頻很難有一個確切的描述與解釋。 視頻數(shù)據(jù)的表示 視頻數(shù)據(jù)的信息量非常大，所以需要以多種方式來描述視頻數(shù)據(jù)。視頻數(shù)據(jù)本身就有很多屬性 ,包括像素位置、顏色紋理、形狀以及運動等。因為視頻是一系列視頻圖像幀的集合，所以對視頻數(shù)據(jù)的表示與分析從本質(zhì)上 講也是通過圖像特征對視頻圖像幀進行分析。所以對視頻數(shù)據(jù)的處理也依賴于這些特征，視頻數(shù)據(jù)處理的過程就是對這些視頻圖像幀特征的提取?；叶戎狈綀D也是視頻圖像的一個重要屬性，灰度直方圖是灰度級的函數(shù)，它表示圖像中具有某種灰度級的像素的個數(shù)，反映了圖像中某種灰度出現(xiàn)的頻率。運動特征、形狀和視頻圖像像素位置對于視頻也是非常重要的屬性，但是這些屬性的提取一般來說比較困難，本文只對視頻圖像幀的像素位置屬性和灰度直方圖屬性作研究。 視頻數(shù)據(jù)處理結構 在處理視頻數(shù)據(jù)時，需要將視頻數(shù)據(jù)分成視頻、場景、鏡頭和幀四層結構 來表示，內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 9 便于表示其中內(nèi)容。其中 ,視頻圖像幀是視頻結構的最底層。視頻圖像處理是一個從最底層開始不斷對視頻進行描述，逐步直到高層表達的過程。而對幀圖像的處理達到鏡頭邊界檢測，使鏡頭分割是對視頻處理的一個基礎操作。 MATLAB 簡介 MATLAB 組成 MATLAB 主包 （ 1） MATLAB 語言 MATLAB 語言是一種面向?qū)ο蟮某绦蛟O計語言，其中包含有各種函數(shù)、控制語句、數(shù)據(jù)類型以及數(shù)據(jù)的輸出功能。 （ 2）句柄圖形 句柄圖形是 MATLAB 的圖形系統(tǒng)。句柄圖形中擁有用于處理二維和 三維數(shù)字圖形的各種指令和高低級命令。 （ 3） MATLAB 應用程序接口（ API） API 是 MATLAB 程序所提供的，以便于和其他的高級語言進行相互連接的一個互動對接函數(shù)庫，各種語言之間通過對 MAT文件的讀寫來實現(xiàn)數(shù)據(jù)信息的相互交流。 MATLAB 工具箱 MATLAB 工具箱從功能上看，可以將他們分為學科性的工具包和功能性的工具包兩大部分。其中和圖像處理相關的那些工具箱放在了功能性的工具包中。這些工具能夠十分簡單快捷的對圖像做一些常見的處理工作，例如圖像增強和圖像復原等操作。 MATLAB 主要特點 工作平臺環(huán)境友好 MATLAB 由一系列工具組成。這些工具大多使用圖形用戶界面，使得用戶對 MATLAB軟件中和各種文件及函數(shù)的調(diào)用非常方便。 程序語言簡單易用 MATLAB 是一種高級語言，用戶可以根據(jù)實際需要自主的選擇將輸入語句和執(zhí)行命令進行同步處理，也可以先單獨的編寫出每一個應用程序文件，最后再將它們連接起來一起執(zhí)行以完成一個復雜的程序功能。 出色的圖形處理功能 內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 10 MATLAB 本身具有強大的數(shù)據(jù)可視化功能，能夠方便的將數(shù)據(jù)矩陣轉(zhuǎn)換成圖形表現(xiàn)出來，特別是在本文所研究的視頻鏡頭邊界檢測應用中，可 以方便的使用戶看到具體哪一幀為鏡頭邊界。 MATLAB 圖像處理工具箱 本文所用的 MATLAB 為 MATLAB R2021a。 MATLAB 提供的圖像處理工具箱提供了很多非常方便的函數(shù)。在視頻處理方面， MATLAB 用于讀取視頻的函數(shù)有好多，例如mmreader,Videoreader， aviread 和 mpgread。本文所用的是 aviread，但是 aviread對于視頻格式讀取有限制，只能讀取未經(jīng)壓縮的 avi視頻和一定壓縮格式的 avi視頻。如本文中使用的視頻《羅馬假日》， MATLAB 就不能正常讀取。需 要使用 WinAVI 進行解壓縮，輸出為 RGB24 格式，才能正常讀取。在本文中，一個 大小的視頻經(jīng)過解壓縮處理后輸出大小為 260M 左右。這同時也暴露了本文所討論方法的局限性，因為現(xiàn)在大多數(shù)視頻都是經(jīng)過壓縮處理的，如果先解壓，再用本文所討論方法，容易造成時間的浪費。 內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 11 第三章 視頻鏡頭突變檢測 國內(nèi)外研究現(xiàn)狀 本文中的鏡頭突變檢測就是檢測視頻序列中像素點數(shù)目變化與直方圖幀差變化的峰值點，也就是內(nèi)容變化程度的最大處。首先介紹一下一些典型的視頻鏡頭突變檢測方法。 （ 1）直 接利用視頻圖像幀間像素差的方法 它是最簡單的計算幀間差的方法，原理也很簡單，具體操作過程如下： 由于人眼是以像素為單位來辨別圖象的相似度或者差異度的 ,兩幀圖像在同一位置上相同像素點的個數(shù)越多 ,這兩幀圖像就越相似。由此 ,提出基于連續(xù)幀相減的像素差法。該方法主要原理就是判斷相鄰圖像幀中發(fā)生變化的像素點的多少。首先統(tǒng)計兩幅圖像對應像素點變化率超過閾值 F1 的像素點個數(shù)。然后，將變化的像素點個數(shù)與第二個預定的閾值 F2比較，如果超過范圍，則認為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界。 由于考慮到了視頻圖像幀的像素位置信 息，所以對于視頻鏡頭的檢測比較精確，但是這種方法的主要缺點是對于攝像機及目標運動比較敏感，容易出現(xiàn)誤檢與漏檢。經(jīng)常采用的一種方法是：使用濾波器來降低視頻圖像幀噪聲，在比較一幀的每個像素前，用它的鄰近區(qū)域的平均值來代替，這也過濾了輸入圖像的一些噪聲。 （ 2） 基于連續(xù)幀直方圖相減的方法 基于直方圖的方法也是利用視頻圖像幀間差進行鏡頭邊界檢測的方法。具體操作過程如下：首先計算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。當差異的累加值超過閾值 T 時，即檢測到鏡頭邊界。 基于直方圖的 方法雖然對于攝像機及目標運動不敏感，但它忽略了幀內(nèi)的空間變化，所以有可能造成鏡頭邊界的誤檢與漏檢。因為可能存在兩個圖像有類似的直方圖但卻具有完全不同的內(nèi)容。不過，這種事件的概率是足夠低的。 （ 3） 基于塊的鏡頭邊界檢測算法 由于前面兩種方法對于攝像機及目標運動比較敏感，所以我們需要一種方法能夠提高算法對局部運動的容忍度?；趬K的鏡頭邊界檢測算法就可以達到這個目的。它的原理與基于連續(xù)幀相減像素差法類似，所不同的是，這種算法將圖像進行分塊，然后將相鄰幀所對應的塊進行比較，統(tǒng)計變化率超過閾值 F1 的個數(shù)。當個數(shù)超過閾值F2時，即標為視頻鏡頭邊界。 內(nèi)蒙古工業(yè)大學本科畢業(yè)論文 12 連續(xù)幀相減 MATLAB實現(xiàn) MATLAB 程序流程圖 假 假 圖 MATLAB 程序