【正文】 MATLAB 針對非壓縮域視頻的鏡頭邊界檢測算法。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 4 視頻數(shù)據(jù)處理過程 圖 視頻數(shù)據(jù)處理過程 （ 1）選擇特征向量 選擇一個(gè)合適的特征向量對鏡頭邊界的正確檢測有很大的幫助。基于連續(xù)幀相減的像素差法對于運(yùn)動和噪聲十分敏感，容易造成誤檢，而直方圖相減方法又丟失 了幀圖像的位置信息，容易造成漏檢測。所以需要找到一個(gè)更好的特征或者是特征組合來提高鏡頭邊界的檢測的效果。 （ 2）選擇閾值 如何選擇一個(gè)合適的閾值是應(yīng)用幀差法進(jìn)行鏡頭邊界檢測最關(guān)鍵的一個(gè)問題，選取的閾值是否合適直接影響著鏡頭邊界檢測的結(jié)果。如果選取的閾值過大，會造成漏檢，而閾值太小又會造成誤檢。并且不同類型的視頻需要選擇不同的閾值，很難有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。 （ 3）鏡頭漸變與鏡頭運(yùn)動的區(qū)別 因?yàn)殓R頭漸變與鏡頭運(yùn)動都會使幀間差連續(xù)的增大，所以利用基于 MATLAB 幀間差的方法很難將鏡頭漸變和鏡頭運(yùn)動區(qū)分開來。 （ 4） 光照變化及閃光引起的誤檢 在鏡頭中出現(xiàn)的閃光以及光照條件的變化會造成視頻幀亮度的變化，從而引起視頻幀間差的變化，使得鏡頭邊界檢測出現(xiàn)錯(cuò)誤，造成誤檢。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 5 視頻鏡頭邊界檢測過程 本文所用鏡頭邊界檢測方法的關(guān)鍵在于計(jì)算相鄰幀間差，第一步要從視頻鏡頭圖像幀中選取合適的特征值，選取的特征值要能準(zhǔn)確反映視頻內(nèi)容的變化程度，然后就是對特征值進(jìn)行計(jì)算，獲取幀間差。第二步進(jìn)行鏡頭邊界判斷，需要設(shè)定一個(gè)閾值，然后根據(jù)幀間差與閾值的關(guān)系判斷是否發(fā)生了鏡頭的變換?；?MATLAB 解壓縮域鏡頭邊界檢測過程如圖 所示，其中 F(i)代表視頻鏡頭第 i 幀圖像， D(i)代表 i 幀和 i+1幀圖像幀間差， S(k)代表檢測到的第 k個(gè)鏡頭邊界。 圖 鏡頭邊界檢測過程 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 6 主要方法及存在的問題 視頻鏡頭邊界檢測的實(shí)質(zhì)就是檢測視頻鏡頭連續(xù)相鄰幀或非相鄰幀差的差異度或相似度，當(dāng)相似度或差異度大于或小于一個(gè)閾值時(shí)，則判定出現(xiàn)視頻鏡頭突變或漸變邊界。 （ 1）利用視頻圖像相鄰幀差檢測鏡頭邊界的方法 本文所用的利用視頻圖像相鄰幀差進(jìn)行鏡頭邊界檢測的方法主要有連續(xù)幀相減法和直方圖相減法，它們是最簡單的計(jì)算幀間差的方法，原理也很簡單， 基于 連續(xù)幀相減的像素差方法的主要原理就是判斷相鄰圖像幀中發(fā)生變化的像素點(diǎn)的多少。首先統(tǒng)計(jì)兩幅圖像對應(yīng)像素點(diǎn)變化率超過閾值 F1 的像素點(diǎn)個(gè)數(shù)。然后，將變化的像素點(diǎn)個(gè)數(shù)與第二個(gè)預(yù)定的閾值 F2比較，如果超過范圍，則認(rèn)為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界?；谥狈綀D的方法也是利用視頻圖像幀間差進(jìn)行鏡頭邊界檢測的方法。首先計(jì)算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計(jì)相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。當(dāng)差異的累加值超過閾值 T時(shí)，即檢測到鏡頭邊界。還有一種基于塊的鏡頭邊界檢測算法。這種算法將圖像進(jìn)行分塊，然后 將相鄰幀所對應(yīng)的塊進(jìn)行比較，統(tǒng)計(jì)變化率超過閾值 F1的個(gè)數(shù)。當(dāng)個(gè)數(shù)超過閾值 F2 時(shí)，即標(biāo)為視頻鏡頭邊界。 這個(gè)方法就是根據(jù)視頻幀間差與閾值的關(guān)系達(dá)到檢測鏡頭邊界的目的，既可以檢測突變鏡頭邊界也可以檢測漸變鏡頭邊界。因?yàn)榛谶B續(xù)幀幀間差的方法有很多，例如本文中所用的基于連續(xù)幀相減的像素差法和直方圖相減法。檢測漸變鏡頭邊界與突變鏡頭邊界唯一不同的是閾值的選取不同。一般來說，只計(jì)算相鄰幀的幀間差，對于漸變鏡頭邊界的檢測來講，有一種方法就是當(dāng)幀間差超過閾值 F1 時(shí)，標(biāo)記為漸變起始幀，然后接下來每一幀都與起始幀作差，以此來 判定鏡頭邊界。 （ 2） 利用視頻鏡頭相鄰幀相似度檢測視頻鏡頭邊界方法 直方圖交集法是利用兩個(gè)視頻圖像幀直方圖交集來檢測視頻鏡頭邊界的。與其它利用幀間差檢測視頻鏡頭邊界方法不同的是，直方圖交集是檢測連續(xù)兩個(gè)視頻圖像幀相似度的。它的原理也比較簡單，具體實(shí)現(xiàn)過程如下，首先計(jì)算連續(xù)兩幀的直方圖，然后計(jì)算直方圖交集，當(dāng)連續(xù)兩個(gè)視頻圖像幀的相似度小于閾值 F1 時(shí)，則判定出現(xiàn)鏡頭邊界。在實(shí)際中，經(jīng)常需要將突變鏡頭與漸變鏡頭放在一起檢測。在進(jìn)行鏡頭漸變檢測時(shí)，用檢測鏡頭突變的方法檢測效果并不明顯。所以需要一些方法的組合來實(shí)現(xiàn)漸變鏡頭 邊界檢測，例如二次幀差法，利用重復(fù)幀差值的計(jì)算提高漸變鏡頭邊界檢內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 7 測效率。還可以利用像素差法與直方圖法的結(jié)合來實(shí)現(xiàn)，不僅可以達(dá)到好的漸變檢測效果，還能消除攝像機(jī)及目標(biāo)運(yùn)動對結(jié)果的影響?；蛘卟捎弥狈綀D幀差的均值與方差變化來找出漸變鏡頭邊界。 現(xiàn)階段視頻鏡頭邊界檢測算法有很多 ,但其中大部分不能普遍適用于不同類型的視頻鏡頭 ,或者僅僅只針對某一類視頻鏡頭中的某一種鏡頭變換 ,而且這些算法大都對攝像機(jī)與物體的運(yùn)動以及閃光比較敏感，容易出現(xiàn)誤檢與漏檢。 本文所采用的方法為基于連續(xù)幀相減的像素差法和直方圖相減法。這兩種方法對于閾值的依賴性較強(qiáng)。如何選擇一個(gè)合適的閾值是應(yīng)用這兩種方法進(jìn)行鏡頭邊界檢測最關(guān)鍵的一個(gè)問題，選取的閾值是否合適直接影響著鏡頭邊界檢測的結(jié)果。如果選取的閾值過大，會造成漏檢，而閾值太小又會造成誤檢。并且不同類型的視頻需要選擇不同的閾值，很難有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。 性能標(biāo)準(zhǔn) 通常，在視頻鏡頭邊界檢測中，要用查全率和準(zhǔn)確率兩個(gè)概念還衡量檢測算法的檢測精度，這兩個(gè)概念定義如下： 另外，在鏡頭邊界檢測中還有兩個(gè)參數(shù)經(jīng)常被用到，即漏檢率和誤檢率： （ 1）漏檢率 =1查全率 （ 2）誤檢率 =1查準(zhǔn)率 實(shí)際的鏡頭切變數(shù) 數(shù)準(zhǔn)確檢測到的鏡頭切變查全率 ? 數(shù)全部檢測到的鏡頭切變 數(shù)準(zhǔn)確檢測到的鏡頭切變查準(zhǔn)率 ?內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 8 第二章 視頻數(shù)據(jù)結(jié)構(gòu) MATLAB 簡介 在所有的多媒體數(shù)據(jù)類型中，視頻數(shù)據(jù)是最復(fù)雜的。因?yàn)樗膬?nèi)容比較多，其中不僅包括每個(gè)視頻幀圖像的內(nèi)容，還有鏡頭中目標(biāo)的運(yùn)動信息以及隨時(shí)間變化的信息。正因?yàn)橐曨l數(shù)據(jù)自身特點(diǎn)如此，所以對視頻數(shù)據(jù)的處理顯得異常艱難。 MATLAB可以實(shí)現(xiàn)對數(shù)字視頻的讀取以及將數(shù)字視頻分離為幀并用數(shù)字圖像處理工具箱對其進(jìn)處理。 視頻數(shù)據(jù)結(jié)構(gòu) 視頻數(shù)據(jù)特點(diǎn) 視頻是對于人類來講，是非常重要的信息源。因?yàn)橐曨l是動態(tài)幀序列的組合 ,所以它與普通圖像有所不同，除了靜態(tài)圖像可以表示的 內(nèi)容以外，它還包括鏡頭中目標(biāo)運(yùn)動的信息以及目標(biāo)隨時(shí)間變化的信息 ,因此對于視頻數(shù)據(jù)結(jié)構(gòu)的研究很有必要，意義重大。 通常來講，視頻所包含的信息量非常大 ,并且結(jié)構(gòu)也很特殊 ,例如每一秒視頻包含24 幀圖像，而且內(nèi)容多種多樣，同時(shí)每個(gè)人對于所看到的內(nèi)容理解不同，所以對于視頻很難有一個(gè)確切的描述與解釋。 視頻數(shù)據(jù)的表示 視頻數(shù)據(jù)的信息量非常大，所以需要以多種方式來描述視頻數(shù)據(jù)。視頻數(shù)據(jù)本身就有很多屬性 ,包括像素位置、顏色紋理、形狀以及運(yùn)動等。因?yàn)橐曨l是一系列視頻圖像幀的集合，所以對視頻數(shù)據(jù)的表示與分析從本質(zhì)上 講也是通過圖像特征對視頻圖像幀進(jìn)行分析。所以對視頻數(shù)據(jù)的處理也依賴于這些特征，視頻數(shù)據(jù)處理的過程就是對這些視頻圖像幀特征的提取。灰度直方圖也是視頻圖像的一個(gè)重要屬性，灰度直方圖是灰度級的函數(shù)，它表示圖像中具有某種灰度級的像素的個(gè)數(shù)，反映了圖像中某種灰度出現(xiàn)的頻率。運(yùn)動特征、形狀和視頻圖像像素位置對于視頻也是非常重要的屬性，但是這些屬性的提取一般來說比較困難，本文只對視頻圖像幀的像素位置屬性和灰度直方圖屬性作研究。 視頻數(shù)據(jù)處理結(jié)構(gòu) 在處理視頻數(shù)據(jù)時(shí)，需要將視頻數(shù)據(jù)分成視頻、場景、鏡頭和幀四層結(jié)構(gòu) 來表示，內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 9 便于表示其中內(nèi)容。其中 ,視頻圖像幀是視頻結(jié)構(gòu)的最底層。視頻圖像處理是一個(gè)從最底層開始不斷對視頻進(jìn)行描述，逐步直到高層表達(dá)的過程。而對幀圖像的處理達(dá)到鏡頭邊界檢測，使鏡頭分割是對視頻處理的一個(gè)基礎(chǔ)操作。 MATLAB 簡介 MATLAB 組成 MATLAB主包 （ 1） MATLAB語言 MATLAB語言是一種面向?qū)ο蟮某绦蛟O(shè)計(jì)語言，其中包含有各種函數(shù)、控制語句、數(shù)據(jù)類型以及數(shù)據(jù)的輸出功能。 （ 2）句柄圖形 句柄圖形是 MATLAB 的圖形系統(tǒng)。句柄圖形中擁有用于處理二維和 三維數(shù)字圖形的各種指令和高低級命令。 （ 3） MATLAB應(yīng)用程序接口（ API） API 是 MATLAB 程序所提供的，以便于和其他的高級語言進(jìn)行相互連接的一個(gè)互動對接函數(shù)庫，各種語言之間通過對 MAT文件的讀寫來實(shí)現(xiàn)數(shù)據(jù)信息的相互交流。 MATLAB工具箱 MATLAB 工具箱從功能上看，可以將他們分為學(xué)科性的工具包和功能性的工具包兩大部分。其中和圖像處理相關(guān)的那些工具箱放在了功能性的工具包中。這些工具能夠十分簡單快捷的對圖像做一些常見的處理工作，例如圖像增強(qiáng)和圖像復(fù)原等操作。 MATLAB 主要特點(diǎn) 工作平臺環(huán)境友好 MATLAB由一系列工具組成。這些工具大多使用圖形用戶界面，使得用戶對 MATLAB軟件中和各種文件及函數(shù)的調(diào)用非常方便。 程序語言簡單易用 MATLAB 是一種高級語言，用戶可以根據(jù)實(shí)際需要自主的選擇將輸入語句和執(zhí)行命令進(jìn)行同步處理，也可以先單獨(dú)的編寫出每一個(gè)應(yīng)用程序文件，最后再將它們連接起來一起執(zhí)行以完成一個(gè)復(fù)雜的程序功能。 出色的圖形處理功能 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 10 MATLAB 本身具有強(qiáng)大的數(shù)據(jù)可視化功能，能夠方便的將數(shù)據(jù)矩陣轉(zhuǎn)換成圖形表現(xiàn)出來，特別是在本文所研究的視頻鏡頭邊界檢測應(yīng)用中，可 以方便的使用戶看到具體哪一幀為鏡頭邊界。 MATLAB 圖像處理工具箱 本文所用的 MATLAB 為 MATLAB R2022a。 MATLAB 提供的圖像處理工具箱提供了很多非常方便的函數(shù)。在視頻處理方面， MATLAB 用于讀取視頻的函數(shù)有好多，例如mmreader,Videoreader， aviread和 mpgread。本文所用的是 aviread，但是 aviread對于視頻格式讀取有限制，只能讀取未經(jīng)壓縮的 avi視頻和一定壓縮格式的 avi視頻。如本文中使用的視頻《羅馬假日》， MATLAB 就不能正常讀取。需 要使用 WinAVI進(jìn)行解壓縮，輸出為 RGB24 格式，才能正常讀取。在本文中，一個(gè) 大小的視頻經(jīng)過解壓縮處理后輸出大小為 260M 左右。這同時(shí)也暴露了本文所討論方法的局限性，因?yàn)楝F(xiàn)在大多數(shù)視頻都是經(jīng)過壓縮處理的，如果先解壓，再用本文所討論方法，容易造成時(shí)間的浪費(fèi)。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 11 第三章 視頻鏡頭突變檢測 國內(nèi)外研究現(xiàn)狀 本文中的鏡頭突變檢測就是檢測視頻序列中像素點(diǎn)數(shù)目變化與直方圖幀差變化的峰值點(diǎn)，也就是內(nèi)容變化程度的最大處。首先介紹一下一些典型的視頻鏡頭突變檢測方法。 （ 1）直 接利用視頻圖像幀間像素差的方法 它是最簡單的計(jì)算幀間差的方法，原理也很簡單，具體操作過程如下： 由于人眼是以像素為單位來辨別圖象的相似度或者差異度的 ,兩幀圖像在同一位置上相同像素點(diǎn)的個(gè)數(shù)越多 ,這兩幀圖像就越相似。由此 ,提出基于連續(xù)幀相減的像素差法。該方法主要原理就是判斷相鄰圖像幀中發(fā)生變化的像素點(diǎn)的多少。首先統(tǒng)計(jì)兩幅圖像對應(yīng)像素點(diǎn)變化率超過閾值 F1 的像素點(diǎn)個(gè)數(shù)。然后，將變化的像素點(diǎn)個(gè)數(shù)與第二個(gè)預(yù)定的閾值 F2比較，如果超過范圍，則認(rèn)為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界。 由于考慮到了視頻圖像幀的像素位置信 息，所以對于視頻鏡頭的檢測比較精確，但是這種方法的主要缺點(diǎn)是對于攝像機(jī)及目標(biāo)運(yùn)動比較敏感，容易出現(xiàn)誤檢與漏檢。經(jīng)常采用的一種方法是：使用濾波器來降低視頻圖像幀噪聲，在比較一幀的每個(gè)像素前，用它的鄰近區(qū)域的平均值來代替，這也過濾了輸入圖像的一些噪聲。 （ 2） 基于連續(xù)幀直方圖相減的方法 基于直方圖的方法也是利用視頻圖像幀間差進(jìn)行鏡頭邊界檢測的方法。具體操作過程如下：首先計(jì)算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計(jì)相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。當(dāng)差異的累加值超過閾值 T時(shí)，即檢測到鏡頭邊界。 基于直方圖的 方法雖然對于攝像機(jī)及目標(biāo)運(yùn)動不敏感，但它忽略了幀內(nèi)的空間變化，所以有可能造成鏡頭邊界的誤檢與漏檢。因?yàn)榭赡艽嬖趦蓚€(gè)圖像有類似的直方圖但卻具有完全不同的內(nèi)容。不過，這種事件的概率是足夠低的。 （ 3） 基于塊的鏡頭邊界檢測算法 由于前面兩種方法對于攝像機(jī)及目標(biāo)運(yùn)動比較敏感，所以我們需要一種方法能夠提高算法對局部運(yùn)動的容忍度?；趬K的鏡頭邊界檢測算法就可以達(dá)到這個(gè)目的。它的原理與基于連續(xù)幀相減像素差法類似，所不同的是，這種算法將圖像進(jìn)行分塊，然后將相鄰幀所對應(yīng)的塊進(jìn)行比較，統(tǒng)計(jì)變化率超過閾值 F1 的個(gè)數(shù)。當(dāng)個(gè)數(shù)超過閾值F2時(shí)，即標(biāo)為視頻鏡頭邊界。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 12 連續(xù)幀相減 MATLAB 實(shí)現(xiàn) MATLAB 程序流程圖 假 假 圖 MATLAB程序流程圖 讀取視頻序列，獲取幀高 h，幀寬 w，總幀數(shù) frames i=2 提取