【正文】 縮視頻進(jìn)行鏡頭邊界檢測的算法。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 4 視頻數(shù)據(jù)處理過程 圖 視頻數(shù)據(jù)處理過程 （ 1）選擇特征向量 選擇一個合適的特征向量對鏡頭邊界的正確檢測有很大的幫助。所以需要找到一個更好的特征或者是特征組合來提高鏡頭邊界的檢測的效果。如果選取的閾值過大，會造成漏檢，而閾值太小又會造成誤檢。 （ 3）鏡頭漸變與鏡頭運(yùn)動的區(qū)別 因?yàn)殓R頭漸變與鏡頭運(yùn)動都會使幀間差連續(xù)的增大，所以利用基于 MATLAB 幀間差的方法很難將鏡頭漸變和鏡頭運(yùn)動區(qū)分開來。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 5 視頻鏡頭邊界檢測過程 本文所用鏡頭邊界檢測方法的關(guān)鍵在于計算相鄰幀間差，第一步要從視頻鏡頭圖像幀中選取合適的特征值，選取的特征值要能準(zhǔn)確反映視頻內(nèi)容的變化程度，然后就是對特征值進(jìn)行計算，獲取幀間差?；?MATLAB 解壓縮域鏡頭邊界檢測過程如圖 所示，其中 F(i)代表視頻鏡頭第 i 幀圖像， D(i)代表 i 幀和 i+1 幀圖像幀間差， S(k)代表檢測到的第 k個鏡頭邊界。 （ 1）利用視頻圖像相鄰幀差檢測鏡頭邊界的方法 本文所用的利用視頻圖像相鄰幀差進(jìn)行鏡頭邊界檢測的方法主要有連續(xù)幀相減法和直方圖相減法，它們是最簡單的計算幀間差的方法，原理也很簡單， 基于 連續(xù)幀相減的像素差方法的主要原理就是判斷相鄰圖像幀中發(fā)生變化的像素點(diǎn)的多少。然后，將變化的像素點(diǎn)個數(shù)與第二個預(yù)定的閾值 F2 比較，如果超過范圍，則認(rèn)為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界。首先計算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。還有一種基于塊的鏡頭邊界檢測算法。當(dāng)個數(shù)超過閾值 F2時，即標(biāo)為視頻鏡頭邊界。因?yàn)榛谶B續(xù)幀幀間差的方法有很多，例如本文中所用的基于連續(xù)幀相減的像素差法和直方圖相減法。一般來說，只計算相鄰幀的幀間差，對于漸變鏡頭邊界的檢測來講，有一種方法就是當(dāng)幀間差超過閾值 F1 時，標(biāo)記為漸變起始幀，然后接下來每一幀都與起始幀作差，以此來 判定鏡頭邊界。與其它利用幀間差檢測視頻鏡頭邊界方法不同的是，直方圖交集是檢測連續(xù)兩個視頻圖像幀相似度的。在實(shí)際中，經(jīng)常需要將突變鏡頭與漸變鏡頭放在一起檢測。所以需要一些方法的組合來實(shí)現(xiàn)漸變鏡頭 邊界檢測，例如二次幀差法，利用重復(fù)幀差值的計算提高漸變鏡頭邊界檢內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 7 測效率?；蛘卟捎弥狈綀D幀差的均值與方差變化來找出漸變鏡頭邊界。 本文所采用的方法為基于連續(xù)幀相減的像素差法和直方圖相減法。如何選擇一個合適的閾值是應(yīng)用這兩種方法進(jìn)行鏡頭邊界檢測最關(guān)鍵的一個問題，選取的閾值是否合適直接影響著鏡頭邊界檢測的結(jié)果。并且不同類型的視頻需要選擇不同的閾值，很難有一個統(tǒng)一的標(biāo)準(zhǔn)。因?yàn)樗膬?nèi)容比較多，其中不僅包括每個視頻幀圖像的內(nèi)容，還有鏡頭中目標(biāo)的運(yùn)動信息以及隨時間變化的信息。 MATLAB可以實(shí)現(xiàn)對數(shù)字視頻的讀取以及將數(shù)字視頻分離為幀并用數(shù)字圖像處理工具箱對其進(jìn)處理。因?yàn)橐曨l是動態(tài)幀序列的組合 ,所以它與普通圖像有所不同，除了靜態(tài)圖像可以表示的 內(nèi)容以外，它還包括鏡頭中目標(biāo)運(yùn)動的信息以及目標(biāo)隨時間變化的信息 ,因此對于視頻數(shù)據(jù)結(jié)構(gòu)的研究很有必要，意義重大。 視頻數(shù)據(jù)的表示 視頻數(shù)據(jù)的信息量非常大，所以需要以多種方式來描述視頻數(shù)據(jù)。因?yàn)橐曨l是一系列視頻圖像幀的集合，所以對視頻數(shù)據(jù)的表示與分析從本質(zhì)上 講也是通過圖像特征對視頻圖像幀進(jìn)行分析?；叶戎狈綀D也是視頻圖像的一個重要屬性，灰度直方圖是灰度級的函數(shù)，它表示圖像中具有某種灰度級的像素的個數(shù)，反映了圖像中某種灰度出現(xiàn)的頻率。 視頻數(shù)據(jù)處理結(jié)構(gòu) 在處理視頻數(shù)據(jù)時，需要將視頻數(shù)據(jù)分成視頻、場景、鏡頭和幀四層結(jié)構(gòu) 來表示，內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 9 便于表示其中內(nèi)容。視頻圖像處理是一個從最底層開始不斷對視頻進(jìn)行描述，逐步直到高層表達(dá)的過程。 MATLAB 簡介 MATLAB 組成 MATLAB 主包 （ 1） MATLAB 語言 MATLAB 語言是一種面向?qū)ο蟮某绦蛟O(shè)計語言，其中包含有各種函數(shù)、控制語句、數(shù)據(jù)類型以及數(shù)據(jù)的輸出功能。句柄圖形中擁有用于處理二維和 三維數(shù)字圖形的各種指令和高低級命令。 MATLAB 工具箱 MATLAB 工具箱從功能上看，可以將他們分為學(xué)科性的工具包和功能性的工具包兩大部分。這些工具能夠十分簡單快捷的對圖像做一些常見的處理工作，例如圖像增強(qiáng)和圖像復(fù)原等操作。這些工具大多使用圖形用戶界面，使得用戶對 MATLAB軟件中和各種文件及函數(shù)的調(diào)用非常方便。 出色的圖形處理功能 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 10 MATLAB 本身具有強(qiáng)大的數(shù)據(jù)可視化功能，能夠方便的將數(shù)據(jù)矩陣轉(zhuǎn)換成圖形表現(xiàn)出來，特別是在本文所研究的視頻鏡頭邊界檢測應(yīng)用中，可 以方便的使用戶看到具體哪一幀為鏡頭邊界。 MATLAB 提供的圖像處理工具箱提供了很多非常方便的函數(shù)。本文所用的是 aviread，但是 aviread對于視頻格式讀取有限制，只能讀取未經(jīng)壓縮的 avi視頻和一定壓縮格式的 avi視頻。需 要使用 WinAVI 進(jìn)行解壓縮，輸出為 RGB24 格式，才能正常讀取。這同時也暴露了本文所討論方法的局限性，因?yàn)楝F(xiàn)在大多數(shù)視頻都是經(jīng)過壓縮處理的，如果先解壓，再用本文所討論方法，容易造成時間的浪費(fèi)。首先介紹一下一些典型的視頻鏡頭突變檢測方法。由此 ,提出基于連續(xù)幀相減的像素差法。首先統(tǒng)計兩幅圖像對應(yīng)像素點(diǎn)變化率超過閾值 F1 的像素點(diǎn)個數(shù)。 由于考慮到了視頻圖像幀的像素位置信 息，所以對于視頻鏡頭的檢測比較精確，但是這種方法的主要缺點(diǎn)是對于攝像機(jī)及目標(biāo)運(yùn)動比較敏感，容易出現(xiàn)誤檢與漏檢。 （ 2） 基于連續(xù)幀直方圖相減的方法 基于直方圖的方法也是利用視頻圖像幀間差進(jìn)行鏡頭邊界檢測的方法。當(dāng)差異的累加值超過閾值 T 時，即檢測到鏡頭邊界。因?yàn)榭赡艽嬖趦蓚€圖像有類似的直方圖但卻具有完全不同的內(nèi)容。 （ 3） 基于塊的鏡頭邊界檢測算法 由于前面兩種方法對于攝像機(jī)及目標(biāo)運(yùn)動比較敏感，所以我們需要一種方法能夠提高算法對局部運(yùn)動的容忍度。它的原理與基于連續(xù)幀相減像素差法類似，所不同的是，這種算法將圖像進(jìn)行分塊，然后將相鄰幀所對應(yīng)的塊進(jìn)行比較，統(tǒng)計變化率超過閾值 F1 的個數(shù)。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 12 連續(xù)幀相減 MATLAB實(shí)現(xiàn) MATLAB 程序流程圖 假 假 圖 MATLAB 程序流程圖 讀取視頻序列，獲取幀高 h，幀寬 w，總幀數(shù) frames i=2 提取幀 x(i)與 x(i1),并灰度轉(zhuǎn)換 i≤frames k≤w j=1 輸出幀號 mw*h*7% j=j+1 i=i+1 j≤h 計算像素點(diǎn)變化率 e k=1 存入數(shù)組 m e25% 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 13 連續(xù)幀相減原理 由于人眼是以像素為單位來辨別圖象的相似度或者差異度的 ,兩幀圖像在同一位置上相同像素點(diǎn)的個數(shù)越多 ,這兩幀圖像就越相似。該方法主要原理就是判斷相鄰圖像幀中發(fā)生變化的像 素點(diǎn)的多少。然后，將變化的像素點(diǎn)個數(shù)與第二個預(yù)定的閾值 F2 比較，如果超過范圍，則認(rèn)為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界。E:\39。%錄入 AVI視頻的相關(guān)信息 mov=aviread(39。)。%獲取視頻中的 幀總數(shù) w=。%幀高 m=zeros(frames,1)。 y=mov(i).cdata(:,:,:)。 b=rgb2gray(y)。 %d=im2double(b)。 for j=1:h for k=1:w if e(j,k) %對于突變檢測，像素點(diǎn)變化率閾值可選范圍較大 m(i)=m(i)+1。 end end n=1:frames。 xlabel(39。,39。,39。)。像素點(diǎn)變化數(shù) 39。FontWeight39。bold39。 title(39。,39。,12,39。,39。,39。,39。) 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 15 圖 連續(xù)幀相減運(yùn)行結(jié)果圖 程序運(yùn)行結(jié)果： 程序 輸出 結(jié)果為 37， 110。 并且由圖 37與 38幀與 110與 111幀像素差遠(yuǎn)遠(yuǎn)超出其它相鄰幀像素差。程序運(yùn)行結(jié)果正確，第 37幀與 110幀確實(shí)為鏡頭突變邊界。 缺點(diǎn)： 對攝像機(jī)運(yùn)動敏感，如放縮、平移。 解決辦法 ：通過濾波器的使用來降低攝像機(jī)及目標(biāo)運(yùn)動的干擾，提高算法對于攝像機(jī)及目標(biāo)運(yùn)動的容忍度。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 16 直方圖相減 MATLAB實(shí)現(xiàn) MATLAB 程序流程圖 假 圖 MATLAB 程序流程圖 讀取視頻序列，獲取幀高 h，幀寬 w，總幀數(shù) frames i=2 提取幀 x(i)與 x(i1),并灰度轉(zhuǎn)換 i≤frames 計算幀差累積和 輸出幀號 i=i+1 g(i)th 計算 x(i)與 x(i1)直方圖幀差g(i) 計算閾值 (累積和的 11%左右 ) 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 17 直方圖相減原理 基于直方圖的方法也是利用視頻圖像幀間差進(jìn)行鏡頭邊界檢測的方法。當(dāng)差異的累加值超過閾值 T時，即檢測到鏡頭邊界。E:\39。%錄入 AVI視頻的相關(guān)信息 mov=aviread(39。)。%獲取視頻中的幀總數(shù) w=。%幀高 % for x=1:frames % mov=aviread(39。,x)。 % J=rgb2gray(I)。.39。bmp39。%將視頻打成幀圖像 % end for i=2:frames x=mov(i1).cdata(:,:,:)。 a=rgb2gray(x)。 e=imhist(a)。 g(i)=sum(abs(ef))。 th=k*。%輸出幀號 end end h=1:frames。%直方圖幀差圖 xlabel(39。,39。,39。)。直方圖幀差 39。FontWeight39。bold39。 title(39。,39。,12,39。,39。,39。,39。) 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 19 圖 直方圖相減程序運(yùn)行結(jié)果圖 直方圖相減優(yōu)點(diǎn)與缺點(diǎn) 優(yōu)點(diǎn)： 基于直方圖的方法對于攝像機(jī)及目標(biāo)運(yùn)動不是特別敏感，因?yàn)樗鼪]有考慮圖像幀的位置信息，忽略了幀內(nèi)的空間變化。然而，這種事件的概率是足夠低。它的主要特點(diǎn)是漸變 過程中相鄰兩幀圖像變化相對較小，所以漸變過程通常為幾幀到十幾幀。鏡頭漸變檢測可以單獨(dú)進(jìn)行，也可以和鏡頭突變檢測同時進(jìn)行。下面對可以進(jìn)行鏡頭漸變檢測的方法作一簡單介紹： （ 1）雙閾值比較法 這個方法就是根據(jù)視頻幀間差與閾值的關(guān)系達(dá)到檢測鏡頭邊界的目的，既可以檢測突變鏡頭邊界也可以檢測漸變鏡頭邊界。檢測漸變鏡頭邊界與突變鏡頭邊界唯一不同的是閾值的選取不同。 （ 3） 直方圖交集法 直方圖交集法是利用兩個視頻圖像幀直方圖交集來檢測視頻鏡頭邊界的。它的原理也比較簡單，具體實(shí)現(xiàn)過程如下，首先計算連續(xù)兩幀的直方圖，然后計算直方圖交集，當(dāng)連續(xù)兩個視頻圖像幀的相似度 小于閾值 F1 時，則判定出現(xiàn)鏡頭邊界。在進(jìn)行鏡頭漸變檢測時，用檢測鏡頭突變的方法檢測效果并不明顯。還可以利用像素差法與直方圖法的結(jié)合來實(shí)現(xiàn)，不僅可以達(dá)到好的漸變檢測效果，還能消除攝像機(jī)及目標(biāo)運(yùn)動對結(jié)果的影響。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 21 連續(xù)幀相減 MATLAB實(shí)現(xiàn) 圖 視頻《羅馬假日 》漸變鏡頭部分視頻幀 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 22 程序代碼： info=aviinfo(39。)。E:\奧黛麗赫本 .avi39。%讀入視頻 frames=size(mov,2)。%幀寬 h=。 for i=2:frames x=mov(i1).cdata(:,:,:)。 a=rgb2gray(x)。 %c=im2double(a)。 e=abs(ab)./(a+b)。 end end end if m(i)h*w* disp(i1)。 plot(n,m)。幀數(shù) 39。FontWeight39。bold39。 ylabel(39。,39。,39。)。連續(xù)幀相減 39。FontSize39。FontWeight39。bold39。FontNa