【正文】 設(shè)定當(dāng)連續(xù)幀對應(yīng)像素值變化率超過 25%時(shí)，即判定像素點(diǎn)發(fā)生變化。本文主要使用的方法為基于 MATLAB 連續(xù)幀相減的像素差法和直方圖相減法 。還有視頻鏡頭邊界檢測算法的性能指標(biāo)等。 本文首先介紹了關(guān)于視頻鏡頭邊界的一些基本概念，包括場景、鏡頭以及幀等。突變鏡頭邊界算法已比較成熟，漸變鏡頭邊界檢測還沒有一個(gè)普遍適用的方法。所以鏡頭邊界檢測算法的研究也越來越重要。) 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 26 程序運(yùn)行結(jié)果為： 111，即第 111幀為視頻鏡頭漸變邊界。,39。,39。,39。,12,39。,39。 title(39。bold39。FontWeight39。直方圖幀差 39。)。,39。,39。%直方圖幀差圖 xlabel(39。%輸出幀號(hào) end end h=1:frames。 th=k*。 g(i)=sum(abs(ef))。 e=imhist(a)。 a=rgb2gray(x)。%將視頻打成幀圖像 % end for i=2:frames x=mov(i1).cdata(:,:,:)。bmp39。.39。 % J=rgb2gray(I)。,x)。%幀高 % for x=1:frames % mov=aviread(39。%獲取視頻中的幀總數(shù) w=。)。%錄入 AVI視頻的相關(guān)信息 mov=aviread(39。E:\奧黛麗赫本 .avi39。) 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 23 程序運(yùn)行結(jié)果： 111，即第 111 幀為視頻鏡頭邊界。,39。,39。,39。,12,39。,39。 title(39。bold39。FontWeight39。像素點(diǎn)變化數(shù) 39。)。,39。,39。 xlabel(39。 end end n=1:frames。 for j=1:h for k=1:w if e(j,k) %對于突變檢測，閾值可選范圍較大（任意） m(i)=m(i)+1。 %d=im2double(b)。 b=rgb2gray(y)。 y=mov(i).cdata(:,:,:)。%幀高 m=zeros(frames,1)。%獲取視頻中的幀總數(shù) w=。)。%錄入 AVI視頻的相關(guān)信息 mov=aviread(39。E:\奧黛麗赫本 .avi39?；蛘卟捎弥狈綀D幀差的均值與方差變化來找出漸變鏡頭邊界。所以需要一些方法的組合來實(shí)現(xiàn)漸變鏡頭邊界檢測，例如二次幀差法，利用重復(fù)幀差值的計(jì)算提高漸變鏡頭邊界檢測效率。 （ 3）其它方法的組合 在實(shí)際中，經(jīng)常需要將突變鏡頭與漸變鏡頭放在一起檢測。與其它利用幀間差檢測視頻鏡頭邊界方法不同的是，直方圖交集是檢測連續(xù)兩個(gè)視頻圖像幀相似度的。一般來說，只計(jì)算相鄰幀的幀間差，對于漸變鏡頭邊界的檢測來講，有一種方法就是當(dāng)幀間差超過閾值 F1 時(shí)，標(biāo)記為漸變起始幀，然后接下來每一幀都與起始幀作差，以此來判定鏡頭邊界。因?yàn)榛谶B續(xù)幀幀間差的方法有很多，例如本文中所用的基于連續(xù)幀相減的像素差法和直方圖相減 法。目前鏡頭突變檢測已經(jīng)比較成熟，但是鏡頭漸變檢測還存在一些問題。與鏡頭突變只有一種不同的是 ,漸變包括許多種方式 ,如淡入淡出、溶解等。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 20 第四章 漸變檢測 國內(nèi)外研究現(xiàn)狀 漸變鏡頭邊界是指一個(gè)鏡頭漸漸過渡到另一個(gè)鏡頭 ,鏡頭之間會(huì)有一些空間或時(shí)間上的編輯效果 ,包括淡入淡出，溶解等。 缺點(diǎn) ：這種方法有可能造成漏檢，因?yàn)橛锌赡艹霈F(xiàn)兩個(gè)圖像有類似的直方圖但卻是完全不同的內(nèi)容。隸書 39。FontName39。bold39。FontWeight39。FontSize39。直方圖相減 39。)。,39。,39。 ylabel(39。bold39。FontWeight39。幀數(shù) 39。 plot(h,g)。%閾值設(shè)定為差異累加值的 11% if g(i)th disp(i1)。%直方圖幀差 k=sum(g)。 f=imhist(b)。%轉(zhuǎn)成灰度圖 b=rgb2gray(y)。%讀取視頻幀 y=mov(i).cdata(:,:,:)。))。,39。%轉(zhuǎn)成灰度圖 % imwrite(J,strcat(int2str(m),39。 % I=。E:\39。%幀寬 h=。%讀入視頻 frames=size(mov,2)。E:\39。)。 直方圖相減程序?qū)崿F(xiàn) 圖 視頻《羅馬假日 》突變鏡頭部分視頻幀 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 18 程序代碼： info=aviinfo(39。它的原理也很簡單，具體操作過程如下：首先計(jì)算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計(jì)相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。在比較一幀的每個(gè)像素前，用它的鄰近區(qū)域的平均值來代替，這也過濾了輸入圖像的一些噪聲。對視頻序列內(nèi)物體的運(yùn)動(dòng)同樣敏感。 連續(xù)幀相減優(yōu)點(diǎn)與缺點(diǎn) 優(yōu)點(diǎn)： 在計(jì)算兩視頻幀圖像的幀間差時(shí)考慮到了像素的位置關(guān)系 ,因此計(jì)算的圖像幀間差較為精確。將視頻打成 幀圖像，查看第 37幀與 110幀。即第 37幀和 110幀為鏡頭突變邊界。隸書 39。FontName39。bold39。FontWeight39。FontSize39。連續(xù)幀相減 39。)。,39。,39。 ylabel(39。bold39。FontWeight39。幀數(shù) 39。 plot(n,m)。 end end end if m(i)h*w*%閾值設(shè)為總像素點(diǎn)數(shù)的 7% disp(i1)。 e=abs(ab)./(a+b)。 %c=im2double(a)。 a=rgb2gray(x)。 for i=2:frames x=mov(i1).cdata(:,:,:)。%幀寬 h=。%讀入視頻 frames=size(mov,2)。E:\39。)。 連續(xù)幀相減程序?qū)崿F(xiàn) 圖 視頻《羅馬假日》突變鏡頭部分視頻幀 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 14 程序代碼： info=aviinfo(39。首先統(tǒng)計(jì)兩幅圖像對應(yīng)像素點(diǎn)變化率超過閾值 F1 的像素點(diǎn)個(gè)數(shù)。由此 ,提出基于連續(xù)幀相減的像素差法。當(dāng)個(gè)數(shù)超過閾值F2時(shí)，即標(biāo)為視頻鏡頭邊界。基于塊的鏡頭邊界檢測算法就可以達(dá)到這個(gè)目的。不過，這種事件的概率是足夠低的。 基于直方圖的 方法雖然對于攝像機(jī)及目標(biāo)運(yùn)動(dòng)不敏感，但它忽略了幀內(nèi)的空間變化，所以有可能造成鏡頭邊界的誤檢與漏檢。具體操作過程如下：首先計(jì)算連續(xù)兩幀圖像的直方圖，然后統(tǒng)計(jì)相鄰兩幀中所有像素在不同灰度上的分布差異，即直方圖相減。經(jīng)常采用的一種方法是：使用濾波器來降低視頻圖像幀噪聲，在比較一幀的每個(gè)像素前，用它的鄰近區(qū)域的平均值來代替，這也過濾了輸入圖像的一些噪聲。然后，將變化的像素點(diǎn)個(gè)數(shù)與第二個(gè)預(yù)定的閾值 F2比較，如果超過范圍，則認(rèn)為這兩幀之間發(fā)生較大變化，判斷其為鏡頭邊界。該方法主要原理就是判斷相鄰圖像幀中發(fā)生變化的像素點(diǎn)的多少。 （ 1）直 接利用視頻圖像幀間像素差的方法 它是最簡單的計(jì)算幀間差的方法，原理也很簡單，具體操作過程如下： 由于人眼是以像素為單位來辨別圖象的相似度或者差異度的 ,兩幀圖像在同一位置上相同像素點(diǎn)的個(gè)數(shù)越多 ,這兩幀圖像就越相似。 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 11 第三章 視頻鏡頭突變檢測 國內(nèi)外研究現(xiàn)狀 本文中的鏡頭突變檢測就是檢測視頻序列中像素點(diǎn)數(shù)目變化與直方圖幀差變化的峰值點(diǎn)，也就是內(nèi)容變化程度的最大處。在本文中，一個(gè) 大小的視頻經(jīng)過解壓縮處理后輸出大小為 260M 左右。如本文中使用的視頻《羅馬假日》， MATLAB 就不能正常讀取。在視頻處理方面， MATLAB 用于讀取視頻的函數(shù)有好多，例如mmreader,Videoreader， aviread 和 mpgread。 MATLAB 圖像處理工具箱 本文所用的 MATLAB 為 MATLAB R2021a。 程序語言簡單易用 MATLAB 是一種高級(jí)語言，用戶可以根據(jù)實(shí)際需要自主的選擇將輸入語句和執(zhí)行命令進(jìn)行同步處理，也可以先單獨(dú)的編寫出每一個(gè)應(yīng)用程序文件，最后再將它們連接起來一起執(zhí)行以完成一個(gè)復(fù)雜的程序功能。 MATLAB 主要特點(diǎn) 工作平臺(tái)環(huán)境友好 MATLAB 由一系列工具組成。其中和圖像處理相關(guān)的那些工具箱放在了功能性的工具包中。 （ 3） MATLAB 應(yīng)用程序接口（ API） API 是 MATLAB 程序所提供的，以便于和其他的高級(jí)語言進(jìn)行相互連接的一個(gè)互動(dòng)對接函數(shù)庫，各種語言之間通過對 MAT文件的讀寫來實(shí)現(xiàn)數(shù)據(jù)信息的相互交流。 （ 2）句柄圖形 句柄圖形是 MATLAB 的圖形系統(tǒng)。而對幀圖像的處理達(dá)到鏡頭邊界檢測，使鏡頭分割是對視頻處理的一個(gè)基礎(chǔ)操作。其中 ,視頻圖像幀是視頻結(jié)構(gòu)的最底層。運(yùn)動(dòng)特征、形狀和視頻圖像像素位置對于視頻也是非常重要的屬性，但是這些屬性的提取一般來說比較困難，本文只對視頻圖像幀的像素位置屬性和灰度直方圖屬性作研究。所以對視頻數(shù)據(jù)的處理也依賴于這些特征，視頻數(shù)據(jù)處理的過程就是對這些視頻圖像幀特征的提取。視頻數(shù)據(jù)本身就有很多屬性 ,包括像素位置、顏色紋理、形狀以及運(yùn)動(dòng)等。 通常來講，視頻所包含的信息量非常大 ,并且結(jié)構(gòu)也很特殊 ,例如每一秒視頻包含24 幀圖像，而且內(nèi)容多種多樣，同時(shí)每個(gè)人對于所看到的內(nèi)容理解不同，所以對于視頻很難有一個(gè)確切的描述與解釋。 視頻數(shù)據(jù)結(jié)構(gòu) 視頻數(shù)據(jù)特點(diǎn) 視頻是對于人類來講，是非常重要的信息源。正因?yàn)橐曨l數(shù)據(jù)自身特點(diǎn)如此，所以對視頻數(shù)據(jù)的處理顯得異常艱難。 性能標(biāo)準(zhǔn) 通常，在視頻鏡頭邊界檢測中，要用查全率和準(zhǔn)確率兩個(gè)概念還衡量檢測算法的檢測精度，這兩個(gè)概念定義如下： 另外，在鏡頭邊界檢測中還有兩個(gè)參數(shù)經(jīng)常被用到，即漏檢率和誤檢率： （ 1）漏檢率 =1查全率 （ 2）誤檢率 =1查準(zhǔn)率 實(shí)際的鏡頭切變數(shù) 數(shù)準(zhǔn)確檢測到的鏡頭切變查全率 ? 數(shù)全部檢測到的鏡頭切變 數(shù)準(zhǔn)確檢測到的鏡頭切變查準(zhǔn)率 ?內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 8 第二章 視頻數(shù)據(jù)結(jié)構(gòu) MATLAB 簡介 在所有的多媒體數(shù)據(jù)類型中，視頻數(shù)據(jù)是最復(fù)雜的。如果選取的閾值過大，會(huì)造成漏檢，而閾值太小又會(huì)造成誤檢。這兩種方法對于閾值的依賴性較強(qiáng)。 現(xiàn)階段視頻鏡頭邊界檢測算法有很多 ,但其中大部分不能普遍適用于不同類型的視頻鏡頭 ,或者僅僅只針對某一類視頻鏡頭中的某一種鏡頭變換 ,而且這些算法大都對攝像機(jī)與物體的運(yùn)動(dòng)以及閃光比較敏感，容易出現(xiàn)誤檢與漏檢。還可以利用像素差法與直方圖法的結(jié)合來實(shí)現(xiàn)，不僅可以達(dá)到好的漸變檢測效果，還能消除攝像機(jī)及目標(biāo)運(yùn)動(dòng)對結(jié)果的影響。在進(jìn)行鏡頭漸變檢測時(shí)，用檢測鏡頭突變的方法檢測效果并不明顯。它的原理也比較簡單，具體實(shí)現(xiàn)過程如下，首先計(jì)算連續(xù)兩幀的直方圖，然后計(jì)算直方圖交集，當(dāng)連續(xù)兩個(gè)視頻圖像幀的相似度小于閾值 F1 時(shí)，則判定出現(xiàn)鏡頭邊界。 （ 2） 利用視頻鏡頭相鄰幀相似度檢測視頻鏡頭邊界方法 直方圖交集法是利用兩個(gè)視頻圖像幀直方圖交集來檢測視頻鏡頭邊界的。檢測漸變鏡頭邊界與突變鏡頭邊界唯一不同的是閾值的選取不同。 這個(gè)方法就是根據(jù)視頻幀間差與閾值的關(guān)系達(dá)到檢測鏡頭邊界的目的，既可以檢測突變鏡頭邊界也可以檢測漸變鏡頭邊界。這種算法將圖像進(jìn)行分塊，然后 將相鄰幀所對應(yīng)的塊進(jìn)行比較，統(tǒng)計(jì)變化率超過閾值 F1 的個(gè)數(shù)。當(dāng)差異的累加值超過閾值 T 時(shí)，即檢測到鏡頭邊界。基于直方圖的方法也是利用視頻圖像幀間差進(jìn)行鏡頭邊界檢測的方法。首先統(tǒng)計(jì)兩幅圖像對應(yīng)像素點(diǎn)變化率超過閾值 F1 的像素點(diǎn)個(gè)數(shù)。 圖 鏡頭邊界檢測過程 內(nèi)蒙古工業(yè)大學(xué)本科畢業(yè)論文 6 主要方法及存在的問題 視頻鏡頭邊界檢測的實(shí)質(zhì)就是檢測視頻鏡頭連續(xù)相鄰幀或非相鄰幀差的差異度或相似度，當(dāng)相似度或差異度大于或小于一個(gè)閾值時(shí)，則判定出現(xiàn)視頻鏡頭突變或漸變邊界。第二步進(jìn)行鏡頭邊界判斷，需要設(shè)定一個(gè)閾值，然后根據(jù)幀間差與閾值的關(guān)系判斷是否發(fā)生了鏡頭的變換。 （ 4） 光照變化及閃光引起的誤檢 在鏡頭中出現(xiàn)的閃光以及光照條件的變化會(huì)造成視頻幀亮度的變化，從而引起視頻幀間差的變化，使得鏡頭邊界檢測出現(xiàn)錯(cuò)誤，造成誤檢。并且不同類型的視頻需要選擇不同的閾值，很難有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。 （ 2）選擇閾值 如何選擇一個(gè)合適的閾值是應(yīng)用幀差法進(jìn)行鏡頭邊界檢測最關(guān)鍵的一個(gè)問題，選取的閾值是否合適直接影響著鏡頭邊界檢測的結(jié)果?；谶B續(xù)幀相減的像素差法對于運(yùn)動(dòng)和噪聲十分敏感，容易造成誤檢，而直方圖相減方法又丟失 了幀圖像的位置信息，容易造成漏檢測。 本文研究內(nèi)容是基于 MATLAB 針對非壓縮域視頻的鏡頭邊界檢測算法。如果先解壓，再用非壓縮域的