【文章內(nèi)容簡介】 實(shí)驗(yàn)數(shù)據(jù)一不同方法在不同采樣率下得到的背景的圖像與標(biāo)準(zhǔn)背景圖像比較的PSNR見表二。采樣率(f/s)12525基于均值 改進(jìn)的基于均值 基于中值濾波 基于共同區(qū)域 表二 實(shí)驗(yàn)數(shù)據(jù)一不同方法得到的背景與標(biāo)準(zhǔn)背景圖像比較的PSNR比較同一采樣率下不同方法的PSNR不能說明問題，因?yàn)橥徊蓸勇氏虏煌椒ㄐ枰膶?shí)際處理時(shí)間不相同。在處理時(shí)間一定的情況下，PSNR越大的方法越好。因此，結(jié)合表二和表一，得到不同方法的PSNR隨處理時(shí)間變化關(guān)系圖。實(shí)驗(yàn)數(shù)據(jù)一不同方法的PSNR隨處理時(shí)間變化關(guān)系圖如圖十九。圖十九 實(shí)驗(yàn)數(shù)據(jù)一不同提取背景的算法PSNR與處理時(shí)間關(guān)系圖將圖十九中橫坐標(biāo)[0，10]區(qū)間部分作局部放大，得到圖二十。圖二十 實(shí)驗(yàn)數(shù)據(jù)一不同提取背景的算法PSNR與處理時(shí)間關(guān)系圖（局部）實(shí)驗(yàn)數(shù)據(jù)二不同方法在不同采樣率下得到的背景的圖像與標(biāo)準(zhǔn)背景圖像比較的PSNR見表三。采樣率(f/s)12525基于均值 改進(jìn)的基于均值 基于中值濾波 基于共同區(qū)域 表三 實(shí)驗(yàn)數(shù)據(jù)二不同方法得到的背景與標(biāo)準(zhǔn)背景圖像比較的PSNR實(shí)驗(yàn)數(shù)據(jù)二不同方法的PSNR隨處理時(shí)間變化關(guān)系圖，如圖二十一。圖二十一 實(shí)驗(yàn)數(shù)據(jù)二不同提取背景的算法PSNR與處理時(shí)間關(guān)系圖將圖二十一中橫坐標(biāo)[0，10]區(qū)間部分作局部放大，得到圖二十二。圖二十二 實(shí)驗(yàn)數(shù)據(jù)二不同提取背景的算法PSNR與處理時(shí)間關(guān)系圖（局部）從圖二十和圖二十二這兩組實(shí)驗(yàn)數(shù)據(jù)的結(jié)果中，我們可以得到以下結(jié)論：并不是采樣率越高（處理時(shí)間越長），PSNR就越高。不同的方法在4秒之后，盡管采樣率不同，但PSNR值都基本不變了。這是因?yàn)椴煌膱D像幀區(qū)別只在于運(yùn)動(dòng)前景不同，背景是相同的，因此不同圖像幀之間存在著信息冗余，增加采樣率，只會(huì)增加處理時(shí)間，不會(huì)增加PSNR，也即不會(huì)提高背景提取的質(zhì)量。也就是說，在背景提取的時(shí)候，我們不需要很高的采樣率即可得到不錯(cuò)的背景圖像。基于均值的算法是效果最差的算法，因?yàn)槠渲皇呛唵蔚钠骄?，沒有做更多的處理。共同區(qū)域法需要更高的采樣率才能得到好效果。這是因?yàn)橐业礁嗟墓餐瑓^(qū)域，就需要更高的采樣率。從提取出來的背景圖像的人眼視覺效果來說，基于共同區(qū)域的算法的背景圖像最不平滑?；谥兄禐V波的背景提取算法，只是取排序中位于中間的元素作輸出，舍棄掉了其他元素，沒有充分利用其他元素的信息，并且排序比較耗時(shí)，因此基于中值濾波的背景提取算法不是很好的算法。效果最好的算法是改進(jìn)的基于均值的背景提取算法。綜上所述，對于10秒的視頻圖像序列，采用每秒2幀的采樣率，使用改進(jìn)的基于均值的背景提取算法，不到4秒就可以得到優(yōu)秀的背景圖像。而背景提取對實(shí)時(shí)性本來要求就不高，不需要像物體運(yùn)動(dòng)跟蹤那樣對所有輸入幀都進(jìn)行處理，這種方法完全能達(dá)到應(yīng)用的要求。 灰度圖像的背景提取運(yùn)動(dòng)目標(biāo)檢測和跟蹤可以不直接使用原始彩色圖像序列，而使用灰度圖像序列，即將彩色視頻圖像序列轉(zhuǎn)換成灰度圖像序列，然后在灰度圖像序列上提取背景，以及之后提取運(yùn)動(dòng)點(diǎn)團(tuán)、運(yùn)動(dòng)跟蹤等。這一節(jié)首先講述彩色圖像轉(zhuǎn)換成灰度圖像的方法，然后再討論灰度圖像的背景提取。 彩色圖像轉(zhuǎn)換成灰度圖像彩色圖像每個(gè)像素點(diǎn)在RGB空間中是一個(gè)三維矢量，每個(gè)分量分別代表紅、綠、藍(lán)三種顏色的灰度。最簡單的將彩色圖像轉(zhuǎn)換成灰度圖像的方法是將這三個(gè)分量取平均值。但是這種方法和人眼視覺感知不符。人眼感知紅、綠、藍(lán)三種顏色的權(quán)重是不一樣的。JPEG圖像壓縮格式采用的是YUV空間，YUV空間是RGB空間的線性變換。轉(zhuǎn)換公式是[11]R、G、B分別表示紅、綠、藍(lán)三種顏色分量的灰度值。Y分量表示圖像的亮度，這是符合人眼對顏色感知的。我們就以Y分量作為圖像像素的灰度。將彩色像素轉(zhuǎn)換為灰度像素的公式為將彩色圖像轉(zhuǎn)換為灰度圖像的算法如下：遍歷彩色圖像的每一個(gè)像素矢量，設(shè)矢量的紅、綠、藍(lán)三色分量值為R、G、B，++ 灰度圖像的背景提取前面所述的所有彩色圖像背景提取的算法都能用在灰度圖像的背景提取上，只要在計(jì)算距離的時(shí)候?qū)⑹噶康臍W氏距離改為標(biāo)量差的絕對值即可。圖二十三至圖二十六分別是實(shí)驗(yàn)數(shù)據(jù)一的灰度圖像序列的基于均值的背景提取、改進(jìn)的基于均值的背景提取、基于中值濾波的背景提取和基于共同區(qū)域的背景提取結(jié)果。圖二十三 灰度圖像序列的基于均值的背景圖像圖二十四 灰度圖像序列的改進(jìn)的基于均值的背景圖像圖二十五 灰度圖像序列的基于中值濾波的背景圖像圖二十六 灰度圖像序列的基于共同區(qū)域的背景圖像 邊緣圖像的背景提取背景提取的目的是為了去除背景，取得每一幀圖像的運(yùn)動(dòng)前景。而前景背景分離最重要的信息是物體的邊緣信息。因此，可以首先將每一幀原始圖像做邊緣提取，得到邊緣圖像序列，然后提取邊緣圖像背景，再提取運(yùn)動(dòng)前景、做運(yùn)動(dòng)跟蹤。 彩色圖像的邊緣提取對灰度圖像，邊緣提取就是求每個(gè)像素的梯度，以梯度大小作為邊緣的量度。用x、y兩個(gè)方向的離散偏微分算子——邊緣檢測算子對圖像做卷積，就得到這兩個(gè)方向上的梯度，以這兩個(gè)方向的量為分量的矢量就是這個(gè)像素的梯度矢量，這個(gè)矢量長度的大小就是這個(gè)像素的邊緣值。設(shè)f(x,y)是離散灰度圖像，g(x,y)是卷積核，f和g的卷積是如果卷積核是的矩陣，則此卷積運(yùn)算的時(shí)間復(fù)雜度是O(9M)，M是圖像的像素總數(shù)。常用的邊緣檢測算子是Prewitt邊緣算子和Sobel邊緣算子。圖二十七和二十八是Prewitt邊緣算子，圖二十九和三十是Sobel邊緣算子。它們都是的矩陣[12]。111000111圖二十八 y方向的Prewitt邊緣算子之一101101101圖二十七 x方向的Prewitt邊緣算子121000121圖三十 y方向的Sobel邊緣算子101202101圖二十九 x方向的Sobel邊緣算子對彩色圖像，如果將其三個(gè)顏色分量的圖像分別計(jì)算梯度，然后將得到的三個(gè)顏色的梯度疊加作為邊緣提取的結(jié)果，則等價(jià)于先將彩色圖像轉(zhuǎn)換成灰度圖像，再在灰度圖像上作邊緣提取。因?yàn)榫矸e運(yùn)算和彩色轉(zhuǎn)換成灰度運(yùn)算都是線性運(yùn)算。然而，這么做就將彩色信息給丟失了，彩色圖像的邊緣，并不是三個(gè)顏色分量邊緣的簡單疊加。下面講述如何將邊緣提取推廣到彩色圖像中[13]。用Prewitt算子舉例說明。對灰度圖像，將Prewitt邊緣檢測x方向算子帶入卷積公式中，可以得到即一個(gè)像素的梯度是它附近三對像素的灰度差的和。將這個(gè)式子擴(kuò)展到矢量空間，認(rèn)為一個(gè)像素的梯度是它附近三對像素的矢量歐氏距離的和，即可得到式子中f(x,y)是圖像中像素矢量，||ab||是計(jì)算矢量a和b的歐氏距離。這樣，對每一個(gè)彩色像素，都考慮了整個(gè)彩色像素矢量，也就是同時(shí)考慮了每個(gè)像素的三個(gè)顏色分量。同理，Prewitt邊緣檢測y方向算子擴(kuò)展到矢量空間，可得上面的兩個(gè)方向的算子就是ColorPrewitt邊緣檢測算子。同樣的，ColorSobel邊緣檢測x方向的算子是ColorSobel邊緣檢測y方向的算子是需要指出的是，邊緣值是梯度長度的大小，因此邊緣值是個(gè)標(biāo)量，邊緣圖像是灰度圖像。 邊緣圖像的背景提取因?yàn)檫吘増D像是灰度圖像，前面所述的所有圖像背景提取的算法都能用在邊緣圖像的背景提取上。圖三十一和圖三十二分別是實(shí)驗(yàn)數(shù)據(jù)一的ColorPrewitt邊緣圖像序列和ColorSobel邊緣圖像序列的基于均值的背景提取結(jié)果，圖三十三和圖三十四分別是ColorPrewitt邊緣圖像序列和ColorSobel邊緣圖像序列的改進(jìn)的基于均值的背景提取的結(jié)果。改進(jìn)的基于均值的背景提取算法依然是這幾種算法中效果最好的。ColorPrewitt和ColorSobel邊緣檢測算法算法得到的邊緣圖像差不多。圖三十一 ColorPrewitt邊緣圖像序列的基于均值的背景圖像圖三十二 ColorSobel邊緣圖像序列的基于均值的背景圖像圖三十三 ColorPrewitt邊緣圖像序列的改進(jìn)的基于均值的背景圖像圖三十四 ColorSobel邊緣圖像序列的改進(jìn)的基于均值的背景圖像第四章 運(yùn)動(dòng)點(diǎn)團(tuán)提取和背景更新運(yùn)動(dòng)點(diǎn)團(tuán)提取也稱背景去除、背景抑制，就是把每一幀的非背景部分提取出來。非背景部分就是運(yùn)動(dòng)前景，但這里不稱其為前景是因?yàn)檫@一步處理的是第二章所說的點(diǎn)團(tuán)層，我們在點(diǎn)團(tuán)層上面還有一層運(yùn)動(dòng)物體層，這是為了提高運(yùn)動(dòng)跟蹤的效果，詳見第七章。根據(jù)運(yùn)動(dòng)物體和場景中的靜止背景在亮度、色度上的不同，將圖像序列的每一幀圖像與背景圖像作差，然后二值化，就可以得到每一幀的運(yùn)動(dòng)點(diǎn)團(tuán)：圖像中的一個(gè)像素，如果它與背景圖像對應(yīng)像素的距離大于一個(gè)閾值，則認(rèn)為它是前景，輸出1，否則為背景，輸出0。最后得到的二值圖像就是運(yùn)動(dòng)點(diǎn)團(tuán)圖像。陰影的處理是運(yùn)動(dòng)點(diǎn)團(tuán)提取這一步重要的一環(huán)。陰影不應(yīng)該作為前景的一部分，然而陰影與背景有差別，背景差法會(huì)把陰影歸到前景中去，這樣就會(huì)導(dǎo)致陰影將不同的運(yùn)動(dòng)物體連接成一個(gè)物體，降低運(yùn)動(dòng)目標(biāo)檢測的精確度。因此需要對陰影做專門的處理。運(yùn)動(dòng)點(diǎn)團(tuán)提取可以不采用背景差法，而采用幀間差法，指出其存在的問題。背景提取出來后，并不是不變的。它會(huì)隨時(shí)間變化而變化。光照的改變、原來作為背景的物體運(yùn)動(dòng)出去或者運(yùn)動(dòng)物體靜止下來成為背景等情況，都會(huì)導(dǎo)致背景的變化。因此背景需要不斷的更新。 彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取彩色圖像的基于背景差的運(yùn)動(dòng)點(diǎn)團(tuán)提取，根據(jù)前景與背景的顏色不同，將原始彩色圖像序列的每一幀圖像與彩色背景圖像作差，然后將結(jié)果圖像二值化。兩幀彩色圖像的差是指兩幀中對應(yīng)像素矢量的距離。常用的矢量距離是歐氏距離和馬氏距離，下面分別敘述。 基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取設(shè)隨機(jī)矢量x的均值是，協(xié)方差矩陣是，則x與的馬氏距離是對彩色圖像的像素矢量，假設(shè)每一個(gè)顏色分量相互獨(dú)立，則不同分量的協(xié)方差為0，即協(xié)方差矩陣非對角線元素都為0，對角線元素就是對應(yīng)分量的方差，上式可以寫成[14]、綠、藍(lán)三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍(lán)三種顏色分量，、分別表示紅、綠、藍(lán)三種顏色分量的方差，也就是矩陣的對角元素。在背景提取的時(shí)候可以把每個(gè)像素的方差計(jì)算出來。像素點(diǎn)(x,y)的方差計(jì)算方法如下：,c=r,g,b其中Fi是采樣幀，總共有N幀，是背景。從馬氏距離的計(jì)算公式中可以看出，其本質(zhì)是將矢量各個(gè)分量用方差歸一化，不至于讓變化較大的分量影響太大、讓變化較小的分量影響消失。接下來就是閾值的確定。若閾值為Tb，則如果圖像像素與對應(yīng)背景像素的馬氏距離不小于Tb，其為前景；否則為背景。閾值Tb是前景與背景差別的量度。而馬氏距離是歸一化的距離，因此可以認(rèn)為，前景與背景的距離（沒歸一化的距離）至少有Tb倍標(biāo)準(zhǔn)差。馬氏距離提取運(yùn)動(dòng)點(diǎn)團(tuán)的具體算法如下：1)設(shè)背景圖像是B (x,y)，協(xié)方差是(x,y)2)遍歷當(dāng)前幀的每一個(gè)像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當(dāng)前幀的運(yùn)動(dòng)點(diǎn)團(tuán)圖像。設(shè)圖像的總像素?cái)?shù)為M，對每一幀圖像都要遍歷每一個(gè)像素，因此這個(gè)算法的時(shí)間復(fù)雜度是O(M)。實(shí)驗(yàn)數(shù)據(jù)一基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果的其中一幀圖像如圖三十五至三十七。其中圖三十五閾值Tb=1，圖三十六閾值Tb=5，圖三十七閾值Tb=9。圖三十五 基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果，閾值Tb=1圖三十六 基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果，閾值Tb=5圖三十七 基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果，閾值Tb=9將實(shí)驗(yàn)結(jié)果和基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果（）相比，可以看到其效果并不好。要么很多背景誤判成了前景（圖三十五、圖三十六）；要么很多前景誤判成了背景（圖三十六、圖三十七）。這是因?yàn)椋瑢τ跊]有運(yùn)動(dòng)物體經(jīng)過的背景區(qū)域，像素三個(gè)顏色分量的變化都不大，即它們的方差都不大，與背景差別不大的像素的方差歸一化距離會(huì)變得很大，導(dǎo)致背景被誤判。一般來說，彩色圖像中的像素點(diǎn)矢量要么各個(gè)分量變化都不大，如沒有運(yùn)動(dòng)物體出現(xiàn)的背景區(qū)域，要么各個(gè)分量都有較大的變化，如運(yùn)動(dòng)物體頻繁出現(xiàn)的區(qū)域，所以距離歸一化并沒有太大的實(shí)際意義，基于馬氏距離得到的運(yùn)動(dòng)點(diǎn)團(tuán)圖像效果并不好。 基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取兩個(gè)彩色像素矢量的歐氏距離如下：、綠、藍(lán)三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍(lán)三種顏色分量。若閾值為Ta，則如果圖像像素與對應(yīng)背景像素的歐氏距離不小于Ta，其為前景；否則為背景。閾值Ta是前景與背景差別的量度，即前景與背景的距離至少相差Ta。閾值太大，則像素有更大可能被判成為背景，前景被誤判成背景的可能性大；閾值太小，則像素有更大可能被判成為前景，背景被誤判成前景的可能性大。歐氏距離提取運(yùn)動(dòng)點(diǎn)團(tuán)的具體算法如下：1)設(shè)背景圖像是B (x,y)2)遍歷當(dāng)前幀的每一個(gè)像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當(dāng)前幀的運(yùn)動(dòng)點(diǎn)團(tuán)圖像。設(shè)圖像的總像素?cái)?shù)為M，對每一幀圖像都要遍歷每一個(gè)像素，因此這個(gè)算法的時(shí)間復(fù)雜度是O(M)。實(shí)驗(yàn)數(shù)據(jù)一的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果的其中一幀圖像如圖三十八和圖四十。實(shí)驗(yàn)數(shù)據(jù)二的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果的其中一幀圖像如圖三十九和圖四十一。其中圖三十八、圖三十九閾值Ta=25，圖