【正文】 綠、藍(lán)三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍(lán)三種顏色分量。這是因為，對于沒有運動物體經(jīng)過的背景區(qū)域，像素三個顏色分量的變化都不大，即它們的方差都不大，與背景差別不大的像素的方差歸一化距離會變得很大，導(dǎo)致背景被誤判。圖三十五 基于馬氏距離的運動點團(tuán)提取結(jié)果，閾值Tb=1圖三十六 基于馬氏距離的運動點團(tuán)提取結(jié)果，閾值Tb=5圖三十七 基于馬氏距離的運動點團(tuán)提取結(jié)果，閾值Tb=9將實驗結(jié)果和基于歐氏距離的運動點團(tuán)提取實驗結(jié)果（）相比，可以看到其效果并不好。實驗數(shù)據(jù)一基于馬氏距離的運動點團(tuán)提取實驗結(jié)果的其中一幀圖像如圖三十五至三十七。馬氏距離提取運動點團(tuán)的具體算法如下：1)設(shè)背景圖像是B (x,y)，協(xié)方差是(x,y)2)遍歷當(dāng)前幀的每一個像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當(dāng)前幀的運動點團(tuán)圖像。閾值Tb是前景與背景差別的量度。接下來就是閾值的確定。像素點(x,y)的方差計算方法如下：,c=r,g,b其中Fi是采樣幀，總共有N幀，是背景。 基于馬氏距離的運動點團(tuán)提取設(shè)隨機(jī)矢量x的均值是，協(xié)方差矩陣是，則x與的馬氏距離是對彩色圖像的像素矢量，假設(shè)每一個顏色分量相互獨立，則不同分量的協(xié)方差為0，即協(xié)方差矩陣非對角線元素都為0，對角線元素就是對應(yīng)分量的方差，上式可以寫成[14]、綠、藍(lán)三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍(lán)三種顏色分量，、分別表示紅、綠、藍(lán)三種顏色分量的方差，也就是矩陣的對角元素。兩幀彩色圖像的差是指兩幀中對應(yīng)像素矢量的距離。因此背景需要不斷的更新。它會隨時間變化而變化。運動點團(tuán)提取可以不采用背景差法，而采用幀間差法，指出其存在的問題。因此需要對陰影做專門的處理。陰影的處理是運動點團(tuán)提取這一步重要的一環(huán)。根據(jù)運動物體和場景中的靜止背景在亮度、色度上的不同，將圖像序列的每一幀圖像與背景圖像作差，然后二值化，就可以得到每一幀的運動點團(tuán)：圖像中的一個像素，如果它與背景圖像對應(yīng)像素的距離大于一個閾值，則認(rèn)為它是前景，輸出1，否則為背景，輸出0。圖三十一 ColorPrewitt邊緣圖像序列的基于均值的背景圖像圖三十二 ColorSobel邊緣圖像序列的基于均值的背景圖像圖三十三 ColorPrewitt邊緣圖像序列的改進(jìn)的基于均值的背景圖像圖三十四 ColorSobel邊緣圖像序列的改進(jìn)的基于均值的背景圖像第四章 運動點團(tuán)提取和背景更新運動點團(tuán)提取也稱背景去除、背景抑制，就是把每一幀的非背景部分提取出來。改進(jìn)的基于均值的背景提取算法依然是這幾種算法中效果最好的。 邊緣圖像的背景提取因為邊緣圖像是灰度圖像，前面所述的所有圖像背景提取的算法都能用在邊緣圖像的背景提取上。同理，Prewitt邊緣檢測y方向算子擴(kuò)展到矢量空間，可得上面的兩個方向的算子就是ColorPrewitt邊緣檢測算子。將這個式子擴(kuò)展到矢量空間，認(rèn)為一個像素的梯度是它附近三對像素的矢量歐氏距離的和，即可得到式子中f(x,y)是圖像中像素矢量，||ab||是計算矢量a和b的歐氏距離。用Prewitt算子舉例說明。然而，這么做就將彩色信息給丟失了，彩色圖像的邊緣，并不是三個顏色分量邊緣的簡單疊加。111000111圖二十八 y方向的Prewitt邊緣算子之一101101101圖二十七 x方向的Prewitt邊緣算子121000121圖三十 y方向的Sobel邊緣算子101202101圖二十九 x方向的Sobel邊緣算子對彩色圖像，如果將其三個顏色分量的圖像分別計算梯度，然后將得到的三個顏色的梯度疊加作為邊緣提取的結(jié)果，則等價于先將彩色圖像轉(zhuǎn)換成灰度圖像，再在灰度圖像上作邊緣提取。圖二十七和二十八是Prewitt邊緣算子，圖二十九和三十是Sobel邊緣算子。設(shè)f(x,y)是離散灰度圖像，g(x,y)是卷積核，f和g的卷積是如果卷積核是的矩陣，則此卷積運算的時間復(fù)雜度是O(9M)，M是圖像的像素總數(shù)。 彩色圖像的邊緣提取對灰度圖像，邊緣提取就是求每個像素的梯度，以梯度大小作為邊緣的量度。而前景背景分離最重要的信息是物體的邊緣信息。圖二十三至圖二十六分別是實驗數(shù)據(jù)一的灰度圖像序列的基于均值的背景提取、改進(jìn)的基于均值的背景提取、基于中值濾波的背景提取和基于共同區(qū)域的背景提取結(jié)果。我們就以Y分量作為圖像像素的灰度。轉(zhuǎn)換公式是[11]R、G、B分別表示紅、綠、藍(lán)三種顏色分量的灰度值。人眼感知紅、綠、藍(lán)三種顏色的權(quán)重是不一樣的。最簡單的將彩色圖像轉(zhuǎn)換成灰度圖像的方法是將這三個分量取平均值。這一節(jié)首先講述彩色圖像轉(zhuǎn)換成灰度圖像的方法，然后再討論灰度圖像的背景提取。而背景提取對實時性本來要求就不高，不需要像物體運動跟蹤那樣對所有輸入幀都進(jìn)行處理，這種方法完全能達(dá)到應(yīng)用的要求。效果最好的算法是改進(jìn)的基于均值的背景提取算法。從提取出來的背景圖像的人眼視覺效果來說，基于共同區(qū)域的算法的背景圖像最不平滑。共同區(qū)域法需要更高的采樣率才能得到好效果。也就是說，在背景提取的時候，我們不需要很高的采樣率即可得到不錯的背景圖像。不同的方法在4秒之后，盡管采樣率不同，但PSNR值都基本不變了。圖二十一 實驗數(shù)據(jù)二不同提取背景的算法PSNR與處理時間關(guān)系圖將圖二十一中橫坐標(biāo)[0，10]區(qū)間部分作局部放大，得到圖二十二。圖二十 實驗數(shù)據(jù)一不同提取背景的算法PSNR與處理時間關(guān)系圖（局部）實驗數(shù)據(jù)二不同方法在不同采樣率下得到的背景的圖像與標(biāo)準(zhǔn)背景圖像比較的PSNR見表三。實驗數(shù)據(jù)一不同方法的PSNR隨處理時間變化關(guān)系圖如圖十九。在處理時間一定的情況下，PSNR越大的方法越好。實驗數(shù)據(jù)一不同方法在不同采樣率下得到的背景的圖像與標(biāo)準(zhǔn)背景圖像比較的PSNR見表二。極端情況，當(dāng)兩幅圖像一樣時，峰值信噪比為無窮大；兩幅圖像差別最大時，峰值信噪比為0。峰值信噪比的計算公式如下：其中，對數(shù)中分子的255表示像素灰度最大的差值，在256級灰度中，這個最大差值是255（2550=255）；對數(shù)中分母的M是圖像的像素總數(shù)，F(xiàn)1(i)、F2(i)表示兩幅圖像中的某個像素，整個分母表示兩幅圖像的所有對應(yīng)像素的差的平方的平均值，如果是彩色圖像，“對應(yīng)像素的差的平方”用對應(yīng)像素矢量的分量的差的平方和除以3計算。越接近標(biāo)準(zhǔn)圖像的背景圖像越好。實驗數(shù)據(jù)一所有376幀圖像得到的標(biāo)準(zhǔn)圖像見圖十七；實驗數(shù)據(jù)二所有576幀圖像得到的標(biāo)準(zhǔn)圖像見圖十八。為了比較不同算法求得的背景圖像的效果，需要獲得標(biāo)準(zhǔn)背景作為比較標(biāo)準(zhǔn)。圖十三 基于均值的彩色圖像背景提取時間與采樣率關(guān)系圖圖十四 改進(jìn)的基于均值的彩色圖像背景提取時間與采樣率關(guān)系圖圖十五 基于中值濾波的彩色圖像背景提取時間與采樣率關(guān)系圖圖十六 基于共同區(qū)域的彩色圖像背景提取時間與采樣率關(guān)系圖從表一和圖十三至圖十六可以看到，背景提取所需時間隨采樣率的增加而增加；除了基于中值濾波的背景提取方法外，其他方法處理時間隨采樣率增加線性增加；而基于中值濾波的背景提取方法，處理時間隨采樣率增加顯著增長；基于均值的背景提取方法和基于共同區(qū)域的背景提取方法所需時間差別不大；改進(jìn)的基于均值的背景提取方法比基于均值和基于共同區(qū)域的方法需要時間多。采樣率(f/s)12525基于均值(s) 改進(jìn)的基于均值(s) 基于中值濾波(s) 基于共同區(qū)域(s) 表一 不同方法提取背景實際所需處理時間我們可以由表一作出不同算法處理時間與采樣率的關(guān)系圖。不同采樣率意味著處理的總圖像數(shù)不同，采樣率與時間（這里10秒）之積就是總圖像數(shù)。 CPU、384兆內(nèi)存的計算機(jī)上進(jìn)行。此算法每個像素計算均值的集合（即上述集合A）的大小的變化范圍要比改進(jìn)的基于均值的方法大得多，這導(dǎo)致了其提取出的背景圖像在這幾種方法中最不平滑。；。詳細(xì)算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y): a)集合A={}； b)對每一個圖像對Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則將Fi(x,y)和Fi+N/2(x,y)加入集合A，其中Ta是閾值； c)計算集合A中所有元素的均值作為像素點(x,y)的背景值。另外，考慮閾值的極端情況，如果這個閾值很小，任何像素在圖像對中的差別都大于這個閾值，則找不到任何共同區(qū)域，這時每一個像素的背景都是單純用所有采樣圖像幀的平均值得到；如果這個閾值很大，任何像素在圖像對中的差別都小于這個閾值，則每個圖像對中的所有像素都是共同區(qū)域，這時每一個像素的背景也是由所有采樣圖像幀的均值得到。這個閾值可以和第四章運動點團(tuán)前景提取的二值化閾值相同，因為它們的內(nèi)涵都是前景和背景差別的量度。這時，這個像素的背景值采用所有采樣圖像幀求均值的方法得到。在一定的時間段中，采樣得到若干有一定時間間隔的圖像對，每個圖像對找共同區(qū)域，然后對共同區(qū)域求平均值得到最后的背景圖像[10]。有沒有不用計算標(biāo)準(zhǔn)差的方法呢？考慮前后相隔一定時間的兩圖像幀，因為前景在運動，其轉(zhuǎn)瞬即逝，因此同一個像素在有一定時間間隔的兩幀中如果差別不大，則它很大可能是背景——前景在這段時間中必然運動變化了；如果這個像素在這兩圖像幀中差別很大，則至少有一幀中的這個像素不是背景。關(guān)鍵問題是在不知道前景的情況下，如何決定哪些樣本不大可能是背景。對n個元素排序的時間復(fù)雜度是O(nlogn)或者O(n2)，取決于算法，其不是線性的，隨著n的增大迅速增大。具體算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y):a)將彩色像素矢量Fi(x,y)轉(zhuǎn)換成灰度Gi(x,y)，i=1,2…N。視頻中的某個像素對時間采樣，背景出現(xiàn)的次數(shù)比前景多，可以認(rèn)為前景是“噪聲”，這樣我們就可以對一個像素在時間上采樣得到的樣本進(jìn)行濾波——對它們排序，噪聲將排在兩邊，即前景排在兩邊，排在中部的是背景，取排在中間的像素作為背景結(jié)果[9]。中值濾波是對單幅圖像在空間采樣點上的濾波，不能直接用于背景提取。這樣濾波結(jié)果的每一個像素都是原始彩色圖像中真實存在的像素，避免了同一個像素的三個顏色分量來源于不同的像素導(dǎo)致的顏色扭曲。可以采取另外一種方法?？梢苑謩e將這三種顏色的灰度圖做中值濾波，然后合成。這就是中值濾波器能有效去除圖像噪聲的原因。因為噪聲點的灰度與非噪聲點差別大，而且圖像有空間局部性，也就是說，對于沒有被噪聲污染的圖像，里面的每一個像素和它相鄰的像素的灰度差別不大。圖七 實驗數(shù)據(jù)一改進(jìn)的基于均值的背景圖像圖八 實驗數(shù)據(jù)二改進(jìn)的基于均值的背景圖像 基于中值濾波的彩色背景圖像提取中值濾波器能有效的去除圖像的噪聲。；。改進(jìn)的算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y)：a)求中心點；b)求標(biāo)準(zhǔn)差，c=r,g,b；c)求集合中所有元素的平均值，這個值就是所求背景B(x,y)。標(biāo)準(zhǔn)差計算公式為，c=r,g,b表示矢量的紅、綠、藍(lán)三種顏色分量，X0是樣本的平均值。然而，這個時候前景還沒不知道，用什么方法可以簡單有效的得到不大可能是背景的像素呢？根據(jù)背景出現(xiàn)的次數(shù)比前景多，且前景顏色和背景不同，可以知道，對于某個像素點，其對時間的采樣點在彩色RGB空間中會以背景點為中心點聚集在一起，而前景點會離中心點比較遠(yuǎn)。圖五 實驗數(shù)據(jù)一基于均值的背景圖像圖六 實驗數(shù)據(jù)二基于均值的背景圖像 改進(jìn)的基于均值的彩色圖像背景提取。同時，求取平均值還可以在一定程度上抑制噪聲。前面已經(jīng)說過，運動前景是轉(zhuǎn)瞬即逝的。 基于均值的彩色圖像背景提取這是背景提取的最簡單的方法。不論何種方法，都是基于這個思想。 彩色圖像的背景提取原始彩色圖像的背景提取，基本思想是，圖像中的某個像素按時間抽樣，其作為背景像素的時間比作為運動前景的時間長，即其作為背景的概率比作為前景的概率大，而且背景和前景在顏色上和亮度上都有很大不同。本章講述背景初始化的方法，即在沒有運動前景的任何信息的情況下提取背景圖像，輸入是視頻圖像序列，每幀圖像都包括運動物體和靜止景物，輸出是只含靜止景物的背景圖像。背景會隨著時間的變化而發(fā)生變化，例如光照變化導(dǎo)致背景亮度、色度變化；運動物體停止運動成為背景的一部分；又如背景的一部分運動起來成為運動前景等。在運動點團(tuán)提取中，背景提取這一步提取出來的背景圖像將作為參考圖像，每一幀圖像都要與背景圖像作差，把背景去除，以得到運動點團(tuán)前景。背景提取的目標(biāo)就是根據(jù)視頻圖像序列，找出圖像中每一點的背景值。背景就是場景中靜止不動的景物。下文所說的“實驗數(shù)據(jù)一”是交通管理部門攝制的15秒道路視頻，圖三是其中的一幀；“實驗數(shù)據(jù)二”是我們用數(shù)碼相機(jī)到天橋上攝制的23秒道路視頻，圖四是其中的一幀。我們研究運動目標(biāo)檢測和跟蹤使用道路交通作為實驗場景。這一章還比較了基于邊緣圖像的運動跟蹤與基于原始的彩色圖像的運動跟蹤的效果，指出了基于邊緣圖像的運動跟蹤差于基于原始彩色圖像的運動跟蹤的原因。首先，介紹了卡爾曼濾波器，其可以用于運動跟蹤[4]，但其存在一些問題，由卡爾曼濾波器啟發(fā)，本文提出了一種基于預(yù)測的運動跟蹤方法，其實質(zhì)是一種簡化的卡爾曼濾波器，很好的解決了卡爾曼濾波器存在的問題。還有一種運動跟蹤的方法[7]：在當(dāng)前運動點團(tuán)鄰域搜索匹配下一幀中的運動點團(tuán)，這種方法不需要提取運動點團(tuán)的位置和大小，可以