【正文】 每一個像素點(x,y)，背景設(shè)圖像的總像素數(shù)為M，對每一個像素都要遍歷N個圖像幀，因此這個算法的時間復(fù)雜度是O(MN)。在求平均值之前，如果能去除不大可能是背景的像素，那么求出來的平均值會更加接近背景。因此，可以對基于均值的彩色圖像背景提取算法做改進(jìn)：在求平均值之后求標(biāo)準(zhǔn)差，然后把與均值大于標(biāo)準(zhǔn)差的采樣點去除，最后再求余下的點的平均值，把此值作為背景值?？梢钥吹剑朔椒ǖ玫降谋尘皥D像比單純求平均值的算法好，單純求平均值的方法得到的背景圖像留有不少運(yùn)動前景的痕跡，而此改進(jìn)算法得到的背景圖像中運(yùn)動前景痕跡就少多了。我們將這個像素和它相鄰的像素排序，噪聲點將被排到兩邊，排在中間的像素就是沒被噪聲污染的像素，把它作為濾波結(jié)果。然而這種方法將導(dǎo)致濾波后一個像素的三個分量來自不同的像素點，合成后的顏色不可避免的被扭曲。將中值濾波擴(kuò)展到彩色圖像的算法如下：將彩色圖像轉(zhuǎn)換成灰度圖像，遍歷灰度圖像的每一個像素，將它和與它相鄰的八個像素的灰度排序，取排在中間的像素對應(yīng)的原始彩色圖像的像素矢量作為輸出圖像的這個像素。我們處理的是彩色圖像序列，因此如前所述，將彩色圖像轉(zhuǎn)換成灰度圖像，然后在濾波的排序后，選擇排在中間的像素對應(yīng)的原始彩色圖像的像素矢量作為濾波結(jié)果。設(shè)圖像的像素數(shù)是M，對每個像素都要對采樣的N個樣本進(jìn)行排序，因此此算法的時間復(fù)雜度是O(MNlogN)或者O(MN2)，是比較耗時的算法。：認(rèn)為離中心點距離大于標(biāo)準(zhǔn)差的點不大可能是背景點。這時還要考慮某些像素不在任何背景區(qū)域中的情況——如果前景運(yùn)動變化過于頻繁，某像素在任何圖像對中都有很大差別，這種情況將出現(xiàn)。這個閾值如何確定將在第四章詳細(xì)講述。設(shè)圖像的總像素數(shù)為M，則對每一個像素都要遍歷2次N個圖像幀——產(chǎn)生集合A的點一次，求平均值一次，因此這個算法的時間復(fù)雜度是O(2MN)=O(MN)。圖十一 實驗數(shù)據(jù)一基于共同區(qū)域的背景圖像圖十二 實驗數(shù)據(jù)二基于共同區(qū)域的背景圖像 彩色圖像背景提取的實驗分析實驗采用10秒道路交通視頻數(shù)據(jù)，在上面做均勻采樣，例如采樣率是1幀/秒（1f/s），就是每秒取1幀，總共在10秒中均勻取10幀；采樣率5幀/秒（5f/s），就是每秒取5幀，總共在10秒中均勻取50幀。采樣率越高，處理的時間越長，見表一。這個和前面每種方法的時間復(fù)雜度分析是一致的。圖十七 實驗數(shù)據(jù)一的標(biāo)準(zhǔn)背景圖像圖十八 實驗數(shù)據(jù)二的標(biāo)準(zhǔn)背景圖像確定了標(biāo)準(zhǔn)圖像后，考慮比較標(biāo)準(zhǔn)?？梢钥吹剑?dāng)兩幅圖像越接近，對數(shù)中的分母就越小，峰值信噪比就越大；當(dāng)兩幅圖像差別越大，對數(shù)中的分母就越大，峰值信噪比就越小。采樣率(f/s)12525基于均值 改進(jìn)的基于均值 基于中值濾波 基于共同區(qū)域 表二 實驗數(shù)據(jù)一不同方法得到的背景與標(biāo)準(zhǔn)背景圖像比較的PSNR比較同一采樣率下不同方法的PSNR不能說明問題，因為同一采樣率下不同方法需要的實際處理時間不相同。圖十九 實驗數(shù)據(jù)一不同提取背景的算法PSNR與處理時間關(guān)系圖將圖十九中橫坐標(biāo)[0，10]區(qū)間部分作局部放大，得到圖二十。圖二十二 實驗數(shù)據(jù)二不同提取背景的算法PSNR與處理時間關(guān)系圖（局部）從圖二十和圖二十二這兩組實驗數(shù)據(jù)的結(jié)果中，我們可以得到以下結(jié)論：并不是采樣率越高（處理時間越長），PSNR就越高?；诰档乃惴ㄊ切Ч畈畹乃惴?，因為其只是簡單的平均，沒有做更多的處理?；谥兄禐V波的背景提取算法，只是取排序中位于中間的元素作輸出，舍棄掉了其他元素，沒有充分利用其他元素的信息，并且排序比較耗時，因此基于中值濾波的背景提取算法不是很好的算法。 灰度圖像的背景提取運(yùn)動目標(biāo)檢測和跟蹤可以不直接使用原始彩色圖像序列，而使用灰度圖像序列，即將彩色視頻圖像序列轉(zhuǎn)換成灰度圖像序列，然后在灰度圖像序列上提取背景，以及之后提取運(yùn)動點團(tuán)、運(yùn)動跟蹤等。但是這種方法和人眼視覺感知不符。Y分量表示圖像的亮度，這是符合人眼對顏色感知的。圖二十三 灰度圖像序列的基于均值的背景圖像圖二十四 灰度圖像序列的改進(jìn)的基于均值的背景圖像圖二十五 灰度圖像序列的基于中值濾波的背景圖像圖二十六 灰度圖像序列的基于共同區(qū)域的背景圖像 邊緣圖像的背景提取背景提取的目的是為了去除背景，取得每一幀圖像的運(yùn)動前景。用x、y兩個方向的離散偏微分算子——邊緣檢測算子對圖像做卷積，就得到這兩個方向上的梯度，以這兩個方向的量為分量的矢量就是這個像素的梯度矢量，這個矢量長度的大小就是這個像素的邊緣值。它們都是的矩陣[12]。下面講述如何將邊緣提取推廣到彩色圖像中[13]。這樣，對每一個彩色像素，都考慮了整個彩色像素矢量，也就是同時考慮了每個像素的三個顏色分量。圖三十一和圖三十二分別是實驗數(shù)據(jù)一的ColorPrewitt邊緣圖像序列和ColorSobel邊緣圖像序列的基于均值的背景提取結(jié)果，圖三十三和圖三十四分別是ColorPrewitt邊緣圖像序列和ColorSobel邊緣圖像序列的改進(jìn)的基于均值的背景提取的結(jié)果。非背景部分就是運(yùn)動前景，但這里不稱其為前景是因為這一步處理的是第二章所說的點團(tuán)層，我們在點團(tuán)層上面還有一層運(yùn)動物體層，這是為了提高運(yùn)動跟蹤的效果，詳見第七章。陰影不應(yīng)該作為前景的一部分，然而陰影與背景有差別，背景差法會把陰影歸到前景中去，這樣就會導(dǎo)致陰影將不同的運(yùn)動物體連接成一個物體，降低運(yùn)動目標(biāo)檢測的精確度。背景提取出來后，并不是不變的。 彩色圖像的運(yùn)動點團(tuán)提取彩色圖像的基于背景差的運(yùn)動點團(tuán)提取，根據(jù)前景與背景的顏色不同，將原始彩色圖像序列的每一幀圖像與彩色背景圖像作差，然后將結(jié)果圖像二值化。在背景提取的時候可以把每個像素的方差計算出來。若閾值為Tb，則如果圖像像素與對應(yīng)背景像素的馬氏距離不小于Tb，其為前景；否則為背景。設(shè)圖像的總像素數(shù)為M，對每一幀圖像都要遍歷每一個像素，因此這個算法的時間復(fù)雜度是O(M)。要么很多背景誤判成了前景（圖三十五、圖三十六）；要么很多前景誤判成了背景（圖三十六、圖三十七）。若閾值為Ta，則如果圖像像素與對應(yīng)背景像素的歐氏距離不小于Ta，其為前景；否則為背景。設(shè)圖像的總像素數(shù)為M，對每一幀圖像都要遍歷每一個像素，因此這個算法的時間復(fù)雜度是O(M)。圖三十八 實驗數(shù)據(jù)一的基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果，Ta=25圖三十九 實驗數(shù)據(jù)二的基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果，Ta=25圖四十 實驗數(shù)據(jù)一的基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果，Ta=45圖四十一 實驗數(shù)據(jù)二的基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果，Ta=45從圖中可以看到，基于歐氏距離的運(yùn)動點團(tuán)提取的圖像比基于馬氏距離的運(yùn)動點團(tuán)提取效果好，而且其不需要計算每個像素的方差值，也不需要在計算距離時做方差歸一化處理，此算法優(yōu)于基于馬氏距離的算法。陰影不是運(yùn)動物體的一部分，但用背景差的方法提取運(yùn)動點團(tuán)會把陰影也作為運(yùn)動前景，這將導(dǎo)致不同的前景物體被陰影連成一片，嚴(yán)重影響運(yùn)動目標(biāo)檢測與跟蹤的精確度。 基于RGB空間的陰影處理陰影與背景在色度上相似，在亮度上陰影比背景暗；而前景一般在色度和亮度上和背景都有差別，這就是陰影和前景不同的地方。對于亮度，像素矢量的長度就是其亮度。取此閾值的陰影處理后的運(yùn)動點團(tuán)圖像如圖四十四、圖四十五。我們可以將此算法改進(jìn)，得到一個在RGB空間中滿足條件的點的個數(shù)不隨背景亮度不同而變化的陰影判斷條件。為了不讓矢量F(x,y)太小，再加個條件就可以了，Td是閾值。通過調(diào)整閾值重復(fù)實驗，得到最佳閾值=，Td=60。HSI空間的三個分量I是亮度、S是飽和度、H是色度。[16]判斷像素是否是陰影的算法如下：1)B(x,y)是背景圖像，F(xiàn)(x,y)是當(dāng)前處理的幀2)對前一步（運(yùn)動點團(tuán)提取）提取出的前景像素點F(x,y)：如果同時滿足 則此像素是陰影而不是前景。圖四十八 實驗數(shù)據(jù)一基于HSI空間的陰影處理結(jié)果圖四十九 實驗數(shù)據(jù)二基于HSI空間的陰影處理結(jié)果 灰度圖像的運(yùn)動點團(tuán)提取第三章已經(jīng)講述了如何將原始彩色圖像序列變換成灰度圖像序列，以及提取灰度圖像的背景。定義二值化的閾值是Te，其含義是前景與背景差別的量度，即前景與背景的距離至少相差Te。為了尋找基于彩色圖像的運(yùn)動點團(tuán)提取方法和基于灰度圖像的運(yùn)動點團(tuán)提取方法之間的關(guān)系，再進(jìn)行如下實驗。閾值16171819202122232425不同像素數(shù)7156588348083940321028182897329239044575百分比(%) 表四 實驗數(shù)據(jù)一基于灰度圖像的運(yùn)動點團(tuán)圖像與參考圖像差別隨閾值變化表閾值16171819202122232425不同像素數(shù)5720459037793068261125172811323037954370百分比(%) 表五 實驗數(shù)據(jù)二基于灰度圖像的運(yùn)動點團(tuán)圖像與參考圖像差別隨閾值變化表根據(jù)表四和表五，作出基于灰度圖像的運(yùn)動點團(tuán)提取結(jié)果與參考圖像不同像素百分比隨閾值變化關(guān)系圖，見圖五十二。對兩組實驗數(shù)據(jù)，我們都能得到基于彩色圖像的運(yùn)動點團(tuán)提取方法和基于灰度圖像的運(yùn)動點團(tuán)提取方法的最佳閾值滿足經(jīng)驗關(guān)系式，這個系數(shù)來源于彩色圖像的像素有三個顏色分量，在RGB空間中，若矢量的每個分量都為a，則矢量的長度為a。然而，它們都將陰影作為運(yùn)動前景了。圖五十二 基于灰度圖像的運(yùn)動點團(tuán)圖像與參考圖像差別隨閾值變化關(guān)系圖 邊緣圖像的運(yùn)動點團(tuán)提取第三章已經(jīng)講述了如何將原始彩色圖像序列通過彩色邊緣檢測得到邊緣圖像序列，以及提取邊緣圖像的背景。改變其值重復(fù)實驗，可得到最佳閾值Tcp=50。對實驗數(shù)據(jù)一的其中一幀的提取結(jié)果如圖五十四。在第七章中我們將看到基于邊緣圖像的運(yùn)動跟蹤的效果。因為相鄰兩幀不相同的部分就是運(yùn)動部分，因此這個方法能夠提取出運(yùn)動前景。相鄰兩幀作差，在結(jié)果中會把這兩幀的噪聲疊加在一起。背景更新有兩種策略。上式的含義是，當(dāng)前幀的像素(x,y)是背景時，對背景像素(x,y)做更新，使當(dāng)前像素在新背景中占權(quán)重，這適應(yīng)了背景因為光照而緩慢變化的情況；當(dāng)前像素(x,y)不是背景時，對背景像素(x,y)做更新，使當(dāng)前像素在新背景中占權(quán)重，這適應(yīng)了背景物體運(yùn)動出去或者運(yùn)動物體靜止下來成為背景的情況。例如，道路交通場景中，視頻圖像的上面部分“天空、建筑”的區(qū)域不會出現(xiàn)運(yùn)動物體，下面部分“道路”區(qū)域才會出現(xiàn)汽車等運(yùn)動物體。我們稱有可能出現(xiàn)運(yùn)動物體的區(qū)域為興趣區(qū)。 興趣區(qū)的提取和實驗興趣區(qū)是圖像中有可能出現(xiàn)運(yùn)動物體的區(qū)域。因此。具體算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y): a)Sum(x,y)=0。圖五十六 實驗數(shù)據(jù)一的背景統(tǒng)計灰度圖將此統(tǒng)計圖作水平投影，從下往上找第一個背景像素波峰，以此作為分界線，上面部分就是不大可能出現(xiàn)運(yùn)動物體的區(qū)域，下面部分就是運(yùn)動物體出現(xiàn)的道路，即興趣區(qū)。盡管位于場景遠(yuǎn)處位置的一個像素代表的實際面積比場景近處位置的一個像素代表的實際面積更大，但因為計算的是比例，可以將其簡化而省去繁瑣的攝像頭標(biāo)定工作。這不需要很精確道路占有率數(shù)值，上面的近似是可行的。我們將一個連通區(qū)域稱作一個運(yùn)動點團(tuán)。這一步驟的目標(biāo)就是獲得代表每個運(yùn)動點團(tuán)的矩形，每幀圖像的所有矩形構(gòu)成一個鏈表。而為了說明這是必要的，我們將在那一節(jié)看到，直接在運(yùn)動點團(tuán)層做運(yùn)動跟蹤效果是很差的，會出現(xiàn)一些問題，第七章研究了解決這些問題的方法。 數(shù)學(xué)形態(tài)學(xué)處理運(yùn)動點團(tuán)圖像是二值圖像，黑色像素是背景點，白色像素是前景點。數(shù)學(xué)形態(tài)學(xué)處理與卷積類似，輸出圖像的某個像素由輸入圖像的對應(yīng)像素及其領(lǐng)域像素依據(jù)結(jié)構(gòu)元素決定。這個式子表示，結(jié)構(gòu)元素移動到點(x,y)，如果其完全包含在集合B中，則(x,y)是集合E中的元素。膨脹運(yùn)算的定義式為[19]這里的B是輸入圖像中所有取值為1的點的集合，E為輸出圖像中所有取值為1的點的集合。對填充物體中微小的空洞很有用。因為腐蝕和膨脹運(yùn)算會改變物體的大小，閉運(yùn)算無法去除微小的噪聲物體。圖五十九是實驗數(shù)據(jù)一提取ColorSobel邊緣后的其中一幀做邊緣圖像的運(yùn)動點團(tuán)提取之后在經(jīng)開運(yùn)算處理后的結(jié)果。2)定義如圖六十所示的八個方向，例如第0方向是左上、第1方向是上。5)設(shè)新找到的輪廓點在第i方向上，重復(fù)第4)步直到新找到的輪廓點是第一個點為止。而且，這個算法得到的是輪廓點集，這是不規(guī)則的圖形，需要進(jìn)一步處理才能得到每個運(yùn)動點團(tuán)的位置和大小。如圖六十一所示是一個連通區(qū)域，共有五行。然后掃描到線段3，線段3是孤立線段，連通區(qū)域2被初始化，將線段3放入連通區(qū)域2。最后掃描第4行，找到線段5，其與線段4相鄰，將線段5放入連通區(qū)域1；然后找到線段6，發(fā)現(xiàn)其也和線段4相鄰，再把線段6并入連通區(qū)域1。即對圖像中的每個像素掃描一遍就可以得到所有的連通區(qū)域了。新算法的目標(biāo)是，使一個連通區(qū)域中的每一行有且僅有一個線段。這樣，在一個連通區(qū)域中，每一行只有一條線段，它是覆蓋原來同一行中所有線段的最小線段，連通區(qū)域中的空洞就被去除了，輪廓也比原算法規(guī)整。也就是說對圖像中的每個像素掃描一遍就可以得到所有的連通區(qū)域了。使用改進(jìn)的線段編碼算法，我們可得到每一幀圖像的運(yùn)動點團(tuán)的位置，接著，我們需要設(shè)法得到相鄰兩幀圖像對應(yīng)的運(yùn)動點團(tuán)，即因為運(yùn)動而在前后兩幀中有位置變化的點團(tuán)。由A、B的位置可以計算點團(tuán)的運(yùn)動速度。點團(tuán)的中心可以認(rèn)為就是點團(tuán)最小外接矩形