【文章內(nèi)容簡(jiǎn)介】 運(yùn)動(dòng)目標(biāo)做進(jìn)一步的處理，就可以得到目標(biāo)的位置、大小、形狀等信息，為后續(xù)的目標(biāo)跟蹤和視頻內(nèi)容分析做準(zhǔn)備。圖32 背景差分法模型如果背景圖像是靜止的，即不隨時(shí)間發(fā)生改變，而具有運(yùn)動(dòng)目標(biāo)的圖像除了運(yùn)動(dòng)目標(biāo)區(qū)域的像素值發(fā)生變化，其余屬于背景的部分，保持不變，這樣的情況是背景幀差的理想情況。但是這種情況在交通流量的圖像序列中是不存在的?；旧?，背景是個(gè)漸變的過(guò)程，所以背景幀差的關(guān)鍵是選擇合適的圖像作為背景。設(shè)t時(shí)刻背景圖像為F(x,y)，當(dāng)前幀圖像為G(x,y)，則背景幀差圖像為 (33) 背景幀差常用于圖像分割，移去圖像中那些靜止的部分，剩余的只是圖像中移動(dòng)的元素及加性噪聲。雖然實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單，但合理的背景圖像更新機(jī)制是保證其檢測(cè)效果的關(guān)鍵。 光流法光流法應(yīng)用于模式識(shí)別、計(jì)算機(jī)視覺(jué)以及其他圖像處理中，它與運(yùn)動(dòng)檢17 測(cè)以及運(yùn)動(dòng)估計(jì)緊密相關(guān)。運(yùn)動(dòng)可以用運(yùn)動(dòng)場(chǎng)描述，而在一個(gè)圖像平面上，物體的運(yùn)動(dòng)往往是通過(guò)圖像序列中不同點(diǎn)的灰度分布的變化體現(xiàn)的。從而，空間中的運(yùn)動(dòng)場(chǎng)轉(zhuǎn)移到圖像上就表示為光流場(chǎng)，光流場(chǎng)反映了圖像上每一點(diǎn)的灰度的變化趨勢(shì)。光流法是：在三維空間中，運(yùn)動(dòng)可以用運(yùn)動(dòng)場(chǎng)來(lái)描述，而在一個(gè)二維圖像平面上，物體的運(yùn)動(dòng)是通過(guò)相鄰圖像序列間灰度分布的差異體現(xiàn)的，從而三維空間中的運(yùn)動(dòng)場(chǎng)轉(zhuǎn)移二維圖像平面上就可以表示為光流場(chǎng)，其模型如圖33所示。光流場(chǎng)反映了圖像上每一個(gè)像素點(diǎn)的灰度變化趨勢(shì)，可看成是帶有灰度信息的像素點(diǎn)在圖像上運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場(chǎng)，這是一種對(duì)真實(shí)運(yùn)動(dòng)場(chǎng)的近似估計(jì)。 圖33 光立場(chǎng)檢測(cè)法模型基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法采用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特征，其優(yōu)點(diǎn)是能夠檢測(cè)到獨(dú)立運(yùn)動(dòng)的目標(biāo)，無(wú)需預(yù)先了解場(chǎng)景中的任何信息，并且可以應(yīng)用于攝像機(jī)運(yùn)動(dòng)的情況。具體方法如下：設(shè)t時(shí)刻圖像上點(diǎn)(x,y)的灰度值為P(x,y,t)，在t+Δt時(shí)刻，這點(diǎn)運(yùn)動(dòng)到(x+Δx，y+Δy)處，灰度值記為P(x+Δx，y+Δy，t+Δt)，假定它與P(x,y,t)相等，即: (34)將式(34)左邊在(x,y,t)點(diǎn)用泰勒級(jí)數(shù)展開(kāi)，經(jīng)過(guò)化簡(jiǎn)得： (35)記： (36) (37)其中代表階數(shù)等于或大于2的高階項(xiàng)，消去P(x,y,t)并忽略，就可以得到光流約束方程:17 (38)圖像中每一個(gè)像素點(diǎn)的光流約束方程都是一個(gè)含有兩個(gè)未知參數(shù)的標(biāo)量方程。如果單獨(dú)使用一個(gè)像素點(diǎn)的信息，會(huì)產(chǎn)生孔徑問(wèn)題，即只能沿著梯度方向(法向流方向)確定像素點(diǎn)的運(yùn)動(dòng)。由于孔徑問(wèn)題的存在，僅僅通過(guò)光流約束方程而不用其他信息是無(wú)法計(jì)算圖像中某一個(gè)像素點(diǎn)的圖像速度流的，因此在基本光流場(chǎng)方程基礎(chǔ)上提出了很多帶有約束條件的計(jì)算方法，如頻域法、匹配法、微分法和馬爾科夫隨機(jī)場(chǎng)方法等。 各種方法比較由于傳統(tǒng)的背景幀差法在初始更新的時(shí)候，常常會(huì)在背景模板上留下大量前景圖像，使得幀差后的圖像出現(xiàn)前景噪聲，會(huì)引起誤檢，并且對(duì)光照變化比較敏感，另外背景幀差法還依賴于背景模板的建立，目前常用的背景更新算法并不能分割出完整的目標(biāo)。相鄰幀差法能夠?qū)崟r(shí)的檢測(cè)出運(yùn)動(dòng)目標(biāo)，受光照變化影響小，但它只能檢測(cè)出兩幀之間的變化量，并不能檢測(cè)該變化量是否是車(chē)輛引起的。光流法容易受到周?chē)h(huán)境的影響，必須建立在光強(qiáng)保持不變的基礎(chǔ)上，但大多數(shù)場(chǎng)景不滿足此條件，這是因?yàn)檫\(yùn)動(dòng)目標(biāo)的灰度值會(huì)隨著目標(biāo)位置的改變而變化，比如目標(biāo)從陽(yáng)光下進(jìn)入陰影區(qū)，同時(shí)圖像灰度也容易受到天氣變化的影響，比如陰雨天氣，光線不穩(wěn)定，影響運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性；另一方面，光流場(chǎng)計(jì)算復(fù)雜，如果沒(méi)有特殊硬件的幫助，難以滿足視頻監(jiān)控系統(tǒng)實(shí)時(shí)性的要求。因此，本文提出了一種相鄰幀差和背景幀差結(jié)合的車(chē)輛檢測(cè)算法，通過(guò)背景幀差法來(lái)檢測(cè)車(chē)輛，通過(guò)相鄰幀差法來(lái)檢測(cè)運(yùn)動(dòng)，然后綜合判斷當(dāng)前幀差圖像是否有運(yùn)動(dòng)車(chē)輛，彌補(bǔ)了背景幀差法的缺陷，提高了實(shí)時(shí)性。 背景更新 背景初始化通過(guò)視頻序列中連續(xù)兩幀圖像的比較，發(fā)現(xiàn)每幅圖像都可劃分為“背景”與“運(yùn)動(dòng)變化”兩類區(qū)域[19]。“背景區(qū)域”由灰度值變化較小的像素點(diǎn)構(gòu)成；“運(yùn)動(dòng)變化區(qū)域”由灰度值變化較大的像素點(diǎn)構(gòu)成，包括運(yùn)動(dòng)目標(biāo)當(dāng)前所在的區(qū) 域和原來(lái)所在的區(qū)域。背景更新為背景幀差法提供背景模型。在運(yùn)用背景幀差法進(jìn)行車(chē)輛檢測(cè)的時(shí)候，關(guān)鍵就是背景模型的自適應(yīng)更新。如果背景模型越接近背景，就越能準(zhǔn)確地分割出運(yùn)動(dòng)物體。目前常見(jiàn)的自適應(yīng)背景更新算法有高斯模型法[20]、HSV空間自適應(yīng)背景更新算法和基于碼本的建模法[21]等。 高斯模型法在高斯背景模型中，背景中的每一個(gè)像素點(diǎn)都被看成是一個(gè)高斯分布，由參數(shù)181。(期望)和(方差)來(lái)確定。隨著周?chē)h(huán)境的變化，要對(duì)高斯背景模型進(jìn)行實(shí)時(shí)的更新，以得到更為準(zhǔn)確的背景圖像。在初始階段，連續(xù)采集N幀圖像，由式(39)和(310)可得到相應(yīng)的高斯背景模型的181。和。 (39) (310)其中，表示點(diǎn)i在第t幀圖像中的灰度值。初始背景模型由點(diǎn)構(gòu)成。運(yùn)動(dòng)目標(biāo)點(diǎn)和背景點(diǎn)由下式判定： (311)其中,I(t)是當(dāng)前幀中第i個(gè)像素點(diǎn)的灰度值。如果灰度值滿足式(311)，判定該點(diǎn)是背景點(diǎn)；否則判定為運(yùn)動(dòng)目標(biāo)點(diǎn)。當(dāng)該像素點(diǎn)為運(yùn)動(dòng)目標(biāo)點(diǎn)時(shí)，背景模型相對(duì)應(yīng)的點(diǎn)的高斯模型的參數(shù)保持不變；當(dāng)該像素點(diǎn)為背景點(diǎn)時(shí)，模型參數(shù)由式(312)和(313)完成更新。 (312) (313)其中，和分別是t時(shí)刻第i個(gè)像素點(diǎn)的高斯模型參數(shù)值，和分別是t+1時(shí)刻的高斯模型參數(shù)值，為t時(shí)刻當(dāng)前幀第i個(gè)像素點(diǎn)的灰度值，參數(shù)α為: (314)其中，β為更新速率，是[0,1]間的常數(shù)，N是高斯分布的概率密度函數(shù)。19 這種模型適用于較長(zhǎng)時(shí)間內(nèi)光照強(qiáng)度無(wú)明顯變化，同時(shí)檢測(cè)期間運(yùn)動(dòng)前景在背景中的陰影較小的情況。它對(duì)光照強(qiáng)度的變化比較敏感在場(chǎng)景中有運(yùn)動(dòng)前景時(shí)，由于只有一個(gè)模型，所以不能將其與靜止背景分離開(kāi)，有可能造成較大的虛警率。為克服單高斯模型不能處理背景中有運(yùn)動(dòng)目標(biāo)的問(wèn)題，可引入混合高斯模型(MOG)。對(duì)背景的多個(gè)狀態(tài)分別建模，根據(jù)數(shù)據(jù)屬于哪個(gè)狀態(tài)來(lái)更新該狀態(tài)的模型參數(shù)?；诨旌细咚鼓Ｐ偷幕痉椒ㄊ且来巫x取幀訓(xùn)練圖像，每次對(duì)每個(gè)像素點(diǎn)進(jìn)行迭代建模。下面設(shè)K為每個(gè)像素允許的最大模型個(gè)數(shù)，開(kāi)始時(shí)設(shè)一個(gè)初始標(biāo)準(zhǔn)差。當(dāng)讀入一幅訓(xùn)練圖像時(shí)，將用它的像素值來(lái)更新原有的背景模型。對(duì)一個(gè)特定的像素，如果它的像素值與某高斯模型的均值的差小于2．5倍的標(biāo)準(zhǔn)差，那么認(rèn)為這個(gè)像素與該模型相適應(yīng)，則用它的像素值更新該模型的均值和方差。如果當(dāng)前像素點(diǎn)模型個(gè)數(shù)小于K，則對(duì)這個(gè)像素點(diǎn)建立一個(gè)新的模型。如果已經(jīng)判斷了K個(gè)模型并且它們都不符合條件，則將權(quán)重最小的模型替換為新的模型，新模型均值即為該像素點(diǎn)的值，這時(shí)再設(shè)定一個(gè)初始標(biāo)準(zhǔn)差。如此進(jìn)行，直到N幀訓(xùn)練圖像都訓(xùn)練過(guò)。 基于碼本的建模方式基于碼本的建模方法的基本思想是：先根據(jù)視頻序列產(chǎn)生最初的碼本(codebook)，借助碼字(codeword)中的一個(gè)參數(shù)“最長(zhǎng)未出現(xiàn)時(shí)間”進(jìn)行時(shí)域?yàn)V波處理。這樣做的目的是濾除碼本中可能代表前景圖像的那些碼字。最后再經(jīng)過(guò)空域?yàn)V波，將上一步錯(cuò)誤刪除的代表較少出現(xiàn)的背景狀態(tài)的碼字恢復(fù)到碼本中。在基于碼本的建模方法中，每個(gè)碼字代表一個(gè)狀態(tài)。通過(guò)一個(gè)時(shí)域?yàn)V波器濾除代表運(yùn)動(dòng)前景的碼字，再通過(guò)一個(gè)空域?yàn)V波器恢復(fù)那些被時(shí)域?yàn)V波器錯(cuò)誤濾除的代表較少出現(xiàn)的背景的碼字，這樣就可以處理靜止背景下含有運(yùn)動(dòng)前景的背景建模問(wèn)題和運(yùn)動(dòng)背景下的背景建模問(wèn)題。這種方法運(yùn)行速度快，但它不能很好處理不同模式的光，如早晨、中午和傍晚的陽(yáng)光。 HSV空間的自適應(yīng)背景更新算法由于RGB空間在描述物體的色彩和計(jì)算處理方面，效果不是很好，而HSV空間的臁示色相，躡示飽和度，壤示亮度，更加全面的考慮到彩色的作用。文獻(xiàn)[21]提出了一種HSV空間的自適應(yīng)背景更新算法。由于大多數(shù)攝像機(jī)采集的圖像都采用RGB色彩空間，因此在使用HSV空間的背景更新算法之前要把圖像從RGB空間轉(zhuǎn)換到HSV空間。RGB與HSV之間的轉(zhuǎn)換公式如下： (315)此處： (316)飽和度由下式給出： (317)最后，亮度分量由下式給出： (318)考慮到背景環(huán)境是一個(gè)時(shí)間漸變的過(guò)程，這里把對(duì)每一個(gè)點(diǎn)的建模過(guò)程稱之為像素處理。這樣，每一個(gè)像素處理都是從起始時(shí)間到當(dāng)前時(shí)間的一系列該點(diǎn)值的集合，也就是說(shuō)在任意時(shí)間t，像素點(diǎn)的值應(yīng)該是以時(shí)間為軸的點(diǎn)的集合中的一個(gè)，可由下式表示[21]： (319)其中，I這個(gè)圖像序列的集合；i表示圖像序列中的第i幀。那么從時(shí)間軸上看，這些點(diǎn)的集合符合高斯分布，即： （320)21 其中： （321)具體到每一個(gè)點(diǎn)的值得表示來(lái)說(shuō)，每一個(gè)像素點(diǎn)B(x,y)都表示成HSV三個(gè)分量H(x,y),S(x,y)和V(x,y)的合成矢量，而每一個(gè)分量分別用均值和標(biāo)準(zhǔn)方差表示。剛開(kāi)始建立模板是，每一點(diǎn)的分布是未知的；初始化時(shí)，我們用第一幀的該像素點(diǎn)的值作為均值181。，而將標(biāo)準(zhǔn)方差σ設(shè)為0。在處理新的幀的時(shí)候，都會(huì)和已建立的模板進(jìn)行對(duì)比，通過(guò)每點(diǎn)像素的亮度和彩色信息，來(lái)判斷該點(diǎn)是背景還是運(yùn)動(dòng)物體，如果這個(gè)點(diǎn)符合背景點(diǎn)的判斷依據(jù)，那么就用后續(xù)的背景更新算法去更新背景。具體的背景判斷方法是：一個(gè)新幀的每個(gè)像素點(diǎn)上的H、S、V值如果處在均值181。的177。σ之間，則該點(diǎn)視為背景，否則為前景。但并不是每次判斷都用H、S、V這3個(gè)值作為參數(shù)，因?yàn)閂表示一幅圖像的亮度，他與色彩無(wú)關(guān)，也就是說(shuō)，不管是彩色還是非彩色的情況下，都反映出圖像的有用信息，所以總是會(huì)被當(dāng)作判斷的有效參數(shù)。而對(duì)于飽和度分量S，表示的是圖像的色彩信息，當(dāng)S低于某一閾值時(shí)，該圖像應(yīng)該說(shuō)是非彩色的，那么對(duì)于非彩色的圖像色相H就沒(méi)有用了，而且由飽和度S反映的該圖像的色彩精確度也會(huì)隨著亮度V的降低而降低。因此，V不管何種情況下都是判斷的一個(gè)重要參數(shù)，S是用來(lái)判斷該幀是彩色還是非彩色的量，只有在部分情況下會(huì)考慮H分量。通過(guò)以上分析，文獻(xiàn)中提出的算法考慮到了上述情況，并且針對(duì)每一種情況做了相應(yīng)的判斷，算法如下：設(shè)表示當(dāng)前模板上某一像素點(diǎn)的3個(gè)分量，表示新一幀相應(yīng)像素點(diǎn)的值，表示色彩的閾值，σ表示當(dāng)前模板的標(biāo)準(zhǔn)方差，對(duì)應(yīng)分量H、S、V各自的值，定義： (322)根據(jù)上述討論，圖像中的每一像素點(diǎn)都按照表31的環(huán)境條件去分類，然后通過(guò)對(duì)應(yīng)環(huán)境條件的判斷條件去判斷這個(gè)像素點(diǎn)是否成立，如果這四種情形中的任何一個(gè)判斷條件成立，那么就認(rèn)為這個(gè)點(diǎn)是背景點(diǎn)。 表31環(huán)境條件分類及相應(yīng)的判斷條件環(huán)境條件分類判斷條件背景檢測(cè)完成之后，背景點(diǎn)按照式(323)和(324)來(lái)更新背景模板，而其他的點(diǎn)則保持原來(lái)的像素值。 (323) (324)其中，α表示模板的學(xué)習(xí)率；表示噪聲的閾值；x表示新幀像素值，分別對(duì)應(yīng)H、S、V分量。 各種算法比較高斯背景建模由于低的學(xué)習(xí)率，產(chǎn)生一個(gè)寬廣的模型不能檢測(cè)到背景的突然變化，但是如果模型改變得太快，緩慢移動(dòng)的前景將被吸收到背景模型，導(dǎo)致高的漏檢率?；诖a本的建模方法雖然運(yùn)算速度快，但它不能很好處理不同模式的光，如早晨、中午和傍晚的陽(yáng)光。而在HSV空間的背景更新算法中，由于色彩空間的特性消除了光線的干擾，并且背景模板的更新并不完全取決于當(dāng)前像素點(diǎn)的值，而與以前幀有一定的關(guān)聯(lián)，因此背景模板能夠?qū)崿F(xiàn)自適應(yīng)更新。該方法有效地避免了一些背景的突發(fā)現(xiàn)象，如背景中突然出現(xiàn)的垃圾袋、報(bào)紙等，同時(shí)考慮了噪聲對(duì)背景的影響。 基于機(jī)器視覺(jué)的車(chē)流量統(tǒng)計(jì)方法在檢測(cè)到車(chē)輛的情況下，還需要對(duì)檢測(cè)區(qū)域內(nèi)的車(chē)流量進(jìn)行準(zhǔn)確的統(tǒng)23 計(jì)，從而為紅綠燈的控制提供可靠的參數(shù)。本文的基于機(jī)器視覺(jué)的車(chē)流量統(tǒng)計(jì)方法包括車(chē)輛數(shù)量的統(tǒng)計(jì)和車(chē)輛排隊(duì)長(zhǎng)度的計(jì)算。 基于垂直投影的車(chē)輛數(shù)量的統(tǒng)計(jì)在基于虛擬線框的車(chē)輛數(shù)量的統(tǒng)計(jì)中，傳統(tǒng)的方法是根據(jù)當(dāng)前幀中顏色值的變化，或者灰度值的變化來(lái)判斷車(chē)輛[22,23]。但是車(chē)輛有時(shí)不會(huì)正道行駛，這樣車(chē)身就會(huì)不完全被包括在虛擬線框內(nèi)，傳統(tǒng)的方法就很難避免鄰道車(chē)輛干擾或是檢測(cè)出多車(chē)輛并行的情況，因此，本文提出了一種垂直投影法，有效地解決了上述問(wèn)題。在圖像處理技術(shù)中，投影法分為垂直投影和水平投影，常用于灰度或二值圖像處理上，比如車(chē)牌號(hào)碼的分割。對(duì)于二值化圖像I(x,y)，x=l，2，?，n,y=l，2，?n，垂直投影分布p(y)為: (325)水平投影分布p(x)為: (326) 通過(guò)對(duì)去除陰影后的前景幀做垂直投影，過(guò)濾掉噪聲，通過(guò)統(tǒng)計(jì)白色像素點(diǎn)個(gè)數(shù)，計(jì)算垂直投影寬度，得到各段車(chē)寬W(n)，其中n為線段數(shù)，通過(guò)與車(chē)寬閾值w比較，w一般為二分之一的轎車(chē)車(chē)寬，大于w的算一輛車(chē)通過(guò)，反之，則不算一輛車(chē)通過(guò)，即: (327)最后通過(guò)累加c(n)的值從而實(shí)現(xiàn)車(chē)輛數(shù)量的統(tǒng)計(jì)。 基于虛擬檢測(cè)線的車(chē)輛檢測(cè)(1) 車(chē)輛排隊(duì)檢測(cè)目前對(duì)車(chē)輛排隊(duì)的檢測(cè)方法并不多，Rourke和Bell提出了一種基于FFT的車(chē)輛排隊(duì)檢測(cè)方法，該方法對(duì)檢測(cè)區(qū)域圖像進(jìn)行采集，根據(jù)有車(chē)和無(wú)車(chē)圖像對(duì)應(yīng)頻譜的不同，檢測(cè)公路上是否存在車(chē)輛。但是該方法計(jì)算量大，并且沒(méi)有定量給出車(chē)輛的排隊(duì)長(zhǎng)度。還有很多學(xué)者提出了