【文章內(nèi)容簡(jiǎn)介】 多，軌跡很固定的情況下，也需要加大N的數(shù)值，以使得平均值更加接近與真實(shí)的背景圖像。在這種情況下，背景的建立就需要較長(zhǎng)的時(shí)間。本算法也有一定自適應(yīng)更新功能。隨著時(shí)間的推移，在背景提取后獲取的圖像幀也可以作為新的信息量，與背景圖像進(jìn)行統(tǒng)計(jì)平均或加權(quán)平均，實(shí)現(xiàn)背景的自適應(yīng)更新。因此這種方法也使用于實(shí)時(shí)背景更新算法[17]。 　Surendra算法Surendra背景更新算法能夠自適應(yīng)地獲取背景圖像，該算法提取背景的思想是對(duì)差值圖像的亮度值進(jìn)行判斷，如亮度大于閾值，背景圖像對(duì)應(yīng)位置的像素點(diǎn)保持不變，否則利用當(dāng)前幀對(duì)背景圖像進(jìn)行替換更新。其算法可以分成以下幾個(gè)步驟：(1)將第1幀圖像作為背景。(2)選取閾值，迭代次數(shù)，最大迭代次數(shù)。(3)求當(dāng)前幀的幀差分圖像 (22)(4)由二值圖像Di更新背景圖像Bi， (23)式中，為背景圖像和差分二值圖像在的灰度值，為輸入的第幀圖像，a為更新速度。(5)迭代次數(shù)，進(jìn)行第(3)步的運(yùn)算。當(dāng)?shù)螖?shù)時(shí)結(jié)束迭代，此時(shí)可當(dāng)作背景圖像。選取，選取固定閾值。在MATLAB中進(jìn)行仿真。在仿真研究中發(fā)現(xiàn),MAXSTEP很大程度地決定了背景建立時(shí)的速度，a則決定背景更新的速度。這種背景建模和更新的方法，能夠很好地解決物體長(zhǎng)時(shí)間停留對(duì)背景的影響，因?yàn)楸尘暗母聲?huì)將它逐步地作為背景像素點(diǎn)更新到背景中。但是由于它的基本處理方式是幀間差分，使得它不能將色彩、亮度相似的，大面積的運(yùn)動(dòng)物體完整的檢測(cè)出來(lái)。這種情況下，運(yùn)動(dòng)物體的某些部分將作為背景區(qū)域更新到背景中[21]?！∑渌惴▏?guó)內(nèi)外已有的背景提取與更新算法遠(yuǎn)不止上述幾種，如混合高斯模型，分塊統(tǒng)計(jì)算法等也是目前比較常見(jiàn)的算法，其主體思想與算術(shù)平均法類似，只是在做法上有區(qū)別。由于絕大多數(shù)算法都是基于PC機(jī)的實(shí)現(xiàn)，很少將算法的實(shí)時(shí)性作為參考要素。　運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究在實(shí)際的安防與監(jiān)控應(yīng)用中，大多考慮攝像頭固定的情況。因此本文在研究運(yùn)動(dòng)目標(biāo)檢測(cè)算法時(shí)，也做如下假設(shè)：攝像頭固定，只對(duì)視場(chǎng)內(nèi)的目標(biāo)進(jìn)行檢測(cè)，離開視場(chǎng)后再次進(jìn)入的物體被視為新目標(biāo)。目前，大多數(shù)的運(yùn)動(dòng)目標(biāo)檢測(cè)的方法或是基于圖像序列中時(shí)間信息的，或是基于圖像序列中空間信息的[17]。常見(jiàn)的方法有如下2種： 背景減法將實(shí)時(shí)視頻流中的圖像像素點(diǎn)灰度值與事先已存儲(chǔ)或?qū)崟r(shí)得到的視頻背景模型中的相應(yīng)值比較，不符合要求的像素點(diǎn)被認(rèn)為是運(yùn)動(dòng)像素。這是視頻監(jiān)控中最常用的運(yùn)動(dòng)檢測(cè)方法。這種方法雖然能較完整的提取運(yùn)動(dòng)目標(biāo)，但對(duì)光照和外部條件造成的環(huán)境變化過(guò)于敏感，常常會(huì)將運(yùn)動(dòng)目標(biāo)的陰影錯(cuò)誤的檢測(cè)為其自身的一部分。同時(shí)由于時(shí)間流逝，實(shí)際場(chǎng)景的多種因素都會(huì)發(fā)生變化，比如停留物的出現(xiàn)、光線等的變化、運(yùn)動(dòng)目標(biāo)對(duì)背景的遮擋等等，背景需要得到實(shí)時(shí)地更新，這是影響其檢測(cè)效果的一個(gè)重要因素[20]。 幀間差法幀間差法是根據(jù)當(dāng)前圖像與參考圖像的差別來(lái)獲得運(yùn)動(dòng)目標(biāo)輪廓的方法。這種方法對(duì)于場(chǎng)景中的光線漸變不敏感，適于動(dòng)態(tài)變化的環(huán)境，且運(yùn)算量相對(duì)較小。但一般不能完整的提取運(yùn)動(dòng)目標(biāo)，且在運(yùn)動(dòng)實(shí)體內(nèi)易產(chǎn)生空洞現(xiàn)象，從而不利于下一步的分析和處理[14]。第三章 背景提取背景提取是在視頻圖像序列中提取出背景。背景就是場(chǎng)景中靜止不動(dòng)的景物。因?yàn)閿z像機(jī)不動(dòng)，因此圖像中的每個(gè)像素點(diǎn)都有一個(gè)對(duì)應(yīng)的背景值，在一段時(shí)間內(nèi)這個(gè)值比較固定。背景提取的目標(biāo)就是根據(jù)視頻圖像序列，找出圖像中每一點(diǎn)的背景值。這是下一步運(yùn)動(dòng)點(diǎn)團(tuán)提取的基礎(chǔ)。在運(yùn)動(dòng)點(diǎn)團(tuán)提取中，背景提取這一步提取出來(lái)的背景圖像將作為參考圖像，每一幀圖像都要與背景圖像作差，把背景去除，以得到運(yùn)動(dòng)點(diǎn)團(tuán)前景。因此，這一步提取出的背景圖像的好壞將直接影響到之后每一幀的運(yùn)動(dòng)點(diǎn)團(tuán)提取的質(zhì)量。背景會(huì)隨著時(shí)間的變化而發(fā)生變化，例如光照變化導(dǎo)致背景亮度、色度變化；運(yùn)動(dòng)物體停止運(yùn)動(dòng)成為背景的一部分；又如背景的一部分運(yùn)動(dòng)起來(lái)成為運(yùn)動(dòng)前景等。因此背景需要不斷更新，而背景的更新一般需要運(yùn)動(dòng)前景的信息，所以背景的更新將在第四章講述。本章講述背景初始化的方法，即在沒(méi)有運(yùn)動(dòng)前景的任何信息的情況下提取背景圖像，輸入是視頻圖像序列，每幀圖像都包括運(yùn)動(dòng)物體和靜止景物，輸出是只含靜止景物的背景圖像 彩色圖像的背景提取原始彩色圖像的背景提取，基本思想是，圖像中的某個(gè)像素按時(shí)間抽樣，其作為背景像素的時(shí)間比作為運(yùn)動(dòng)前景的時(shí)間長(zhǎng)，即其作為背景的概率比作為前景的概率大，而且背景和前景在顏色上和亮度上都有很大不同。這是因?yàn)椋瑢?duì)于固定場(chǎng)景，運(yùn)動(dòng)物體在運(yùn)動(dòng)，其轉(zhuǎn)瞬即逝，大多數(shù)時(shí)間我們看到的都是靜止背景[6]，因此圖像上某個(gè)像素點(diǎn)作為前景的時(shí)間相對(duì)作為背景的時(shí)間短得多；而且，運(yùn)動(dòng)物體和靜止背景在色彩上有明顯區(qū)別，人能輕易分辨出前景物體，即使在一張靜止圖像上。 基于均值的彩色圖像背景提取這是背景提取的最簡(jiǎn)單的方法。因?yàn)橐曨l中的某個(gè)像素對(duì)時(shí)間采樣，背景出現(xiàn)的次數(shù)比前景多，因此，將一定的時(shí)間段中的視頻序列采樣，，對(duì)每一個(gè)像素，將這一段時(shí)間中的所有圖像幀取平均，那么這個(gè)平均值會(huì)接近背景，背景出現(xiàn)的次數(shù)比前景越多，則這個(gè)平均值就越接近背景。前面已經(jīng)說(shuō)過(guò)，運(yùn)動(dòng)前景是轉(zhuǎn)瞬即逝的。就以這個(gè)平均值作為這個(gè)像素的背景值。同時(shí)，求取平均值還可以在一定程度上抑制噪聲[7]。具體算法如下：1)在某時(shí)間段采樣得到N個(gè)圖像幀；2)對(duì)每一個(gè)像素點(diǎn)，背景。 改進(jìn)的基于均值的彩色圖像背景提取。在求平均值之前，如果能去除不大可能是背景的像素，那么求出來(lái)的平均值會(huì)更加接近背景。然而，這個(gè)時(shí)候前景還沒(méi)不知道，用什么方法可以簡(jiǎn)單有效的得到不大可能是背景的像素呢？根據(jù)背景出現(xiàn)的次數(shù)比前景多，且前景顏色和背景不同，可以知道，對(duì)于某個(gè)像素點(diǎn)，其對(duì)時(shí)間的采樣點(diǎn)在彩色RGB空間中會(huì)以背景點(diǎn)為中心點(diǎn)聚集在一起，而前景點(diǎn)會(huì)離中心點(diǎn)比較遠(yuǎn)?？梢哉J(rèn)為，像素顏色矢量的一個(gè)分量離中心點(diǎn)的距離超過(guò)這個(gè)分量的標(biāo)準(zhǔn)差的點(diǎn)不大可能是背景，即使是背景，也疊加了比較大的噪聲。標(biāo)準(zhǔn)差計(jì)算公式為： （31）c=r,g,b表示矢量的紅、綠、藍(lán)三種顏色分量，是樣本的平均值。因此，可以對(duì)基于均值的彩色圖像背景提取算法做改進(jìn)：在求平均值之后求標(biāo)準(zhǔn)差，然后把與均值大于標(biāo)準(zhǔn)差的采樣點(diǎn)去除，最后再求余下的點(diǎn)的平均值，把此值作為背景值。改進(jìn)的算法如下：1)在某時(shí)間段采樣得到N個(gè)圖像幀；2)對(duì)每一個(gè)像素點(diǎn)：a)求中心點(diǎn)： （32）b)求標(biāo)準(zhǔn)差：，c=r,g,b （33）c)求集合 （34）上式中所有元素的平均值，這個(gè)值就是所求背景。設(shè)圖像的總像素?cái)?shù)為M，則對(duì)每一個(gè)像素都要遍歷3次N個(gè)圖像幀——求中心點(diǎn)一次，求標(biāo)準(zhǔn)差一次，最后再求均值一次，因此這個(gè)算法的時(shí)間復(fù)雜度是，比原來(lái)的單純求平均值的算法費(fèi)時(shí)[9]。 基于中值濾波的彩色背景圖像提取中值濾波器能有效的去除圖像的噪聲。它的一般算法為遍歷圖像的每一個(gè)像素，將它和與它相鄰的八個(gè)像素的灰度排序，取排在中間的像素的灰度值作為輸出圖像的這個(gè)像素的灰度。因?yàn)樵肼朁c(diǎn)的灰度與非噪聲點(diǎn)差別大，而且圖像有空間局部性，也就是說(shuō)，對(duì)于沒(méi)有被噪聲污染的圖像，里面的每一個(gè)像素和它相鄰的像素的灰度差別不大。我們將這個(gè)像素和它相鄰的像素排序，噪聲點(diǎn)將被排到兩邊，排在中間的像素就是沒(méi)被噪聲污染的像素，把它作為濾波結(jié)果。這就是中值濾波器能有效去除圖像噪聲的原因[11]。上面說(shuō)的是灰度圖像的中值濾波，如何將其擴(kuò)展到彩色圖像呢？彩色圖像一般使用RGB空間表示，每個(gè)像素點(diǎn)是一三維矢量，各個(gè)分量分別代表紅、綠、藍(lán)三個(gè)顏色的灰度。可以分別將這三種顏色的灰度圖做中值濾波，然后合成。然而這種方法將導(dǎo)致濾波后一個(gè)像素的三個(gè)分量來(lái)自不同的像素點(diǎn)，合成后的顏色不可避免的被扭曲?？梢圆扇×硗庖环N方法?？紤]到噪聲點(diǎn)的顏色與非噪聲點(diǎn)差別大，在濾波時(shí)的排序中排到兩邊，可以將彩色圖像轉(zhuǎn)換成灰度圖像，在轉(zhuǎn)換后的灰度圖像中噪聲點(diǎn)和非噪聲點(diǎn)也會(huì)有較大的差別，排序后，取排在中間的像素對(duì)應(yīng)的原始彩色圖像的像素矢量作為濾波結(jié)果。這樣濾波結(jié)果的每一個(gè)像素都是原始彩色圖像中真實(shí)存在的像素，避免了同一個(gè)像素的三個(gè)顏色分量來(lái)源于不同的像素導(dǎo)致的顏色扭曲。將彩色圖像轉(zhuǎn)換成灰度圖像，遍歷灰度圖像的每一個(gè)像素，將它和與它相鄰的八個(gè)像素的灰度排序，取排在中間的像素對(duì)應(yīng)的原始彩色圖像的像素矢量作為輸出圖像的這個(gè)像素。中值濾波是對(duì)單幅圖像在空間采樣點(diǎn)上的濾波，不能直接用于背景提取。對(duì)于背景提取，我們需要將此算法擴(kuò)展。視頻中的某個(gè)像素對(duì)時(shí)間采樣，背景出現(xiàn)的次數(shù)比前景多，可以認(rèn)為前景是“噪聲”，這樣我們就可以對(duì)一個(gè)像素在時(shí)間上采樣得到的樣本進(jìn)行濾波——對(duì)它們排序，噪聲將排在兩邊，即前景排在兩邊，排在中部的是背景，取排在中間的像素作為背景結(jié)果。我們處理的是彩色圖像序列，因此如前所述，將彩色圖像轉(zhuǎn)換成灰度圖像，然后在濾波的排序后，選擇排在中間的像素對(duì)應(yīng)的原始彩色圖像的像素矢量作為濾波結(jié)果[9]。具體算法如下：1)在某時(shí)間段采樣得到N個(gè)圖像幀；2)對(duì)每一個(gè)像素點(diǎn): a)將彩色像素矢量轉(zhuǎn)換成灰度。 b)將集合中的元素排序；c)設(shè)排在中間的是，則像素矢量作為濾波結(jié)果。對(duì)n個(gè)元素排序的時(shí)間復(fù)雜度是或者，取決于算法，其不是線性的，隨著n的增大迅速增大。設(shè)圖像的像素?cái)?shù)是M，對(duì)每個(gè)像素都要對(duì)采樣的N個(gè)樣本進(jìn)行排序，因此此算法的時(shí)間復(fù)雜度是或者，是比較耗時(shí)的算法。 基于共同區(qū)域的彩色圖像背景提取在一個(gè)像素的所有隨時(shí)間采樣的樣本中，在求均值之前，如果能去除不大可能是背景的樣本，那么求出來(lái)的平均值會(huì)更加接近背景。關(guān)鍵問(wèn)題是在不知道前景的情況下，如何決定哪些樣本不大可能是背景。：認(rèn)為離中心點(diǎn)距離大于標(biāo)準(zhǔn)差的點(diǎn)不大可能是背景點(diǎn)。有沒(méi)有不用計(jì)算標(biāo)準(zhǔn)差的方法呢？考慮前后相隔一定時(shí)間的兩圖像幀，因?yàn)榍熬霸谶\(yùn)動(dòng)，其轉(zhuǎn)14 瞬即逝，因此同一個(gè)像素在有一定時(shí)間間隔的兩幀中如果差別不大，則它很大可能是背景——前景在這段時(shí)間中必然運(yùn)動(dòng)變化了；如果這個(gè)像素在這兩圖像幀中差別很大，則至少有一幀中的這個(gè)像素不是背景。稱在有一定時(shí)間間隔的兩圖像幀中差別不大的像素點(diǎn)的集合為共同區(qū)域，認(rèn)為共同區(qū)域就是背景區(qū)域。在一定的時(shí)間段中，采樣得到若干有一定時(shí)間間隔的圖像對(duì)，每個(gè)圖像對(duì)找共同區(qū)域，然后對(duì)共同區(qū)域求平均值得到最后的背景圖像[10]。這時(shí)還要考慮某些像素不在任何背景區(qū)域中的情況——如果前景運(yùn)動(dòng)變化過(guò)于頻繁，某像素在任何圖像對(duì)中都有很大差別，這種情況將出現(xiàn)。這時(shí)，這個(gè)像素的背景值采用所有采樣圖像幀求均值的方法得到。像素在圖像對(duì)中的差別用像素矢量（彩色圖像，像素是RGB空間的矢量）的歐氏距離來(lái)量度，如果其大于一閾值，則認(rèn)為差別大，否則認(rèn)為差別小。這個(gè)閾值可以和第四章運(yùn)動(dòng)點(diǎn)團(tuán)前景提取的二值化閾值相同，因?yàn)樗鼈兊膬?nèi)涵都是前景和背景差別的量度。這個(gè)閾值如何確定將在第四章詳細(xì)講述。另外，考慮閾值的極端情況，如果這個(gè)閾值很小，任何像素在圖像對(duì)中的差別都大于這個(gè)閾值，則找不到任何共同區(qū)域，這時(shí)每一個(gè)像素的背景都是單純用所有采樣圖像幀的平均值得到；如果這個(gè)閾值很大，任何像素在圖像對(duì)中的差別都小于這個(gè)閾值，則每個(gè)圖像對(duì)中的所有像素都是共同區(qū)域，這時(shí)每一個(gè)像素的背景也是由所有采樣圖像幀的均值得到。在這兩種極端情況下，所以基于均值的圖像背景提取算法是基于共同區(qū)域的圖像背景提取算法的特殊情況。詳細(xì)算法如下：1)在某時(shí)間段采樣得到N個(gè)圖像幀；2)對(duì)每一個(gè)像素點(diǎn): a)集合； b)對(duì)每一個(gè)圖像對(duì)和，如果則將和加入集合A，其中是閾值；c)計(jì)算集合中所有元素的均值作為像素點(diǎn)的背景值。設(shè)圖像的總像素?cái)?shù)為，則對(duì)每一個(gè)像素都要遍歷2次個(gè)圖像幀——產(chǎn)生集合的點(diǎn)一次，求平均值一次，因此這個(gè)算法的時(shí)間復(fù)雜度是[8]。 灰度圖像的背景提取運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤可以不直接使用原始彩色圖像序列，而使用灰度圖像序列，即將彩色視頻圖像序列轉(zhuǎn)換成灰度圖像序列，然后在灰度圖像序列上提取背景，以及之后提取運(yùn)動(dòng)點(diǎn)團(tuán)、運(yùn)動(dòng)跟蹤等。這一節(jié)首先講述彩色圖像轉(zhuǎn)換成灰度圖像的方法，然后再討論灰度圖像的背景提取。 彩色圖像轉(zhuǎn)換成灰度圖像：彩色圖像每個(gè)像素點(diǎn)在RGB空間中是一個(gè)三維矢量，每個(gè)分量分別代表紅、綠、藍(lán)三種顏色的灰度。最簡(jiǎn)單的將彩色圖像轉(zhuǎn)換成灰度圖像的方法是將這三個(gè)分量取平均值。但是這種方法和人眼視覺(jué)感知不符。人眼感知紅、綠、藍(lán)三種顏色的權(quán)重是不一樣的。JPEG圖像壓縮格式采用的是YUV空間，YUV空間是RGB空間的線性變換。轉(zhuǎn)換公式是[12] （35）R、G、B分別表示紅、綠、藍(lán)三種顏色分量的灰度值。Y分量表示圖像的亮度，這是符合人眼對(duì)顏色感知的。我們就以Y分量作為圖像像素的灰度。將彩色像素轉(zhuǎn)換為灰度像素的公式為 （36）第四章 實(shí)驗(yàn)仿真結(jié)果分析 視頻圖像的讀取格式隨著數(shù)字圖像處理技術(shù)的發(fā)展，基于視頻的圖像處理技術(shù)引起越來(lái)越多人的關(guān)注，被逐漸運(yùn)用于目標(biāo)檢測(cè)、圖像分割、目標(biāo)跟蹤和行為理解等領(lǐng)域當(dāng)中。通過(guò)單個(gè)或者多個(gè)攝像頭采集視頻圖像，加以對(duì)圖像的分析和處理，來(lái)得到人們所需要的各種信息。根據(jù)現(xiàn)有工具和知識(shí)，對(duì)現(xiàn)有的背景圖像差分算法進(jìn)行深入研究，編寫MATLAB程序?qū)Ω倪M(jìn)算法進(jìn)行仿真，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)（車輛）的提取。視頻材料有DVD格式、AVI格式、MP4格式和GIF格式。由于文件格式必須持具有不同帶寬，不同存儲(chǔ)容量的傳輸信道和接收端，且本文工具有限，所以我選擇了AVI格式的視頻資源進(jìn)行了實(shí)驗(yàn)[9]。讀入的視頻截圖： 讀入第一幀視頻截圖 最后一幀視頻截圖進(jìn)行圖像預(yù)處理前，應(yīng)該先把圖像視頻讀入MATLAB,將視頻轉(zhuǎn)化成圖片然后輸出。為后面的工作提供資源。下面是單幀讀取和多幀讀取的結(jié)果展示。具體的程序模式為：darkcar=rgb2gray(read(I,i))。