【文章內(nèi)容簡(jiǎn)介】 以對(duì)有實(shí)時(shí)性和準(zhǔn)確性要求的系統(tǒng)來(lái)說(shuō)，純粹使用光流法來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)不太實(shí)際。更多的是利用光流法與其它方法綜合之后來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)。 相鄰幀差法相鄰幀差法即圖像序列差分法，它利用兩幀圖像亮度差的絕對(duì)值來(lái)分析視頻和圖像序列的運(yùn)動(dòng)特性，確定圖像序列中是否有物體運(yùn)動(dòng)。這是一種直接簡(jiǎn)單的運(yùn)動(dòng)檢測(cè)方法。其基本思想：如果一幅圖像的某一位置物體發(fā)生變化，那么對(duì)應(yīng)位置的灰度也將發(fā)生變化；而物體沒有發(fā)生變化的部分，其灰度則不發(fā)生變化或變化很小。因此該方法只需比較圖像序列中相鄰兩幅圖像的對(duì)應(yīng)像素灰度的差別。相鄰幀差法的優(yōu)點(diǎn)就是相鄰兩幀的時(shí)間間隔很短，用前一幀圖像作為后一幀圖像的背景模型具備較好的實(shí)時(shí)性，而且其背景不積累、更新速度快、算法計(jì)算量小。其缺點(diǎn)是閾值選擇相當(dāng)關(guān)鍵，閾值過(guò)低，則不足以抑制背景噪聲，容易將其誤檢測(cè)為運(yùn)動(dòng)目標(biāo)；閾值過(guò)高，則容易漏檢，將有用的運(yùn)動(dòng)信息忽略掉了。另外，當(dāng)運(yùn)動(dòng)目標(biāo)面積較大，顏色一致時(shí)，容易在目標(biāo)內(nèi)部產(chǎn)生空洞，無(wú)法完整地提取運(yùn)動(dòng)目標(biāo)。因此，相鄰幀差法不能完全提取所有相關(guān)的特征像素點(diǎn)，得到的檢測(cè)結(jié)果不夠精確，在運(yùn)動(dòng)目標(biāo)內(nèi)部產(chǎn)生的空洞不利于進(jìn)一步的目標(biāo)跟蹤等。 背景差法背景差法相對(duì)于相鄰幀差法和光流法來(lái)說(shuō)簡(jiǎn)單且易于實(shí)現(xiàn)，是一種有效的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，是固定攝像機(jī)對(duì)固定場(chǎng)景進(jìn)行視頻監(jiān)控時(shí)檢測(cè)運(yùn)動(dòng)目標(biāo)最常用的方法。它的本質(zhì)思想是利用當(dāng)前圖像與背景圖像進(jìn)行比較，選擇區(qū)別較大的像素區(qū)域作為運(yùn)動(dòng)目標(biāo)；而區(qū)別較小的像素區(qū)域則被認(rèn)為是背景區(qū)域。背景差法必須要有背景圖像，并且背景圖像要隨著光照和外部環(huán)境的變化而實(shí)時(shí)更新，因此背景差法關(guān)鍵是背景建模及其更新。傳統(tǒng)的背景差算法包括二大步驟：(1) 確定背景模型，并建立背景圖像。最簡(jiǎn)單的背景模型是時(shí)間平均圖像。在背景圖像的初始化算法中，求取一段較長(zhǎng)的時(shí)間段內(nèi)，視頻序列圖像每一像素的平均色彩值，作為初始的背景估計(jì)圖像。(2) 在像素模式下，用當(dāng)前圖像減去已知背景圖像來(lái)得到差分圖像。如果定義圖像序列為I(x，y，i)，其中x，y代表空間坐標(biāo)，i表示幀數(shù)，i=(1...N)，N為視頻序列總數(shù)。背景圖像為B(x，y)，則差分圖像可以表示為 （）(3) 對(duì)差分圖像做二值化處理,得到運(yùn)動(dòng)區(qū)域： （）其中，p為差分圖像中的任何一點(diǎn)，T為閾值。如果M(xp，yp，i)=1，則表示象素點(diǎn)p在第i幀屬于運(yùn)動(dòng)區(qū)域(前景區(qū)域)；如果M(xp，yp，i)=0，則表示象素點(diǎn)p在第i幀屬于背景區(qū)域。這種固定背景算法是假定背景在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)是不會(huì)發(fā)生變化的，然后以此為基礎(chǔ)求解運(yùn)動(dòng)區(qū)域。事實(shí)上，即使是室內(nèi)環(huán)境，也存在光線等各種變化所造成的干擾，所以固定背景的方法存在很大的局限性。通常的解決辦法是系統(tǒng)需要時(shí)常對(duì)背景重新初始化，以防止錯(cuò)誤隨著時(shí)間不停地積累造成背景的失效。因此，作為固定背景，它只適用于變化較小的短期的跟蹤問(wèn)題。 基于RGB顏色空間的混合高斯模型在靜止攝像機(jī)條件下，運(yùn)動(dòng)目標(biāo)檢測(cè)的關(guān)鍵是背景圖像的描述模型即背景模型，它是背景差方法分割前景目標(biāo)的基礎(chǔ)。背景模型分為單模態(tài)和多模態(tài)兩種。前者在每個(gè)背景點(diǎn)上的顏色分布是比較集中的，可以用單個(gè)概率分布模型來(lái)描述（即只有一個(gè)模態(tài)）；后者的分布則比較分散的，需要多個(gè)分布模型來(lái)共同描述（即具有多個(gè)模態(tài)）。自然界中許多的景物和很多的人造物體，如水面的波紋、飄揚(yáng)的旗幟、搖擺的樹枝等，都呈現(xiàn)出多模態(tài)特性，可以利用混合高斯分布（正態(tài)分布）對(duì)背景建模，再進(jìn)行背景差提取運(yùn)動(dòng)目標(biāo)。這種基于混合高斯模型算法（MoG算法）的運(yùn)動(dòng)目標(biāo)檢測(cè)算法即繼承了大多背景差算法簡(jiǎn)單易于實(shí)現(xiàn)的特點(diǎn)，同時(shí)對(duì)背景中每個(gè)像素建立統(tǒng)計(jì)模型，進(jìn)行學(xué)習(xí)和更新，完全可以克服多模態(tài)的問(wèn)題，獲得比較準(zhǔn)確實(shí)時(shí)的背景，從而有效進(jìn)行運(yùn)動(dòng)目標(biāo)前景的提取[6]。如果背景是完全靜止的，背景圖像的每個(gè)像素點(diǎn)，可以用一個(gè)高斯分布來(lái)描述。但背景場(chǎng)景往往不是絕對(duì)靜止的，例如由于樹枝的搖擺運(yùn)動(dòng)，背景圖像上的某一像素點(diǎn)在某一時(shí)刻可能是樹葉，可能是樹枝，也可能是天空，每一種狀態(tài)的像素點(diǎn)顏色值都是不同的。所以，用一個(gè)高斯模型來(lái)描述背景并不能反映實(shí)際背景。因此，對(duì)每個(gè)像素點(diǎn)用多個(gè)高斯模型混合表示。設(shè)t時(shí)刻，圖像中像素點(diǎn)(i, j)的觀察值可寫為Xt，則可以認(rèn)為Xt是一個(gè)隨機(jī)過(guò)程，并且假設(shè)任意兩個(gè)像素點(diǎn)之間統(tǒng)計(jì)獨(dú)立，則X(i, j)的特征向量在RGB顏色空間為： （）其中，t時(shí)刻，像素的近期彩色歷史可以由K個(gè)高斯分布模型的混合去模擬描述這個(gè)隨機(jī)過(guò)程。K值的選取一般由計(jì)算能力和內(nèi)存來(lái)決定，K值越大，模型雖然能體現(xiàn)越復(fù)雜的場(chǎng)景，但同時(shí)計(jì)算量也將大幅增加，消耗更多的計(jì)算時(shí)間。考慮到計(jì)算速度的快慢，一般情況下取3~5個(gè)。在當(dāng)前時(shí)刻t點(diǎn)(i, j)的概率分布可用下面的公式來(lái)表示： （） （）其中，ωij,k,t是t時(shí)刻第k個(gè)混合高斯分布的權(quán)值，μij,k,t、Σij,k,t分別為第k個(gè)高斯分布的均值和方差，η是高斯概率密度函數(shù)。當(dāng)采用RGB顏色空間進(jìn)行建模時(shí)，認(rèn)為R、G、B三個(gè)通道的分量值是相互獨(dú)立且具有相同的方差，則μij,k,t、Σij,k,t可寫成如下形式： （） （）各高斯分布按照優(yōu)先級(jí)高低排列，優(yōu)先級(jí)qk計(jì)算如下： （） 背景模型的更新由于周圍環(huán)境的變化，如光照、風(fēng)強(qiáng)度等，已經(jīng)建立好的背景模型可能不再適應(yīng)變化過(guò)之后的環(huán)境。為了增強(qiáng)背景模型的適應(yīng)性，需要根據(jù)實(shí)際的情況，對(duì)背景模型進(jìn)行實(shí)時(shí)地更新。背景模型的更新就是指不斷利用新的當(dāng)前時(shí)刻視頻圖像更新背景圖像，使背景實(shí)時(shí)準(zhǔn)確反應(yīng)真實(shí)的監(jiān)控場(chǎng)景。更新方法的思想是對(duì)于圖像給定點(diǎn)的最新值Xt，與K個(gè)高斯分布分別進(jìn)行匹配，如果有某個(gè)高斯分布ηk與它匹配，則用當(dāng)前值Xt去更新這個(gè)ηk的各項(xiàng)參數(shù)；如果沒有任何一項(xiàng)分布ηk與它匹配，就用一個(gè)代表當(dāng)前值Xt的新的分布去代替現(xiàn)有混合高斯分布中的一個(gè)分布項(xiàng)。(1) 如果Xt服從某個(gè)高斯分布，則用當(dāng)前值Xt去更新這個(gè)高斯分布ηk的均值μ、方差σ和權(quán)值ωk,t。匹配的方法是把高斯分布ηk按權(quán)值與方差之比ω/σ從大到小排列，然后選擇Xt與均值μj,t1,k足夠接近的第一個(gè)高斯分布作為匹配的高斯分布，即Xt滿足下列判別式： （）其中，上式表示Xt服從第j個(gè)高斯分布(1＜j＜K)。然后按以下等式對(duì)該高斯分布ηk的均值μ、方差σ和權(quán)值ωk,t進(jìn)行更新： （） （） （） （）其中，α為模型分布學(xué)習(xí)速率，0≤α≤1。對(duì)于匹配的模型Mk,j=1，其余的模型（不匹配的分布）為0。經(jīng)過(guò)更新后，權(quán)值的總和保持不變，仍然為1。1/α為表示變化快慢的時(shí)間常數(shù)，α越小，權(quán)值更新的越慢，時(shí)間常數(shù)越大；α越大，權(quán)值更新的越快，時(shí)間常數(shù)越小，混合高斯模型中主高斯分布對(duì)背景適應(yīng)性越好，更有利于背景模型的更新，但對(duì)于內(nèi)部顏色比較一致的運(yùn)動(dòng)目標(biāo)，則目標(biāo)的運(yùn)動(dòng)方向后半部分容易檢測(cè)為背景（因?yàn)榍鞍氩糠挚赡芤呀?jīng)更新為背景了），這樣就造成了目標(biāo)的漏檢。β為調(diào)整當(dāng)前分布的學(xué)習(xí)速率，當(dāng)前值匹配分布的程度越好，β越大，參數(shù)調(diào)整（學(xué)習(xí)）的越快，但β太大的話也會(huì)引起前面目標(biāo)漏檢。(2) 如果在K個(gè)分布中沒有找到與當(dāng)前像素匹配的高斯分布，那么可能性最小的高斯分布將被新的高斯分布所替代。新的高斯分布的均值為當(dāng)前的像素值Xt，具有較大的方差和較小的權(quán)值。這種方法的一個(gè)顯著優(yōu)點(diǎn)：當(dāng)某些值被歸為到背景時(shí)，現(xiàn)存的背景模型并沒有被破壞，原來(lái)的背景顏色一直存在于混合模型中直到被新的背景顏色所取代。因此，當(dāng)一個(gè)物體剛剛靜止下來(lái)后一段足夠長(zhǎng)的時(shí)間內(nèi)使其被歸為到背景中就開始運(yùn)動(dòng)，由于描述以前背景的分布仍然存在于混合模型中，只是可能性較低，這樣的話，以前的背景就會(huì)很快就能恢復(fù)回來(lái)。 運(yùn)動(dòng)目標(biāo)的檢測(cè)與提取由于有噪聲的影響，背景圖像庫(kù)中某些圖像的有些像素點(diǎn)并不能真正地代表背景，用這類像素建立的高斯分布模型是應(yīng)該被去除。場(chǎng)景中像素值是屬于前景還是屬于背景可以通過(guò)分析混合高斯模型中相應(yīng)的權(quán)值和方差得出：一般來(lái)說(shuō)，我們可以認(rèn)為運(yùn)動(dòng)中物體的模型會(huì)保持較大的方差，靜止的時(shí)候會(huì)比較小。在每一時(shí)間里，選擇每一點(diǎn)的混合高斯模型中的一個(gè)或多個(gè)高斯分布作為背景模型，其它的則作為前景模型。用每一點(diǎn)的當(dāng)前值和此點(diǎn)混合模型中的背景模型進(jìn)行匹配，如果不匹配，則作為前景。為了判定Xt是屬于前景像素還是背景像素，首先根據(jù)每個(gè)模型的ω/σ值來(lái)給模型排序，比值越大，表示具有較大的ω和較小的σ，因此排序越前的高斯分布，越能描述背景模型。所以，我們選擇排在前面的N個(gè)高斯代表背景模型，作為背景模型的估計(jì)，如下式： （）其中，T為預(yù)先定義的閾值，它表示背景的分布權(quán)值的和在整體中所占的最小比例，一般根據(jù)經(jīng)驗(yàn)可取T=。N是能達(dá)到這一比例的“最好”的高斯分布的數(shù)量，即前面N個(gè)最可能的分布。如果T值設(shè)置的比較小，那么背景就變成了單模的，就是個(gè)單個(gè)高斯分布的背景模型，用最可能的那個(gè)分布表示背景可以節(jié)省計(jì)算量。如果T值取的比較大，那么混合模型就可以容納重復(fù)運(yùn)動(dòng)的背景導(dǎo)致的多種背景顏色。MoG算法對(duì)多模態(tài)背景有良好的適應(yīng)能力，能夠準(zhǔn)確地判斷出高頻振動(dòng)的背景，并且具有極強(qiáng)的魯棒性。該算法的特點(diǎn)是每個(gè)高斯分布不僅帶有權(quán)值，而且具有優(yōu)先級(jí)，像素點(diǎn)與某個(gè)高斯模型相匹配后，就將該匹配的高斯分布的參數(shù)進(jìn)行更新，權(quán)值進(jìn)行提高，而其它高斯分布的權(quán)值則相應(yīng)地降低，每次對(duì)參數(shù)與權(quán)值進(jìn)行更新之后，對(duì)每個(gè)高斯分布再重新計(jì)算優(yōu)先級(jí)和進(jìn)行排序。第四章 陰影的去除 引言根據(jù)上一章所討論的背景模型的建立，可以通過(guò)背景差分法得到包含運(yùn)動(dòng)區(qū)域的前景二值圖，該二值圖去除了當(dāng)前圖像中的背景像素，僅留下了變化像素。但在變化像素中，除了運(yùn)動(dòng)目標(biāo)外還存在許多由各種干擾所引起的變化像素，這些可能會(huì)使原本分離的目標(biāo)區(qū)域合并或引起目標(biāo)變形等。因此，為了正確提取運(yùn)動(dòng)目標(biāo)區(qū)域，陰影和殘留噪聲等仍然需要去除，同時(shí)，可以利用數(shù)學(xué)形態(tài)學(xué)對(duì)原始圖像進(jìn)行重建。為此，本文引入了基于RGB顏色空間的陰影檢測(cè)和去除方法進(jìn)行運(yùn)動(dòng)目標(biāo)陰影的檢測(cè)與去除；利用數(shù)學(xué)形態(tài)學(xué)方法來(lái)完成對(duì)目標(biāo)區(qū)域的修整與重建。 陰影產(chǎn)生的機(jī)理陰影主要是因?yàn)閳?chǎng)景中的對(duì)象被光源部分或全部遮擋而產(chǎn)生的。陰影通常可分為投射陰影（Cast Shadow）和自身陰影（Self Shadow）兩類。自身陰影是由于物體本身沒有被光源直接照射到而形成的，屬于目標(biāo)本身的一部分，這部分陰影是不用從檢測(cè)結(jié)果中去除的。投射陰影是由于物體阻擋光線后在背景上形成的部分，這就是要從結(jié)果中去掉的陰影。投射陰影中直射光線被完全阻擋的部分稱為本影（Umbra，又叫暗影）。直射光線被部分阻擋的部分叫做半本影（Penumbra，又叫半影）。物體運(yùn)動(dòng)的暗影因顯著地異于背景而常常被錯(cuò)誤地理解為運(yùn)動(dòng)物體[7]。在實(shí)際應(yīng)用中進(jìn)行陰影檢測(cè)時(shí)，一般認(rèn)為陰影有如下特點(diǎn)：(1) 被陰影所覆蓋的像素點(diǎn)比原背景亮度低，不顯著改變所覆蓋的背景顏色和紋理；(2) 陰影總是與形成陰影的運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)；(3) 被陰影所覆蓋的背景點(diǎn)色調(diào)會(huì)對(duì)藍(lán)色造成很大的影響；(4) 陰影形狀是目標(biāo)形狀在背景上的投影，但是形狀與運(yùn)動(dòng)目標(biāo)的形狀基本不同，差距很大；(5) 陰影與產(chǎn)生陰影的目標(biāo)具有相同的運(yùn)動(dòng)屬性。陰影區(qū)域可看作是半透明的區(qū)域，在陰影區(qū)域內(nèi)，由于照射光線被遮擋，陰影覆蓋區(qū)域的照度降低，對(duì)應(yīng)圖像的亮度降低，這樣陰影區(qū)域的亮度要比同一區(qū)域在無(wú)陰影時(shí)以及陰影的鄰近非陰影區(qū)域要暗一些。因此，被陰影覆蓋區(qū)域的圖像除在亮度上表現(xiàn)出明顯變化外，其色度并沒有呈現(xiàn)出太多變化。目前陰影檢測(cè)的方法，也主要是利用陰影這一特性來(lái)進(jìn)行處理。目前的運(yùn)動(dòng)目標(biāo)檢測(cè)方法之所以都不能區(qū)分運(yùn)動(dòng)目標(biāo)和運(yùn)動(dòng)陰影，這是由于陰影具有兩個(gè)重要的視覺特征：(1) 陰影明顯地不同于背景，而在運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程中被理解為前景；(2) 陰影與產(chǎn)生陰影的運(yùn)動(dòng)目標(biāo)具有相同的運(yùn)動(dòng)屬性，很難區(qū)分。由于這兩個(gè)特征的存在就會(huì)將陰