【文章內(nèi)容簡介】 運動目標(biāo)檢測（MovingObjectives Detecting, MOD）是指將圖像序列中發(fā)生變化的區(qū)域從背景中分割出來。MOD的基本任務(wù)是判斷圖像序列中是否存在運動目標(biāo)，并確定運動目標(biāo)的位置。MOD處于整個視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級應(yīng)用如目標(biāo)跟蹤、目標(biāo)分類、目標(biāo)行為識別和理解等的基礎(chǔ)。因此MOD成為視頻監(jiān)控系統(tǒng)研究中最重要的課題，也是陰影去除算法研究的基礎(chǔ)。 運動目標(biāo)檢測算法概述運動目標(biāo)檢測是整個智能視頻監(jiān)控系統(tǒng)的第一部分，其目的是將運動目標(biāo)(如車輛，行人等)從圖像中提取出來，檢測效果的好壞直接關(guān)系到后續(xù)步驟，而且也關(guān)系到整個系統(tǒng)的優(yōu)劣和實用性。運動目標(biāo)的檢測常常受到光線變化、背景變化以及其它背景運動物體等因素的影響，因此選用一種穩(wěn)定并可靠的檢測方法尤為重要。目前常用的運動檢測方法有光流法、相鄰幀差法、背景差分法。 光流法光流是空間運動物體在觀測成像面上的像素運動的瞬時速度。光流的研究是利用圖像序列中的像素強度數(shù)據(jù)的時域變化和相關(guān)性來確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結(jié)構(gòu)及其運動的關(guān)系。一般情況下，光流由相機運動、場景中目標(biāo)運動或兩者的共同運動產(chǎn)生。對于視頻監(jiān)控系統(tǒng)來說，所用的圖像基本都是攝像機靜止?fàn)顟B(tài)下攝取得，所以對有實時性和準(zhǔn)確性要求的系統(tǒng)來說，純粹使用光流法來檢測運動目標(biāo)不太實際。更多的是利用光流法與其它方法綜合之后來實現(xiàn)對運動目標(biāo)檢測。 相鄰幀差法相鄰幀差法即圖像序列差分法，它利用兩幀圖像亮度差的絕對值來分析視頻和圖像序列的運動特性，確定圖像序列中是否有物體運動。這是一種直接簡單的運動檢測方法。其基本思想：如果一幅圖像的某一位置物體發(fā)生變化，那么對應(yīng)位置的灰度也將發(fā)生變化；而物體沒有發(fā)生變化的部分，其灰度則不發(fā)生變化或變化很小。因此該方法只需比較圖像序列中相鄰兩幅圖像的對應(yīng)像素灰度的差別。相鄰幀差法的優(yōu)點就是相鄰兩幀的時間間隔很短，用前一幀圖像作為后一幀圖像的背景模型具備較好的實時性，而且其背景不積累、更新速度快、算法計算量小。其缺點是閾值選擇相當(dāng)關(guān)鍵，閾值過低，則不足以抑制背景噪聲，容易將其誤檢測為運動目標(biāo)；閾值過高，則容易漏檢，將有用的運動信息忽略掉了。另外，當(dāng)運動目標(biāo)面積較大，顏色一致時，容易在目標(biāo)內(nèi)部產(chǎn)生空洞，無法完整地提取運動目標(biāo)。因此，相鄰幀差法不能完全提取所有相關(guān)的特征像素點，得到的檢測結(jié)果不夠精確，在運動目標(biāo)內(nèi)部產(chǎn)生的空洞不利于進一步的目標(biāo)跟蹤等。 背景差法背景差法相對于相鄰幀差法和光流法來說簡單且易于實現(xiàn)，是一種有效的運動目標(biāo)檢測算法，是固定攝像機對固定場景進行視頻監(jiān)控時檢測運動目標(biāo)最常用的方法。它的本質(zhì)思想是利用當(dāng)前圖像與背景圖像進行比較，選擇區(qū)別較大的像素區(qū)域作為運動目標(biāo)；而區(qū)別較小的像素區(qū)域則被認(rèn)為是背景區(qū)域。背景差法必須要有背景圖像，并且背景圖像要隨著光照和外部環(huán)境的變化而實時更新，因此背景差法關(guān)鍵是背景建模及其更新。傳統(tǒng)的背景差算法包括二大步驟：(1) 確定背景模型，并建立背景圖像。最簡單的背景模型是時間平均圖像。在背景圖像的初始化算法中，求取一段較長的時間段內(nèi)，視頻序列圖像每一像素的平均色彩值，作為初始的背景估計圖像。(2) 在像素模式下，用當(dāng)前圖像減去已知背景圖像來得到差分圖像。如果定義圖像序列為I(x，y，i)，其中x，y代表空間坐標(biāo)，i表示幀數(shù)，i=(1...N)，N為視頻序列總數(shù)。背景圖像為B(x，y)，則差分圖像可以表示為 （）(3) 對差分圖像做二值化處理,得到運動區(qū)域： （）其中，p為差分圖像中的任何一點，T為閾值。如果M(xp，yp，i)=1，則表示象素點p在第i幀屬于運動區(qū)域(前景區(qū)域)；如果M(xp，yp，i)=0，則表示象素點p在第i幀屬于背景區(qū)域。這種固定背景算法是假定背景在相當(dāng)長的一段時間內(nèi)是不會發(fā)生變化的，然后以此為基礎(chǔ)求解運動區(qū)域。事實上，即使是室內(nèi)環(huán)境，也存在光線等各種變化所造成的干擾，所以固定背景的方法存在很大的局限性。通常的解決辦法是系統(tǒng)需要時常對背景重新初始化，以防止錯誤隨著時間不停地積累造成背景的失效。因此，作為固定背景，它只適用于變化較小的短期的跟蹤問題。 基于RGB顏色空間的混合高斯模型在靜止攝像機條件下，運動目標(biāo)檢測的關(guān)鍵是背景圖像的描述模型即背景模型，它是背景差方法分割前景目標(biāo)的基礎(chǔ)。背景模型分為單模態(tài)和多模態(tài)兩種。前者在每個背景點上的顏色分布是比較集中的，可以用單個概率分布模型來描述（即只有一個模態(tài)）；后者的分布則比較分散的，需要多個分布模型來共同描述（即具有多個模態(tài)）。自然界中許多的景物和很多的人造物體，如水面的波紋、飄揚的旗幟、搖擺的樹枝等，都呈現(xiàn)出多模態(tài)特性，可以利用混合高斯分布（正態(tài)分布）對背景建模，再進行背景差提取運動目標(biāo)。這種基于混合高斯模型算法（MoG算法）的運動目標(biāo)檢測算法即繼承了大多背景差算法簡單易于實現(xiàn)的特點，同時對背景中每個像素建立統(tǒng)計模型，進行學(xué)習(xí)和更新，完全可以克服多模態(tài)的問題，獲得比較準(zhǔn)確實時的背景，從而有效進行運動目標(biāo)前景的提取[6]。如果背景是完全靜止的，背景圖像的每個像素點，可以用一個高斯分布來描述。但背景場景往往不是絕對靜止的，例如由于樹枝的搖擺運動，背景圖像上的某一像素點在某一時刻可能是樹葉，可能是樹枝，也可能是天空，每一種狀態(tài)的像素點顏色值都是不同的。所以，用一個高斯模型來描述背景并不能反映實際背景。因此，對每個像素點用多個高斯模型混合表示。設(shè)t時刻，圖像中像素點(i, j)的觀察值可寫為Xt，則可以認(rèn)為Xt是一個隨機過程，并且假設(shè)任意兩個像素點之間統(tǒng)計獨立，則X(i, j)的特征向量在RGB顏色空間為： （）其中，t時刻，像素的近期彩色歷史可以由K個高斯分布模型的混合去模擬描述這個隨機過程。K值的選取一般由計算能力和內(nèi)存來決定，K值越大，模型雖然能體現(xiàn)越復(fù)雜的場景，但同時計算量也將大幅增加，消耗更多的計算時間。考慮到計算速度的快慢，一般情況下取3~5個。在當(dāng)前時刻t點(i, j)的概率分布可用下面的公式來表示： （） （）其中，ωij,k,t是t時刻第k個混合高斯分布的權(quán)值，μij,k,t、Σij,k,t分別為第k個高斯分布的均值和方差，η是高斯概率密度函數(shù)。當(dāng)采用RGB顏色空間進行建模時，認(rèn)為R、G、B三個通道的分量值是相互獨立且具有相同的方差，則μij,k,t、Σij,k,t可寫成如下形式： （） （）各高斯分布按照優(yōu)先級高低排列，優(yōu)先級qk計算如下： （） 背景模型的更新由于周圍環(huán)境的變化，如光照、風(fēng)強度等，已經(jīng)建立好的背景模型可能不再適應(yīng)變化過之后的環(huán)境。為了增強背景模型的適應(yīng)性，需要根據(jù)實際的情況，對背景模型進行實時地更新。背景模型的更新就是指不斷利用新的當(dāng)前時刻視頻圖像更新背景圖像，使背景實時準(zhǔn)確反應(yīng)真實的監(jiān)控場景。更新方法的思想是對于圖像給定點的最新值Xt，與K個高斯分布分別進行匹配，如果有某個高斯分布ηk與它匹配，則用當(dāng)前值Xt去更新這個ηk的各項參數(shù)；如果沒有任何一項分布ηk與它匹配，就用一個代表當(dāng)前值Xt的新的分布去代替現(xiàn)有混合高斯分布中的一個分布項。(1) 如果Xt服從某個高斯分布，則用當(dāng)前值Xt去更新這個高斯分布ηk的均值μ、方差σ和權(quán)值ωk,t。匹配的方法是把高斯分布ηk按權(quán)值與方差之比ω/σ從大到小排列，然后選擇Xt與均值μj,t1,k足夠接近的第一個高斯分布作為匹配的高斯分布，即Xt滿足下列判別式： （）其中，上式表示Xt服從第j個高斯分布(1＜j＜K)。然后按以下等式對該高斯分布ηk的均值μ、方差σ和權(quán)值ωk,t進行更新： （） （） （） （）其中，α為模型分布學(xué)習(xí)速率，0≤α≤1。對于匹配的模型Mk,j=1，其余的模型（不匹配的分布）為0。經(jīng)過更新后，權(quán)值的總和保持不變，仍然為1。1/α為表示變化快慢的時間常數(shù)，α越小，權(quán)值更新的越慢，時間常數(shù)越大；α越大，權(quán)值更新的越快，時間常數(shù)越小，混合高斯模型中主高斯分布對背景適應(yīng)性越好，更有利于背景模型的更新，但對于內(nèi)部顏色比較一致的運動目標(biāo)，則目標(biāo)的運動方向后半部分容易檢測為背景（因為前半部分可能已經(jīng)更新為背景了），這樣就造成了目標(biāo)的漏檢。β為調(diào)整當(dāng)前分布的學(xué)習(xí)速率，當(dāng)前值匹配分布的程度越好，β越大，參數(shù)調(diào)整（學(xué)習(xí)）的越快，但β太大的話也會引起前面目標(biāo)漏檢。(2) 如果在K個分布中沒有找到與當(dāng)前像素匹配的高斯分布，那么可能性最小的高斯分布將被新的高斯分布所替代。新的高斯分布的均值為當(dāng)前的像素值Xt，具有較大的方差和較小的權(quán)值。這種方法的一個顯著優(yōu)點：當(dāng)某些值被歸為到背景時，現(xiàn)存的背景模型并沒有被破壞，原來的背景顏色一直存在于混合模型中直到被新的背景顏色所取代。因此，當(dāng)一個物體剛剛靜止下來后一段足夠長的時間內(nèi)使其被歸為到背景中就開始運動，由于描述以前背景的分布仍然存在于混合模型中，只是可能性較低，這樣的話，以前的背景就會很快就能恢復(fù)回來。 運動目標(biāo)的檢測與提取由于有噪聲的影響，背景圖像庫中某些圖像的有些像素點并不能真正地代表背景，用這類像素建立的高斯分布模型是應(yīng)該被去除。場景中像素值是屬于前景還是屬于背景可以通過分析混合高斯模型中相應(yīng)的權(quán)值和方差得出：一般來說，我們可以認(rèn)為運動中物體的模型會保持較大的方差，靜止的時候會比較小。在每一時間里，選擇每一點的混合高斯模型中的一個或多個高斯分布作為背景模型，其它的則作為前景模型。用每一點的當(dāng)前值和此點混合模型中的背景模型進行匹配，如果不匹配，則作為前景。為了判定Xt是屬于前景像素還是背景像素，首先根據(jù)每個模型的ω/σ值來給模型排序，比值越大，表示具有較大的ω和較小的σ，因此排序越前的高斯分布，越能描述背景模型。所以，我們選擇排在前面的N個高斯代表背景模型，作為背景模型的估計，如下式： （）其中，T為預(yù)先定義的閾值，它表示背景的分布權(quán)值的和在整體中所占的最小比例，一般根據(jù)經(jīng)驗可取T=。N是能達到這一比例的“最好”的高斯分布的數(shù)量，即前面N個最可能的分布。如果T值設(shè)置的比較小，那么背景就變成了單模的，就是個單個高斯分布的背景模型，用最可能的那個分布表示背景可以節(jié)省計算量。如果T值取的比較大，那么混合模型就可以容納重復(fù)運動的背景導(dǎo)致的多種背景顏色。MoG算法對多模態(tài)背景有良好的適應(yīng)能力，能夠準(zhǔn)確地判斷出高頻振動的背景，并且具有極強的魯棒性。該算法的特點是每個高斯分布不僅帶有權(quán)值，而且具有優(yōu)先級，像素點與某個高斯模型相匹配后，就將該匹配的高斯分布的參數(shù)進行更新，權(quán)值進行提高，而其它高斯分布的權(quán)值則相應(yīng)地降低，每次對參數(shù)與權(quán)值進行更新之后，對每個高斯分布再重新計算優(yōu)先級和進行排序。第四章 陰影的去除 引言根據(jù)上一章所討論的背景模型的建立，可以通過背景差分法得到包含運動區(qū)域的前景二值圖，該二值圖去除了當(dāng)前圖像中的背景像素，僅留下了變化像素。但在變化像素中，除了運動目標(biāo)外還存在許多由各種干擾所引起的變化像素，這些可能會使原本分離的目標(biāo)區(qū)域合并或引起目標(biāo)變形等。因此，為了正確提取運動目標(biāo)區(qū)域，陰影和殘留噪聲等仍然需要去除，同時，可以利用數(shù)學(xué)形態(tài)學(xué)對原始圖像進行重