【文章內(nèi)容簡(jiǎn)介】 過程都可以用高斯過程來模擬，因此混合高斯模型由此得名。簡(jiǎn)單來說就是用混合高斯過程來模擬某個(gè)點(diǎn)隨時(shí)間的變化過程。用公式表示某點(diǎn)在某時(shí)刻的隨機(jī)分布率[14]就是 ()q表示第k個(gè)高斯分布，及表示正態(tài)分布概率密度函數(shù)。在這個(gè)分布模型的基礎(chǔ)上，開始的后驗(yàn)概率等價(jià)于 ()從上面的公式分析可知前景背景分割實(shí)際上需要解決兩個(gè)問題:首先通過所有得到的樣本來估計(jì)某點(diǎn)的隨機(jī)過程一維分布函數(shù)(因?yàn)槭且玫侥硶r(shí)刻的分布率)，這包括合成混合高斯過程的各高斯過程的一維分布函數(shù)(以下簡(jiǎn)稱高斯過程的分布)以及他們的系數(shù)P(q)(即某個(gè)高斯過程的權(quán)重，表示觀測(cè)到這個(gè)高斯過程的概率)。然后估計(jì)每個(gè)高斯過程是背景過程(即它所代表的物理表面被作為背景，以下同)的概率。可以這樣來直觀的理解這個(gè)貝葉斯框架:把某點(diǎn)觀測(cè)到的樣本看成是那些不同高斯過程產(chǎn)生的(看到的顏色是那些不同的物理表面產(chǎn)生的)，我們首先判斷某個(gè)樣本(某點(diǎn)某時(shí)刻的觀測(cè))是哪個(gè)高斯過程產(chǎn)生的，然后再來判斷各個(gè)高斯過程哪些是背景過程，哪些是前景過程。因此，當(dāng)某時(shí)刻某點(diǎn)的觀測(cè)是來自前景過程的概率(這個(gè)概率是用混合分布率以后驗(yàn)概率的形式表示的)大于50%時(shí)，這個(gè)觀測(cè)就被判定為前景(這個(gè)點(diǎn)被認(rèn)為是前景點(diǎn))。解決第一個(gè)問題就要估計(jì)P(q)和P(qk)(第k個(gè)高斯過程的分布率)，這與判斷觀測(cè)屬于哪個(gè)過程相似，從理論上講是與具體應(yīng)用無關(guān)的。解決第二個(gè)問題就要估計(jì)B，即判斷每個(gè)高斯過程是屬于前景還是背景，這就不可避免的與具體的應(yīng)用環(huán)境有關(guān)，而且是啟發(fā)式的(需要高層語義的指導(dǎo)，即需要理解)。因此在解決第二個(gè)問題時(shí)可以引入一些與應(yīng)用環(huán)境相關(guān)的因子和高層的語義來達(dá)到更好的效果。顯而易見，在像素級(jí)的處理(以像素為處理單位，不考慮各像素間的空間相關(guān)性)中不可能做到完全正確的分割。舉個(gè)例子，一個(gè)正在走路的人和一個(gè)正在旋轉(zhuǎn)的電風(fēng)扇有著相似的信號(hào)特征，如果沒有對(duì)事件的理解，它們就很難區(qū)分?？梢允褂脜^(qū)域級(jí)幀級(jí)分割、動(dòng)態(tài)模板或是禍合目標(biāo)模型等方法來引進(jìn)高層語義。要使用混合高斯模型進(jìn)行背景分割，只要估計(jì)出上述兩個(gè)問題中相應(yīng)的分布率。然而，事先必須定義好什么才是背景模型，在這個(gè)貝葉斯框架下可以做出一個(gè)理論上比較合理的定義。如果我們能正確地把所有的樣本進(jìn)行分類，把每個(gè)樣本都?xì)w為屬于某個(gè)高斯過程的一類，那么，背景模型就應(yīng)該由被認(rèn)為是背景的樣本組成的，也就是說背景的隨機(jī)過程一維分布函數(shù)需要由所有被認(rèn)為是背景的觀測(cè)來估計(jì)。其中，某個(gè)樣本點(diǎn)被認(rèn)為是背景的概率為P(x，B)。假設(shè)P(x|Gk,B)=P(x|Gk)某點(diǎn)（r，c）的背景過程在t時(shí)刻的分布(直觀點(diǎn)說就是是背景的概率)[15]可以表示為:（）等號(hào)最右邊的表達(dá)式表明背景的分布是由原始的混合模型中的高斯部分經(jīng)P(x|r)加權(quán)得到的。因此，各P(x|q)對(duì)實(shí)際的模型有很大的影響。舉例來說，即使背景分布是從混合模型衍生來的，如果只把最有可能的高斯作背景， P(x|r)為l，其余的高斯都不是背景，P(x|q)為0，所得到的背景模型就只是一個(gè)簡(jiǎn)單的高斯分布。很多早期的論文就使用了這種方法，即把最有可能的幾個(gè)高斯作背景，其余的都不是背景。這相當(dāng)于一種兩分法，但作為背景的高斯的數(shù)目并不是固定的。然而，當(dāng)某個(gè)高斯在背景和前景間變化時(shí)會(huì)產(chǎn)生突變。從上面的公式還可以看出，背景模型包含了p(B)，利用這一點(diǎn)，我們可以引入相應(yīng)的幾只把具體應(yīng)用相關(guān)的因素引入到背景的分割中來。經(jīng)過上一節(jié)的理論分析，可以歸納出應(yīng)用混合高斯模型的實(shí)際步驟:首先，我們要使用參數(shù)估計(jì)的某種方法通過觀察到的樣本估計(jì)混合高斯模型的各個(gè)參數(shù)，包括其中的各個(gè)高斯模型P(r|q)的均值、方差，以及各高斯模型的加權(quán)系數(shù)，用高斯模型出現(xiàn)的先驗(yàn)概率P(q)來表示。然后我們要對(duì)P(x|q)進(jìn)行估計(jì)。下面的分析很多都要和參數(shù)打交道，在參數(shù)估計(jì)的過程中為了突出參數(shù)，我把公式用了另一種表示方法，但實(shí)際上是等價(jià)的。比如前面的P(r|q)或g(x，rk)可以用fx（x）來表示，先驗(yàn)概率P(q)可以用叭來表示，后驗(yàn)概率P(r|x)可以用P(k)來表示，以后他們是通用的，不再敘述[18]。(x)中的各個(gè)參數(shù)這是當(dāng)觀測(cè)數(shù)據(jù)為不完全數(shù)據(jù)時(shí)求解最大似然估計(jì)的問題。有很多早期的工作對(duì)這個(gè)求解進(jìn)行了研究。其中，期望最大化 (ExPeetationMax如ization，EM)是一種使用最廣泛的方法，它用迭代的方法求解最大似然估計(jì)。Stau月七卜Grimson將一種EM的近似算法應(yīng)用到了運(yùn)動(dòng)目標(biāo)提取領(lǐng)域。具體的EM算法將在下一節(jié)進(jìn)行闡述。當(dāng)前所有觀測(cè)樣本的最大似然函數(shù)可以表示為表示某點(diǎn)某時(shí)刻的觀測(cè)值，當(dāng)前總共有N個(gè)觀測(cè)值。表示待估計(jì)的參數(shù)集合，氏表示第k個(gè)高斯分布的參數(shù)集合。通過EM算法，迭代的求上式的期望的最大值，得到 （） （） （）上述[15]理論結(jié)果是無法應(yīng)用到實(shí)際的，因?yàn)樗俣薻，X是靜態(tài)過程，且把N作為了一個(gè)定值，實(shí)際上每一幀k，X都在變化，每一幀都要根據(jù)當(dāng)前幀的觀測(cè)樣本對(duì)參數(shù)重新進(jìn)行估計(jì)。因此，就是定義一個(gè)時(shí)間軸上的學(xué)習(xí)速率，使得某一時(shí)刻的參數(shù)不僅能根據(jù)當(dāng)前的觀測(cè)進(jìn)行更新，同時(shí)能夠利用前一時(shí)刻的參數(shù)進(jìn)行時(shí)間上的積累平均。首先，由于是在線算法，而且實(shí)際過程中每一時(shí)刻的參數(shù)都可能變化，同時(shí)最近的觀測(cè)所包含的實(shí)際過程的信息量較大，所以要使得參數(shù)能根據(jù)當(dāng)前的觀測(cè)進(jìn)行更新。其次，EM算法先是求期望，再進(jìn)行最大化，不斷地迭代計(jì)算，得到的結(jié)果如 ()也是樣本在時(shí)間上的平均，即使簡(jiǎn)化為在線算法也要保證樣本在時(shí)間上有一個(gè)積累平均。由此可見，新的在線算法盡可能的保證了EM進(jìn)行參數(shù)估計(jì)的準(zhǔn)確性，同時(shí)又大大簡(jiǎn)化了EM算法，使其能夠應(yīng)用到實(shí)際中來。下面主要分析一下這種參數(shù)估計(jì)的EM在線算法。定義一個(gè)時(shí)變的增益二一廠(就是前面說的時(shí)間軸上的學(xué)習(xí)速率，把()簡(jiǎn)化為如下的形式: ()上述模型雖然體現(xiàn)了X的不平穩(wěn)性，但是有一點(diǎn)不足，當(dāng)t很大的時(shí)候，模型對(duì)新的觀測(cè)就會(huì)越來越不敏感，然而，相對(duì)于舊的觀測(cè)來說新的觀測(cè)應(yīng)該更加重要，這樣才能適應(yīng)實(shí)際模型的變化。為了克服這個(gè)缺陷，在實(shí)際應(yīng)用時(shí)可以給增益設(shè)置一個(gè)最小值代。，當(dāng)t很大的時(shí)候，增益就變成了一個(gè)定值。把()代入()和()得到: () () ()()()與()()并不是完全一致的，因?yàn)?)的定義少了一個(gè)因子，這樣做的好處是簡(jiǎn)化了計(jì)算，下文中會(huì)具體進(jìn)行分析。由()()可知，通過在線的EM方法估計(jì)混合高斯模型的參數(shù)歸根到底是要求P(k|Xt，)，這是一個(gè)后驗(yàn)概率，直觀上的意義可以理解為已知某個(gè)觀測(cè)戈，判斷這個(gè)觀測(cè)是由第k個(gè)高斯過程產(chǎn)生的概率。這個(gè)后驗(yàn)概率的重要性也可從()式看出，其中，第一個(gè)等號(hào)右邊的P(k)就是我們所要求的P(k|Xt，)。理論上來講，P(k|)是一個(gè)后驗(yàn)概率，可以由它的貝葉斯公式求得，即: ()當(dāng)前狀態(tài)可以由使得后驗(yàn)概率 ()最大的k進(jìn)行估計(jì)，如下: ()()式的分母與k是相互獨(dú)立的，所以()式中省略了分母。如果X是由K個(gè)物理表面中的一個(gè)產(chǎn)生的，那么()式可以很好的模擬現(xiàn)實(shí)情況。然而實(shí)際中，X往往很有可能不是由這K個(gè)高斯過程產(chǎn)生的，比如一個(gè)從未出現(xiàn)的表面進(jìn)入了像素的視野。這時(shí)，實(shí)際的模型應(yīng)該增加一個(gè)第K+l個(gè)高斯模型，這個(gè)高斯模型可以有一個(gè)先驗(yàn)概率叭，它的均值沒有定義，方差無窮大。()—()可知，我們實(shí)際上要求P(k|Xt，)，k對(duì)于直觀理解有些作用，但對(duì)參數(shù)估計(jì)是沒用的(k|))，因?yàn)樨惾~斯公式 ()右邊的參數(shù)正是EM要估計(jì)的參數(shù)，我們是要通過P(k|Xt，)來估計(jì)混合模型的參數(shù)，不能本末倒置，混合高斯中不能隨便加入新的高斯模型Stauffer—Grimson最大的貢獻(xiàn)莫過于提出了一種P(k|Xt，)的簡(jiǎn)化算法。他們用簡(jiǎn)單的匹配代替了P(k|xt，)的計(jì)算。(如果是一維的高斯過程，標(biāo)準(zhǔn)偏離由()定義。若是多維的情況，由()和()定義)內(nèi)時(shí)，認(rèn)為此觀測(cè)是由這個(gè)高斯產(chǎn)生的。 () () ()從而P(k|Xt,)簡(jiǎn)化為如下形式 ()如果有兩個(gè)或兩個(gè)以上的高斯都匹配，則取混合模型中峰值G最大的高斯作為匹配。這是一種大大的簡(jiǎn)化，同時(shí)，從客觀上來看這種簡(jiǎn)化也不無道理。在通常情況下，P(k|xt，)的取值為1或0，當(dāng)僅有一個(gè)高斯與觀測(cè)匹配時(shí)，P(k|xt，)的取值非常接近于l，對(duì)于以前從未進(jìn)入視野的表面來說，這個(gè)簡(jiǎn)化同樣適用，因?yàn)樗x了不匹配的情況。當(dāng)不匹配出現(xiàn)時(shí)，認(rèn)為有一個(gè)從未進(jìn)入視野的表面進(jìn)入了視野，選擇混合模型中峰值最小的高斯模型，把這個(gè)模型替換掉，用新觀測(cè)作為它的均值，并給它初始化一個(gè)較大的方差。如果這個(gè)表面是短暫的，它的峰值會(huì)隨著學(xué)習(xí)過程減小，并最終被新的表面所替換掉。如果這個(gè)表面是長(zhǎng)期出現(xiàn)的，它的峰值會(huì)隨著學(xué)習(xí)過程逐漸增大，并最終成為背景。因此，要求混合模型中高斯模型的數(shù)目至少能夠保證隨時(shí)有一個(gè)高斯處于閑置狀態(tài)可以用來模擬新出現(xiàn)的表面。然而，事物都是有著兩面性的。由于用匹配取代了后驗(yàn)概率的計(jì)算，背景概率的精確度大大降低，因此，在分割后的前景部分出現(xiàn)了很多的鏤空。但只要針對(duì)具體應(yīng)用對(duì)參數(shù)進(jìn)行適當(dāng)合理的選取，就可以控制鏤空的出現(xiàn)，而且，后處理時(shí)的中值濾波也會(huì)減小鏤空的影響。經(jīng)過權(quán)衡，后驗(yàn)概率的簡(jiǎn)化還是相當(dāng)有益和值得的。，然而，真正的StaufferGrimson算法定義的時(shí)間增益是一個(gè)定值代α，由式()可以看到，當(dāng)t趨近于無窮時(shí)與時(shí)變?cè)鲆娴男Ч且粯拥?，但這種定義在初始化的時(shí)候會(huì)遇到問題。StaufferGrimson定義的p見()，見()也不完全相同 () () ()首先來看一下()，定義的好處，由于少了一個(gè)因子， 因此計(jì)算量大大降低，只需要根據(jù)()判斷是否匹配就能得到結(jié)果，而StaufferGrimson還要再計(jì)算一次，這個(gè)概率的計(jì)算有指數(shù)有乘方，相對(duì)于比較運(yùn)算(判斷是否匹配)開銷要大很多。再來看一下這樣定義的問題，導(dǎo)致前一時(shí)刻的估計(jì)為0或非實(shí)數(shù)，這樣在具體計(jì)算之前要進(jìn)行判斷，而StaufferGrimson的方法就不存在這樣的問題。這里的背景分割實(shí)際上指的就是判斷當(dāng)前的觀測(cè)是前景還是背景。由()可知，混合高斯模型模擬的是客觀的過程，不分主觀上的前景或背景，也就是說，混合模型中的各高斯過程既有可能是前景過程，又有可能是背景過程。因此，如果背景是雙表面的，混合模型中最少要有三個(gè)高斯模型，其中兩個(gè)模擬背景，另外一個(gè)模擬前景。如果混合模型少于兩個(gè)，混合高斯模型就相當(dāng)于在時(shí)間上求平均得到背景，并用當(dāng)前幀減去背景得到前景。然而，K并不是越大越好，從（）實(shí)驗(yàn)表明，五個(gè)模型以上效果就沒有多少改善的余地了。由()第一個(gè)等號(hào)右邊的表達(dá)式可以看到，一個(gè)觀測(cè)為背景的概率是由兩個(gè)后驗(yàn)概率的積相加得到的。()把后驗(yàn)概率P(k|Xt,)的計(jì)算用判斷匹配來代替，實(shí)際上除了匹配的高斯模型P(k|x)等于1外，其余的高斯模型P(q|x)都等于因此，P(x|Xt,B)也不得不用類似的兩分法進(jìn)行簡(jiǎn)化。從而，實(shí)際的背景分割過程首先判斷當(dāng)前觀測(cè)與哪一個(gè)高斯模型匹配，然后再判斷這個(gè)高斯模型是屬于背景還是前景。剩下一個(gè)問題就是判斷各個(gè)模型是屬于前景還是背景。StaufferGrimson采用了一種排序的機(jī)制，即按照成為背景的可能性由大到小把各高斯模型排序，選擇Gk作成背景可能的參數(shù)，這個(gè)值越大，相應(yīng)的高斯模型就越有可能是背影從公式上看，加權(quán)高斯分布、的峰值成正比直觀來看，一個(gè)表面如果經(jīng)常出現(xiàn)在視野中(大的)，觀測(cè)值不怎么變化，比較穩(wěn)定(小的)，就很有可能是背景。StauflrGrimson定義了一個(gè)參數(shù)T表示視野中看到背景的概率，根據(jù)剛才的排序，滿足下式的前面B個(gè)模型為背景模型，剩下的模型默認(rèn)為是前景模型。 ()至此，整個(gè)算法的理論框架及衍變來的實(shí)際算法的各個(gè)問題都已解決。 EM方法參數(shù)估計(jì)是數(shù)學(xué)建模應(yīng)用到實(shí)際中的關(guān)鍵步驟，是許多新技術(shù)的研究前提和應(yīng)用保證。傳統(tǒng)的參數(shù)估計(jì)有很多種，經(jīng)常用到的有最大似然估計(jì)，最大似然估計(jì)算法有較強(qiáng)的優(yōu)勢(shì)，它能實(shí)現(xiàn)聯(lián)合參量數(shù)值大小和正負(fù)性的雙重估計(jì)，而且趨于真值的收斂速度快，但計(jì)算復(fù)雜度的問題使得它的實(shí)現(xiàn)比較困難。期望最大化 (ExpectationMaximiyjio