【正文】 智能視頻監(jiān)控系統(tǒng)的一個(gè)基本環(huán)節(jié)。運(yùn)動(dòng)目標(biāo)的有效分割對(duì)于目標(biāo)識(shí)行為理解等后期的處理是非常重要的。主要研究基于高斯混合模型的運(yùn)動(dòng)目標(biāo)分割方法。 Gauss mixes the model。 Background division目 錄摘 要 Abstract 第一章 緒論 6 6 6 7 8第二章 運(yùn)動(dòng)目標(biāo)的分割技術(shù) 9 9 10 11 11 12第三章 基于高斯混合模型的運(yùn)動(dòng)目標(biāo)分割 13 13 13 14 15(x)中的各個(gè)參數(shù) 15 17 19 19 EM方法 20第四章 分割后處理 22 22 22 23 23 23 24 26 26第五章 實(shí)驗(yàn)結(jié)果與討論 28 28 28 28 28 28 33 34 35第六章 總結(jié)與展望 36參考文獻(xiàn) 37致 謝 39附 錄 39第一章 緒論人體目標(biāo)的視覺(jué)分析是把計(jì)算機(jī)視覺(jué)方法應(yīng)用到傳統(tǒng)的視覺(jué)監(jiān)控領(lǐng)域中，用計(jì)算機(jī)實(shí)現(xiàn)人體目標(biāo)的視覺(jué)分析，來(lái)提高監(jiān)控系統(tǒng)的智能化，在實(shí)際應(yīng)用方面非常有意義。大體上可分為底層視覺(jué)模塊、中間層數(shù)據(jù)融合模塊和高層視覺(jué)模塊。但是視頻分割技術(shù)一直是計(jì)算機(jī)視覺(jué)及多媒體應(yīng)用中最困難的問(wèn)題之一。圖像分割是圖像工程中一項(xiàng)十分重要的技術(shù)。這些區(qū)域常稱為目標(biāo)、目標(biāo)或前景(相對(duì)前景來(lái)說(shuō)其他部分稱為背景)，它們一般對(duì)應(yīng)圖像中特定的、具有獨(dú)特性質(zhì)或意義的區(qū)域。分割是一個(gè)很大而且比較難的話題，針對(duì)分割的目標(biāo)數(shù)據(jù)集的不同，可以把分割分為對(duì)靜態(tài)圖像的分割、對(duì)視頻流的分割和對(duì)樣本(感興趣模式的標(biāo)識(shí)符，如圓點(diǎn)、直線等)的分割。要想為分割建立起一個(gè)系統(tǒng)的理論架構(gòu)比較難，其中的一個(gè)原因就是，很難從比舉例更實(shí)用的層次去評(píng)價(jià)一個(gè)分割方法。盡管圖像分割的研究已有幾十年的歷史，得到了廣泛重視、研究和應(yīng)用，但至今尚無(wú)通用的分割理論，現(xiàn)已提出的分割算法大都是針對(duì)具體問(wèn)題的，并沒(méi)有適合于所有圖像的通用的分割算法。就拿以運(yùn)動(dòng)為特征對(duì)視頻流進(jìn)行的運(yùn)動(dòng)目標(biāo)分割來(lái)說(shuō)，從幀差法[5]再到光流法以及混合的方法，其中，以StauLuffeGrimson的混合高斯模型方法效果最為出眾，以它為基礎(chǔ)進(jìn)行改進(jìn)的運(yùn)動(dòng)目標(biāo)分割算法應(yīng)用也最為廣泛[7]。當(dāng)遇到運(yùn)動(dòng)目標(biāo)與背景顏色相近、背景中的物體突然移動(dòng)、產(chǎn)生陰影或是背景擾動(dòng)[1]等情況時(shí)，混合高斯模型的效果就會(huì)受到影響。而運(yùn)動(dòng)目標(biāo)分割涉及對(duì)視頻內(nèi)容的分析和理解，這與人工智能、圖像理解、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺(jué)等學(xué)科有密切聯(lián)系。同時(shí)關(guān)于計(jì)算機(jī)視覺(jué)的研究也表明要實(shí)現(xiàn)正確的圖像分割需要在更高層次上對(duì)視頻內(nèi)容進(jìn)行理解。目前進(jìn)行視頻目標(biāo)分割的一般步驟是:先對(duì)視頻圖像數(shù)據(jù)進(jìn)行預(yù)處理以利于分割，這可通過(guò)低通濾波、中值濾波、形態(tài)濾波來(lái)完成。再基于某種均勻性標(biāo)準(zhǔn)來(lái)確定分割決策，根據(jù)所提取特征將視頻數(shù)據(jù)歸類。本文主要研究基于參數(shù)模型的運(yùn)動(dòng)目標(biāo)分割方法，而參數(shù)模型是指采用某特定形式的概率密度函數(shù)來(lái)描述語(yǔ)音特征矢量在特征空間的分布情況以該概率密度函數(shù)的一組參數(shù)作為模型的特征[6]。瞬態(tài)響應(yīng)曲線和頻率響應(yīng)曲線稱為非參數(shù)模型。參數(shù)模型是一個(gè)很籠統(tǒng)的概念，實(shí)際中有著各種各樣的參數(shù)模型，而本文主要以其中的高斯混合模型為基礎(chǔ)，來(lái)實(shí)際進(jìn)行操作。從貝葉斯的觀點(diǎn)來(lái)看，這種判斷應(yīng)該是基于后驗(yàn)概率的?，F(xiàn)在我們不知道背景和前景的準(zhǔn)確定義，因?yàn)槭裁词潜尘笆裁词乔熬笆呛途唧w應(yīng)用環(huán)境密切相關(guān)的，背景和前景的區(qū)分是高層的語(yǔ)義，屬于圖像理解的層面。在運(yùn)動(dòng)目標(biāo)分割方面:運(yùn)動(dòng)目標(biāo)的有效分割對(duì)于目標(biāo)分類、特征提取、特征表達(dá)與最后的識(shí)別等處理非常重要，因?yàn)楹笃谔幚淼倪^(guò)程僅僅考慮圖像中對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的像素。同時(shí)，從最基本的理論框架開始，對(duì)混合高斯模型算法進(jìn)行了詳細(xì)的分析，并基于混合高斯模型算法對(duì)視頻圖像中的運(yùn)動(dòng)目標(biāo)分割進(jìn)行研究。在實(shí)際應(yīng)用過(guò)程中，有很多影響因素都對(duì)分割算法造成了困難口。然而，眾所周知，圖像分割本身就是一個(gè)病態(tài)問(wèn)題，因?yàn)榈讓訑?shù)據(jù)所提供的信息總是少于分割本身所需的信息，所以分割沒(méi)有唯一的結(jié)果，沒(méi)有最優(yōu)的結(jié)果，沒(méi)有正確的結(jié)果，沒(méi)有錯(cuò)誤的結(jié)果，分割應(yīng)視具體應(yīng)用的不同而有不同的策略、準(zhǔn)則，沒(méi)有一個(gè)通用的方法。目前利用各種手段的分割方法層出不窮，它們的各種組合也在各種環(huán)境下發(fā)揮著各自的作用。其實(shí)很多方法都是復(fù)合的方法，最常見的是將運(yùn)動(dòng)的特征應(yīng)用到傳統(tǒng)的圖像分割中去達(dá)到目的，或是將傳統(tǒng)的圖像分割技術(shù)(如形態(tài)學(xué)方法)與運(yùn)動(dòng)檢測(cè)相結(jié)合，要想完全清晰的對(duì)各種方法進(jìn)行分類是一件很困難的事情，業(yè)內(nèi)也沒(méi)有一個(gè)很好的方法。下面將對(duì)一些基本的分割方法或思想進(jìn)行簡(jiǎn)略分析和介紹。它們一般可以表示為。相鄰兩圖像獲取的時(shí)間間隔可以相等，也可以不等，一般取所有圖像的獲取時(shí)間間隔相等。由于運(yùn)動(dòng)目標(biāo)所形成的圖像序列可分為兩種情況：一種是靜止背景，一種是變化背景。對(duì)前一種情況可采用消除背景的方法，處理起來(lái)比較簡(jiǎn)單。將不同時(shí)刻的兩幅圖像進(jìn)行不交，可以反映出一個(gè)運(yùn)動(dòng)物體在此背景下的運(yùn)動(dòng)結(jié)果。在相減后的圖像中，灰度不發(fā)生變化的部分被減掉，這里包括大部分背景和一小部分目標(biāo)。實(shí)際上，由公式（）得到的將是兩個(gè)較為明顯的變化區(qū)域，而在某些實(shí)際情況中只需要一處，故一般把絕對(duì)值號(hào)去掉，變?yōu)? （）光流計(jì)算技術(shù)是Gibson于1950年提出。光流法分割運(yùn)動(dòng)目標(biāo)的基本原理是：給圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，這就形成了一個(gè)圖像運(yùn)動(dòng)場(chǎng)，在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上的點(diǎn)與三維物體上的點(diǎn)一一對(duì)應(yīng)，這種對(duì)應(yīng)關(guān)系可由投影關(guān)系得到，根據(jù)各個(gè)像素點(diǎn)的速度矢量特征，可以對(duì)圖像進(jìn)行動(dòng)態(tài)分析。在傳統(tǒng)的計(jì)算機(jī)視覺(jué)領(lǐng)域，嚴(yán)格的各自獨(dú)立的分層理論有著廣泛的影響。Kass等人對(duì)這種模型提出了挑戰(zhàn)，于1987年提出了稱為Snake的主動(dòng)輪廓線模型。設(shè)參數(shù)曲線：w(s)=[x(s),y(s)]，并定義能量函數(shù)為 （）式中：和分別為調(diào)整曲線張性的加權(quán)參數(shù)和剛性的加權(quán)參數(shù)；和分別為曲線對(duì)s的一階和二階導(dǎo)數(shù)；是由圖像決定的外部能量。對(duì)于灰度圖像I(x,y)來(lái)說(shuō)，外部能量通?？杀硎緸? ()式中：是方差為的二維高斯函數(shù)；是梯度算子。它利用隨機(jī)平滑度約束條件，采用Gibbe分布，估計(jì)位移場(chǎng)。它是檢測(cè)當(dāng)前的分割符合被觀察的光流數(shù)據(jù)的程度和當(dāng)前分割與我們的期望值一致程度的方法。使用空間變換的網(wǎng)格模型成為目前一個(gè)積極的研究領(lǐng)域。除以上介紹的四個(gè)主流方法以外，現(xiàn)今所有的分割方法還有基于高階統(tǒng)計(jì)的方法；基于小波的方法；基于人工神經(jīng)網(wǎng)絡(luò)的方法，基于形態(tài)學(xué)的分割方法；遺傳算法以及使用空間變換的網(wǎng)絡(luò)模型的分割方法等等，由于篇章問(wèn)題，也就不一一列舉。這種方法運(yùn)用了數(shù)學(xué)建模的思想，對(duì)圖像所反映的客觀事物進(jìn)行像素級(jí)的建模。第三章 基于高斯混合模型的運(yùn)動(dòng)目標(biāo)分割把某個(gè)點(diǎn)隨時(shí)間的變化作為一個(gè)隨機(jī)過(guò)程，這個(gè)隨機(jī)過(guò)程可能是由幾個(gè)不同的隨機(jī)過(guò)程合成的，其中每個(gè)隨機(jī)過(guò)程都表示一個(gè)具體的物理過(guò)程(可以理解為某一個(gè)物理表面的觀測(cè)隨時(shí)間的變化過(guò)程)，真實(shí)世界中的很多物理過(guò)程都可以用高斯過(guò)程來(lái)模擬，因此混合高斯模型由此得名。用公式表示某點(diǎn)在某時(shí)刻的隨機(jī)分布率[14]就是 ()q表示第k個(gè)高斯分布，及表示正態(tài)分布概率密度函數(shù)。然后估計(jì)每個(gè)高斯過(guò)程是背景過(guò)程(即它所代表的物理表面被作為背景，以下同)的概率。因此，當(dāng)某時(shí)刻某點(diǎn)的觀測(cè)是來(lái)自前景過(guò)程的概率(這個(gè)概率是用混合分布率以后驗(yàn)概率的形式表示的)大于50%時(shí)，這個(gè)觀測(cè)就被判定為前景(這個(gè)點(diǎn)被認(rèn)為是前景點(diǎn))。解決第二個(gè)問(wèn)題就要估計(jì)B，即判斷每個(gè)高斯過(guò)程是屬于前景還是背景，這就不可避免的與具體的應(yīng)用環(huán)境有關(guān)，而且是啟發(fā)式的(需要高層語(yǔ)義的指導(dǎo)，即需要理解)。顯而易見，在像素級(jí)的處理(以像素為處理單位，不考慮各像素間的空間相關(guān)性)中不可能做到完全正確的分割。可以使用區(qū)域級(jí)幀級(jí)分割、動(dòng)態(tài)模板或是禍合目標(biāo)模型等方法來(lái)引進(jìn)高層語(yǔ)義。然而，事先必須定義好什么才是背景模型，在這個(gè)貝葉斯框架下可以做出一個(gè)理論上比較合理的定義。其中，某個(gè)樣本點(diǎn)被認(rèn)為是背景的概率為P(x，B)。因此，各P(x|q)對(duì)實(shí)際的模型有很大的影響。很多早期的論文就使用了這種方法，即把最有可能的幾個(gè)高斯作背景，其余的都不是背景。然而，當(dāng)某個(gè)高斯在背景和前景間變化時(shí)會(huì)產(chǎn)生突變。經(jīng)過(guò)上一節(jié)的理論分析，可以歸納出應(yīng)用混合高斯模型的實(shí)際步驟:首先，我們要使用參數(shù)估計(jì)的某種方法通過(guò)觀察到的樣本估計(jì)混合高斯模型的各個(gè)參數(shù)，包括其中的各個(gè)高斯模型P(r|q)的均值、方差，以及各高斯模型的加權(quán)系數(shù)，用高斯模型出現(xiàn)的先驗(yàn)概率P(q)來(lái)表示。下面的分析很多都要和參數(shù)打交道，在參數(shù)估計(jì)的過(guò)程中為了突出參數(shù)，我把公式用了另一種表示方法，但實(shí)際上是等價(jià)的。(x)中的各個(gè)參數(shù)這是當(dāng)觀測(cè)數(shù)據(jù)為不完全數(shù)據(jù)時(shí)求解最大似然估計(jì)的問(wèn)題。其中，期望最大化 (ExPeetationMax如ization，EM)是一種使用最廣泛的方法，它用迭代的方法求解最大似然估計(jì)。具體的EM算法將在下一節(jié)進(jìn)行闡述。表示待估計(jì)的參數(shù)集合，氏表示第k個(gè)高斯分布的參數(shù)集合。因此，就是定義一個(gè)時(shí)間軸上的學(xué)習(xí)速率，使得某一時(shí)刻的參數(shù)不僅能根據(jù)當(dāng)前的觀測(cè)進(jìn)行更新，同時(shí)能夠利用前一時(shí)刻的參數(shù)進(jìn)行時(shí)間上的積累平均。其次，EM算法先是求期望，再進(jìn)行最大化，不斷地迭代計(jì)算，得到的結(jié)果如 ()也是樣本在時(shí)間上的平均，即使簡(jiǎn)化為在線算法也要保證樣本在時(shí)間上有一個(gè)積累平均。下面主要分析一下這種參數(shù)估計(jì)的EM在線算法。為了克服這個(gè)缺陷，在實(shí)際應(yīng)用時(shí)可以給增益設(shè)置一個(gè)最小值代。把()代入()和()得到: () () ()()()與()()并不是完全一致的，因?yàn)?)的定義少了一個(gè)因子，這樣做的好處是簡(jiǎn)化了計(jì)算，下文中會(huì)具體進(jìn)行分析。這個(gè)后驗(yàn)概率的重要性也可從()式看出，其中，第一個(gè)等號(hào)右邊的P(k)就是我們所要求的P(k|Xt，)。如果X是由K個(gè)物理表面中的一個(gè)產(chǎn)生的，那么()式可以很好的模擬現(xiàn)實(shí)情況。這時(shí)，實(shí)際的模型應(yīng)該增加一個(gè)第K+l個(gè)高斯模型，這個(gè)高斯模型可以有一個(gè)先驗(yàn)概率叭，它的均值沒(méi)有定義，方差無(wú)窮大。他們用簡(jiǎn)單的匹配代替了P(k|xt，)的計(jì)算。若是多維的情況，由()和()定義)內(nèi)時(shí)，認(rèn)為此觀測(cè)是由這個(gè)高斯產(chǎn)生的。這是一種大大的簡(jiǎn)化，同時(shí)，從客觀上來(lái)看這種簡(jiǎn)化也不無(wú)道理。當(dāng)不匹配出現(xiàn)時(shí)，認(rèn)為有一個(gè)從未進(jìn)入視野的表面進(jìn)入了視野，選擇混合模型中峰值最小的高斯模型，把這個(gè)模型替換掉，用新觀測(cè)作為它的均值，并給它初始化一個(gè)較大的方差。如果這個(gè)表面是長(zhǎng)期出現(xiàn)的，它的峰值會(huì)隨著學(xué)習(xí)過(guò)程逐漸增大，并最終成為背景。然而，事物都是有著兩面性的。但只要針對(duì)具體應(yīng)用對(duì)參數(shù)進(jìn)行適當(dāng)合理的選取，就可以控制鏤空的出現(xiàn)，而且，后處理時(shí)的中值濾波也會(huì)減小鏤空的影響。，然而，真正的StaufferGrimson算法定義的時(shí)間增益是一個(gè)定值代α，由式()可以看到，當(dāng)t趨近于無(wú)窮時(shí)與時(shí)變?cè)鲆娴男Ч且粯拥模@種定義在初始化的時(shí)候會(huì)遇到問(wèn)題。再來(lái)看一下這樣定義的問(wèn)題，導(dǎo)致前一時(shí)刻的估計(jì)為0或非實(shí)數(shù)，這樣在具體計(jì)算之前要進(jìn)行判斷，而StaufferGrimson的方法就不存在這樣的問(wèn)題。由()可知，混合高斯模型模擬的是客觀的過(guò)程，不分主觀上的前景或背景，也就是說(shuō)，混合模型中的各高斯過(guò)程既有可能是前景過(guò)程，又有可能是背景過(guò)程。如果混合模型少于兩個(gè)，混合高斯模型就相當(dāng)于在時(shí)間上求平均得到背景，并用當(dāng)前幀減去背景得到前景。由()第一個(gè)等號(hào)右邊的表達(dá)式可以看到，一個(gè)觀測(cè)為背景的概率是由兩個(gè)后驗(yàn)概率的積相加得到的。從而，實(shí)際的背景分割過(guò)程首先判斷當(dāng)前觀測(cè)與哪一個(gè)高斯模型匹配，然后再判斷這個(gè)高斯模型是屬于背景還是前景。StaufferGrimson采用了一種排序的機(jī)制，即按照成為背景的可能性由大到小把各高斯模型排序，選擇Gk作成背景可能的參數(shù)，這個(gè)值越大，相應(yīng)的高斯模型就越有可能是背影從公式上看，加權(quán)高斯分布、的峰值成正比直觀來(lái)看，一個(gè)表面如果經(jīng)常出現(xiàn)在視野中(大的)，觀測(cè)值不怎么變化，比較穩(wěn)定(小的)，就很有可能是背景。 ()至此，整個(gè)算法的理論框架及衍變來(lái)的實(shí)際算法的各個(gè)問(wèn)題都已解決。傳統(tǒng)的參數(shù)估計(jì)有很多種，經(jīng)常用到的有最大似然估計(jì)，最大似然估計(jì)算法有較強(qiáng)的優(yōu)勢(shì)，它能實(shí)現(xiàn)聯(lián)合參量數(shù)值大小和正負(fù)性的雙重估計(jì)，而且趨于真值的收斂速度快，但計(jì)算復(fù)雜度的問(wèn)題使得它的實(shí)現(xiàn)比較困難。假設(shè)某隨機(jī)向量由兩部分組成:可見部分Z和隱含部分c，滿足分布P=（C=i,Z|)。容易證明函數(shù)是凸函數(shù)，所以，于是： ()將P=（C=i,Z|)簡(jiǎn)寫成P=（Ci,Z|)，就可以得到下面的等式：