【正文】 運(yùn)動(dòng)人體檢測(cè)和跟蹤問(wèn)題仍是該領(lǐng)域主要的研究方向[7]。 本文提出了一種基于多特征的人體移動(dòng)目標(biāo)跟蹤算法，實(shí)現(xiàn)了對(duì)多個(gè)人體的有效跟蹤。對(duì)于運(yùn)動(dòng)前景采用中值濾波去除噪聲，并使用數(shù)學(xué)形態(tài)學(xué)的開(kāi)運(yùn)算去除小面積的非人體運(yùn)動(dòng)部分。在跟蹤中采用了區(qū)域跟蹤和特征跟蹤相結(jié)合的方法，把運(yùn)動(dòng)區(qū)域的中心點(diǎn)作為運(yùn)動(dòng)特征點(diǎn)進(jìn)行跟蹤?？柭鼮V波的迭代計(jì)算采用衰減記憶濾波法與平方根濾波法，抑制了發(fā)散。第2章 人體運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤理論概述 隨著計(jì)算機(jī)視覺(jué)、模式識(shí)別等相關(guān)領(lǐng)域的研究和發(fā)展，人體運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤的方法也層出不窮，以適應(yīng)不同的應(yīng)用環(huán)境。 靜態(tài)背景下攝像機(jī)位置保持固定，只有跟蹤目標(biāo)和其他待濾除的運(yùn)動(dòng)物體發(fā)生相對(duì)運(yùn)動(dòng)，背景不改變或者只有微小的改變；動(dòng)態(tài)背景下攝像機(jī)在跟蹤過(guò)程中可能會(huì)發(fā)生移動(dòng)或旋轉(zhuǎn)，導(dǎo)致視頻的前后相鄰兩幀和背景發(fā)生巨大變化。運(yùn)動(dòng)目標(biāo)檢測(cè)由運(yùn)動(dòng)物體分割和運(yùn)動(dòng)物體分類兩部分組成。運(yùn)動(dòng)部分的分割常常受到光線變化、影子和遮擋等因素的影響。常用的分割方法有以下幾種。在運(yùn)動(dòng)檢測(cè)中，背景減法（Background Subtraction）是一種常用的技術(shù)，尤其是對(duì)于靜態(tài)場(chǎng)景。這種方案簡(jiǎn)單易行，但是極易受到光照等外部環(huán)境變化的影響，必須配合其他方法進(jìn)行修正。 圖 背景減除法原理示意圖 一種改進(jìn)的閾值法是采用雙閾值方法。Mckenna等利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型來(lái)處理影子和不可靠色彩線索對(duì)于分割的影響。 （2）統(tǒng)計(jì)方法。它首先計(jì)算背景像素的統(tǒng)計(jì)信息(顏色、灰度、邊界等)，使用個(gè)體的像素或一組像素的特征來(lái)建立一個(gè)較為高級(jí)的背景模型，而且背景的統(tǒng)計(jì)值可以動(dòng)態(tài)地更新。由于統(tǒng)計(jì)學(xué)方法在噪聲，影子光線改變等于擾條件下具有較好的魯棒性，已經(jīng)成為研究熱點(diǎn)。在這種方法中，他們?yōu)槊恳粋€(gè)像素建立一個(gè)混合高斯模型，并且用在線估計(jì)對(duì)它進(jìn)行更新，并且運(yùn)用自適應(yīng)混合模型的高斯分布來(lái)評(píng)估并決定該像素是前景還是背景，可以有效的處理光線變化和背景混亂，設(shè)計(jì)出了一整套可靠、實(shí)時(shí)性強(qiáng)的室外跟蹤系統(tǒng)。他是通過(guò)計(jì)算每個(gè)像素點(diǎn)所具有的3個(gè)值：最小強(qiáng)度、最大強(qiáng)度和在訓(xùn)練期觀測(cè)到的連續(xù)幀之間的最大強(qiáng)度差分值來(lái)描述每一個(gè)像素，背景模型參數(shù)可以周期性地更新。基于統(tǒng)計(jì)的方法由于涉及大量計(jì)算和變換，對(duì)現(xiàn)有的硬件設(shè)備要求較高，成為其制約因素。 （3）幀間差分法。幀間差分對(duì)光線等變化不太敏感，對(duì)動(dòng)態(tài)環(huán)境具有很強(qiáng)的自適應(yīng)性，檢測(cè)有效穩(wěn)定。特別是當(dāng)目標(biāo)移動(dòng)緩慢時(shí)，相鄰兩幀之間的差異很小，很難提取出整個(gè)運(yùn)動(dòng)區(qū)域，即使提取的區(qū)域也難以完整精確地描述運(yùn)動(dòng)目標(biāo)。對(duì)快速移動(dòng)的目標(biāo)，應(yīng)選擇較小的時(shí)間差，避免造成前后兩幀沒(méi)有重疊，而被分割為兩個(gè)分開(kāi)的物體；對(duì)于移動(dòng)速度很慢的物體，則應(yīng)選擇較大的時(shí)間差，否則可能造成物體在前后兩幀中重疊部分過(guò)大，而檢測(cè)不到。 為差分圖像 (b)、圖像二值化。 對(duì)二值圖像進(jìn)行腐蝕和膨脹運(yùn)算，得到一個(gè)或多個(gè)連通區(qū)域 。 對(duì)連通區(qū)域分析判斷，舍去面積較小的區(qū)域。光流是圖像中各像素點(diǎn)運(yùn)動(dòng)的速度分布，它是一種瞬時(shí)速度場(chǎng)，即向量場(chǎng)， 每一個(gè)向量表示了景物中一個(gè)點(diǎn)在圖像中位置的瞬時(shí)變化。在比較理想的情況下，光流法在攝像機(jī)運(yùn)動(dòng)的條件下能檢測(cè)到獨(dú)立的運(yùn)動(dòng)目標(biāo)，不需要預(yù)先知道場(chǎng)景的任何信息，可以很精確地計(jì)算出運(yùn)動(dòng)物體的速度。 除了上述的基本分割方案，還有EEM（Extended Expectation Maximization）算法以及基于數(shù)學(xué)形態(tài)學(xué)的分割方法等 運(yùn)動(dòng)物體分類 由運(yùn)動(dòng)分割得到的不同運(yùn)動(dòng)部分可能屬于不同種類的運(yùn)動(dòng)物體，比如人體視頻監(jiān)控系統(tǒng)得到的運(yùn)動(dòng)部分就可能包括飛行的鳥(niǎo)、飄動(dòng)的云和晃動(dòng)的樹(shù)等，要從中提取人體就要進(jìn)行運(yùn)動(dòng)物體分類，把人從運(yùn)動(dòng)物體中識(shí)別出來(lái)。一般可用形態(tài)學(xué)方法進(jìn)行處理，考慮運(yùn)動(dòng)目標(biāo)的分散度、面積、輪廓、高寬比等有關(guān)形態(tài)方面的參數(shù)，來(lái)區(qū)分人以外的運(yùn)動(dòng)目標(biāo)，通過(guò)這些方法甚至可以去除部分噪聲的影響。人不管外形特征還是皮膚顏色都是明顯的，所以人的分類可以采取多種方法。通過(guò)檢測(cè)模塊得到一個(gè)二值化的前景圖像，對(duì)這個(gè)前景圖像進(jìn)行橫向和縱向的投影可以得到橫向和縱向的長(zhǎng)度比，通常稱之為“寬高比”。這個(gè)人體特有的特征也可以是人體的“面積，它指的是在通過(guò)檢測(cè)模塊得到二值化的圖像中人體所占像素的多少，通過(guò)面積的比較，可以除去一般情況下面積較大的運(yùn)動(dòng)的汽車(chē)、動(dòng)物、以及擺動(dòng)的樹(shù)葉。 （2）基于運(yùn)動(dòng)的分類。一種方案對(duì)于這種周期性的運(yùn)動(dòng)進(jìn)行時(shí)頻分析，利用人體運(yùn)動(dòng)周期性出現(xiàn)的自相似性來(lái)實(shí)現(xiàn)分類；還有方案將此方法與光流法結(jié)合，根據(jù)殘留的大小來(lái)實(shí)現(xiàn)分類。 運(yùn)動(dòng)目標(biāo)跟蹤 運(yùn)動(dòng)目標(biāo)跟蹤也是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要內(nèi)容，它利用運(yùn)動(dòng)目標(biāo)分割的結(jié)果，又為運(yùn)動(dòng)的分析理解等高級(jí)內(nèi)容提供基礎(chǔ)。目前常用的跟蹤方案有以下4種. (1)基于模型的跟蹤。模型通常由關(guān)節(jié)和線條骨架組成，用軸來(lái)表示狀態(tài)空間中的關(guān)節(jié)自由度，用狀態(tài)空間來(lái)描述姿態(tài)。人體的幾何模型有簡(jiǎn)單到復(fù)雜可以建立為棍狀模型，二維邊界模型和三維立體模型，建立模型之后就可以通過(guò)將運(yùn)動(dòng)物體與模型對(duì)比從而實(shí)現(xiàn)跟蹤。 （2）基于區(qū)域的跟蹤。區(qū)域跟蹤實(shí)現(xiàn)較為簡(jiǎn)單，在許多系統(tǒng)中有廣泛應(yīng)用，但在兩種情況下有很大困難，一是人體存在較長(zhǎng)影子，二是人體有重疊交錯(cuò)現(xiàn)象。動(dòng)態(tài)邊界模型又叫snake，能夠表示不斷變化的運(yùn)動(dòng)人體的邊界。 （4）基于特征的跟蹤。該方法通過(guò)跟蹤 目標(biāo)的特征點(diǎn)、特征線來(lái)實(shí)現(xiàn)對(duì)人的跟蹤，通常還需要結(jié)合紋理、色彩及形狀 特征來(lái)提高跟蹤的魯棒性。另外Tissainayagam．P 和Surer．D[24]的文章中，物體由關(guān)鍵特征點(diǎn)來(lái)描述，這些關(guān)鍵點(diǎn)是運(yùn)動(dòng)輪廓的 角點(diǎn)(corner point)，通過(guò)跟蹤角點(diǎn)來(lái)跟蹤人的運(yùn)動(dòng)。在進(jìn)行目標(biāo)跟蹤時(shí)，為了保證跟蹤的可靠性和準(zhǔn)確性，往往幾 種算法混合才能得到更好的跟蹤效果。此方案必須在跟蹤的復(fù)雜性與有效性之間進(jìn)行折中。通過(guò)建立統(tǒng)計(jì)背景模型，將運(yùn)動(dòng)圖像與模型比較，可以檢測(cè)到運(yùn)動(dòng)前景部分。通過(guò)對(duì)人體運(yùn)動(dòng)前景分析得到各個(gè)運(yùn)動(dòng)者對(duì)應(yīng)的模塊，對(duì)各個(gè)運(yùn)動(dòng)模塊繼而采用卡爾曼濾波來(lái)實(shí)現(xiàn)跟蹤。AVI是一種RIFF文件格式，用于音視頻捕捉、編輯、回放中。它的文件頭最開(kāi)始是一個(gè)4字符碼“RIFF”；緊跟著后面用4個(gè)字節(jié)表示次文件大??；然后又是4個(gè)字符碼說(shuō)明文件具體類型（AVI、WAVE等）；最后是實(shí)際數(shù)據(jù)。 AVI文件類型用4字符碼“AVI”表示。RIFF（‘AVI’LIST（‘hdrl’ ‘a(chǎn)vih’（主AVI信息頭數(shù)據(jù)）LIST（‘strl’ ‘strh’（流的頭信息數(shù)據(jù)） ‘strf’（流的格式信息數(shù)據(jù)） [‘strd’（可選的額外的頭信息數(shù)據(jù)） [‘strn’（可選的流的名字） ） ）LIST（‘movi’ {stbchunk | LIST （‘rec’ Subchunk1 Subchunk2 ） } ）[‘idxl’（可選的AVI索引塊數(shù)據(jù)）]RIFF表征文件類型，hdrl列表描述AVI文件中各個(gè)流的格式信息，hdrl嵌套了一系列塊和子列表——avih塊用于記錄AVI的全局信息，比如流的數(shù)量、視頻圖像的寬和高等，可以使用一個(gè)AVIMAINHEADER數(shù)據(jù)結(jié)構(gòu)來(lái)操作。如果是視頻流，則用BITMAPINFO數(shù)據(jù)結(jié)構(gòu)來(lái)描述；如果是音頻流，則用一個(gè)WAVEFORMATEX數(shù)據(jù)結(jié)構(gòu)來(lái)描述。那么怎么組織這些數(shù)據(jù)呢？可以將數(shù)據(jù)塊直接嵌在“movi”列表里面也可以幾個(gè)數(shù)據(jù)塊分組成一個(gè)“rec”列表后在編排進(jìn)“movi”列表。這個(gè)4字符碼由2個(gè)字節(jié)的類型碼和2個(gè)字節(jié)的流編號(hào)組成。 緊跟在“movi”后是AVI可選的索引塊。索引塊用一個(gè)“idxl”來(lái)表征，索引信息用一個(gè)數(shù)據(jù)結(jié)構(gòu)AVIOLDINDEX定義。BMP文件可以用每像素16或24位來(lái)編碼顏色信息，這個(gè)位數(shù)稱為圖像的顏色深度，決定了圖像所含的最大顏色數(shù)。 表 位圖文件頭（bitmapfile header） 14字節(jié)位圖信息頭（bitmapinformation header） 40字節(jié)彩色表/調(diào)色板（color table） 位圖數(shù)據(jù)（bitmapdata） （1）位圖文件頭。如從哪里開(kāi)始是位圖數(shù)據(jù)的定位信息、文件大小等。位圖信息頭包含了單個(gè)像素所用字節(jié)數(shù)以及描述顏色的格式，此外還包括位圖的寬度（以像素為單位）、高度（以像素為單位）、目標(biāo)設(shè)備的位平面數(shù)、圖像的壓縮格式（一般都是0）、圖像數(shù)據(jù)大小（以字節(jié)為單位）、水平和垂直方向像素密度以及調(diào)色板實(shí)際使用的顏色數(shù)。顏色表一般針對(duì)16位以下的圖像二設(shè)置的，對(duì)于16位以上的圖像，由于其位圖像素?cái)?shù)據(jù)中直接對(duì)應(yīng)楊素的RGB顏色進(jìn)行描述，因而省去調(diào)色板。顏色表的作用就是創(chuàng)建調(diào)色板。 （4）位圖數(shù)據(jù)。對(duì)于一個(gè)256色的圖像來(lái)說(shuō)，每個(gè)像素占用文件中位圖數(shù)據(jù)部分的一個(gè)字節(jié)。如果色表中第一個(gè)R/G/B值是255/0/0，那么像素值為0表示鮮紅色，像素值按從左到右的順序儲(chǔ)存，通常從最后一行開(kāi)始。如果位圖數(shù)據(jù)中每行的字節(jié)數(shù)是奇數(shù)，就要在每行都附加字節(jié)來(lái)調(diào)整成16位的整數(shù)倍。 人體運(yùn)動(dòng)檢測(cè) 人體運(yùn)動(dòng)檢測(cè)部分是利用人體的形狀特性在每一幀圖像中提取出與人體相對(duì)應(yīng)的運(yùn)動(dòng)部分，主要任務(wù)有3項(xiàng)。 背景減法 在實(shí)際應(yīng)用中，采用對(duì)比的方法確定圖像中的前景點(diǎn)，設(shè)為實(shí)際輸入序列，th為某一確定閾值。背景模型可以通過(guò)多幅圖像取中值得到。為了使效果更加明顯，運(yùn)動(dòng)區(qū)域與非運(yùn)動(dòng)區(qū)域采用了二值化處理，以黑色表示運(yùn)動(dòng)區(qū)域，白色表示非運(yùn)動(dòng)區(qū)域。為了跟蹤，要建立一個(gè)Tracking類，包括讀入背景函數(shù)ReadBackground（）、背景減法函數(shù)GetError（）。前景區(qū)域中有部分面積較小的連續(xù)區(qū)域可能對(duì)應(yīng)背景中樹(shù)葉等非人體部分，同時(shí)攝像機(jī)可能出現(xiàn)輕微晃動(dòng)，導(dǎo)致前景區(qū)域含有細(xì)小的圖像邊緣輪廓，為此有必要采用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行處理，以得到較為準(zhǔn)確的人體運(yùn)動(dòng)區(qū)域。中值濾波在一定條件下可以克服線性濾波器，如最小均方濾波和均值濾波等帶來(lái)的圖像細(xì)節(jié)模糊，而且對(duì)于濾除脈沖干擾和圖像掃描噪聲最為有效，同時(shí)在計(jì)算過(guò)程中不需要知道圖像的統(tǒng)計(jì)特性，比較便于實(shí)現(xiàn)。對(duì)于奇數(shù)個(gè)元素，中值是指灰度值按大小排列后中間的數(shù)值；對(duì)于偶數(shù)個(gè)元素，中值是指排序后中間兩個(gè)元素灰度值的平均值。若以Med{}表示中值濾波，K為常數(shù)，則對(duì)窗口W點(diǎn)集進(jìn)行的中值濾波有以下特性。實(shí)驗(yàn)證明，在一般情況下，采用的窗口尺寸以3*5或3*3最佳，更大的濾波窗口雖然可以更有效的濾除噪聲，但是會(huì)帶來(lái)過(guò)分的平滑，是人體運(yùn)動(dòng)區(qū)域細(xì)節(jié)內(nèi)容消失，給下面處理帶來(lái)困難。 圖像的二值化處理就是講圖像上的點(diǎn)的灰度置為0或255，將整個(gè)圖像呈現(xiàn)出明顯的黑白效果。在數(shù)字圖像處理中，二值圖像占有非常重要的地位，特別是在實(shí)用的圖像處理中，以二值圖像處理實(shí)現(xiàn)而構(gòu)成的系統(tǒng)是很多的，要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像，這樣子有利于再對(duì)圖像做進(jìn)一步處理時(shí)，圖像的集合性質(zhì)只與像素值為0或255的點(diǎn)的位置有關(guān)，不再涉及像素的多級(jí)值，使處理變得簡(jiǎn)單，而且數(shù)據(jù)的處理和壓縮量小。所有灰度大于或等于閥值的像素被判定為屬于特定物體，其灰度值為255表示，否則這些像素點(diǎn)被排除在物體區(qū)域以外，灰度值為0，表示背景或者例外的物體區(qū)域。如果物體同背景的差別表現(xiàn)不在灰度值上（比如紋理不同），可以將這個(gè)差別特征轉(zhuǎn)換為灰度的差別，然后利用閥值選取技術(shù)來(lái)分割該圖像。 二值化包括全局二值化和局部自適應(yīng)二值化。將大于T的像素群的像素值設(shè)定為白色（或者黑色），小于T的像素群的像素值設(shè)定為黑色（或者白色）。局部二值化的方法就是按照一定的規(guī)則將整幅圖像劃分為N個(gè)窗口，對(duì)這N個(gè)窗口中的每一個(gè)窗口再按照一個(gè)統(tǒng)一的閾值T將該窗口內(nèi)的像素劃分為兩部分，進(jìn)行二值化處理。該方法的閾值是通過(guò)對(duì)該窗口像素的平均值E，像素之間的差平方P，像素之間的均方根值Q等各種局部特征，設(shè)定一個(gè)參數(shù)方程進(jìn)行閾值的計(jì)算，例如：T=a*E+b*P+c*Q，其中a,b,c是自由參數(shù)。 數(shù)學(xué)形態(tài)學(xué) 數(shù)學(xué)形態(tài)學(xué)是分析幾何形狀和結(jié)構(gòu)的數(shù)學(xué)方法，是建立在幾何代數(shù)基礎(chǔ)上，用集合論的方法定量描述集合結(jié)構(gòu)的科學(xué)。 數(shù)學(xué)形態(tài)學(xué)是一門(mén)建立在嚴(yán)格數(shù)學(xué)理論上的學(xué)科，其基本思想和方法對(duì)圖像處理的理論和技術(shù)都產(chǎn)生了