【文章內(nèi)容簡介】 為差分圖像 (b)、圖像二值化。 T為設(shè)定閾值，為二值圖像 (c)、形態(tài)學(xué)濾波。 對二值圖像進(jìn)行腐蝕和膨脹運(yùn)算，得到一個(gè)或多個(gè)連通區(qū)域 。 (d)、連通區(qū)域判斷。 對連通區(qū)域分析判斷，舍去面積較小的區(qū)域。 （4）光流法。光流是圖像中各像素點(diǎn)運(yùn)動的速度分布，它是一種瞬時(shí)速度場，即向量場， 每一個(gè)向量表示了景物中一個(gè)點(diǎn)在圖像中位置的瞬時(shí)變化。光流法（Optical Flow）是利用運(yùn)動目標(biāo)在序列圖像中的位置隨時(shí)間變化的光流特性，用來描述相鄰幀之間某像素點(diǎn)的運(yùn)動，通過計(jì)算運(yùn)動物體在幀間的運(yùn)動向量來檢測運(yùn)動區(qū)域。在比較理想的情況下，光流法在攝像機(jī)運(yùn)動的條件下能檢測到獨(dú)立的運(yùn)動目標(biāo)，不需要預(yù)先知道場景的任何信息，可以很精確地計(jì)算出運(yùn)動物體的速度。但計(jì)算方法復(fù)雜，對硬件要求比較高，可靠性差，對噪聲敏感，難于應(yīng)用在實(shí)時(shí)的視頻流處理中。 除了上述的基本分割方案，還有EEM（Extended Expectation Maximization）算法以及基于數(shù)學(xué)形態(tài)學(xué)的分割方法等 運(yùn)動物體分類 由運(yùn)動分割得到的不同運(yùn)動部分可能屬于不同種類的運(yùn)動物體，比如人體視頻監(jiān)控系統(tǒng)得到的運(yùn)動部分就可能包括飛行的鳥、飄動的云和晃動的樹等，要從中提取人體就要進(jìn)行運(yùn)動物體分類，把人從運(yùn)動物體中識別出來。只有正確地識別出人體才能進(jìn)行下一步的運(yùn)動跟蹤工作，以及后續(xù)的人體行為理解，所以運(yùn)動物體的分類是非常必要的。一般可用形態(tài)學(xué)方法進(jìn)行處理，考慮運(yùn)動目標(biāo)的分散度、面積、輪廓、高寬比等有關(guān)形態(tài)方面的參數(shù)，來區(qū)分人以外的運(yùn)動目標(biāo)，通過這些方法甚至可以去除部分噪聲的影響。目前分類有兩種：(1)基于人體特征分類。人不管外形特征還是皮膚顏色都是明顯的，所以人的分類可以采取多種方法?；谛螤畹姆诸愂抢脵z測出來的運(yùn)動區(qū)域的形狀特征信息來進(jìn)行物體分類的。通過檢測模塊得到一個(gè)二值化的前景圖像，對這個(gè)前景圖像進(jìn)行橫向和縱向的投影可以得到橫向和縱向的長度比，通常稱之為“寬高比”。通過多個(gè)人的樣本訓(xùn)練可以得到一般人體的“寬高比，這個(gè)“寬高比作為人體特有的特征，可以用于確定檢測出的運(yùn)動目標(biāo)是否為人體。這個(gè)人體特有的特征也可以是人體的“面積，它指的是在通過檢測模塊得到二值化的圖像中人體所占像素的多少，通過面積的比較，可以除去一般情況下面積較大的運(yùn)動的汽車、動物、以及擺動的樹葉。另外的一些屬于人體特有的特征還可以是人的皮膚顏色，因此可以通過識別人臉裸露的皮膚來確定是否有人的存在，這通常需要在色彩空間如RGB空間、HIS空間或YUV空間來進(jìn)行檢測與識別。 （2）基于運(yùn)動的分類。人體運(yùn)動是非剛體運(yùn)動，并呈現(xiàn)一定的周期性，這種周期性可以作為區(qū)分運(yùn)動人體的重要依據(jù)。一種方案對于這種周期性的運(yùn)動進(jìn)行時(shí)頻分析，利用人體運(yùn)動周期性出現(xiàn)的自相似性來實(shí)現(xiàn)分類；還有方案將此方法與光流法結(jié)合，根據(jù)殘留的大小來實(shí)現(xiàn)分類。 實(shí)際中可以兩種方法結(jié)合使用，顯然如果能夠合理利用圖像的顏色信息和運(yùn)動部分的速度信息，分類的結(jié)果將更加可靠。 運(yùn)動目標(biāo)跟蹤 運(yùn)動目標(biāo)跟蹤也是計(jì)算機(jī)視覺領(lǐng)域的重要內(nèi)容，它利用運(yùn)動目標(biāo)分割的結(jié)果，又為運(yùn)動的分析理解等高級內(nèi)容提供基礎(chǔ)。跟蹤的目的是在幀與幀之間建立人體運(yùn)動目標(biāo)的某些特征，若位置、速度、形狀、紋理和顏色等之間的聯(lián)系。目前常用的跟蹤方案有以下4種. (1)基于模型的跟蹤?；谀Ｐ偷娜诉\(yùn)動跟蹤方法首先預(yù)定義一個(gè)模型，然后再將實(shí)際運(yùn)動與該模型匹配。模型通常由關(guān)節(jié)和線條骨架組成，用軸來表示狀態(tài)空間中的關(guān)節(jié)自由度，用狀態(tài)空間來描述姿態(tài)。其原理是先預(yù)測下一圖像的姿態(tài)再將這一預(yù)測模型分析、合成、抽象然后與真實(shí)圖像數(shù)據(jù)比較，直到找到最匹配的模型，并且更新系統(tǒng)模型。人體的幾何模型有簡單到復(fù)雜可以建立為棍狀模型，二維邊界模型和三維立體模型，建立模型之后就可以通過將運(yùn)動物體與模型對比從而實(shí)現(xiàn)跟蹤。由棍狀模型到二維邊界模型，再到三維立體模型，所實(shí)現(xiàn)的跟蹤精度越來越高，但計(jì)算量也在增大。 （2）基于區(qū)域的跟蹤。區(qū)域跟蹤思想是把每個(gè)運(yùn)動物體與某個(gè)運(yùn)動區(qū)域聯(lián)系起來，然后對該區(qū)域進(jìn)行跟蹤。區(qū)域跟蹤實(shí)現(xiàn)較為簡單，在許多系統(tǒng)中有廣泛應(yīng)用，但在兩種情況下有很大困難，一是人體存在較長影子，二是人體有重疊交錯(cuò)現(xiàn)象。 （3）基于動態(tài)邊界跟蹤。動態(tài)邊界模型又叫snake，能夠表示不斷變化的運(yùn)動人體的邊界。該方案計(jì)算量小，但是要求獨(dú)立準(zhǔn)確的初始化邊界，實(shí)際中很難實(shí)現(xiàn)。 （4）基于特征的跟蹤。 它包括特征提取和特征匹配兩個(gè)基本過程。該方法通過跟蹤 目標(biāo)的特征點(diǎn)、特征線來實(shí)現(xiàn)對人的跟蹤，通常還需要結(jié)合紋理、色彩及形狀 特征來提高跟蹤的魯棒性。如Polana與Neson乜11的文章將每個(gè)行人用一個(gè)矩形 框封閉起來，封閉框的質(zhì)心被選擇作為跟蹤的特征；在跟蹤過程中若出現(xiàn)兩入 互相遮擋時(shí)，只要質(zhì)心的速度區(qū)分開來，跟蹤仍能被執(zhí)行。另外Tissainayagam．P 和Surer．D[24]的文章中，物體由關(guān)鍵特征點(diǎn)來描述，這些關(guān)鍵點(diǎn)是運(yùn)動輪廓的 角點(diǎn)(corner point)，通過跟蹤角點(diǎn)來跟蹤人的運(yùn)動。 盡管對目標(biāo)跟蹤的算法可以粗略地分為上述幾類，但是這些方法并不是孤 立沒有聯(lián)系的。在進(jìn)行目標(biāo)跟蹤時(shí)，為了保證跟蹤的可靠性和準(zhǔn)確性，往往幾 種算法混合才能得到更好的跟蹤效果。這種方法在被跟蹤目標(biāo)出現(xiàn)遮擋交錯(cuò)等現(xiàn)象時(shí)仍能實(shí)現(xiàn)較為準(zhǔn)確的跟蹤。此方案必須在跟蹤的復(fù)雜性與有效性之間進(jìn)行折中。 第3章 算法實(shí)現(xiàn) 本文主要對室內(nèi)、室外固定攝像背景下運(yùn)動人體進(jìn)行檢測與跟蹤。通過建立統(tǒng)計(jì)背景模型，將運(yùn)動圖像與模型比較，可以檢測到運(yùn)動前景部分。采用中值濾波和數(shù)學(xué)形態(tài)學(xué)方法（投影確定寬高比）可以準(zhǔn)確得到人體運(yùn)動部分。通過對人體運(yùn)動前景分析得到各個(gè)運(yùn)動者對應(yīng)的模塊，對各個(gè)運(yùn)動模塊繼而采用卡爾曼濾波來實(shí)現(xiàn)跟蹤。 圖 算法流程 讀取與屏幕顯示 AVI格式 整個(gè)人體跟蹤系統(tǒng)的輸入采用AVI文件。AVI是一種RIFF文件格式，用于音視頻捕捉、編輯、回放中。RIFF文件使用4字符碼FOURCC來表征數(shù)據(jù)類型。它的文件頭最開始是一個(gè)4字符碼“RIFF”；緊跟著后面用4個(gè)字節(jié)表示次文件大?。蝗缓笥质?個(gè)字符碼說明文件具體類型（AVI、WAVE等）；最后是實(shí)際數(shù)據(jù)。RIFF實(shí)際數(shù)據(jù)中通常還使用列表（list）和塊（chunk）的形式來組織。 AVI文件類型用4字符碼“AVI”表示。整個(gè)AVI文件的結(jié)構(gòu)為：一個(gè)RIFF頭+兩個(gè)列表（一個(gè)用于描述媒體流格式、另一個(gè)用于保存媒體流數(shù)據(jù)）+一個(gè)可選的索引塊。RIFF（‘AVI’LIST（‘hdrl’ ‘a(chǎn)vih’（主AVI信息頭數(shù)據(jù)）LIST（‘strl’ ‘strh’（流的頭信息數(shù)據(jù)） ‘strf’（流的格式信息數(shù)據(jù)） [‘strd’（可選的額外的頭信息數(shù)據(jù)） [‘strn’（可選的流的名字） ） ）LIST（‘movi’ {stbchunk | LIST （‘rec’ Subchunk1 Subchunk2 ） } ）[‘idxl’（可選的AVI索引塊數(shù)據(jù)）]RIFF表征文件類型，hdrl列表描述AVI文件中各個(gè)流的格式信息，hdrl嵌套了一系列塊和子列表——avih塊用于記錄AVI的全局信息，比如流的數(shù)量、視頻圖像的寬和高等，可以使用一個(gè)AVIMAINHEADER數(shù)據(jù)結(jié)構(gòu)來操作。然后就是一個(gè)或多個(gè)“strl”子列表（文件有多少流就有多少子列表），每個(gè)“strl”子列表至少包含一個(gè)“strh”塊（保存編碼器的一些配置信息）和一個(gè)“strf”塊（保存流的名字），且是可選的。如果是視頻流，則用BITMAPINFO數(shù)據(jù)結(jié)構(gòu)來描述；如果是音頻流，則用一個(gè)WAVEFORMATEX數(shù)據(jù)結(jié)構(gòu)來描述。當(dāng)所有的流都描述后“hdrl”列表的任務(wù)就完成了，隨后跟著是用于保存真正媒體流數(shù)據(jù)的“movi”列表。那么怎么組織這些數(shù)據(jù)呢？可以將數(shù)據(jù)塊直接嵌在“movi”列表里面也可以幾個(gè)數(shù)據(jù)塊分組成一個(gè)“rec”列表后在編排進(jìn)“movi”列表。當(dāng)AVI中含有多個(gè)流時(shí)，數(shù)據(jù)塊和數(shù)據(jù)塊間用4個(gè)字符碼來區(qū)別。這個(gè)4字符碼由2個(gè)字節(jié)的類型碼和2個(gè)字節(jié)的流編號組成。類型碼定義如下：“db”（非壓縮視頻幀）、“dc”（壓縮視頻幀）、“pc”（改用新的調(diào)色板）、“wb”（音縮視頻）。 緊跟在“movi”后是AVI可選的索引塊。這個(gè)索引塊為AVI文件中每一個(gè)媒體數(shù)據(jù)塊進(jìn)行索引，并且記錄它們在文件中的偏移。索引塊用一個(gè)“idxl”來表征，索引信息用一個(gè)數(shù)據(jù)結(jié)構(gòu)AVIOLDINDEX定義。 BMP圖片格式 BMP文件格式是windows本身可以直接提供讀取支持的位圖文件格式。BMP文件可以用每像素16或24位來編碼顏色信息，這個(gè)位數(shù)稱為圖像的顏色深度，決定了圖像所含的最大顏色數(shù)。 典型的BMP文件結(jié)構(gòu)：一個(gè)位圖文件頭、一個(gè)位圖信息頭、一個(gè)顏色表（色表）和位圖數(shù)據(jù)本身。 表 位圖文件頭（bitmapfile header） 14字節(jié)位圖信息頭（bitmapinformation header） 40字節(jié)彩色表/調(diào)色板（color table） 位圖數(shù)據(jù)（bitmapdata） （1）位圖文件頭。包含關(guān)于這個(gè)文件的信息。如從哪里開始是位圖數(shù)據(jù)的定位信息、文件大小等。 （2）位圖信息頭。位圖信息頭包含了單個(gè)像素所用字節(jié)數(shù)以及描述顏色的格式，此外還包括位圖的寬度（以像素為單位）、高度（以像素為單位）、目標(biāo)設(shè)備的位平面數(shù)、圖像的壓縮格式（一般都是0）、圖像數(shù)據(jù)大?。ㄒ宰止?jié)為單位）、水平和垂直方向像素密度以及調(diào)色板實(shí)際使用的顏色數(shù)。 （3）顏色表。顏色表一般針對16位以下的圖像二設(shè)置的，對于16位以上的圖像，由于其位圖像素?cái)?shù)據(jù)中直接對應(yīng)楊素的RGB顏色進(jìn)行描述，因而省去調(diào)色板。而對于16位以下的圖像，由于其位圖像素?cái)?shù)據(jù)中記錄的只是調(diào)色板的索引值，因此需要根據(jù)這個(gè)索引值到調(diào)色板去取得相應(yīng)的RGB顏色。顏色表的作用就是創(chuàng)建調(diào)色板。對于顯示卡來說，如果它不能一次顯示超過256種顏色，讀取和顯示BMP文件的程序能夠把這些RGB值轉(zhuǎn)換到顯示卡的調(diào)色板來產(chǎn)生準(zhǔn)確的顏色。 （4）位圖數(shù)據(jù)。BMP文件的位圖數(shù)據(jù)格式依賴于編碼的每個(gè)像素顏色所用的位數(shù)。對于一個(gè)256色的圖像來說，每個(gè)像素占用文件中位圖數(shù)據(jù)部分的一個(gè)字節(jié)。像素值不是RGB顏色值，而是色表中一個(gè)索引。如果色表中第一個(gè)R/G/B值是255/0/0，那么像素值為0表示鮮紅色，像素值按從左到右的順序儲存，通常從最后一行開始。所以在一個(gè)256色的文件中，位圖數(shù)據(jù)中第一個(gè)字節(jié)就是圖像左下角的像素的顏色索引，第二個(gè)就是它右邊的那個(gè)像素的顏色索引。如果位圖數(shù)據(jù)中每行的字節(jié)數(shù)是奇數(shù)，就要在每行都附加字節(jié)來調(diào)整成16位的整數(shù)倍。本系統(tǒng)使用256色的BMP文件輸入。 人體運(yùn)動檢測 人體運(yùn)動檢測部分是利用人體的形狀特性在每一幀圖像中提取出與人體相對應(yīng)的運(yùn)動部分，主要任務(wù)有3項(xiàng)。 （1）建立基于統(tǒng)計(jì)的背景模型，以在背景略有變化的情況下，檢測出每幀圖像中運(yùn)動的前景部分； （2）采用中值濾波和數(shù)學(xué)形態(tài)學(xué)（寬高比）的方法，在運(yùn)動的前景部分中檢測出對應(yīng)于人體的運(yùn)動部分； （3）判斷人體運(yùn)動部分是否包含多個(gè)運(yùn)動者，如果包含進(jìn)一步判斷運(yùn)動者的數(shù)量，并劃分運(yùn)動區(qū)域。 背景減法 在實(shí)際應(yīng)用中，采用對比的方法確定圖像中的前景點(diǎn)，設(shè)為實(shí)際輸入序列，th為某一確定閾值。 （31） 運(yùn)動圖像與背景模型 ，進(jìn)一步通過閾值對比就能確定前景區(qū)域。背景模型可以通過多幅圖像取中值得到。 一幀圖像 th=10時(shí)運(yùn)動區(qū)域 th=15時(shí)運(yùn)動區(qū)域 th=20時(shí)運(yùn)動區(qū)域 th=25時(shí)運(yùn)動區(qū)域 th=40時(shí)