【文章內(nèi)容簡介】 時，需要考慮如何選擇合適的時間間隔。 [9] 一般時間間隔依賴于所監(jiān)視的物體的運動速度。對快速運動的物體，需要選擇較小的時間差，如果選擇得不合適，最壞情況下目標(biāo)在前后兩幀圖像中沒有重疊，造成被檢測為兩個分開的物體 。而對慢速運動的物體，應(yīng)該選擇較大的時間差，如果選擇得不適當(dāng)，最壞情況下目標(biāo)在前后兩幀圖像中幾乎完全重疊，根本檢測不 到物體。針對這些問題有許多的改進(jìn)方法，例如提出三幀差圖像法，利用三幀圖像計算出兩個差分圖像，再令對應(yīng)像素相乘。這種方法檢測運動目標(biāo)仍然存在不完整問題 Lipton 等利用兩幀差分法從實際視頻圖像中檢測出運動目標(biāo)，進(jìn)而用于目標(biāo)的分類與跟蹤；一個改進(jìn)的方法是利用三幀差分來代替兩幀差分，如 VSAM 使用一種自適應(yīng)背景減除與三幀差分相結(jié)合的混合算法；為了提高差分法的性能，Jain 提出了累積圖像差分法 . 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 11 幀間差分法其主要優(yōu)點是：算法實現(xiàn)簡單、復(fù)雜度低、實時性高，由于相鄰幀的時間間隔較短，對場景光照的變化不太敏感， 受陰影的影響也不是很大，時間差分法對動態(tài)環(huán)境有較好的適應(yīng)性。 [1] 然而，在實際應(yīng)用中目標(biāo)檢測的結(jié)果往往不太令人滿意，其主要問題是：當(dāng)目標(biāo)表面存在像素均勻的大區(qū)域時，時間差分法將在目標(biāo)的上述區(qū)域產(chǎn)生“空洞”而使目標(biāo)被過度分割成多個區(qū)域，只能檢測出運動目標(biāo)的一部分；另外由于目標(biāo)的運動，前一幀中被目標(biāo)遮擋的背景部分在當(dāng)前幀中將暴露出來，使得這部分背景也被認(rèn)為是運動區(qū)域；同時這種方法所檢測到的運動區(qū)域的大小與目標(biāo)的運動速度有關(guān)，目標(biāo)運動速度越大，檢測出的區(qū)域就比實際的區(qū)域越大，而當(dāng)目標(biāo)運動很緩慢時，往往檢測到的區(qū) 域很小，甚至無法檢測到目標(biāo)的運動。 背景去除法是目前運動目標(biāo)檢測中最常用的一種方法，它是利用當(dāng)前幀圖像和背景圖像（參考幀圖像）的差分來檢測運動區(qū)域的一種技術(shù)，即將當(dāng)前幀圖像與背景圖像相減，若差值大于某一閾值，則認(rèn)為此像素點為運動目標(biāo)上的一點，閾值大小決定了檢測算法的靈敏度。 [4] 在背景去除法中，背景圖像的選取直接關(guān)系到最終檢測結(jié)果的準(zhǔn)確性。在理想情況下，即背景圖像是完全靜止的，而且具有運動目標(biāo)的圖像除了運動區(qū)域的像素值發(fā)生了變化，其余屬于背景的部分保持不變。背景去除法可以簡單地表示為 ： (, )kijD = ( ) ( 1 )( , ) ( , )KKi j i jII?? （ 23） ( , ) ( , )0 ( , )kkk ki j i j Ti j TIDM D???? ???? （ 24） 式中 Dk (i,j)表示背景圖像。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 12 當(dāng)前幀圖像（ a） 背景圖像（ b） 背景去除后的目標(biāo)（ c） 圖 23 采用背景差分法的效果圖 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 13 與時間差分法相比，背景去除法能夠提供比較完整的運動目標(biāo)信息，得到較準(zhǔn)確的目標(biāo)圖像，而且速度快，能適應(yīng)實時系統(tǒng)的要求。但隨著時間的推移，對光照和外部條件造成的場景變化比較敏感，會出現(xiàn)許多噪聲點，影響目標(biāo)檢測結(jié)果。 在實際應(yīng)用中，場景中的背景很復(fù)雜，存在各種各樣的干擾，而且背景隨著時間不斷變化，所以適用于整個圖像序列的理想背景是不存在的，因此使用背景去除法的主要困難在于背景模型的 建立和維護(hù)。一般來說，背景模型需滿足以下要求： 1) 能適應(yīng)背景隨時間的緩慢變化，如一天當(dāng)中不同時間里的光照變化； 2) 能適應(yīng)背景物體的變化，如場景中移入新的物體，背景中的物體移出場 景等變化； 3) 背景模型能描述背景中的一些較大擾動，如樹葉晃動、日光燈閃爍等； 4) 能適應(yīng)光照亮度的突變； 5) 能夠消除前景物體的陰影； 6) 能夠處理前景物體與背景相似的情況，如人體衣服的顏色與背景中某個物體的顏色相似。 對于這些問題，可能的解決辦法是：不斷更新背景模型，使得背景模型具有自適應(yīng)的功能，解決 背景物體發(fā)生變化的影響和光照漸變的影響；對于室外樹葉的擺動、日光燈的閃爍等情況，可以建立多模的背景模型，如利用混合高斯模型對背景像素建模；對于前景和背景顏色相似的，可以利用能夠測量深度的攝像機(jī)捕獲圖像以及圖像中對應(yīng)于各像素點的深度信息；雖然陰影使得像素點的強(qiáng)度變化比較大，但是其色度信息幾乎保持不變，可以利用色度信息把陰影從前景中消除。 目前許多研究人員致力于背景模型的研究，希望能夠減少動態(tài)場景對于準(zhǔn)確檢測的影響。主要有基于統(tǒng)計的模型（高斯模型）和基于預(yù)測的方法（卡爾曼濾波、維納濾波等）。如 Haritaoglu 等利用最大、最小強(qiáng)度值和最大時間差分值為場景中的每個像素進(jìn)行統(tǒng)計建模，并且進(jìn)行周期性的背景更新； McKenna 等利用像素色彩和梯度信息相結(jié)合方法來建立自適應(yīng)背景模型。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 14 光流是運動物體被觀測面上的像素點運動產(chǎn)生的瞬時速度場，它包含了物體三維表面結(jié)構(gòu)和動態(tài)行為的重要信息。一般情況下，光流由相機(jī)運動、場景中目標(biāo)的運動或兩者的同時運動產(chǎn)生的。當(dāng)場景中有獨立的運動目標(biāo)時，通過光流分析可以確定運動目標(biāo)的數(shù)目、運動速度、目標(biāo)距離和目標(biāo)的表面結(jié)構(gòu)。光流研究已經(jīng)在環(huán)境建模、目標(biāo)檢測與跟蹤以及視頻事 件分析中得到了廣泛的應(yīng)用。光流計算方法大致可以分為三類：基于匹配的方法、基于頻域的方法和基于梯度的方法。 [9] 光流法的基本原理是：給圖像中的每一個像素點賦予一個速度矢量，形成一個圖像運動場，在運動的一個特定時刻，圖像上的一點對應(yīng)三維物體上的某一點，這種對應(yīng)關(guān)系可由投影關(guān)系得到，根據(jù)各個像素點的速度矢量特征，可以對圖像進(jìn)行動態(tài)分析。如果圖像中沒有運動目標(biāo)，則光流矢量在整個圖像區(qū)域是連續(xù)變化的，當(dāng)物體和圖像背景存在相對運動時，運動物體所形成的速度矢量必然和背景速度矢量不同，從而檢測出運動物體的位置。 設(shè)圖像上 的點 (x, y)在時刻 t 的亮度為 f (x,y,t)，經(jīng)過時間Δ t 后對應(yīng)點的亮度 值為 f(x+Δ x,y+Δ y,t+Δ t)，當(dāng)Δ t→ 0 時，可以認(rèn)為亮度不變，于是有： f(x,y,t)=f(x+Δx,y+Δy,t+Δt) （ 25） 上式用泰勒公式展開得： ( , , ) ( , , )f dx f dy ff x x y y t t f x y tx dt y dt t?? ? ?? ? ? ? ? ? ? ?? ? ? （ 26） 由于Δ t→ 0，因此忽略二階無窮小項，得： ( , , ) ( , , )f x x y y t t f x y t? ? ? ? （ 27） 所以： 0f dx f dy fx dt y dt t?? ? ?? ? ? ?? ? ? （ 28） 即： 0x y tuvf f f? ? ? （ 29） 其中， dxu dt? , fvy???分別為 x 和 y 方向的光流分量。 式 (29)給出了光流計算的一個方程，又稱為光流約束方程（ Optical 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 15 FlowConstraint Equation）。光流約束方程對每一個像素點來說都是一個含有兩個變量的方程，而只有一個約束方程，不能同時確定光流場的兩個變量，這種不確定問題稱為孔徑問題（ Aperture Problem）。由于孔徑問題的存在，使得僅通過光流約束方程而不用其他信息是無法計算圖像中某點的光流，為此人們提出了各種方法來克服這一問題。從不同的角度出發(fā)，可以引入不同的光流分析方 法，如：使用光流全局平滑性假設(shè)來求解光流的 HornSchunck 方法；使用一個模型通過最小二乘法來擬合像素點領(lǐng)域內(nèi)的光流值的 LucasKanade 局部調(diào)整法；利用二階導(dǎo)數(shù)求光流的 Nagel 方法和利用魯棒回歸算法來計算光流克服遮擋時運動邊界的信息不可靠問題的魯棒計算法等。關(guān)于光流更加詳細(xì)的討論可參見 Barron、高文、馬頌德等的文章。 基于光流方法的運動檢測采用了運動目標(biāo)隨時間變化的光流特性，由于光流不僅包含了被觀測物體的運動信息，而且攜帶了有關(guān)物體運動和三維結(jié)構(gòu)的豐富信息，所以該方法不僅可用于運動目標(biāo) 的檢測，甚至可直接用于運動目標(biāo)的跟蹤，在攝像機(jī)運動的前提下也能檢測出獨立的運動目標(biāo)。然而在實際應(yīng)用中，由于遮擋性、多光源和噪聲等原因，使得光流約束方程的灰度守恒假設(shè)條件得不到滿足，不能求解出正確的光流場；并且光流場與運動場并不一一對應(yīng)，如球體在攝像機(jī)前面繞中心軸旋轉(zhuǎn)，其明暗模式并不隨著表面運動，此時光流在任意地方都等于零，而運動場卻不為零；若球體不動，光源運動，則光流場不為零，而運動場卻等于零。同時大多數(shù)的光流計算方法相當(dāng)復(fù)雜，計算量巨大，除非有特別硬件支持，否則不能滿足實時要求。 [1] 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 16 第三章 運動目標(biāo)跟蹤方法 引言 運動目標(biāo)跟蹤是近期視覺領(lǐng)域內(nèi)一個備受關(guān)注的課題，圖像中運動目標(biāo)的跟蹤技術(shù)通常是通過目標(biāo)檢測來進(jìn)行跟蹤。運動目標(biāo)的跟蹤就是在視頻圖像的每一幅圖像中確定出我們感興趣的運動目標(biāo)的位置，來實現(xiàn)目標(biāo)的跟蹤。在機(jī)器視覺研究領(lǐng)域里，隨著技術(shù)不斷發(fā)展，自動目標(biāo)跟蹤 (ATR)越來越受到研究者的重視，具有廣闊的應(yīng)用前景。運動目標(biāo)的跟蹤在工業(yè)控制、軍事設(shè)備、醫(yī)學(xué)研究、視頻監(jiān)控、交通流量觀測監(jiān)控等很多領(lǐng)域都有重要的實用價值。特別在軍事上，先進(jìn)的武器導(dǎo)航、軍事偵察和監(jiān)控中都成功運用了自動跟蹤 技術(shù)。跟蹤的難點在于如何快速而準(zhǔn)確的在每一幀圖像中實現(xiàn)目標(biāo)定位。 本章首先在第二節(jié)中概括介紹目標(biāo)跟蹤的幾種方法。在 本文 中介紹運動目標(biāo)的主要特征，具體對基于目標(biāo)區(qū)域特征進(jìn)行分析 ，及 常見的運動目標(biāo)搜索算法，重點分析了 跟蹤 原理和搜索 算法 。 運動目標(biāo)跟蹤方法 圖像中運動目標(biāo)的跟蹤技術(shù)通常有兩種算法思想通過目標(biāo)識別來進(jìn)行跟蹤和通過運動檢測來進(jìn)行跟蹤。使用目標(biāo)識別的方法進(jìn)行跟蹤通過在每一幀的圖像中識別研究的物體來確定物體的位置來實現(xiàn)目標(biāo)的跟蹤。這種方法包含了目標(biāo)識別和目標(biāo)匹配兩部分。而使用運動目 標(biāo)檢測的方法來發(fā)現(xiàn)并確定運動目標(biāo)的位置進(jìn)行跟蹤，這種方法不考慮目標(biāo)的形狀、尺寸，可以檢測任何物體。近年來，人們從這兩種基本思想或結(jié)合這兩種思想的角度出發(fā)，提出了大量的跟蹤算法。這些算法在實時性、可靠性和精確性上都有改進(jìn)?，F(xiàn)有的目標(biāo)跟蹤方法有下面三類 :基于特征匹配的跟蹤方法、基于區(qū)域匹配的跟蹤算法、基于模型匹配的跟蹤算法。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 17 基于特征匹配的跟蹤方法不考慮運動目標(biāo)的整體特征，即不關(guān)心目標(biāo)是什么，只通過目標(biāo)物體的一些特征來進(jìn)行跟蹤。由于圖像采樣時間間隔通常很小，可以認(rèn)為這些 特征在運動形式上是平滑的，因此可以完成目標(biāo)的整體跟蹤過程。 無論是剛體運動目標(biāo)還是非剛體運動目標(biāo)，基于特征匹配的方法進(jìn)行目標(biāo)跟蹤時包括特征的提取和特征匹配兩個過程。在特征提取中要選擇適當(dāng)?shù)母櫶卣鳎⑶以谙乱粠瑘D像中提取特征 。在特征匹配中將提取的當(dāng)前幀圖像中目標(biāo)的特征與特征模板相比較，根據(jù)比較的結(jié)果來確定目標(biāo)，從而實現(xiàn)目標(biāo)的跟蹤。例如使用特征點對人體進(jìn)行運動跟蹤 [33〕。該方法把需要跟蹤的每一個人用一個矩形框封閉起來，封閉框的質(zhì)心被選擇為目標(biāo)的跟蹤特征。除了用單一的特征來實現(xiàn)跟蹤外，還可以采用多個特 征信息綜合在一起作為跟蹤特征，來提高跟蹤的效果。利用多個目標(biāo)特征聯(lián)合進(jìn)行跟蹤的算法，如 StnaBicrhfield 提出了將目標(biāo)的顏色直方圖模型和灰度梯度模型聯(lián)合的方法，實現(xiàn)對人頭部的實時跟蹤 ； 和 .TLiu 聯(lián)合目標(biāo)的顏色概率分布和邊緣密度信息完成對非剛體目標(biāo)的跟蹤 。 [3] 如果運動目標(biāo)物體簡單，可以將整個目標(biāo)作為特征來進(jìn)行跟蹤，這種方法也被稱為模板匹配。 [4] 基于區(qū)域匹配的跟蹤方法是把圖像中運動目標(biāo)的連通區(qū)域的共有特征信息作為跟蹤檢測值的一種方 法。在連續(xù)的圖像中有多種區(qū)域信息，例如顏色特征、紋理特征等等。這種方法不需要在視頻序列的圖像中找到完全相同的特征信息，通過計算區(qū)域的原始目標(biāo)之間的相關(guān)性來確定跟蹤目標(biāo)的位置?；趨^(qū)域的跟蹤方法我們可以選取整個區(qū)域的單一的特征來實現(xiàn)跟蹤，但是實際跟蹤過程中單一的特征不太好選擇，所以一般采用運動目標(biāo)的多個特征來進(jìn)行跟蹤。 例如， Wrell 利用小區(qū)域特征進(jìn)行室內(nèi)單人的跟蹤。該方法將人體看作由頭、軀干、四肢等身體部分所對應(yīng)的小區(qū)域塊的聯(lián)合體，通過分別跟蹤各個小區(qū)域塊最終完成對整個人體的跟蹤。 基于區(qū)域的跟蹤 與基于區(qū)域的分割過程聯(lián)系較為緊密，所以也可以利用分割同跟蹤相結(jié)合的方法來進(jìn)行跟蹤。例如 Frnao