【文章內(nèi)容簡介】 44圖 多通道視頻的多目標(biāo)跟蹤系統(tǒng)總體結(jié) 構(gòu)圖 ...................................................................45圖 大恒 DHVT142 采集卡 ...................................................................................................46圖 算法參數(shù)設(shè)置界 面 ...........................................................................................................50圖 跟蹤結(jié)果顯示界面 ...........................................................................................................50圖 系統(tǒng)的操作 界面 ...............................................................................................................51圖 系統(tǒng)跟蹤效果圖 ...............................................................................................................54表清單表 3. 1 測試視頻描述以及圖像序列預(yù)覽圖 ...............................................................................32表 3. 2 圖像序列測試結(jié)果 ...........................................................................................................33表 4. 1 單目標(biāo)的數(shù)據(jù)表示 ...........................................................................................................38表 4. 2 多通道視頻目標(biāo)跟蹤系統(tǒng)的數(shù)據(jù)表示 ...........................................................................38ix / 79注釋表縮 略 詞 說 明DARPA Defense Advance Research Project Agency 美國國防部高級計劃署FB ForwardBackward Error 向 前 向 后 誤 差JPDA Joint Probability Data Association 聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)MAD Mean Absolute Difference 平 方 絕 對 差 值 相 關(guān)MTT Multiple Target Tracking 多 目 標(biāo) 跟 蹤MCMC Markov Chain Monte Carlo 馬 爾 可 夫 鏈 蒙 特 卡 羅理 論MHF Multiple Hypothesis Filter 多假設(shè)濾波Mp Markov Predictor 馬爾可夫預(yù)測器NCC Normalized Cross Correlation 歸一化積相關(guān)Nh Neighborhood Consistency Constraint Predictor 鄰域一致預(yù)測器SAD Sum of Absolute Difference 差的絕對值和相關(guān)SSD Sum of Squared Difference 差的平方和相關(guān)SSDA Sequential Similarity Detection Algorithm 序貫相似性檢測算法TLD TrackingLearningDetection 跟 蹤 檢 測 學(xué) 習(xí) 算 法VSAM Visual Surveillance And Monitoring 視 覺 監(jiān) 視 與 監(jiān) 控 系 統(tǒng)2bitBP 2bit Binary Patterns 局部兩位二值模式1 / 79第一章 緒論 課題的研究背景及其意義科學(xué)技術(shù)的飛速發(fā)展，帶來了機器視覺的革命性變革，人們對自身安全防范意識進一步增強，視頻監(jiān)控系統(tǒng)在各個領(lǐng)域得到了廣泛的應(yīng)用，如小區(qū)的安全監(jiān)控、城市交通的管理監(jiān)控、銀行柜臺的安全監(jiān)控、醫(yī)院病人的行為監(jiān)控等。由于視頻監(jiān)控系統(tǒng)通常關(guān)注一些小概率的事件，而安全監(jiān)控人員不可能長期、不間斷的將全部注意力集中在視頻監(jiān)視器上。若可疑的目標(biāo)能夠通過計算機自動識別、跟蹤，那么不僅能節(jié)省大量的人力、物力資源，也能大幅度提高監(jiān)控系統(tǒng)報警的可靠性和實時性。因此如何高效的自動跟蹤和分析視頻中的目標(biāo)成為了廣大科研人員和科研機構(gòu)爭相研究的一個領(lǐng)域。多通道視頻目標(biāo)跟蹤的實質(zhì)是實現(xiàn)一個或多個目標(biāo)在多個攝像機所拍攝的視頻中的自動跟蹤，該技術(shù)是計算機視覺的一個新興領(lǐng)域，涉及人工智能、圖像處理、圖像變換、模式識別、攝像機標(biāo)定、自動控制等眾多領(lǐng)域的先進技術(shù)。多通道視頻即多個攝像機獲取的圖像信號；目標(biāo)跟蹤即在圖像序列的每幀圖像中找出運動目標(biāo)所處的位置，最終獲得目標(biāo)的運動參數(shù)及其運動軌跡，實現(xiàn)目標(biāo)行為的理解 [1]。視頻跟蹤技術(shù)的研究目的是賦予機器以生理視覺系統(tǒng)的感知能力，使機器能夠“人為”識別圖像序列中的運動物體。通常，視頻跟蹤系統(tǒng)具有實時性、隱蔽性、抗干擾性、性價比高等優(yōu)點，相比較雷達系統(tǒng)，無需向外輻射無線電波，只需通過同軸線纜、網(wǎng)絡(luò)、光纜等傳輸介質(zhì)完成信號的傳輸，不易被偵查發(fā)現(xiàn)，也不易受到其他信號的干擾，同時，視頻跟蹤系統(tǒng)只需攝像機或其他光學(xué)器件即可采集目標(biāo)圖像，并通過視頻監(jiān)視器直觀的監(jiān)視感興趣或可疑目標(biāo)，性價比高，使用簡單、方便。視頻跟蹤技術(shù)是計算機視覺的一個研究熱點，也是視頻監(jiān)控系統(tǒng)中的一個重要環(huán)節(jié)，其實質(zhì)是實時、在線、準確的跟蹤目標(biāo)并分析其行為特征。隨著計算機處理速度的飛速提高和感興趣目標(biāo)的多樣化，人們希望對同一視頻中的多個運動目標(biāo)實現(xiàn)同步實時監(jiān)控，要求能夠同步跟蹤并分析多個目標(biāo)的行為特征，做出相應(yīng)的決策。然而，攝像機獲取圖像的實質(zhì)是一個三維實物在二維平面的投影，自身即存在部分信息的缺失，再加上被跟蹤目標(biāo)運動的不確定性、自身形狀姿態(tài)變化以及所處場景的復(fù)雜程度，都影響著目標(biāo)跟蹤的效果，從而給目標(biāo)的實時、準確、長期跟蹤帶來了很大的困難，因此在一定程度上制約了視頻跟蹤技術(shù)的快速發(fā)展與應(yīng)用。在目前的實際應(yīng)用中，大多數(shù)的視頻跟蹤系統(tǒng)采用單一攝像機，自身存在著一些局限性，如監(jiān)控視野范圍有限帶來的場景遮擋問題，景深問題等。采用多個攝像機進行目標(biāo)的實時跟蹤和分析可以拓寬信息的采集域，擴大監(jiān)控的范圍和角度，解決單個攝像機中的遮擋及景深問題。同時，多攝像機能夠提供比單個攝像機更加豐富的目標(biāo)信息，而有效地融合這些信息可對目標(biāo)的跟蹤與分析帶來巨大的促進作用。綜上所述，如何實時、高效的跟蹤一個或多個目標(biāo)仍是視頻跟蹤領(lǐng)域中一個亟待解決的關(guān)鍵問題；同時，如何實現(xiàn)一個或多個目標(biāo)在不同攝像機中的準確跟蹤，擴大目標(biāo)的監(jiān)控力度和范圍，是監(jiān)控系統(tǒng)的一個重要研究課題。因此，多通道視頻中的多目標(biāo)跟蹤技術(shù)無論是在學(xué)術(shù)研究領(lǐng)域還是工程應(yīng)用領(lǐng)域都具有極其重要的研究價值。 國內(nèi)外研究概況高效率計算機以及高精度、高質(zhì)量攝像機的出現(xiàn)，使得人們對視頻自動處理分析的需求愈加急切，目標(biāo)跟蹤技術(shù)得到廣泛的重視。所謂目標(biāo)跟蹤，就是在已知目標(biāo)在過去的某時刻的位置等信息的基礎(chǔ)上，找到現(xiàn)時刻目標(biāo)的位置及其他信息，也就是在一段視頻圖像中的每幀圖像上找到運動目標(biāo)所處的位置 [2]。計算機處理速度的飛速提高、圖形識別算法的革命性改進以及跟蹤對象的多樣化，多目標(biāo)跟蹤技術(shù)（Multiple Target Tracking，MTT）應(yīng)孕而生，并在交通監(jiān)管、軍事打擊及防御、天文預(yù)測、智能監(jiān)控等領(lǐng)域有著非常重要的實用價值。計算機視覺技術(shù)的進一步發(fā)展，關(guān)于單個攝像機中目標(biāo)運動分析技術(shù)的研究已較深入，其中一些不可避免的問題凸顯而出，如視野問題、遮擋問題。由于單個攝像機的視野范圍有限，難以對感興趣目標(biāo)實現(xiàn)大范圍、多角度、長期的跟蹤，多攝像機的應(yīng)用成為必然趨勢。多攝像機監(jiān)控范圍大，視野廣闊，可全方位定位跟蹤，同時可以解決單個攝像機中由于遮擋而存在的盲點問題，未來的目標(biāo)跟蹤系統(tǒng)將得益于多攝像機的應(yīng)用。下面分別就單目標(biāo)跟蹤技術(shù)、多目標(biāo)跟蹤技術(shù)以及多通道視頻目標(biāo)跟蹤技術(shù)的國內(nèi)外研究現(xiàn)狀做介紹。1. 單目標(biāo)跟蹤技術(shù)目標(biāo)跟蹤是計算機視覺的一個重要環(huán)節(jié)，并在軍事和民用領(lǐng)域有著廣泛的應(yīng)用。早在二戰(zhàn)之前，世界上第一部跟蹤雷達站SCR28的出現(xiàn)標(biāo)志著目標(biāo)跟蹤技術(shù)已經(jīng)應(yīng)用到軍事領(lǐng)域。之后，隨著科學(xué)技術(shù)的發(fā)展，一系列的跟蹤系統(tǒng)涌現(xiàn)而出，目標(biāo)跟蹤理論和方法得到飛速發(fā)展。70年代，卡爾曼濾波理論 [3]在目標(biāo)跟蹤領(lǐng)域的成功應(yīng)用，使得目標(biāo)跟蹤技術(shù)得到人們的普遍關(guān)注。之后，各學(xué)者在該領(lǐng)域展開大量的研究工作，一些新型的目標(biāo)跟蹤技術(shù)相繼產(chǎn)生，比如粒子濾波 [4]、區(qū)域匹配 [5]、特征匹配 [6]等技術(shù)，結(jié)合這些技術(shù)產(chǎn)生了多樣化的跟蹤方法，進一步推動了目標(biāo)跟蹤技術(shù)的飛速發(fā)展。目前，常用的目標(biāo)跟蹤方法有基于特征的目標(biāo)跟蹤方法、基于模板匹配的目標(biāo)跟蹤方法和基于粒子濾波的目標(biāo)跟蹤方法等。（1）基于特征的目標(biāo)跟蹤方法在序列圖像中，如果在每幅圖像中都可以根據(jù)特征來確定目標(biāo)，即可實現(xiàn)目標(biāo)的跟蹤。因此找到并提取出具有良好描述以及較強分類性能的圖像特征是解決基于特征的目標(biāo)跟蹤的關(guān)鍵3 / 79問題。通常提取的目標(biāo)特征具備以下幾個特點 [7]：可區(qū)分性、可靠性、獨立性。而常用的特征有如下幾類:描述圖像灰度分布的統(tǒng)計特征、描述幾何形狀的特征、顏色特征、紋理特征、矩特征、角點特征?；谔卣鞲櫟姆椒ǘ喾N多樣?；诮屈c特征的跟蹤要求能夠準確的檢測并描述角點。對于角點檢測，目前主要分為兩類方法：基于圖像邊緣的方法和基于圖像灰度的方法?；趫D像邊緣的方法對邊緣提取算法的依賴性比較大，計算復(fù)雜且不能很好地定位角點，而基于圖像灰度的方法則避開了這些缺陷。常用的角點檢測方法如 SUSAN 算法 [8]、Harris 特征點檢測算法 [9]、SIFT 算法 [10]等?；陬伾卣鞯母欀饕槍Ω櫮繕?biāo)本身的顏色信息，即用于匹配的特征是像素灰度值、顏色直方圖等。前者直接利用模板圖像與待匹配圖像的對應(yīng)像素處的灰度值，通過統(tǒng)計方法計算距離或相關(guān)程度來量測兩者的相似程度；后者利用模板圖像與待匹配圖像的顏色直方圖（可以是灰度直方圖，也可以是在某顏色空間上的某顏色分量直方圖） ，根據(jù)直方圖得到的統(tǒng)計特征，來比較兩者的相似程度。常用的基于顏色特征的目標(biāo)跟蹤方法如基于顏色直方圖的投影圖匹配算法、meanshift 算法 [11]、Camshift 算法 [12]等?；诓蛔兙靥卣鞯哪繕?biāo)跟蹤考慮其具有旋轉(zhuǎn)、平移、尺度變換等特性的不變性，用幾個幾何矩來表征目標(biāo)的圖像區(qū)域，完成圖像的分類等操作。常用的矩特征如 Hu 不變矩 [13]。利用圖像的特征，如顏色、亮度、角點等，即可進行目標(biāo)的跟蹤。在進行跟蹤時，可以利用某種方法對兩幅圖片進行比較，根據(jù)比較的結(jié)果實現(xiàn)跟蹤，如幀間差分法；可以將兩種或多種特征結(jié)合在一起，在跟蹤時就可以排除非目標(biāo)特征點的干擾，如利用直方圖構(gòu)造不變矩，利用角點進行向量匹配等；也可以根據(jù)特征在不同圖片中進行模板的匹配；還有一些利用圖像中目標(biāo)的運動特征來進行跟蹤。（2）基于模板匹配的目標(biāo)跟蹤方法模板匹配的基本思想是預(yù)先存儲一個目標(biāo)模板，后續(xù)的匹配過程中用該模板與實際圖像中的各個子區(qū)圖像進行匹配（計算相關(guān)函數(shù)值），以與目標(biāo)模板相似度最高的子圖像位置為當(dāng)前目標(biāo)的位置 [14]。模板匹配方法簡單、直觀實用，且定位靈敏度高，對動態(tài)物體有很好的即時響應(yīng)性。但是，它的相關(guān)運算計算復(fù)雜，且對尺度、旋轉(zhuǎn)等目標(biāo)變形以及目標(biāo)自身特征變化問題的適用性差。圖像模板匹配算法可以分成基于灰度值法以及基于特征的提取法兩大類?；诨叶戎迪嚓P(guān)的方法簡單易行，具有較高的匹配精度，且不損失圖像信息，對復(fù)雜圖像具有良好的適應(yīng)性，同時，無需對匹配對象進行分割和特征提取，只需計算模板與匹配子圖的相似度即可實現(xiàn)匹配。但是，它對噪聲和圖像的光照變化比較敏感，且相似度算子計算量大，不適用于目標(biāo)出現(xiàn)旋轉(zhuǎn)縮放情況的場合。常用的灰度匹配算法如平均絕對差算法（MAD）、歸一化積相關(guān)法（NCC）、差的平方和相關(guān)法（SSD ）、差的絕對值和相關(guān)法（SAD）、序貫相似性檢測法 [15]（SSDA）等。特征提取方法一般涉及大量的幾何與圖像形態(tài)學(xué)計算，計算復(fù)雜度小，計算量大，沒有一般模型可遵循，需要針對不同的應(yīng)用場景選擇各自特定的特征。常用的特征提取算法如方向碼法 [16]、圓投影法 [17]等。關(guān)于模板匹配算法的改進，大多是針對算法的計算量來考慮的，它關(guān)乎到匹配的速度問題。任何一個匹配算法的總計算量都為相關(guān)算法的計算量和搜索位置數(shù)之積。因此，可以通過相應(yīng)的方法減少相關(guān)算法計算量或者搜索位置數(shù)，從而達到快速匹配的效果。常用的減少相關(guān)算法計算量的方法如相關(guān)系數(shù)最大值的快速模板匹配算法、差分求和法、多值模板法。常用的位置搜索方法如逐步搜索法、均勻搜索法、分精度搜索法、二維對數(shù)搜索法、三步搜索法、分層搜索法。（3）基于粒子濾波的目標(biāo)跟蹤方法粒子濾波是蒙特卡羅法和貝葉斯法的結(jié)合。該方法通過非參數(shù)化的蒙特卡羅法實現(xiàn)遞推貝葉斯估計，基本思想是利用一組隨機