【文章內(nèi)容簡(jiǎn)介】 44圖 多通道視頻的多目標(biāo)跟蹤系統(tǒng)總體結(jié) 構(gòu)圖 ...................................................................45圖 大恒 DHVT142 采集卡 ...................................................................................................46圖 算法參數(shù)設(shè)置界 面 ...........................................................................................................50圖 跟蹤結(jié)果顯示界面 ...........................................................................................................50圖 系統(tǒng)的操作 界面 ...............................................................................................................51圖 系統(tǒng)跟蹤效果圖 ...............................................................................................................54表清單表 3. 1 測(cè)試視頻描述以及圖像序列預(yù)覽圖 ...............................................................................32表 3. 2 圖像序列測(cè)試結(jié)果 ...........................................................................................................33表 4. 1 單目標(biāo)的數(shù)據(jù)表示 ...........................................................................................................38表 4. 2 多通道視頻目標(biāo)跟蹤系統(tǒng)的數(shù)據(jù)表示 ...........................................................................38ix / 79注釋表縮 略 詞 說(shuō) 明DARPA Defense Advance Research Project Agency 美國(guó)國(guó)防部高級(jí)計(jì)劃署FB ForwardBackward Error 向 前 向 后 誤 差JPDA Joint Probability Data Association 聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)MAD Mean Absolute Difference 平 方 絕 對(duì) 差 值 相 關(guān)MTT Multiple Target Tracking 多 目 標(biāo) 跟 蹤MCMC Markov Chain Monte Carlo 馬 爾 可 夫 鏈 蒙 特 卡 羅理 論MHF Multiple Hypothesis Filter 多假設(shè)濾波Mp Markov Predictor 馬爾可夫預(yù)測(cè)器NCC Normalized Cross Correlation 歸一化積相關(guān)Nh Neighborhood Consistency Constraint Predictor 鄰域一致預(yù)測(cè)器SAD Sum of Absolute Difference 差的絕對(duì)值和相關(guān)SSD Sum of Squared Difference 差的平方和相關(guān)SSDA Sequential Similarity Detection Algorithm 序貫相似性檢測(cè)算法TLD TrackingLearningDetection 跟 蹤 檢 測(cè) 學(xué) 習(xí) 算 法VSAM Visual Surveillance And Monitoring 視 覺(jué) 監(jiān) 視 與 監(jiān) 控 系 統(tǒng)2bitBP 2bit Binary Patterns 局部?jī)晌欢的Ｊ? / 79第一章 緒論 課題的研究背景及其意義科學(xué)技術(shù)的飛速發(fā)展，帶來(lái)了機(jī)器視覺(jué)的革命性變革，人們對(duì)自身安全防范意識(shí)進(jìn)一步增強(qiáng)，視頻監(jiān)控系統(tǒng)在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用，如小區(qū)的安全監(jiān)控、城市交通的管理監(jiān)控、銀行柜臺(tái)的安全監(jiān)控、醫(yī)院病人的行為監(jiān)控等。由于視頻監(jiān)控系統(tǒng)通常關(guān)注一些小概率的事件，而安全監(jiān)控人員不可能長(zhǎng)期、不間斷的將全部注意力集中在視頻監(jiān)視器上。若可疑的目標(biāo)能夠通過(guò)計(jì)算機(jī)自動(dòng)識(shí)別、跟蹤，那么不僅能節(jié)省大量的人力、物力資源，也能大幅度提高監(jiān)控系統(tǒng)報(bào)警的可靠性和實(shí)時(shí)性。因此如何高效的自動(dòng)跟蹤和分析視頻中的目標(biāo)成為了廣大科研人員和科研機(jī)構(gòu)爭(zhēng)相研究的一個(gè)領(lǐng)域。多通道視頻目標(biāo)跟蹤的實(shí)質(zhì)是實(shí)現(xiàn)一個(gè)或多個(gè)目標(biāo)在多個(gè)攝像機(jī)所拍攝的視頻中的自動(dòng)跟蹤，該技術(shù)是計(jì)算機(jī)視覺(jué)的一個(gè)新興領(lǐng)域，涉及人工智能、圖像處理、圖像變換、模式識(shí)別、攝像機(jī)標(biāo)定、自動(dòng)控制等眾多領(lǐng)域的先進(jìn)技術(shù)。多通道視頻即多個(gè)攝像機(jī)獲取的圖像信號(hào)；目標(biāo)跟蹤即在圖像序列的每幀圖像中找出運(yùn)動(dòng)目標(biāo)所處的位置，最終獲得目標(biāo)的運(yùn)動(dòng)參數(shù)及其運(yùn)動(dòng)軌跡，實(shí)現(xiàn)目標(biāo)行為的理解 [1]。視頻跟蹤技術(shù)的研究目的是賦予機(jī)器以生理視覺(jué)系統(tǒng)的感知能力，使機(jī)器能夠“人為”識(shí)別圖像序列中的運(yùn)動(dòng)物體。通常，視頻跟蹤系統(tǒng)具有實(shí)時(shí)性、隱蔽性、抗干擾性、性價(jià)比高等優(yōu)點(diǎn)，相比較雷達(dá)系統(tǒng)，無(wú)需向外輻射無(wú)線電波，只需通過(guò)同軸線纜、網(wǎng)絡(luò)、光纜等傳輸介質(zhì)完成信號(hào)的傳輸，不易被偵查發(fā)現(xiàn)，也不易受到其他信號(hào)的干擾，同時(shí)，視頻跟蹤系統(tǒng)只需攝像機(jī)或其他光學(xué)器件即可采集目標(biāo)圖像，并通過(guò)視頻監(jiān)視器直觀的監(jiān)視感興趣或可疑目標(biāo)，性價(jià)比高，使用簡(jiǎn)單、方便。視頻跟蹤技術(shù)是計(jì)算機(jī)視覺(jué)的一個(gè)研究熱點(diǎn)，也是視頻監(jiān)控系統(tǒng)中的一個(gè)重要環(huán)節(jié)，其實(shí)質(zhì)是實(shí)時(shí)、在線、準(zhǔn)確的跟蹤目標(biāo)并分析其行為特征。隨著計(jì)算機(jī)處理速度的飛速提高和感興趣目標(biāo)的多樣化，人們希望對(duì)同一視頻中的多個(gè)運(yùn)動(dòng)目標(biāo)實(shí)現(xiàn)同步實(shí)時(shí)監(jiān)控，要求能夠同步跟蹤并分析多個(gè)目標(biāo)的行為特征，做出相應(yīng)的決策。然而，攝像機(jī)獲取圖像的實(shí)質(zhì)是一個(gè)三維實(shí)物在二維平面的投影，自身即存在部分信息的缺失，再加上被跟蹤目標(biāo)運(yùn)動(dòng)的不確定性、自身形狀姿態(tài)變化以及所處場(chǎng)景的復(fù)雜程度，都影響著目標(biāo)跟蹤的效果，從而給目標(biāo)的實(shí)時(shí)、準(zhǔn)確、長(zhǎng)期跟蹤帶來(lái)了很大的困難，因此在一定程度上制約了視頻跟蹤技術(shù)的快速發(fā)展與應(yīng)用。在目前的實(shí)際應(yīng)用中，大多數(shù)的視頻跟蹤系統(tǒng)采用單一攝像機(jī)，自身存在著一些局限性，如監(jiān)控視野范圍有限帶來(lái)的場(chǎng)景遮擋問(wèn)題，景深問(wèn)題等。采用多個(gè)攝像機(jī)進(jìn)行目標(biāo)的實(shí)時(shí)跟蹤和分析可以拓寬信息的采集域，擴(kuò)大監(jiān)控的范圍和角度，解決單個(gè)攝像機(jī)中的遮擋及景深問(wèn)題。同時(shí)，多攝像機(jī)能夠提供比單個(gè)攝像機(jī)更加豐富的目標(biāo)信息，而有效地融合這些信息可對(duì)目標(biāo)的跟蹤與分析帶來(lái)巨大的促進(jìn)作用。綜上所述，如何實(shí)時(shí)、高效的跟蹤一個(gè)或多個(gè)目標(biāo)仍是視頻跟蹤領(lǐng)域中一個(gè)亟待解決的關(guān)鍵問(wèn)題；同時(shí)，如何實(shí)現(xiàn)一個(gè)或多個(gè)目標(biāo)在不同攝像機(jī)中的準(zhǔn)確跟蹤，擴(kuò)大目標(biāo)的監(jiān)控力度和范圍，是監(jiān)控系統(tǒng)的一個(gè)重要研究課題。因此，多通道視頻中的多目標(biāo)跟蹤技術(shù)無(wú)論是在學(xué)術(shù)研究領(lǐng)域還是工程應(yīng)用領(lǐng)域都具有極其重要的研究?jī)r(jià)值。 國(guó)內(nèi)外研究概況高效率計(jì)算機(jī)以及高精度、高質(zhì)量攝像機(jī)的出現(xiàn)，使得人們對(duì)視頻自動(dòng)處理分析的需求愈加急切，目標(biāo)跟蹤技術(shù)得到廣泛的重視。所謂目標(biāo)跟蹤，就是在已知目標(biāo)在過(guò)去的某時(shí)刻的位置等信息的基礎(chǔ)上，找到現(xiàn)時(shí)刻目標(biāo)的位置及其他信息，也就是在一段視頻圖像中的每幀圖像上找到運(yùn)動(dòng)目標(biāo)所處的位置 [2]。計(jì)算機(jī)處理速度的飛速提高、圖形識(shí)別算法的革命性改進(jìn)以及跟蹤對(duì)象的多樣化，多目標(biāo)跟蹤技術(shù)（Multiple Target Tracking，MTT）應(yīng)孕而生，并在交通監(jiān)管、軍事打擊及防御、天文預(yù)測(cè)、智能監(jiān)控等領(lǐng)域有著非常重要的實(shí)用價(jià)值。計(jì)算機(jī)視覺(jué)技術(shù)的進(jìn)一步發(fā)展，關(guān)于單個(gè)攝像機(jī)中目標(biāo)運(yùn)動(dòng)分析技術(shù)的研究已較深入，其中一些不可避免的問(wèn)題凸顯而出，如視野問(wèn)題、遮擋問(wèn)題。由于單個(gè)攝像機(jī)的視野范圍有限，難以對(duì)感興趣目標(biāo)實(shí)現(xiàn)大范圍、多角度、長(zhǎng)期的跟蹤，多攝像機(jī)的應(yīng)用成為必然趨勢(shì)。多攝像機(jī)監(jiān)控范圍大，視野廣闊，可全方位定位跟蹤，同時(shí)可以解決單個(gè)攝像機(jī)中由于遮擋而存在的盲點(diǎn)問(wèn)題，未來(lái)的目標(biāo)跟蹤系統(tǒng)將得益于多攝像機(jī)的應(yīng)用。下面分別就單目標(biāo)跟蹤技術(shù)、多目標(biāo)跟蹤技術(shù)以及多通道視頻目標(biāo)跟蹤技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀做介紹。1. 單目標(biāo)跟蹤技術(shù)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的一個(gè)重要環(huán)節(jié)，并在軍事和民用領(lǐng)域有著廣泛的應(yīng)用。早在二戰(zhàn)之前，世界上第一部跟蹤雷達(dá)站SCR28的出現(xiàn)標(biāo)志著目標(biāo)跟蹤技術(shù)已經(jīng)應(yīng)用到軍事領(lǐng)域。之后，隨著科學(xué)技術(shù)的發(fā)展，一系列的跟蹤系統(tǒng)涌現(xiàn)而出，目標(biāo)跟蹤理論和方法得到飛速發(fā)展。70年代，卡爾曼濾波理論 [3]在目標(biāo)跟蹤領(lǐng)域的成功應(yīng)用，使得目標(biāo)跟蹤技術(shù)得到人們的普遍關(guān)注。之后，各學(xué)者在該領(lǐng)域展開(kāi)大量的研究工作，一些新型的目標(biāo)跟蹤技術(shù)相繼產(chǎn)生，比如粒子濾波 [4]、區(qū)域匹配 [5]、特征匹配 [6]等技術(shù)，結(jié)合這些技術(shù)產(chǎn)生了多樣化的跟蹤方法，進(jìn)一步推動(dòng)了目標(biāo)跟蹤技術(shù)的飛速發(fā)展。目前，常用的目標(biāo)跟蹤方法有基于特征的目標(biāo)跟蹤方法、基于模板匹配的目標(biāo)跟蹤方法和基于粒子濾波的目標(biāo)跟蹤方法等。（1）基于特征的目標(biāo)跟蹤方法在序列圖像中，如果在每幅圖像中都可以根據(jù)特征來(lái)確定目標(biāo)，即可實(shí)現(xiàn)目標(biāo)的跟蹤。因此找到并提取出具有良好描述以及較強(qiáng)分類性能的圖像特征是解決基于特征的目標(biāo)跟蹤的關(guān)鍵3 / 79問(wèn)題。通常提取的目標(biāo)特征具備以下幾個(gè)特點(diǎn) [7]：可區(qū)分性、可靠性、獨(dú)立性。而常用的特征有如下幾類:描述圖像灰度分布的統(tǒng)計(jì)特征、描述幾何形狀的特征、顏色特征、紋理特征、矩特征、角點(diǎn)特征。基于特征跟蹤的方法多種多樣?；诮屈c(diǎn)特征的跟蹤要求能夠準(zhǔn)確的檢測(cè)并描述角點(diǎn)。對(duì)于角點(diǎn)檢測(cè)，目前主要分為兩類方法：基于圖像邊緣的方法和基于圖像灰度的方法?；趫D像邊緣的方法對(duì)邊緣提取算法的依賴性比較大，計(jì)算復(fù)雜且不能很好地定位角點(diǎn)，而基于圖像灰度的方法則避開(kāi)了這些缺陷。常用的角點(diǎn)檢測(cè)方法如 SUSAN 算法 [8]、Harris 特征點(diǎn)檢測(cè)算法 [9]、SIFT 算法 [10]等?；陬伾卣鞯母欀饕槍?duì)跟蹤目標(biāo)本身的顏色信息，即用于匹配的特征是像素灰度值、顏色直方圖等。前者直接利用模板圖像與待匹配圖像的對(duì)應(yīng)像素處的灰度值，通過(guò)統(tǒng)計(jì)方法計(jì)算距離或相關(guān)程度來(lái)量測(cè)兩者的相似程度；后者利用模板圖像與待匹配圖像的顏色直方圖（可以是灰度直方圖，也可以是在某顏色空間上的某顏色分量直方圖） ，根據(jù)直方圖得到的統(tǒng)計(jì)特征，來(lái)比較兩者的相似程度。常用的基于顏色特征的目標(biāo)跟蹤方法如基于顏色直方圖的投影圖匹配算法、meanshift 算法 [11]、Camshift 算法 [12]等?；诓蛔兙靥卣鞯哪繕?biāo)跟蹤考慮其具有旋轉(zhuǎn)、平移、尺度變換等特性的不變性，用幾個(gè)幾何矩來(lái)表征目標(biāo)的圖像區(qū)域，完成圖像的分類等操作。常用的矩特征如 Hu 不變矩 [13]。利用圖像的特征，如顏色、亮度、角點(diǎn)等，即可進(jìn)行目標(biāo)的跟蹤。在進(jìn)行跟蹤時(shí)，可以利用某種方法對(duì)兩幅圖片進(jìn)行比較，根據(jù)比較的結(jié)果實(shí)現(xiàn)跟蹤，如幀間差分法；可以將兩種或多種特征結(jié)合在一起，在跟蹤時(shí)就可以排除非目標(biāo)特征點(diǎn)的干擾，如利用直方圖構(gòu)造不變矩，利用角點(diǎn)進(jìn)行向量匹配等；也可以根據(jù)特征在不同圖片中進(jìn)行模板的匹配；還有一些利用圖像中目標(biāo)的運(yùn)動(dòng)特征來(lái)進(jìn)行跟蹤。（2）基于模板匹配的目標(biāo)跟蹤方法模板匹配的基本思想是預(yù)先存儲(chǔ)一個(gè)目標(biāo)模板，后續(xù)的匹配過(guò)程中用該模板與實(shí)際圖像中的各個(gè)子區(qū)圖像進(jìn)行匹配（計(jì)算相關(guān)函數(shù)值），以與目標(biāo)模板相似度最高的子圖像位置為當(dāng)前目標(biāo)的位置 [14]。模板匹配方法簡(jiǎn)單、直觀實(shí)用，且定位靈敏度高，對(duì)動(dòng)態(tài)物體有很好的即時(shí)響應(yīng)性。但是，它的相關(guān)運(yùn)算計(jì)算復(fù)雜，且對(duì)尺度、旋轉(zhuǎn)等目標(biāo)變形以及目標(biāo)自身特征變化問(wèn)題的適用性差。圖像模板匹配算法可以分成基于灰度值法以及基于特征的提取法兩大類?；诨叶戎迪嚓P(guān)的方法簡(jiǎn)單易行，具有較高的匹配精度，且不損失圖像信息，對(duì)復(fù)雜圖像具有良好的適應(yīng)性，同時(shí)，無(wú)需對(duì)匹配對(duì)象進(jìn)行分割和特征提取，只需計(jì)算模板與匹配子圖的相似度即可實(shí)現(xiàn)匹配。但是，它對(duì)噪聲和圖像的光照變化比較敏感，且相似度算子計(jì)算量大，不適用于目標(biāo)出現(xiàn)旋轉(zhuǎn)縮放情況的場(chǎng)合。常用的灰度匹配算法如平均絕對(duì)差算法（MAD）、歸一化積相關(guān)法（NCC）、差的平方和相關(guān)法（SSD ）、差的絕對(duì)值和相關(guān)法（SAD）、序貫相似性檢測(cè)法 [15]（SSDA）等。特征提取方法一般涉及大量的幾何與圖像形態(tài)學(xué)計(jì)算，計(jì)算復(fù)雜度小，計(jì)算量大，沒(méi)有一般模型可遵循，需要針對(duì)不同的應(yīng)用場(chǎng)景選擇各自特定的特征。常用的特征提取算法如方向碼法 [16]、圓投影法 [17]等。關(guān)于模板匹配算法的改進(jìn)，大多是針對(duì)算法的計(jì)算量來(lái)考慮的，它關(guān)乎到匹配的速度問(wèn)題。任何一個(gè)匹配算法的總計(jì)算量都為相關(guān)算法的計(jì)算量和搜索位置數(shù)之積。因此，可以通過(guò)相應(yīng)的方法減少相關(guān)算法計(jì)算量或者搜索位置數(shù)，從而達(dá)到快速匹配的效果。常用的減少相關(guān)算法計(jì)算量的方法如相關(guān)系數(shù)最大值的快速模板匹配算法、差分求和法、多值模板法。常用的位置搜索方法如逐步搜索法、均勻搜索法、分精度搜索法、二維對(duì)數(shù)搜索法、三步搜索法、分層搜索法。（3）基于粒子濾波的目標(biāo)跟蹤方法粒子濾波是蒙特卡羅法和貝葉斯法的結(jié)合。該方法通過(guò)非參數(shù)化的蒙特卡羅法實(shí)現(xiàn)遞推貝葉斯估計(jì)，基本思想是利用一組隨機(jī)