【正文】 圖像區(qū)域方差分類器1 N N 分類器集成分類器Y Y YNN N被接受的圖像區(qū)域被拒絕的圖像區(qū)域所有圖像區(qū)域( 圖像子窗口 )圖 級聯(lián)分類器結構圖（1）圖像區(qū)域方差分類器圖像區(qū)域方差分類器的思想：在跟蹤過程中，目標所在圖像區(qū)域的像素方差值相對較大。集成分類器由隨機森林構成，對滿足圖像區(qū)域方差分類標準后的圖像區(qū)域，通過隨機森林再分類，記錄每個圖像區(qū)域的后驗概率，認為后驗概率值大于 50%的圖像區(qū)域為可能的目標區(qū)域。圖 掃描窗口示意圖3. 級聯(lián)分類器檢測器中，級聯(lián)分類器用來對每個圖像子窗口判斷決定當前子窗口上目標存在與否。掃描窗口通過以下方法生成。相比較局部二值模式，2bitBP 只需一個編碼即可對某一特定區(qū)域進行整體編碼；另外，2bitBP 只輸出 4 種可能的編碼，相比較 LBP 的 256 種可能編碼輸出，可以很好地防止過擬合。它由一系列 positive 和 negative 圖像M區(qū)域組成， ，其中 和 分別代表目標和背景圖像區(qū)域，1212{,}mnpp?????? ? p??（ ）為加入模型的第一個 positive（negative）圖像區(qū)域， （ ）為加入的最后一個1p?? m?np?positive（negative）圖像區(qū)域。任意兩邊界框的相似度由兩者之間的交疊程度度量。TLD 檢測模塊中的檢測器是基于掃描窗口策略 [46]，在初始幀圖像上，根據(jù)初始目標的位置和大小，以子窗口的形式給出所有可能的具有不同位置及大小的目標邊界框（子窗口） ，在接下來的每一幀圖像中， 以窗口掃描的形式通過一個級聯(lián)分類器對每個子窗口內(nèi)的圖像內(nèi)容進行判斷，決定是否為目標。檢測器要求快速、可靠，能夠有效的調(diào)整決策域，處理在線模型中的特征數(shù)據(jù)。每一次跟蹤，跟蹤器都會在目標的邊界框中重新初始化新的跟蹤點集，從而使跟蹤器具有了較好的自適應能力。最后，剩余的 50%點將被用來預估目標邊界框從 到 的位移和大小的變化。具體講，對邊界框 初始化一個 1010 的格子，生成 100 個點集。tx?1tx??tkx?tkI?tI1tI?f o r w a r d b a c k w a r d e r r o r向后軌道向前軌道1tx?tx圖 ForwardBackward 示意圖2. 采用 Median Flow 方法的短期自適應跟蹤器的實現(xiàn)在實際的目標跟蹤中，所跟蹤的點往往是相互有關聯(lián)的，比如說表征目標的點集往往是一起運動的。由于此處的目的是評估 的誤差，所以需要創(chuàng)建一個校驗軌跡。ForwardBackward Error 介紹如下。ForwardBackward Error 的基本思想：跟蹤器從初始幀到最后一幀跟蹤每一幀圖像上的一系列點，形成一個軌跡。這樣金字塔的 LucasKanade 方法允許用小窗口捕獲較大的運動。LucasKanade 方法 的基本原理是對圖像中的每一像素點賦予一個速度矢量，從而形成一個圖像運動場。 節(jié)為跟蹤模塊的介紹， 節(jié)為檢測模塊的介紹， 節(jié)為學習模塊的介紹， 節(jié)為融合處理模塊的介紹。檢測器對當前幀窗口全局掃描，檢測出一個或者多個可能的目標區(qū)域。TLD 算法的框架結構如圖 所示。 TLD 算法框架結構TLD 主要由三個部分組成：跟蹤器、學習模塊、檢測器。長期是指處理的圖像序列可以是無限長并且可能含有幀修剪、快速的攝像機運動以及目標短暫消失等情況。在跟蹤精度較高的情況下，這種方法能很好的解決目標外表變化的問題。長期跟蹤器需要考慮多方面的問題，其中最重要的是當目標消失后再次出現(xiàn)在攝像機視野中，目標外表發(fā)生變化，而檢測器如果僅由初始目標外表信息訓練得到，將導致后續(xù)跟蹤錯誤。基于檢測的跟蹤方法 [43]或者融合了檢測器的跟蹤方法 [44,45]使得跟蹤器具備了檢測能力。9 / 79第二章 TLD 目標跟蹤方法介紹目標跟蹤是計算機視覺研究領域中的關鍵問題，其本質(zhì)是根據(jù)參考圖像幀中選定的目標在隨后的實時圖像幀中尋找目標的最佳位置，并在多個領域有著重要的研究和應用價值,如民用領域中的智能交通系統(tǒng)，軍事領域中的導航、制導、以及防衛(wèi)等系統(tǒng)。第五章采用攝像機、傳輸線、圖像采集卡、中心服務器構建多通道視頻目標跟蹤系統(tǒng)的硬件架構，并融入基于改進 TLD 的多通道視頻中多目標跟蹤技術，搭建一個實際場景下的多通道多目標跟蹤系統(tǒng)。基于上述的研究內(nèi)容，本文的章節(jié)安排如下：第一章是緒論。通過設計一個高效的多通道視頻目標跟蹤系統(tǒng)的數(shù)據(jù)表示格式記錄所有視頻通道中的全部目標信息。下面簡要地介紹本文兩方面的主要工作。中科院自動化所模式識別國家重點實驗室借鑒英國雷丁大學研制的Views系統(tǒng)，設計出交通監(jiān)控原型系統(tǒng)，實現(xiàn)交通視頻場景中車輛的自動檢測、定位、跟蹤；哈爾濱工業(yè)大學模式識別與智能控制研究中心研究出一種基于多區(qū)域視頻對象的跟蹤系統(tǒng)，該系統(tǒng)在短道速滑運動中得到廣泛應用；清華大學電子工程系研制出一種智能監(jiān)控系統(tǒng)，該系統(tǒng)以計算機為輔助，完成運動目標自動檢測、跟蹤和分類，可解決戶外復雜背景下人體無法準確識別的難題。早在1996年，日本學術振興會著手主持的CDV Project[34]項目，該系統(tǒng)由攜帶多個攝像機并具有實時圖像處理能力的觀測站和移動機器人組成，能夠實現(xiàn)動態(tài)變化真實場景的實時分析和理解；1997年美國國防部高級計劃署(DARPA)設立的視覺監(jiān)控項目VSAM (Visual Surveillance And Monitoring)[35]，該系統(tǒng)用主要用于戰(zhàn)場及普通民用場景的實時多運動目標的自動檢測與跟蹤。常用的不同視頻通道中的目標連續(xù)跟蹤方法有基于幾何變換的方法 [31]、基于特征融合的方法 [32]、基于攝像機視野分界線的方法 [33]?；旌隙嗄繕烁櫵惴?[29,30]考慮不同跟蹤算法的優(yōu)劣性，混合幾種算法實現(xiàn)多目標的跟蹤。文獻[25] 中提出了基于MCMC的3D多目標跟蹤算法，目標由兩個橢圓體表示，狀態(tài)向量用3D坐標表示，用聯(lián)合狀態(tài)空間表示多目標，計算兩個橢圓相交區(qū)域與相并區(qū)域像素點個數(shù)的比值，并作為當前的狀態(tài)權值，其最優(yōu)位置估計為當前所有狀態(tài)值的加權。文獻[23] 針對上述問題提出了多特征融合的自適應模板更新的多目標跟蹤算法，能夠實時在線更新目標模板，達到多個目標的穩(wěn)健跟蹤。由于跟蹤對象不同，圖像獲取設備各異以及跟蹤算法的多樣性，目前沒有一種多目標跟蹤方法能夠應用到所有領域，但各國學者仍致力于該技術的研究，并努力改進或尋求新的算法以獲得更優(yōu)的跟蹤效果。1970年，Singer和Bar 5 / 79Shalom研究了一些簡單環(huán)境下的目標跟蹤技術，并使數(shù)據(jù)關聯(lián)技術與卡爾曼濾波理論有機結合，令多目標跟蹤技術進入了新的發(fā)展階段。該類方法的出現(xiàn)進一步豐富了粒子濾波理論。常用的目標特征如灰度、輪廓、顏色等；③系統(tǒng)的狀態(tài)轉移，即目標狀態(tài)隨時間的更新過程；④系統(tǒng)觀測，即目標傳播之后對目標狀態(tài)進行驗證；⑤后驗概率的計算，如常用的加權準則中每個粒子根據(jù)自身權值判定其重要性，決定最終的結果；⑥粒子的重采樣，即保留權值較大的粒子，拋棄權值較小的粒子。粒子濾波可用于任意非線性、非高斯系統(tǒng)的狀態(tài)估計，且精度逼近最優(yōu)估計 [18]。常用的減少相關算法計算量的方法如相關系數(shù)最大值的快速模板匹配算法、差分求和法、多值模板法。常用的特征提取算法如方向碼法 [16]、圓投影法 [17]等。基于灰度值相關的方法簡單易行，具有較高的匹配精度，且不損失圖像信息，對復雜圖像具有良好的適應性，同時，無需對匹配對象進行分割和特征提取，只需計算模板與匹配子圖的相似度即可實現(xiàn)匹配。（2）基于模板匹配的目標跟蹤方法模板匹配的基本思想是預先存儲一個目標模板，后續(xù)的匹配過程中用該模板與實際圖像中的各個子區(qū)圖像進行匹配（計算相關函數(shù)值），以與目標模板相似度最高的子圖像位置為當前目標的位置 [14]?；诓蛔兙靥卣鞯哪繕烁櫩紤]其具有旋轉、平移、尺度變換等特性的不變性，用幾個幾何矩來表征目標的圖像區(qū)域，完成圖像的分類等操作。常用的角點檢測方法如 SUSAN 算法 [8]、Harris 特征點檢測算法 [9]、SIFT 算法 [10]等?；谔卣鞲櫟姆椒ǘ喾N多樣。（1）基于特征的目標跟蹤方法在序列圖像中，如果在每幅圖像中都可以根據(jù)特征來確定目標，即可實現(xiàn)目標的跟蹤。之后，隨著科學技術的發(fā)展，一系列的跟蹤系統(tǒng)涌現(xiàn)而出，目標跟蹤理論和方法得到飛速發(fā)展。多攝像機監(jiān)控范圍大，視野廣闊，可全方位定位跟蹤，同時可以解決單個攝像機中由于遮擋而存在的盲點問題，未來的目標跟蹤系統(tǒng)將得益于多攝像機的應用。所謂目標跟蹤，就是在已知目標在過去的某時刻的位置等信息的基礎上，找到現(xiàn)時刻目標的位置及其他信息，也就是在一段視頻圖像中的每幀圖像上找到運動目標所處的位置 [2]。同時，多攝像機能夠提供比單個攝像機更加豐富的目標信息，而有效地融合這些信息可對目標的跟蹤與分析帶來巨大的促進作用。隨著計算機處理速度的飛速提高和感興趣目標的多樣化，人們希望對同一視頻中的多個運動目標實現(xiàn)同步實時監(jiān)控，要求能夠同步跟蹤并分析多個目標的行為特征，做出相應的決策。多通道視頻即多個攝像機獲取的圖像信號；目標跟蹤即在圖像序列的每幀圖像中找出運動目標所處的位置，最終獲得目標的運動參數(shù)及其運動軌跡，實現(xiàn)目標行為的理解 [1]。由于視頻監(jiān)控系統(tǒng)通常關注一些小概率的事件，而安全監(jiān)控人員不可能長期、不間斷的將全部注意力集中在視頻監(jiān)視器上。該系統(tǒng)由攝像機、傳輸線、圖像采集卡、中心服務器組成。本文的主要工作包括如下幾個方面：1. 研究分析當前新興起的一種高效目標跟蹤方法 TLD(TrackingLearningDetection)，在此基礎上，對 TLD 加以改進，提出了一種改進的 TLD 目標跟蹤方法，該方法不僅提高了原始算法的跟蹤精度和運行速度，而且增強了算法對相似目標交會后分開的辨識能力，能夠獲得比原始算法更理想的跟蹤效果。除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得南京航空航天大學或其他教育機構的學位或證書而使用過的材料。本人授權南京航空航天大學可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。2. 在改進TLD目標跟蹤方法的基礎上，提出了一種基于改進TLD的多通道視頻中多目標跟蹤方法，設計一套高效的數(shù)據(jù)表示格式來記錄所有目標的信息，根據(jù)記錄的所有目標信息依次遍歷各個視頻通道的圖像，找出每個通道中當前幀圖像上所有可能存在的目標。攝像機、傳輸線、圖像采集卡作為整個系統(tǒng)的輸入部分負責多路通道圖像的實時采集，中心服務器實現(xiàn)系統(tǒng)的算法功能以及結果顯示，通過分析和處理每一路通道的圖像序列，實現(xiàn)一個或多個目標在多通道視頻中的連續(xù)跟蹤，最終在中心服務器上顯示目標詳細的運動信息。若可疑的目標能夠通過計算機自動識別、跟蹤，那么不僅能節(jié)省大量的人力、物力資源，也能大幅度提高監(jiān)控系統(tǒng)報警的可靠性和實時性。視頻跟蹤技術的研究目的是賦予機器以生理視覺系統(tǒng)的感知能力，使機器能夠“人為”識別圖像序列中的運動物體。然而，攝像機獲取圖像的實質(zhì)是一個三維實物在二維平面的投影，自身即存在部分信息的缺失，再加上被跟蹤目標運動的不確定性、自身形狀姿態(tài)變化以及所處場景的復雜程度，都影響著目標跟蹤的效果，從而給目標的實時、準確、長期跟蹤帶來了很大的困難，因此在一定程度上制約了視頻跟蹤技術的快速發(fā)展與應用。綜上所述，如何實時、高效的跟蹤一個或多個目標仍是視頻跟蹤領域中一個亟待解決的關鍵問題；同時，如何實現(xiàn)一個或多個目標在不同攝像機中的準確跟蹤，擴大目標的監(jiān)控力度和范圍，是監(jiān)控系統(tǒng)的一個重要研究課題。計算機處理速度的飛速提高、圖形識別算法的革命性改進以及跟蹤對象的多樣化，多目標跟蹤技術（Multiple Target Tracking，MTT）應孕而生，并在交通監(jiān)管、軍事打擊及防御、天文預測、智能監(jiān)控等領域有著非常重要的實用價值。下面分別就單目標跟蹤技術、多目標跟蹤技術以及多通道視頻目標跟蹤技術的國內(nèi)外研究現(xiàn)狀做介紹。70年代，卡爾曼濾波理論 [3]在目標跟蹤領域的成功應用，使得目標跟蹤技術得到人們的普遍關注。因此找到并提取出具有良好描述以及較強分類性能的圖像特征是解決基于特征的目標跟蹤的關鍵3 / 79問題。基于角點特征的跟蹤要求能夠準確的檢測并描述角點?；陬伾卣鞯母欀饕槍Ω櫮繕吮旧淼念伾畔?，即用于匹配的特征是像素灰度值、顏色直方圖等。常用的矩特征如 Hu 不變矩 [13]。模板匹配方法簡單、直觀實用，且定位靈敏度高，對動態(tài)物體有很好的即時響應性。但是，它對噪聲和圖像的光照變化比較敏感，且相似度算子計算量大，不適用于目標出現(xiàn)旋轉縮放情況的場合。關于模板匹配算法的改進，大多是針對算法的計算量來考慮的，它關乎到匹配的速度問題。常用的位置搜索方法如逐步搜索法、均勻搜索法、分精度搜索法、二維對數(shù)搜索法、三步搜索法、分層搜索法。但同時，相對傳統(tǒng)線性模型下的卡爾曼濾波，粒子濾波的算法復雜度高，計算量較大。由于在傳播過程中，部分粒子偏離實際目標，權值會變小，無需耗費無謂的計算可以拋棄，只有少數(shù)具有較大的權值粒子需要保留。2. 多目標跟蹤技術計算機數(shù)據(jù)處理能力的提高以及圖像處理技術的發(fā)展，多對象目標的實時追蹤技術脫穎而出。然而卡爾曼濾波技術只能應用于線性高斯場合，上世紀九十年代粒子濾波理論的出現(xiàn)，使得人們可以處理非線性、非高斯的狀態(tài)估計，再一次推動多目標技術的發(fā)展?；诙嗵卣魅诤系亩嗄繕烁櫵惴?[22,23]考慮單一的特征信息不能確保充分描述目標，因此選擇多種特征表征目標?；谶\動信息的多目標跟蹤算法考慮目標的運動情況，實現(xiàn)簡單方便，常用的如光流法、背景