【正文】 態(tài)跟新 ： p(Xk|Z1:k) = p(Zk|Xk)p(Xk|Z1:k?1)p(Zk|Z1:k?1) (24) 其中， p(Xk?1|Z1:k?1)為 k1時(shí)刻的濾波分布，即 k 時(shí)刻的先驗(yàn)概率分布，是已知的。根據(jù)貝葉斯估計(jì)理論，已知系統(tǒng)的先驗(yàn)概率分布，在獲取到新的觀測(cè)值后，可以遞推估計(jì)出系統(tǒng)狀態(tài)的后驗(yàn)概率分布 p(Xk|Z1:k)，其中 Z1:k = *Z1,Z2,…Zk+。 18 貝葉斯?fàn)顟B(tài)估計(jì) 考慮如下兩個(gè)非線性離散系統(tǒng) ： Xk = f(Xk?1,Wk?1) (21) Zk = h(Xk,Vk) (22) 其中， f (?) ， h (?) 為非線性函數(shù)，分別代表系統(tǒng)模型和觀測(cè)模型， Xk 為 k 時(shí)刻的狀態(tài)， Zk為 k 時(shí)刻下的觀測(cè)量。 隨后介紹了粒子濾波跟蹤算法的詳細(xì)過(guò)程 。 由于粒子濾波算法是基于貝葉斯推理的狀態(tài)估計(jì)，因此，本章首先介紹貝葉斯?fàn)顟B(tài)推論的基本原理。一個(gè)粒子集包含了被追蹤物體最有可能處于的方位。每個(gè)粒子表示一個(gè)可能的系統(tǒng)狀態(tài)實(shí)例。在許多情況下，非線性和非高斯型在物體的運(yùn)動(dòng)和相似性建模上會(huì)得到一個(gè)難以處理的濾波分布。從概念上講，一個(gè)粒子濾波算法包含一個(gè)被監(jiān)視系統(tǒng)的狀態(tài)的概率分布。粒子濾波沒(méi)有特定條件的限制，當(dāng)粒子的數(shù)量足夠多時(shí)，這些粒子可以很好地逼近后驗(yàn)概率分布。粒子濾波算法的基本思想是從建議分布中采用一組獨(dú)立隨機(jī)的樣本，稱(chēng)為粒子，來(lái)表示后驗(yàn)概率，并通過(guò)獲得新的觀察值來(lái)更新后驗(yàn)概率。本質(zhì)上，粒子濾波是一種序貫蒙特卡洛方法，用來(lái)解決遞歸貝葉斯過(guò)濾問(wèn)題，它結(jié)合了強(qiáng)大的蒙特卡洛抽樣技術(shù)與貝葉斯推理。首先，算法對(duì)目標(biāo)和背景的可分離性過(guò)于依賴，相似干擾物的存在成了一些序列中跟蹤失敗的一個(gè)主要原因；其次，算法要求相鄰幀中跟蹤區(qū)域有所重疊，因此對(duì)目標(biāo)運(yùn)動(dòng)速度有所限制。 Meanshift 算法采用的是無(wú)參的概率密度估計(jì)，避開(kāi)了有參估計(jì)中存在的一些問(wèn)題，原理簡(jiǎn)單，易于實(shí)現(xiàn)。 本章 小結(jié) 本章從算法概述、算法原理和具體實(shí)現(xiàn)等方面對(duì) Meanshift 做了較為全面的理論分析。 圖 1. 2 Meanshift 跟蹤第一組 14 圖 1. 3 Meanshift 跟蹤第一組 第二組實(shí)驗(yàn)是當(dāng)被跟蹤的人已經(jīng)走過(guò)門(mén)時(shí)開(kāi)始跟蹤，可以看到跟蹤可以實(shí)時(shí)進(jìn)行并且效果良好 。運(yùn)行環(huán)境為 WIN7+VS2022，計(jì)算機(jī)配置是 Intel（ R） Core（ TM） i33110M CPU， ，內(nèi)存 6GB。 跟蹤實(shí)驗(yàn) 上面介紹了 Mean shift 跟蹤算法的理論部分，本節(jié)中將通過(guò)兩 組有代表性的實(shí)驗(yàn)對(duì)跟蹤效果進(jìn)行分析。 } Mass Center 為： Xc=M10/M00。j=+width； j++) { M10+=i*I(i,j)。i=+height。i++) for(int j=。 最后得到的反向投影圖存放在 BackProjectImage 里面 . 在此討論一下在 2D概率分布圖像中如何計(jì)算某個(gè)區(qū)域的重心（ Mass Center）的問(wèn)題，重心可通過(guò)以下公式來(lái)計(jì)算： 0階距 for(int i=。 cvCalcBackProject(amp。Hue, hist, 0, 0 )。 cvSplit(HSV,Hue,0,0,0)。hranges,1)。 hist = cvCreateHist(1,amp。 HSV= cvCreateImage( cvGetSize(frame), 8, 3 )。 以下是獲得反向投影圖的代碼： image = cvCreateImage( cvGetSize(frame), 8, 3 )。 Meanshift 算法具體實(shí)現(xiàn) 目前的跟蹤算法 ，一般都需要首先用鼠標(biāo)選取需要跟蹤的對(duì)象 ， 跟蹤區(qū)域選擇成功后，就需要提取區(qū)域內(nèi)目標(biāo)的顏色特征，由于 RGB顏色空間對(duì)光照亮度變化比較敏感，為了減少此變化對(duì)跟蹤結(jié)果的影響，于是把圖像從 RGB 空間轉(zhuǎn)換為HSV空間。 Meanshift 的最初含義正如其名，就是偏移的均值向量，它最早是由 Fukunaga等人在 1975年的篇關(guān)于概率密度梯度函數(shù)的估計(jì)的文章中提出來(lái)的，在這里， Meanshift 只是一個(gè)簡(jiǎn)單的表示向量的名詞。其在聚類(lèi) 、 圖像平滑 、 圖像分割和跟蹤方面得到了比較廣泛的應(yīng)用 ?？偨Y(jié)了全文的主要工作及 展望 進(jìn)一步的研究方向。作為本文主要內(nèi)容之一，該章對(duì) 粒子濾波的算法原理做了詳細(xì)研究，并通過(guò) 實(shí)驗(yàn)，對(duì)算法性能做了深入分析和總結(jié)，并且比較總結(jié)了兩種跟蹤算法的優(yōu)缺點(diǎn)。作為本文主要內(nèi)容之一，該章對(duì)Meanshift 的算法原理做了詳細(xì) 分析 ，并通過(guò)實(shí)驗(yàn)，對(duì)算法性能做了深入分析和總結(jié)。主要介紹了課題的 背景和 研究意義，分析了國(guó)內(nèi)外跟蹤技術(shù)的研究現(xiàn)狀，簡(jiǎn)單介紹了計(jì)算機(jī)視覺(jué)和目標(biāo)跟蹤，最后給出了本文的主要工作和章節(jié)安排。 在此期間，主要工作如下： （ 1）系統(tǒng)學(xué)習(xí)了計(jì)算機(jī)視覺(jué)理論知識(shí)； （ 2）學(xué)習(xí)目標(biāo)跟蹤的基本理論和主要方法； （ 3） 重點(diǎn)研究了 Meanshift 算法以及粒子濾波算法，深入理解算法的理論體系； （ 4）基于（ 3）的研究，復(fù)現(xiàn)了兩種算法并在全景視頻中進(jìn)行了實(shí)驗(yàn)比對(duì)。在眾多跟蹤算法研究中， Meanshift以及粒子濾波 作為 其中比較 高效的模式匹配算法 ，已經(jīng)被成功地應(yīng)用在目標(biāo)跟蹤的一些 領(lǐng)域中 。而非剛 9 體是指外形能夠變化的物體，如細(xì)胞、動(dòng)物、人等，對(duì)這類(lèi)目標(biāo)一種通常的方法是采用 變形模板進(jìn)行 跟蹤；另外根據(jù)所使用的傳感器種類(lèi)的不同，可以將目標(biāo) 跟蹤 問(wèn)題分為由 CCD攝像頭獲得的可見(jiàn)光圖像的目標(biāo)跟蹤和由紅外傳感器獲得的紅外圖像的目標(biāo)跟蹤，這兩種類(lèi)型的圖像跟蹤分別在不同的情況下使用，通常的自然環(huán)境條 件 下，白天使用可見(jiàn)光圖像進(jìn)行目標(biāo)跟蹤，而晚上則使用紅外圖像進(jìn)行目標(biāo)跟蹤，如果將二者所獲得的圖像進(jìn)行融合處理，則 _般可以得到比單一傳感器信息更多的圖像，從而極大地提高檢測(cè)和跟蹤運(yùn)動(dòng)目標(biāo)的 能力 [6]。數(shù)據(jù)通信則是完成視頻圖像數(shù)據(jù)的傳輸和控制以及反饋信號(hào)的通信。圖像采集通過(guò)攝像機(jī)捕獲監(jiān)視場(chǎng)景的 光學(xué)圖像，采用視頻卡和視頻檢測(cè)技術(shù)，并通過(guò) A/D轉(zhuǎn)換將視頻信號(hào)轉(zhuǎn)換成數(shù) 字圖像序列，為視頻圖像處理提供數(shù)據(jù)。近幾年，目標(biāo)跟蹤廣泛應(yīng)用于監(jiān)控、視頻編碼以及軍工領(lǐng)域。其基本任務(wù)可簡(jiǎn)述為在視頻序列中對(duì)感興趣的目標(biāo)或?qū)ο蟮奈恢玫冗\(yùn)動(dòng)特征進(jìn)行有效的確定和估計(jì)。計(jì)算機(jī)視覺(jué)與人類(lèi)視覺(jué)密切相關(guān)，對(duì)人類(lèi)視覺(jué)有一個(gè)正確的認(rèn)識(shí)將對(duì)計(jì)算機(jī)視覺(jué)的研究非常有益。作為一門(mén)學(xué)科，計(jì)算機(jī)視覺(jué)開(kāi)始于60年代初，但在計(jì)算機(jī)視覺(jué)的基本研究中的許多重要進(jìn)展是在 80 年代取得的。計(jì)算機(jī)視覺(jué)需要圖像 信 8 號(hào)，紋理和顏色建模，幾何處理和推理，以及物體建模。由于它的重要性，一些先進(jìn)國(guó)家，例如美國(guó)把對(duì)計(jì)算機(jī)視覺(jué)的研究列為對(duì)經(jīng)濟(jì)和科學(xué)有廣泛影響的科學(xué)之一，并把它作為工程中的重大基本問(wèn)題，即所謂的重大挑戰(zhàn)。其中包括計(jì)算機(jī)科學(xué)和工程、信號(hào)處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)，神經(jīng)生理學(xué)和認(rèn)知科學(xué)等。 計(jì)算機(jī)視覺(jué)既是工程領(lǐng)域，也是科學(xué)領(lǐng)域中的一個(gè)富有挑戰(zhàn)性的重要研究領(lǐng)域。但是讓機(jī)器擁有這樣的能力卻是一件很困難的事情。讓機(jī)器像人一樣具有視覺(jué)是人類(lèi)的一個(gè)夢(mèng)想， 機(jī)器擁有視覺(jué)功能對(duì)世界產(chǎn)生的影響怎么估計(jì)大概都不為過(guò)。因此視覺(jué)是思維的一種最基本的工具。在各種感覺(jué)中，視覺(jué)則是對(duì)人的智力產(chǎn)生影響的最重要的感覺(jué)，它是人的主要感覺(jué)來(lái)源，人類(lèi)接受的 80%外界信息來(lái)自視覺(jué)。 概述 計(jì)算機(jī)視覺(jué)研究 感覺(jué)是人的大腦與周?chē)澜缏?lián)系的窗口，它的任務(wù)是識(shí)別周?chē)奈矬w，并告訴人們這些物體之間的關(guān)系。例如，A． Majumder 等人提出一種精心設(shè)計(jì)的攝像機(jī)組，各攝像機(jī)間保持虛擬的公共 7 投影中心，從而所有視頻幀可以通過(guò)簡(jiǎn)單算法進(jìn)行配準(zhǔn)；同時(shí)這種特制的結(jié)構(gòu)可以在一定程度上避免視差，無(wú)需額外的修正算法。而針對(duì)靜態(tài)全景圖像質(zhì)量的改進(jìn)算法也由于計(jì)算量太大無(wú)法用于處理視頻幀。主要困難之一在于實(shí)時(shí)性的要求。目前，這類(lèi)技術(shù)已應(yīng)用到高端數(shù)碼相機(jī)中，可對(duì)用戶拍攝的存在簡(jiǎn)單平移關(guān)系的照片進(jìn)行自動(dòng)拼接。例如，沿街拍攝一系列的水平圖像，處理后構(gòu)成類(lèi)似清明上河圖的長(zhǎng)街景觀，可應(yīng)用于網(wǎng)上虛擬旅游、數(shù)字地圖等場(chǎng)合。 基于計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)和圖像處理的全景技術(shù)興起于上世紀(jì)九十年代，最早是指單視點(diǎn)全景圖像，由一臺(tái)相機(jī)嚴(yán)格圍繞光心旋轉(zhuǎn)所拍攝的圖像拼接而成。模式識(shí)別實(shí)驗(yàn)室還與英國(guó)雷丁大學(xué)、法國(guó)波爾多第三大學(xué) EGID研究所等多所國(guó)外研究機(jī)構(gòu)就相關(guān)項(xiàng)目的研究進(jìn)行 交流與合作。 目前， 國(guó)內(nèi)的相關(guān)研究機(jī)構(gòu)中，中科院自動(dòng)化研究所下屬的模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn) 室成立的視頻監(jiān)控研究小組處于領(lǐng)先地位。 國(guó)內(nèi)這方面的研究較晚。 美國(guó)國(guó)際商用機(jī)器公司 (IBM)與美國(guó)馬里蘭大學(xué)聯(lián)合開(kāi)發(fā)的 w4 (what， where，when， who)系統(tǒng)，主要用于對(duì)人體目標(biāo)的檢測(cè)和跟蹤，監(jiān)視目標(biāo)的活動(dòng)。 1997年美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立了以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視頻監(jiān)控重大項(xiàng)目 VSAM(Visual Surveillance and Monitoring)， VSAM 的目標(biāo)是為未來(lái)城市和市場(chǎng)監(jiān)控應(yīng)用開(kāi)發(fā)一種自動(dòng)視頻理解技術(shù)，用于實(shí)現(xiàn)未來(lái)戰(zhàn)爭(zhēng)只能夠人力監(jiān)控，費(fèi)用昂貴，非常危險(xiǎn)或者人力無(wú)法實(shí)現(xiàn)等場(chǎng)合下的監(jiān)控。例如：1998年， Michael Isare和 Andrew Black提出的 Condensation算法，首次將粒子濾波的思想應(yīng)用到視頻序列目標(biāo)跟蹤當(dāng)中； 2022年 Comaniciu等 提出的Meanshift 跟蹤框架，理論嚴(yán)謹(jǐn)，計(jì)算復(fù)雜度低， 因此 成為目標(biāo)跟蹤算法的研究熱點(diǎn)。但是， 即使在現(xiàn)階段，光流法所需的運(yùn)算量對(duì)計(jì)算機(jī)而言也是很大的，很難滿足實(shí)時(shí)性要求，同時(shí)由于采用假設(shè)的局限性使得光流法對(duì)噪聲特別敏感，很容易產(chǎn)生錯(cuò)誤的結(jié)果，這些缺點(diǎn)造成光流法與實(shí)際使用之間還存在著很大的距離。二十世紀(jì)80年代以前，由于計(jì)算機(jī)技術(shù)的限制，對(duì)圖像的處理與分析主要以靜態(tài)圖像為主，在動(dòng)態(tài)圖像序列的分析中，對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤帶有很強(qiáng)的靜態(tài)圖像分析的特點(diǎn)。對(duì)于動(dòng)態(tài)視頻，則主要依靠特殊的硬件系統(tǒng)：一種方案是采用快球系統(tǒng)，另一種方案是采用配有全景鏡頭的專(zhuān)業(yè)攝像系統(tǒng)。 全景作為一種方興未艾的技術(shù)，能擴(kuò)大視角、在同一時(shí)刻顯示大范圍場(chǎng)景信息，在衛(wèi)星航拍、視頻會(huì)議、場(chǎng)景監(jiān)控、交通導(dǎo)航、虛擬現(xiàn)實(shí)、攝影等 多種科研、商業(yè)及藝術(shù)領(lǐng)域具有廣泛的應(yīng)用前景。據(jù)統(tǒng)計(jì)，普通人所感受的外界信息 80％以上來(lái)自視覺(jué)。而目標(biāo)跟蹤處于整個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)的底層，是各種后續(xù)