【正文】 到其具有代表性的關(guān)鍵特征點(diǎn)（可 以隨機(jī)產(chǎn)生，也可以利用角點(diǎn)來做特征點(diǎn)）； （ 4） 對(duì)之后的任意兩個(gè)相鄰視頻幀而言，尋找上一幀中出現(xiàn)的關(guān)鍵特征點(diǎn)在當(dāng)前幀中的最佳位置，從而得到前景目標(biāo)在當(dāng)前幀中的位置坐標(biāo)； （ 5） 如此迭代進(jìn)行，便可實(shí)現(xiàn)目標(biāo)的跟蹤。主要是來跟蹤的某一個(gè)變量的值，跟蹤的依據(jù)是首先根據(jù)系統(tǒng)的運(yùn)動(dòng)方程來對(duì)該值做預(yù)測，比如說知道一個(gè)物體的運(yùn)動(dòng)速度，那么下面時(shí)刻它的位置按照道理是可以預(yù)測出來的，不過該預(yù)測肯定有誤差，只能作為跟蹤的依據(jù)。最后Kalman 濾波就是利用這兩個(gè)依據(jù)進(jìn)行一些列迭代進(jìn)行目標(biāo)跟蹤的。 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 10 下面來看看使用 Kalman 編程的主要步驟： (1)Kalman 這個(gè)類需要初始化下面變量： 轉(zhuǎn)移矩陣，測量矩陣，控制向量 (沒有的話，就是 0)，過程噪聲協(xié)方差矩陣，測量噪聲協(xié)方差矩陣，后驗(yàn)錯(cuò)誤協(xié)方差矩陣，前一狀態(tài)校正后的值，當(dāng)前觀察值。:))(39。 A,B,u(k),也都是給定了的值。(k)了。)(()()(39。(k)為步驟二算出的結(jié)果， z(k)為當(dāng)前測量值，是我們外部測量后輸入的向量。 K(k)為 Kalman 增益，其計(jì)算公式為))(39。)(:))(( RHtkPHi nvHtkPkKkKm at r i xga i nK al m an ?????? （ ） 計(jì)算該增益所依賴的變量要么初始化中給定，要么在 Kalman 理論中通過其它公式可以計(jì)算。 粒子濾波跟蹤算法 粒子濾波的核心思想是隨機(jī)采樣與重要性重采樣。撒完粒子后，根據(jù)特征相似度計(jì)算每個(gè)粒子的重要性，然后在重要的地方多撒粒子，不重要的地方少撒粒子。這個(gè)思想和 RANSAC 算法真是不謀而合。哪條直線能獲得最多的點(diǎn)的支持，哪條直線就是目標(biāo)直線。具體到 Rob Hess 的代碼，開始時(shí)需要人工用鼠標(biāo)拖動(dòng)出一個(gè)跟蹤區(qū)域，然后程序自動(dòng)計(jì)算該區(qū)域色調(diào) (Hue)空間的直方圖，即為目標(biāo)的特征。 （ 2）搜索階段 放小白鼠（為了方便模擬，所以以小白鼠作為粒子） 已經(jīng)掌握了目標(biāo)的特征，下面放出很多只小白鼠，去搜索目標(biāo)對(duì)象，這里的小白鼠就是粒子 particle。比如， a)均勻的放：即在整個(gè)圖像平面均勻的撒粒子 (uniform distribution)； b)在上一幀得到的目標(biāo)附近按照高斯分布來放，可以理解成，靠近目標(biāo)的地方多放，遠(yuǎn)離目標(biāo)的地方少放。小白鼠放出去后，每只小白鼠怎么搜索目標(biāo)呢？就是按照初始化階段得到的目標(biāo)特征(色調(diào)直方圖，向量 V)。相似性有多種度量，最簡單的一種是計(jì)算 sum(abs (Vi V))。設(shè) N 號(hào)小白鼠的圖像像素坐標(biāo)是 (Xn,Yn),它報(bào)告的相似度是 Wn,于是目標(biāo)最可能的像素坐標(biāo) X = sum(Xn*Wn),Y = sum(Yn*Wn)。在新的一幀圖像 里，目標(biāo)的所在還是放小白鼠搜索吧。這就是 Sampling Importance Resampling，根據(jù)重要性重采樣。 長時(shí)間跟蹤 TLD 算法 主要討論研究視頻流中的目標(biāo)物體的長時(shí)間跟蹤問題。在連 續(xù)的視頻幀中，需要做的就是確定出目標(biāo)物體的位置和其特征，或者是能夠指出目標(biāo)丟失或遮擋。該框架將目標(biāo)的長時(shí)間的跟蹤任務(wù)清晰地分解成三個(gè)部分，跟蹤，學(xué)習(xí)和檢測。檢測器是將已經(jīng)檢測到的特征（表征目標(biāo)物體）進(jìn)行局部化處理，并且根據(jù)需要不斷修正跟蹤器。既然已經(jīng)了解怎樣來識(shí)別出或檢測出檢測器的錯(cuò)誤，并且從中進(jìn)行學(xué)習(xí)訓(xùn)練。正約束可以檢測出是否丟失，負(fù)約束可以檢測出錯(cuò)誤的警告。 壓縮感知跟蹤（ CT 跟蹤） 通過稀疏感知理論可以知道，通過一個(gè)滿足 RIP 條件的非常稀疏的測量矩陣對(duì)原圖像特征空間做投影，就可以得到一個(gè)低維壓縮子空間。所以可以通過稀疏測量矩陣去提取前景目標(biāo)和背景的特征，作為在線學(xué)習(xí)更新分類器 的正樣本和負(fù)樣本，然后使用該樸素貝葉斯分類器去分類下一幀圖像的目標(biāo)待測圖像片（感知空間下）。 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 13 在該理論框架下，采樣速率不再取決于信號(hào)的帶寬，而在很大程度上取決于兩個(gè)基本準(zhǔn)則：稀疏性和非相關(guān)性，或者稀疏性和等距約束性。 理論依據(jù)： （ 1）設(shè)長度為 N 的信號(hào) X 在某個(gè)正交基 Ψ 上是 K稀疏的（即含有 k 個(gè)非零值）； （ 2）如果能找到一個(gè)與Ψ不相關(guān)（不相干）的觀測基 Φ ； （ 3）用觀測基Φ觀測原信號(hào)得到長度 M 的一維測量值 M 個(gè)觀測值 Y， KMN； （ 4）那么就可以利用最優(yōu)化方法從觀測值 Y 中高概率恢復(fù) X。它由一系列 C 函數(shù)和少量 C++類構(gòu)成，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。它不依賴與其它的外部庫，盡管也可以使用某些外部庫。（細(xì)節(jié)參考發(fā)布版本的license）。這意味著如果有為特定處理器（當(dāng)然是 INTEL 的處理器了） 優(yōu)化的的 IPP 庫，OpenCV 將在運(yùn)行時(shí)自動(dòng)加載這些庫。目的是為了實(shí)時(shí)應(yīng)用獨(dú)立于操作系統(tǒng) /硬件 /圖形管理器，通用的圖像 /視頻載入、保存和獲取模塊，底層和高層的應(yīng)用開發(fā)包。 圖像是視頻的輸入輸出 I/O（ 文件與攝像頭的輸入、圖像和視頻文件輸出）。 各種動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)（列表、隊(duì)列、集合、樹、圖等）。 結(jié)構(gòu)分析（連接部件、輪廓處理、距離變換、各自距計(jì)算、模板匹配、 Hough 變換、多邊形逼近、直線擬合、橢圓擬合、 Delaunay 三角劃分等）。 運(yùn)動(dòng)分析（光流、運(yùn)動(dòng)分割、跟蹤）。 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 15 基本的 GUI（圖像與視頻顯示、鍵盤和鼠標(biāo)事件處理、滾動(dòng)條）。 cvaux – 輔助的（實(shí)驗(yàn)性的） OpenCV 函數(shù)。 highgui – 圖像界面函數(shù)。 OpenCV 的算法中，圖像的格式被設(shè)定為 IplImage,其結(jié)構(gòu)具體定義如下： typedef struct _IplImage { int nSize。//版本 （ =0） int nChannels。//被 OpenCV 忽略 int depth。//0:交叉存取顏色信道， 1:分開的顏色信道 .只有 cvCreateImage 可以創(chuàng)建交叉存取圖像 int origin。//圖像寬像素?cái)?shù) int height。//圖像感興趣區(qū)域。//在 OpenCV 必須設(shè)置為 NULL void *imageId。//必須設(shè)置為 NULL 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 16 int imageSize。//指向排列的圖像數(shù)據(jù) int widthStep。//指針指向一個(gè)不同的圖像數(shù)據(jù)結(jié)構(gòu) }IplImage。 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 17 第四章 圖像處理 彩色圖像灰度化處理 將彩色的圖像轉(zhuǎn)化成為灰度的圖像的過程叫作圖像的灰度化處理。而灰度圖像是 R、 G、 B 三個(gè)分量相同的一種特殊的彩色圖像，其一個(gè)像素點(diǎn) 的變化范圍為 255 種，所以在數(shù)字圖像處理種一般先將各種格式的圖像轉(zhuǎn)變成灰度圖像以使后續(xù)的圖像的計(jì)算量變得少一些。圖像的灰度化處理可用兩種方法來實(shí)現(xiàn)。 第二種方法是根據(jù) YUV 的顏色空間中， Y 的分量的物理意義是點(diǎn)的亮度，由該值反映亮度等級(jí)，根據(jù) RGB 和 YUV 顏色空間的變化關(guān)系可建立亮度 Y 與 R、 G、 B 三個(gè)顏色分量的對(duì)應(yīng)： Y=++，以這個(gè)亮度值表達(dá)圖像的灰度值。中值濾波這種方法由于不依賴于鄰域內(nèi)那些與典型值差別很大的值，因而能在去除噪聲脈沖、椒鹽噪聲的同時(shí)又能保留圖像邊緣細(xì)節(jié)。 本文在對(duì)圖像進(jìn)行濾波時(shí)正是考慮了圖像中多為尖峰狀干擾，中值濾波能去除點(diǎn)狀尖峰干擾而邊緣不會(huì)變壞，若用低通濾波雖能去除噪聲但陡峭的邊緣將被模糊。使用二維中值濾波最值得注意的是要保持圖像中有效的細(xì)線狀物體，如果圖像中的線、尖角細(xì)節(jié)較多，則不宜采用中值濾波。對(duì)尖峰性干擾效果好，即保持邊緣的陡度又去掉干擾，對(duì)高斯分布噪聲效果差；對(duì)脈沖干擾來講，特別是相距較遠(yuǎn)的窄脈沖干擾，中值濾波是很有效的。即將 256 個(gè)亮度等級(jí)的灰度圖像通過適當(dāng)?shù)拈y值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。 為了得到理想的二值圖像，一般采用封閉、連通的邊界定義不交疊的區(qū)域。如果某特定 物體在內(nèi)部有均勻一致的灰度值，并且其處在一個(gè)具有其他等級(jí)灰度值的均勻背景下，使用閥值法就可以得到比較的分割效果。動(dòng)態(tài)調(diào)節(jié)閥值實(shí)現(xiàn)圖像的二值化可動(dòng)態(tài)觀察其分割圖像的具體結(jié)果。其形態(tài)算子的實(shí)質(zhì)是表達(dá)物體或形狀的集合與結(jié)構(gòu)元素間的相互作用，結(jié)構(gòu)元素 的形狀就決定了這種運(yùn)算所提取的信號(hào)的形狀信息。 基本的形態(tài)運(yùn)算是腐蝕和膨脹。結(jié)構(gòu)元素在形態(tài)變換中的作用相當(dāng)于信號(hào)處理中的“濾波窗口”。 ： })(:{ EXBXBEX ??? （ ） 上式表明 E 用 B 腐蝕的結(jié)果是所有 x 的集合，其中 B 平移 X 后仍 在 E 中。 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 21 對(duì)圖像進(jìn)行腐蝕運(yùn)算的作用是消除物體邊界點(diǎn)。另外，如果兩個(gè)物體之間有細(xì)小的連通，那么選擇適當(dāng)?shù)慕Y(jié)構(gòu)元素，通過腐蝕運(yùn)算就可以把兩個(gè)物體分開。 膨脹運(yùn)算的作用是把圖像周圍的背景點(diǎn)合并到物體中。膨脹對(duì)填補(bǔ)圖象分割后物體中的空洞很有用。用 B（ x） 對(duì) E 進(jìn)行膨脹的結(jié)果就是把結(jié)構(gòu)元素 B 平移后使 B 與 E 的交集非空的點(diǎn)構(gòu)成的集合。例如，可先對(duì)圖像進(jìn)行腐蝕然后膨脹其結(jié)果，或先對(duì)圖像進(jìn)行膨脹然后腐蝕其結(jié)果 (使用同一個(gè)結(jié)構(gòu)元素 )。它具有消除細(xì)小物體，在纖細(xì)處分離物體和平滑較大物體邊界的作用。它具有填充物體內(nèi)細(xì)小空洞，連接鄰近物體和平滑邊界的作用。但是，在不同的應(yīng)用場合，結(jié)構(gòu)元素的選擇及其相應(yīng)的處理算法是不一 樣的，對(duì)不同的目標(biāo)圖像需設(shè)計(jì)不同的結(jié)構(gòu)元素和不同的處理算法。因此，很多學(xué)者結(jié)合自己的應(yīng)用實(shí)際，提出了一系列的改進(jìn)算法。許超提出的以最短線段結(jié)構(gòu)元素構(gòu)造準(zhǔn)圓結(jié)構(gòu)元素或序列結(jié)構(gòu)元素生成準(zhǔn)圓結(jié)構(gòu)元素相結(jié)合的設(shè)計(jì)方法，用于骨架的提基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 23 取，可大大減少形態(tài)運(yùn)算的計(jì)算量，并可同時(shí)滿足尺度、平移及旋轉(zhuǎn)相容性，適于對(duì)形狀進(jìn)行分析和描述。同時(shí)，此兩種算法在對(duì)差分圖像進(jìn)行二值化時(shí)，整幅圖像均使用統(tǒng)一的二值化閾值，使得閾值選擇難度大，往往顧此失彼。 為解決這些問題，背景建模的跟蹤方法被提出。該方法提取的背景具有很高的質(zhì)量和適應(yīng)能力，因而得到廣泛運(yùn)用。 混合高斯模型的建立 使用混合高斯模型方法 [1115]對(duì)背景進(jìn)行建模的方法，由 Stauffer 和 Grimson 等于1999 年提出。通過對(duì)視頻圖像幀中各像素點(diǎn)建立對(duì)應(yīng)的高斯模型 ，形成完整的背景模型，并根據(jù)該高斯模型的均值和方差信息，判斷像素點(diǎn)是背景像素還是前景目標(biāo)。 因?yàn)楸尘爸谐３：休p微擾動(dòng)的因素（如樹葉的晃動(dòng)）、不同時(shí)間段內(nèi)場景中光線的變化等，因此，使用單一的高斯模型表征某一像素點(diǎn)已不能滿足要求。由此，提出使用多個(gè)高斯模型來描述同一像素點(diǎn)的混合高斯模型。 基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 25 設(shè) t 時(shí)刻，圖像的每個(gè)像素點(diǎn) (x, y)的顏色 It(x, y)可由 K 個(gè)高斯分布描述， K 通常為3～ 7 個(gè)， i∈ [1, 2. ..., K]。各個(gè)高斯模 型的均值和方差，可通過一定的背景統(tǒng)計(jì)分析得到。匹配方法如下，在 t 時(shí)刻，像素 (x, y)的特征值（如，灰度值）為 It(x, y)，則它對(duì)其第 i 個(gè)高斯模型有： ),(|),(),(|,1 ,0),( { yxitDyxityxtIyxO it ?? ??? 其它 （ ） 其中， D 為置信參數(shù)，取值一般為 2～ 3 之間，如 。如圖 ，顯示了混合高斯模型的原理和匹配示意圖。但是，隨著時(shí)間的不斷積累，背景整體發(fā)生變化時(shí)，各個(gè)高斯模型分量將可能不再適應(yīng)。 在檢測目標(biāo)的過程中，將輸入像素值與對(duì)應(yīng)的混合高斯模型進(jìn)行比較，判斷是否符合像素已有的某個(gè) 高斯分布（見公式 ）。 對(duì)權(quán)值的更新： ? 時(shí)當(dāng)其它 miyxw yxw itityxitw ?????? ,),()1( ),()1(),(1 ??? （ ） 更新后，在對(duì)同一像素的高斯分布權(quán)值進(jìn)行歸一化，使得 K 個(gè)高斯模型的權(quán)值和為1。如果取值過小，適應(yīng)環(huán)境變化的能力就低，只能適用緩慢的環(huán)境變化；如果取值較大，適用環(huán) 境變化的能力強(qiáng)，但容易將噪聲也作為背景變化而做更新。 混合高斯背景模型算法的優(yōu)缺點(diǎn) 高斯模型是使用均值和方差來衡量目標(biāo)，等同于給每個(gè)像素點(diǎn)以自 己的特有的閾值，不必因約束于統(tǒng)一的閾值而影響各個(gè)局部的效果。能在背景有擾動(dòng)，視場光線發(fā)生變化等情況下，很好的提取背景，并且對(duì)噪聲不敏感。而且算法并未記憶任何目標(biāo)的相關(guān)特征信息，不適用于動(dòng)態(tài)場景下的目標(biāo)跟蹤，適用范圍也因此受到限基于 OpenCV 的計(jì)算機(jī)視覺技術(shù)研究與實(shí)現(xiàn) 27 制 ,但隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)速度越來越快，目前的計(jì)算機(jī)條件下，高斯模型已經(jīng)取得了大規(guī)模的應(yīng)用。低維壓縮子空間可以很好的保留高維圖像特征空間的信息。 （ 2）在 t+1 幀的時(shí)候，在上一幀跟蹤到的目標(biāo)位置的周圍采樣 n 個(gè)掃描窗口（避免去掃描整幅圖像），通過同樣的稀疏測量矩陣對(duì)其降維，提取特征，然后用第 t 幀訓(xùn)練好的樸素貝葉斯分類器進(jìn)行分類，分類分?jǐn)?shù)最大的窗口就認(rèn)為是目標(biāo)窗口。 壓縮感知跟蹤的相關(guān)理論推導(dǎo) 隨機(jī)投影： 一個(gè) n x