【正文】 這樣就實(shí)現(xiàn)了從 t 幀到 t+1 幀的目標(biāo)跟蹤。所以我們通過(guò)稀疏測(cè)量矩陣去提取前景目標(biāo)和背景的特征，作為在線學(xué)習(xí)更新分類器的正樣本和負(fù)樣本，然后使用該樸素貝葉斯分類器去分類下一幀圖像的目標(biāo)待測(cè)圖像片（感知空間下） ,這就是所謂的壓縮感知跟蹤 ,其過(guò)程如下： （ 1）在 t 幀的時(shí)候，采樣得到若干張目標(biāo)（正樣本）和背景（負(fù)樣本）的圖像片，然后對(duì)他們進(jìn)行多尺度變換，再通過(guò)一個(gè)稀疏測(cè) 量矩陣對(duì)多尺度圖像特征進(jìn)行降維，然后通過(guò)降維后的特征（包括目標(biāo)和背景，屬二分類問(wèn)題）去訓(xùn)練樸素貝葉斯分類器。 壓縮感知跟蹤（ Compressive Tracker） 壓 縮感知跟蹤概述 通過(guò)稀疏感知理論可以知道，通過(guò)一個(gè)滿足 RIP 條件的非常稀疏的測(cè)量矩陣對(duì)原圖像特征空間做投影，就可以得到一個(gè)低維壓縮子空間。 但是，算法需要大量的建模和更新時(shí)間，則使得速度相對(duì)緩慢了。因此，在以背景為中心的方法中，這樣效果較好。 對(duì)第 m 個(gè)高斯模型分量的均值和方差的更新： ),(),()1(),(1 yxIyxyx tmtmt ???? ???? （ ） 222 1 )),(),((),()1(),( yxyxIyxyx mtttt mm ????? ???? ?? （ ） 對(duì)于未匹配的高斯分布，不做更新。 α是學(xué)習(xí)率，它的取值在 0~1 之間，需恰當(dāng)。當(dāng)像素值 It(x, y)符合第 m 個(gè)高斯分布時(shí)，算法將在 t+1 時(shí)刻對(duì)該像素的各高斯分布的各個(gè)參數(shù)做相應(yīng)更新，方法如下。因此，需要對(duì)已建立的各個(gè)高斯模型分量進(jìn)行再一次更新。 圖 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 26 混合高斯背景模型的更新 在一段時(shí)間內(nèi)，已建立的混合高斯模型是適用的。結(jié)果為 1，則表示輸入像素值和背景高斯混合模型匹配，該像素屬于背景，對(duì)應(yīng)提供該高 斯分量的權(quán)值，并利用新像素值更新該統(tǒng)計(jì)模型的參數(shù)；如果為 0，則認(rèn)為該像素為前景像素，各高斯模型各參數(shù)不調(diào)整。 當(dāng)各個(gè)像素的混合高斯模型建立后，便可通過(guò)此模型來(lái)匹配當(dāng)前幀各像素是否為背景。當(dāng)前幀像素觀測(cè)值的概率為： )),(),(),((),(),( 1t yxyxyxINyxwyxIP itittki it ???? ??）（ （ ） 其中， wti(x, y)是 t 時(shí)刻，像素 (x, y)的第 i 個(gè)高斯模型的權(quán)值。同時(shí)，使用 混合高斯模型方法，可以分別對(duì)彩色圖像的 R、 G、 B 分量分別建立模型，使算法適應(yīng)于對(duì)彩色圖像下的運(yùn)動(dòng)目標(biāo)跟蹤，能充分利用目標(biāo)的顏色信息。在樹(shù)葉晃動(dòng)情況下，樹(shù)葉在此像素點(diǎn)位置時(shí)，需要一個(gè)高斯模型來(lái)描繪；當(dāng)樹(shù)葉離開(kāi)此位置時(shí)，又需要另一個(gè)高斯模型來(lái)描繪。若當(dāng)前幀中像素的特征與對(duì)應(yīng)像素點(diǎn)的背景高斯模型相匹配，則此點(diǎn)被判定為背景；否則，此點(diǎn)為前景目標(biāo)的一部分。該方法假定，在噪聲影響下，背景圖像各個(gè)像素點(diǎn)的顏色值變化符合高斯分布。其中，以高斯分布背景建模及其改進(jìn)方法使用最為廣泛。它使用 統(tǒng)計(jì)學(xué)、概率論方法對(duì)圖像的每個(gè)像素點(diǎn)的灰度值或彩色值進(jìn)行分析，建立各像素點(diǎn)的統(tǒng)計(jì)學(xué)規(guī)律，形成完整的背景模型，并在后繼幀中不斷更新背景的統(tǒng)計(jì)模型。而 cood_book 算法目前并不成熟，在實(shí)際應(yīng)用中，遠(yuǎn)不及混合高斯模型應(yīng)用廣泛。 效果圖如下圖 所示： 圖 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 24 第五章 混合高斯模型與壓縮感知跟蹤算法原理詳解 混合高斯模型原理 背景差分法和幀間差分法以及光流法，雖然有算法簡(jiǎn)單、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，但當(dāng)攝像機(jī)場(chǎng)景中，背景自身含有（如隨風(fēng)晃動(dòng)的樹(shù)葉等）運(yùn)動(dòng)的物體存在時(shí)，此兩種方法將出現(xiàn)大量的誤檢測(cè)信息。如梁勇提出的用多方位形態(tài)學(xué)結(jié)構(gòu)元素進(jìn)行邊緣檢測(cè)算法既具有較好的邊緣定位能力，又具有很好的噪聲平滑能力。結(jié)構(gòu)元素的大小、形狀選擇合適與否，將直接影響圖像的形態(tài)運(yùn)算結(jié)果。 可見(jiàn)，二值形態(tài)膨脹與腐蝕可轉(zhuǎn)化為集合的邏輯運(yùn)算，算法簡(jiǎn)單，適于并行處理，且易于硬件實(shí)現(xiàn)，適于對(duì)二值圖像進(jìn)行圖像分割、細(xì)化、抽取骨架、邊緣提取、形狀分析。 先膨脹后腐蝕的過(guò)程稱為閉運(yùn)算。 先腐蝕后膨脹的過(guò)程稱為開(kāi)運(yùn)算。 膨脹效果圖如下圖 所示： 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 22 圖 開(kāi)運(yùn)算和閉運(yùn)算處理 膨脹和腐蝕并不是互為逆運(yùn)算，所以它們 可以級(jí)連結(jié)合使用。 用 B（ x） 對(duì) E 進(jìn)行腐蝕的結(jié)果就是把結(jié)構(gòu)元素 B 平移后使 B 包含于 E 的所有點(diǎn)構(gòu)成的集合。如果兩個(gè)物體之間的距離比較近，那么膨脹運(yùn)算可能會(huì)使兩個(gè)物體連通在一起。 腐蝕效果圖如下圖 所示： 圖 ： })(:{ ????? EYBYBEY （ ） 上式表明用 B 膨脹 E 的過(guò)程是，先對(duì) B 做關(guān)于原點(diǎn)的映射，再將其 映象平移 x，這里 E 與 B 映象的交集不為空集。腐蝕可以把小于結(jié)構(gòu)元素的物體去掉。換句話說(shuō)，用 E 來(lái)腐蝕 A 得到的集合是 B 完全包含在 E 中時(shí) B 的原點(diǎn)位置的集合。用 B（ x） 代表結(jié)構(gòu)元素，對(duì)工作空間 E 中的每一點(diǎn) x。 在形態(tài)學(xué)中，結(jié)構(gòu)元素是最重要最基本的概念。形態(tài)學(xué)圖像處理是在圖像中移動(dòng)一個(gè)結(jié)構(gòu)元素，然后將結(jié)構(gòu)元素與下面的二值圖像進(jìn)行交、并等集合運(yùn)算。 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 20 效果如下圖 所示： 圖 腐蝕與膨脹處理 數(shù)學(xué)形態(tài)學(xué)中二值圖像的形態(tài)變換是一種針對(duì)集合的處理過(guò)程。如果物體同背景的差別表現(xiàn)不在灰度值上（比如紋理不同），可以將這個(gè)差別特征轉(zhuǎn)換為灰度的差別，然后利用閥值選取技術(shù)來(lái)分割該圖像。所有灰度大于或等于閥值的像素被判定為屬于特定物體，其灰度值為 255 表示，否則這些像素點(diǎn)被排除在物體區(qū)域以外，灰度值為 0，表示背景或者例外的物體區(qū)域。 在數(shù)字圖像處理中，二值圖像占有非常重要的地位， 特別是在實(shí)用的圖像處理中，以二值圖像處理實(shí)現(xiàn)而構(gòu)成的系統(tǒng)是很多的，要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像，這樣子有利于再對(duì)圖像做進(jìn)一步處理時(shí)，圖像的集合性質(zhì)只與像素值為 0 或 255 的點(diǎn)的位置有關(guān)，不再涉及像素的多級(jí)值，使處理變得簡(jiǎn)單，而且數(shù)據(jù)的處理和壓縮量小。 效果如下圖 所示： 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 19 圖 二值化處理 圖像的二值化處理就是講圖像上的點(diǎn)的灰度置為 0 或 255，也就是講整個(gè)圖像呈現(xiàn)出明顯的黑白效果。 中值濾波特性 中值濾波有兩大特性： (1)對(duì)某些輸入信號(hào)中值濾波的不變性； (2)中值 濾波去噪性能：可以用來(lái)減弱隨機(jī)干擾和脈沖干擾。對(duì)于一維情況，中值濾波器不影響階躍函數(shù)和斜坡函數(shù)，并可以有效地消除單、雙脈沖，使三角函數(shù)的頂端變平；對(duì)于二維情況，中值濾波的窗口形狀和尺寸對(duì)濾波器效果影響很大。中值濾波一般采用一個(gè)含有奇數(shù)個(gè)點(diǎn)的滑動(dòng)窗口 ，具體方法為首先確定一個(gè)奇數(shù)象素的窗口 W，窗口內(nèi)各象素按灰度大小排隊(duì)后，用其中間位置的灰度值代替原 f(x,y)灰度值成為增強(qiáng)圖像 (x,y)，即： |),(|),( ,^ yxgm e d i a nyxf xySts ?? （ ） 其中 W 為選定窗口。 效果如下圖 所示 圖 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 18 中值濾波處理 中值濾波原理 中值濾波的基本思想是用象素點(diǎn)鄰域灰度值的中值來(lái)代替該象素點(diǎn)的灰度值，對(duì)于奇數(shù)個(gè)元素，中值是指按大小排序后中間的數(shù)值；對(duì)于偶數(shù)個(gè)元素，中值是指排序后中間兩個(gè)元素灰度值的平均值。 第一種方法使求出每個(gè)像素點(diǎn)的 R、 G、 B 三個(gè)分量的平均值，然后將這個(gè)平均值賦予給這個(gè)像素的三個(gè)分量?；叶葓D像的描述與彩色圖像一樣仍然反映了整幅圖像的整體和局部的色度和亮度等級(jí)的分布和特征。彩色的圖像中的每個(gè)像素的顏色有 R、 G、 B 三個(gè)分量決定，而每個(gè)分量有 255 中值可取，這樣一個(gè)像素點(diǎn)可以有 1600 多萬(wàn)（ 255*255*255）的顏色的變化范圍。 上述， IplImage 的結(jié)構(gòu)被定義在 Intel Image Processing Library(圖像處理庫(kù) )中，OpenCV 是其中的一個(gè)自己，對(duì)于結(jié)構(gòu)體的更詳細(xì)的信息請(qǐng)參考 OpenCV 的技術(shù)手冊(cè)。//排列的圖像大小，以字節(jié)為單位 char *imageDataOrigin。//圖像數(shù)據(jù)大小 char *imageData。//獲取圖像的 ID 號(hào)，必須設(shè)置為 NULL struct _IplTileInfo *tileInfo。當(dāng)該值非空只對(duì)該區(qū)域進(jìn)行處理 struct _IplImage *maskROI。//圖像搞像素?cái)?shù) struct _IplROI *roi。//0:頂 左結(jié)構(gòu)， 1:底 左結(jié)構(gòu) int width。//像素的位深度 int dataOrder。//大多數(shù) OPENCV 函數(shù)支持 1,2,3 或 4 個(gè)信道 int alphaChannel。//IplImage 大小 int ID。 OpenCV 中常用數(shù)據(jù)結(jié)構(gòu)體系 OpenCV 設(shè)計(jì)了一些基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)類型和一些幫助數(shù)據(jù)類型。 cxcore – 數(shù)據(jù)結(jié)構(gòu)與線性代數(shù)支持。 圖像標(biāo)注（線、二次曲線、多邊形、畫(huà)文字） OpenCV 模塊： cv – 主要的 OpenCV 函數(shù)。 目標(biāo)識(shí)別（特征法、隱馬爾可夫模型： HMM）。 攝像頭定標(biāo)（發(fā)現(xiàn)與跟蹤定標(biāo)模式、定標(biāo)、基本矩陣估計(jì)、齊次矩陣估計(jì)、立體對(duì)應(yīng)）。 基本的數(shù)字圖像處理（濾波、邊 緣檢測(cè)、角點(diǎn)檢測(cè)、采樣與差值、色彩轉(zhuǎn)換、形態(tài)操作、直方圖、圖像金字塔等）。 矩陣和向量的操作以及線性代數(shù)的算法程序（矩陣積、解方程、特征值以及奇異值等）。 特征： 圖像數(shù)據(jù)的操作 (分配、釋放、復(fù)制、設(shè)置和轉(zhuǎn)換 )。 OpenCV 是用 C/C++編寫的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)。另外 OpenCV 也為 Intel 公司的 Integrated Performance Primitives(IPP)提供了透明接口。 OpenCV 對(duì)非商業(yè)應(yīng)用和商業(yè)應(yīng)用都是免費(fèi) （ FREE） 的。 OpenCV 擁有包括 300 多個(gè) C/C++函數(shù)的跨平臺(tái)的中、高層 API。 基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 14 第三章 軟件平臺(tái) OpenCV 簡(jiǎn)介 OpenCV 是 Intel 資助的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)。 壓縮感知理論主要包括三部分： （ 1）信號(hào)的稀疏表示； （ 2）設(shè)計(jì)測(cè)量矩陣，要在降低維數(shù)的同時(shí)保證原始信號(hào) x 的信息損失最小； （ 3）設(shè)計(jì)信號(hào)恢復(fù)算法，利用 M 個(gè)觀測(cè)值無(wú)失真地恢復(fù)出長(zhǎng)度為 N 的原始信號(hào)。 簡(jiǎn)單地說(shuō)，壓縮感知理論指出：只要信號(hào)是可壓縮的或在某個(gè)變換域是稀疏的，那么就可以用一個(gè)與變換基不相關(guān)的觀測(cè)矩陣將變換所得高維信號(hào)投影到一個(gè)低維空間上，然后通過(guò)求解一個(gè)優(yōu)化問(wèn)題就可以從這些少量的投影中以高概率重構(gòu)出原信號(hào)，可以證明這樣的投影包含了重構(gòu)信號(hào)的足夠信息。低維壓縮子空間可以很好的保留高維圖像特征空間的信息。整個(gè)學(xué)習(xí)過(guò)程可以被看作是一個(gè)獨(dú)立的離散的動(dòng)態(tài)過(guò)程模型，并且在該過(guò)程模型下能夠發(fā)現(xiàn)學(xué)習(xí)器所能夠帶來(lái)的效果提升。那么可以開(kāi)創(chuàng)一種全新的學(xué)習(xí)方法 （ PN學(xué)習(xí)， Positive 和 Negative） ，這種方法通過(guò)一對(duì)約束來(lái)估計(jì)出錯(cuò)誤。學(xué)習(xí)器估計(jì)出檢測(cè)器的錯(cuò)誤，并及時(shí)更新檢測(cè)器，以避免后續(xù)再出現(xiàn)這些錯(cuò)誤。跟蹤器在一幀幀的視頻幀中跟蹤目標(biāo)。因此需要提出了一個(gè)全新的跟蹤框架 （ TLD） 。在一幅單獨(dú)的圖像幀中，目標(biāo)物體是由其位置和自身特征所表征的。 (2)(3)(4)(2)如是反復(fù)循環(huán)，即完成了目標(biāo)的動(dòng)態(tài)跟蹤。綜合所有小白鼠的報(bào)告，一號(hào)小白鼠處的相似度最高，三號(hào)小白鼠處的相似度最低，于是要重新分布，在相似度最高的小白鼠那里放更多的小白基于 OpenCV 的計(jì)算機(jī)視覺(jué)技術(shù)研究與實(shí)現(xiàn) 12 鼠，在相似度最低則少放，甚至可以將原有的撤銷掉。 （ 4）重采樣階段 Resampling 既然是做目標(biāo)跟蹤，一般說(shuō)來(lái)，目標(biāo)是跑來(lái)跑去亂動(dòng)的。 每只小白鼠算出相似度后再做一次歸一化，使得所有的小白鼠得到的相似度加起來(lái)等于 1. （ 3）決策階段 放出去的小白鼠發(fā)回報(bào)告，“一號(hào)小白鼠處圖像與目標(biāo)的相似度是 ” ,“二號(hào)小白鼠處圖像與目標(biāo)的相似度是 ” ,“三號(hào)小白鼠處圖像與目標(biāo)的相似度是 ” ,“ N 號(hào)小白鼠處圖像與目標(biāo)的相似度是 ” ...那么目標(biāo)究竟最可能在哪里呢？做次加權(quán)平均。每只小白鼠計(jì)算它所處的位置處圖像的顏色特征，得到一個(gè)色調(diào)直方圖，向量 Vi，計(jì)算該直方圖與目標(biāo)直方圖的相似性。 Rob Hess 的代碼用的是后一種方法。小白鼠有很多種放法。直方圖可以用一個(gè)向量來(lái)表示，所以目標(biāo)特征就是一個(gè) N*1 的向量 V。 具體地流程如下： （ 1）初始化階段 提取跟蹤目標(biāo)特征 該階段要人工指定跟蹤目標(biāo)，程序計(jì)算跟蹤目標(biāo)的 特征，比如可以采用目標(biāo)的顏色特征。 RANSAC 的思想也是 (比如用在最簡(jiǎn)單的直線擬合上 )，既然不知道直線方程是什么，那就隨機(jī)的取兩個(gè)點(diǎn)先算個(gè)