【正文】 其中 ],[ xlxll ?????? ，它表示的是圖像在 m 的梯度。 在 對(duì)圖像進(jìn)行 分割時(shí)，光流法還需要利用灰度、顏色、邊緣等空域 特性以此來提 高分割精度；同時(shí)光流法 使用的是 迭代算法，計(jì)算復(fù)雜 并且 耗時(shí)，抗噪性能差， 實(shí)時(shí)性和精度低，很難 應(yīng)用于全幀視頻流的實(shí)時(shí)處理 。背景減除法的難點(diǎn)在于如何尋找其理想的背景模型，以及如何進(jìn)行對(duì)背景模型的更新。這種檢測(cè)算法對(duì)光照變化敏感 度不高 ，適 用 于動(dòng)態(tài)變化的環(huán)境 和 實(shí)時(shí)性要求較高的應(yīng)用環(huán)境 [13]。因此，在使用幀間差分法進(jìn)行對(duì)目標(biāo)檢測(cè)的過程中，應(yīng)該采用連續(xù)的三幀差分法來代替兩幀差分法，這樣就能是所檢測(cè)的運(yùn)動(dòng)目標(biāo)更加的清晰。在許多實(shí)際應(yīng)用，如飄揚(yáng)的旗幟、搖擺的樹枝、監(jiān)視器屏幕、水面的波紋等，他們的像素值呈現(xiàn)的是多模態(tài)特性，場(chǎng)景背景像素的顏色分布可以使用高斯分布來描述。在對(duì)背景圖像進(jìn)行算法的估計(jì)時(shí)，通過在 較長(zhǎng)的一段時(shí)間內(nèi)，計(jì)算視頻序列圖像中每一個(gè)像素值的均值 0?和方差 20? ，則得到的背景估計(jì)圖像可以看作為是由 0? 和 20? 組成的初始高斯分布的圖像],[ 20xx ???B 。 本章 小結(jié) 本章先介紹了運(yùn)動(dòng)目標(biāo)檢測(cè)的幾種常見算法，如幀間差分法、光流法、背景減除法，并分別介紹各種方法的原理及特點(diǎn)，并 分析各種檢測(cè)算法的使用范圍以及算法的優(yōu)缺點(diǎn)， 16 引出基于自適應(yīng)混合高斯背景模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，其次，通過對(duì)單高斯模型和混合高斯建模方法分析與比較，選出混合高斯背景的建模方法，最后闡述了混合高斯背景建模方法的主要研究思路。 OpenCV是一個(gè)基于發(fā)行的跨平臺(tái) 計(jì)算機(jī)視覺 庫，可以運(yùn)行在 Linux、 Windows操作系統(tǒng)上。 1. OpenCV對(duì)非 商業(yè)應(yīng)用 和商業(yè)應(yīng)用都是免費(fèi)（ FREE）的； 2. 代碼簡(jiǎn)單，穩(wěn)定，有固定的函數(shù)算法提供， 通過對(duì) OpenCV函數(shù)庫的調(diào)用， 它為用戶減輕了開發(fā)維護(hù)應(yīng)用程序龐大代碼的沉重負(fù)擔(dān) ，有 統(tǒng)一的結(jié)構(gòu)和功能定義，并且可與其他庫兼容 ； 3. OpenCV致力于 真實(shí)世界 的實(shí)時(shí)應(yīng)用，通過 對(duì) C語言 代碼 的 優(yōu)化 ，對(duì)程序的 執(zhí)行速度 有很大 的提升，并且可以通過購(gòu)買 Intel的 IPP 高性能多 媒體函數(shù)庫 (Integrated Performance Primitives)可以 得到更快的處理速度。 圖像二值化 圖像的二值化處理是 將 圖像上的點(diǎn)的灰度 值 置為 0或 255， 而使 整 幅 圖像呈現(xiàn)出 較為明顯的黑白效果。 要想 得到理想的二值圖像，一般需要 采用封閉、連通的邊界定義不交疊的區(qū)域。 cvThreshold(pFrImg,pFrImg,12,255,CV_THRESH_BINARY)。 當(dāng) threshold_type 使用 CV_THRESH_BINARY 類型時(shí)，得到的全局自適應(yīng)閾值 的 二值化圖片 ， 這種方法 有利于處理 灰度直方圖呈現(xiàn) 多 峰特征的圖片。 下面主要介紹這四種形態(tài)學(xué)算法。通過膨脹可以對(duì) 二值化物體邊界點(diǎn)進(jìn)行擴(kuò)充， 這樣就使得 與物體接觸 的所有背景點(diǎn) 就會(huì)與 物體 本身進(jìn)行合并 ，使圖像的 邊界向外部擴(kuò)張。 開運(yùn)算 是指通過 對(duì)目標(biāo)圖像先進(jìn)行腐蝕運(yùn)算，再進(jìn)行膨脹運(yùn)算的過程。 /*對(duì)前景進(jìn)行膨脹操作，膨脹半徑為 2，可設(shè)置 */ cvDilate( img_erode,img_dilate, NULL,2)。 圖 42 形態(tài)學(xué)圖像處理 21 混合高斯背景建模的流程圖 混合高斯背景模型的建立，首先需要導(dǎo)入一個(gè) avi的視頻序列，建立混合高斯背景模型并進(jìn)行初始化，然后對(duì)視頻序列進(jìn)行逐幀讀取，并對(duì)圖像進(jìn)行灰度處理和二值化處理，以及對(duì)幀圖像進(jìn)行去噪處理，隨著幀數(shù)的不斷更新，實(shí)時(shí)對(duì)背景， 前景 進(jìn)行更新，以適應(yīng)光線的變化和場(chǎng)景本身的變化，對(duì)檢測(cè)結(jié)果 進(jìn)行形態(tài)學(xué)處理，使其圖像的邊緣更加精確得當(dāng) ， 同時(shí) 消除噪聲和背景擾動(dòng) 對(duì)圖像的檢測(cè)所 帶來的影響。 利用混合高斯模型進(jìn)行背景建模時(shí)，首先需要初始化預(yù)先定義的幾個(gè)高斯模型，對(duì)高斯模型中的參數(shù)進(jìn)行初始化，并通過視頻序列的像素點(diǎn)求出像素點(diǎn)的均值和方差，并通過求其權(quán)重，求出之后將要用到的參數(shù)；其次，對(duì)于每一幀中的每個(gè)像素進(jìn)行處理，看其是否匹配高斯模型，若匹配，則將其歸入該模型中，并對(duì)該模型中新的像素值進(jìn)行更新，若不匹配，則去除當(dāng)前混合高斯模型中權(quán)重最小的模型， 并加入新的模型的權(quán)重，新模型的權(quán)重是全部模型中的最小值，并且均值是當(dāng)前所觀測(cè)到的像素值的均值，方差為一個(gè)給定的較大的常數(shù)。 用多個(gè)高斯分布線性組合模擬每個(gè)像素點(diǎn)的歷史記錄 }X,......,{X t1 ， 概率密度函數(shù)記 為 ),( , tititX ??? Mi ,......,2,1? (41) 協(xié)方差矩陣為 Iktk 2, ??? (42) 其中 I 為單位矩陣，但不一定符合實(shí)際，從而這個(gè)單高斯分布模型的概率密度為： ),|( , tititX ??? (43) 當(dāng)前像素值 tX 的概率為 ?? ??Mi titittit XwXP 1 , ),|()( ??? (44) ti,? 表示單模型的均值，體現(xiàn)了每個(gè)單峰的分布中心； ti,2? 表示單模型的方差，體現(xiàn) 了像素值的不穩(wěn)定程度； tiw, 表示了該高斯分布模型的權(quán)值，其大小體現(xiàn)了采用當(dāng)前模型表示像素值的可靠性。 ???1N0t t0 XN1? ， ??? ??10 020 )(N1 Nt tX ?? (45) (2)找出與當(dāng)前像素值最近的背景 這里要找出 N 個(gè)背景中與當(dāng)前觀測(cè)值最接近的一個(gè)背景像素值存在代表背景的圖片中。 (b)在進(jìn)行類型的轉(zhuǎn)換時(shí)，需要注意 cvCreateGaussianBGModel 函數(shù)返回值為CvBGStatModel*， 所以就需要將 bg_model 強(qiáng)制轉(zhuǎn)換為 CvGaussBGModel*，只有這樣才能進(jìn)行前景建模。 while(pFrame = cvQueryFrame( pCapture )) { nFrmNum++。 IplImage *img_erode。 在 OpenCV 函數(shù) 庫中 ， 提供了 混合 高斯模 型方 法的函 數(shù)， 通過CvGaussBGModel 類用來儲(chǔ)存混合高斯模型的各個(gè)參數(shù)，但是在使用 OpenCV 的混合高斯模型函數(shù)時(shí)需要注意的是。 M 越大，處理波動(dòng)的能力越強(qiáng)，但所需的處理時(shí)間越長(zhǎng)。 混合高斯背景模型的建立及初始化 利用混合高斯模型來模擬背景圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，首先定義每個(gè)像素點(diǎn)的分布模型由多個(gè)高斯分布模型組成，每一個(gè)新的像素點(diǎn)都會(huì)更新高斯分布的參數(shù)，其實(shí)現(xiàn)如下。流程圖如 43 圖所示。具體操作是 :將輸入圖像與結(jié)構(gòu)元素 (核 )進(jìn)行卷積，計(jì)算結(jié)構(gòu)元素覆蓋的區(qū)域的像素點(diǎn)最大值，并把這個(gè)最大值賦值給參考點(diǎn) (錨點(diǎn) )所指定的像 素。 而 閉運(yùn)算是開運(yùn)算的對(duì)偶運(yùn)算， 它是 通過對(duì)目標(biāo)圖像先進(jìn)行膨脹運(yùn)算，再進(jìn)行腐蝕運(yùn)算 而得到的圖像 ， 通過使用閉運(yùn)算 功 可以 用來填充物體 間 細(xì)小 的 空洞、連接臨近的 物體、平滑其邊界，同時(shí) 也 不明顯改變目標(biāo)圖像的面積。 如下圖 41 所示（ a）腐蝕圖像 （ b）膨脹圖像 （ a）腐蝕圖像 （ b）膨脹圖像 圖 41 圖像的腐蝕與膨脹 開運(yùn)算和閉運(yùn)算 開運(yùn) 算和閉運(yùn)算 是 除了腐蝕和膨脹兩種基本運(yùn)算外的另外兩種重要的形態(tài)學(xué)運(yùn)算。 通過使用 這樣選取 方法，把 不同大小的結(jié)構(gòu)元素 選取出來 ，就 能夠 去除不同大小的物體。 它的主要 用途是獲取物體拓?fù)浜徒Y(jié)構(gòu)信息 [17]， 并 通過物體和結(jié)構(gòu)元素 之間的 相互作用 ，運(yùn)用 某些運(yùn)算得到物體更本質(zhì)的形態(tài)。該函數(shù)的典型應(yīng)用是對(duì)灰度圖像進(jìn)行閾值操作得到二值圖像。 OpenCV 中的圖像二值化 過程。在 進(jìn)行對(duì) 圖像處理 的過程 中， 對(duì)圖像進(jìn)行二值化處理 非常重要 。 首先安裝下載得到的 OpenCV應(yīng)用程序， 在其計(jì)算機(jī)上對(duì)安裝的 OpenCV應(yīng)用程序 進(jìn)行環(huán)境變量的設(shè)置， 然后在 Visual C++6. 0下編譯所要的靜態(tài)和動(dòng)態(tài)鏈接庫文件，包括 1ib路徑的設(shè)置、 include files等路徑 的 設(shè)置 ，再進(jìn)行工程項(xiàng)目的鏈接設(shè)置。 OpenCV 擁有包括 500 多個(gè) C函數(shù)的跨平臺(tái)的中、高層 APl， 它 通過 函數(shù)來實(shí)現(xiàn)用于圖形處理和 計(jì)算機(jī) 視覺方面的通用算法 [16]。因此需要通過借助單高斯背景模型的思想，利用多個(gè)單高斯背景模型的集合模擬場(chǎng)景中像素值的變化情況，來進(jìn)行對(duì)運(yùn)動(dòng) 目標(biāo)的檢測(cè)。由于背景像素值在一段時(shí)間內(nèi)是多峰分布的，通過借助單高斯背景模型的思想，利用多個(gè)單高斯背景模型的集合模擬場(chǎng)景中像素值的變化情況，再用后驗(yàn)概率對(duì)每一個(gè)像素值進(jìn)行分類，即可得到用混合高斯模型的方法來對(duì)背景圖像的描述。 單高斯背景模型 單高斯分布 [15]背景模型，它所適用的條件是光照不變且背景靜止，而在此情況下背景點(diǎn)的像素值是相對(duì)穩(wěn)定的。而背景按照自身的特性劃分為單模態(tài)背景模型和多模態(tài)背景模型 [14]。 Bx 視頻圖像序列 背景圖像 當(dāng)前圖像 背景更新 差分圖像 閾值化處理 當(dāng)前目標(biāo) Dx Rx nfff ..., 21 xf 14 圖 32 幀間差分法原理圖 如圖 32所示，如果把第 k1幀的視頻圖像 1?kf 作為參考圖像，并計(jì)算出當(dāng)前幀 kf 和1?kf 的差值，得到差分并進(jìn)行二值化后的圖像 Mask，當(dāng) kf 和 1?kf 差值小于閾值 Th 時(shí)，則該像素點(diǎn)所確定圖像為背景圖像，取 Mask 的值為 0，若為前景圖像，取 Mask 的值為 1。 圖 31 背景減除法原理圖 如圖 31 所示，可以看出背景減除法的原理很簡(jiǎn)單，但是在提取圖像序列中感興趣的目標(biāo)是背景減除法的構(gòu)建和模型更新的關(guān)鍵所在，與灌流法相比，背景減除法對(duì)不同場(chǎng)景具有較強(qiáng)的適應(yīng)性，但是由于模型的缺陷所帶來的對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果造成的影響，依然沒有得到有效的解決。通過和閾值相比較，如果像素值大于閾值，則該像素為前景圖像，否則，該像素點(diǎn)為背景圖像。 光流法能夠攜帶運(yùn)動(dòng)物體的運(yùn)動(dòng)信息和有關(guān)景物三維結(jié)構(gòu)的優(yōu)點(diǎn)，它能夠在不知道任何場(chǎng)景信息的情況下，檢測(cè)出運(yùn)動(dòng)對(duì)象。 光流法 光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度， 光流場(chǎng)是一種二維 (2D)瞬時(shí)速度場(chǎng)， 光流法的研究是根據(jù)圖像序列中的像素強(qiáng)度的時(shí)域變化和相關(guān)性，從而確定各自像素位置的“運(yùn)動(dòng)”情況。 12 3 運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究 運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺研究領(lǐng)域的基礎(chǔ)，它是利用數(shù)字信號(hào)處理方法從圖像序列中去除圖像的背景區(qū)域，將運(yùn)動(dòng)區(qū)域的前景檢測(cè)并提取出來 ，而目前運(yùn)動(dòng)目標(biāo)形成的圖像序列分為兩種 ：一種是靜止背景，一種是變化背景。 11 (4) 通過對(duì) 高斯函數(shù) 進(jìn)行傅 立葉變換 ，可以得到單瓣的 頻譜 。而對(duì)于 一幅圖像 來說，圖像的 邊緣方向事先 是 不知道的，因此，在濾波前一個(gè)方向上比另一方向上需要 進(jìn)行 平滑 處理的多少是不能確定的。 從高斯濾波這些 性質(zhì) 可以得出 ，高斯平滑濾波器 是一種即適用 空間域 也適用 頻率域的低通濾波器 ，并且在實(shí)際應(yīng)用中有較好的處理效果。矩形濾波器 (Averaging Box Filter)是 通過計(jì)算和轉(zhuǎn)化 ，對(duì) 二維矢量的每一個(gè)分量進(jìn)行獨(dú)立的平滑處理 ， 得到一幅單位 矢量圖 。具體操作是：通過 用一個(gè) 模板 （或稱卷積、掩模） 對(duì) 圖像中的每一個(gè)像素 進(jìn)行掃描 ， 在 用模板確定的鄰域內(nèi)像素 ，對(duì)其進(jìn)行 加權(quán)平均 得到 灰度值 ，在用得到的灰度值 去替代模板 中心 像素點(diǎn)的值。 在 使用均值濾波 對(duì) 進(jìn)行圖像 進(jìn)行 平滑往往 會(huì) 降低圖像清晰度 。在排序的過程中進(jìn)行了 大量重復(fù) 的 比較，當(dāng)窗口較大時(shí)計(jì)算量很大，計(jì)算需要 的 時(shí)間 將會(huì)變得更長(zhǎng)，這樣就會(huì)浪費(fèi)大量的時(shí)間。例如取 3X3 滑動(dòng)窗口．中值為窗口內(nèi)第 5個(gè)最大的像素值。偶數(shù)個(gè)元素 的 中值是 將數(shù)值按大小 排 列 后 ，取其 中間兩個(gè)元素灰度值 稍微平均值 ； 奇數(shù)個(gè)元素 的 中值是按大小排序后 而得到 中間的數(shù)值。它也是一種類似于卷積 的 鄰域運(yùn)算，但是 在 計(jì)算 過程中并 不是加權(quán)求和，而是把數(shù)字圖像或數(shù)字序列中一 個(gè)像素 點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中 各點(diǎn)值的中值代替， 這樣會(huì)使 周圍像素灰度值差 別 比較大的像素改取 為 與周圍的像素值 比較 接近的值， 這樣能使周圍的值更接近真實(shí)值， 從而 就能 消除孤立的