【正文】 性。 OpenCV。 5 總結(jié)與展望 ......................................................................................................................... 29 總結(jié) ........................................................................................................................... 29 展望 ........................................................................................................................... 29 致 謝 ....................................................................................................................................... 31 參考文獻(xiàn) ................................................................................................................................. 32 1 1 緒 論 研究背景和意義 計(jì)算機(jī)視覺(jué)的研究是從二十世紀(jì)五十年代開(kāi)始，起初的主要研究目的是通過(guò)檢測(cè)圖像中的物體并獲取這些物體間的關(guān)系來(lái)進(jìn)行對(duì)圖像的理解。這使得人 類獲取外界的各種信息很大一部分是通過(guò)視覺(jué)信息途徑得到的。隨著研究的不斷深入和拓展，視頻圖像信號(hào)在信息處理和計(jì)算機(jī)視覺(jué)中扮演著越來(lái)越重要的角色?；旌细咚贡尘澳Ｐ鸵云浜?jiǎn)便、靈活、高效的特點(diǎn)成為該領(lǐng)域的經(jīng)典方法，能夠很好消除背景的微小擾動(dòng)對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)所產(chǎn)生的影響，通過(guò)使用混合高斯背景的建模方法能夠比較準(zhǔn)確地檢測(cè)出復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)，具有較好的魯棒性和實(shí)時(shí)性，對(duì)未來(lái)計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展具有重要的意義。在中國(guó)，北京、上海、廣東等地也已廣泛使用。 運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)是智能視頻監(jiān)控系統(tǒng)中最為關(guān)鍵的步驟 ,它是將運(yùn)動(dòng)區(qū)域的前景從復(fù)雜場(chǎng)景中分割出來(lái)，并對(duì)目標(biāo)行為做出相應(yīng)的 2 檢測(cè)，運(yùn)動(dòng)區(qū)域的正確分割，對(duì)以后的運(yùn)動(dòng)目標(biāo)的跟蹤和行為理解等后期處理起到了至關(guān)重要的作用。靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)是指攝像機(jī)在整個(gè)監(jiān)控的過(guò)程中處于靜止?fàn)顟B(tài)，只存在著被監(jiān)控物體在視場(chǎng)內(nèi)的運(yùn)動(dòng)；而動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)的檢測(cè)是指攝像機(jī)在整個(gè)監(jiān)控過(guò)程中發(fā)生了移動(dòng) (如平動(dòng)、旋轉(zhuǎn)或多自由度運(yùn)動(dòng) )，同時(shí)被監(jiān)控的物體在整個(gè)視場(chǎng)內(nèi)也存在著運(yùn)動(dòng)的情況。 (1)背景減除法 背景減除法 [1]是目前運(yùn)動(dòng)目標(biāo)檢測(cè)中最為常用的方法，它是利用當(dāng)前圖像與背景圖像進(jìn)行差分來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)。背景減除法的難點(diǎn)在于如何尋找其理想的背景模型，以及如何進(jìn)行對(duì)背景模型的更新。為了抑制動(dòng)態(tài)場(chǎng)景的變化對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)所產(chǎn)生的影響，許多研究人員都致力于研究更好的背景模型，已達(dá)到更好的顯示效果。此外，特征背景法也是較為常見(jiàn)的背景建模方法，還有圖像變換同現(xiàn)法等。 Stauffer 和 Grimson[3]提出了自適應(yīng)的混合高斯模型，通過(guò)對(duì)視頻圖像中每一幀的每個(gè)像素進(jìn)行高斯建模，在利用在線估計(jì)進(jìn)行模型參數(shù)更新的方法，從而有效地克服了背景的擾動(dòng)，光照變化等對(duì)前景目標(biāo)檢測(cè)所帶來(lái)的影響。 (2)幀間差分法 幀間差分法是目前最簡(jiǎn)單的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，它主要是利用了連續(xù)圖像序列中相鄰的兩幀或三幀圖像之間的相關(guān)性，然后對(duì)連續(xù)圖像序列中相鄰的幀進(jìn)行相減來(lái)進(jìn)行目標(biāo)檢測(cè)的方法，通過(guò)較小時(shí)間間隔來(lái)檢測(cè)的圖像變化部分，最后對(duì)圖像進(jìn)行閾值化處理來(lái)找出運(yùn)動(dòng)區(qū)域。 Lipton 等 [4]通過(guò)利用兩幀差分的方法從實(shí)際的視頻圖像中檢測(cè)出運(yùn)動(dòng) 3 目標(biāo)，進(jìn)而對(duì)目標(biāo)進(jìn)行分類與跟蹤。幀間差分法對(duì)動(dòng)態(tài)環(huán)境有著較強(qiáng)的適應(yīng)性，它的缺點(diǎn)是不能從中提取所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)目標(biāo)內(nèi)部易產(chǎn)生空洞，從而得出不完整的目標(biāo)信息。光流法的研究是根據(jù)圖像序列中的 像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性，從而確定各自像素位置的“運(yùn)動(dòng)”情況，它主要研究?jī)?nèi)容的的是，圖像序列的灰度在時(shí)間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動(dòng)之間的關(guān)系。光流法檢測(cè)運(yùn)動(dòng)目標(biāo)的基本原理是：給圖像序列中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，使其形成了一個(gè)圖像的運(yùn)動(dòng)場(chǎng)，在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，通過(guò)投影關(guān)系得到圖像上的點(diǎn)與三維物體上的點(diǎn)的一一對(duì)應(yīng)，在根據(jù)各個(gè)像素點(diǎn)的速度矢量特征對(duì)圖像序列進(jìn)行動(dòng)態(tài)分析。當(dāng)圖像中有運(yùn)動(dòng)物體時(shí)，目標(biāo)和圖像背景就會(huì)存在相對(duì)的運(yùn)動(dòng)，這時(shí)運(yùn)動(dòng)物體所形成的速度矢量和鄰域背景速度矢量會(huì)產(chǎn)生不同，從而能夠檢測(cè)出運(yùn)動(dòng)目標(biāo)及其所在的位置。但是光流法能夠攜帶運(yùn)動(dòng)物體的運(yùn)動(dòng)信息和有關(guān)景物三維結(jié)構(gòu)的優(yōu)點(diǎn)，它能夠在不知道任何場(chǎng)景信息的情況下，檢測(cè)出運(yùn)動(dòng)對(duì)象。但這些方法存在一個(gè)共性的問(wèn)題就是計(jì)算量非常大，而且運(yùn)動(dòng)目標(biāo)容易受到噪聲和局部光照條件的影響，而如何利用視頻監(jiān)控場(chǎng)景中的圖像序列自身的特點(diǎn)對(duì)我們算法的研究起著至關(guān)重要的作用。在塊匹配的算法中 , 圖像序列被分割為若干個(gè)子塊 , 并將子塊中的所有像素的運(yùn)動(dòng)矢量被認(rèn)為是相同的 , 假設(shè)圖像場(chǎng)景中沒(méi)有大的遮擋物，而且復(fù)雜的運(yùn)動(dòng)可以被近似地分解為一組平 移運(yùn)動(dòng)之和，所以塊匹配算法可以假定為圖像中的運(yùn)動(dòng)物體是由做平移運(yùn)動(dòng)的剛體組成而得到的。 研究 的熱 點(diǎn) 1. 環(huán)境的微小擾動(dòng) 和光照變化 對(duì)運(yùn)動(dòng)目標(biāo) 帶來(lái)形狀變化 ， 使得實(shí)時(shí)識(shí)別和 檢測(cè) 非常 4 困難，如何選擇和提取具有不變性的特征有提高待。 3. 系統(tǒng)算法在進(jìn)行 運(yùn)動(dòng)目標(biāo)檢測(cè) 時(shí)，使用的是混合高斯建模方法，其運(yùn)算量 比較 大，如果對(duì)于大量的數(shù)據(jù) 進(jìn)行 計(jì)算 時(shí)，由 于計(jì)算的過(guò)程比較耗時(shí)從而 會(huì)影響效果的實(shí)時(shí)性； 研究?jī)?nèi)容 第一章 簡(jiǎn)要介紹了計(jì)算機(jī)視覺(jué)， 了解運(yùn)動(dòng) 目標(biāo) 檢測(cè)的國(guó)內(nèi)外發(fā)展現(xiàn)狀， 并對(duì)目前運(yùn)動(dòng)目標(biāo)檢測(cè)的常用方法的簡(jiǎn)單介紹，最后分析現(xiàn)階段對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè) 研究 的熱點(diǎn)問(wèn)題。 其中 包括讀取視頻，圖像去噪，圖像灰度化等，對(duì)比不同處理方法的優(yōu)缺點(diǎn)，最后選定運(yùn)用高斯去噪的方法處理圖像。 第四章 首先 介紹了 OpenCV 在 Visual C++6. 0 下的 環(huán)境搭建 ，然后介紹對(duì)視頻圖像中幀圖像的處理，接著闡述了混合高斯背景建模方法的運(yùn)動(dòng)目標(biāo)檢測(cè)的流程圖，接下來(lái)詳細(xì)介紹混合高斯建模的初始化和背景模型的更新，以及實(shí)現(xiàn)建模方法的部分代碼，最后通過(guò)程序的運(yùn)行，對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的顯示進(jìn)行分析。本文所做的工作 做出總結(jié) ，并對(duì)該領(lǐng)域的未來(lái)作出 了 展望。 5 2 視頻圖像檢測(cè)預(yù)處理 視頻是指隨著時(shí)間發(fā)生變化的一組數(shù)字圖像序列，有時(shí)還包含有相應(yīng)的音頻信息。而現(xiàn)在的視頻文件較多是通過(guò)彩色攝像機(jī)進(jìn)行采集的，而在視頻文件的采集、傳輸和記錄的過(guò)程中，經(jīng)常會(huì)受到各種噪聲的干擾，其中包括外界光照、陰影的影響，也包括攝像頭成像誤差、系統(tǒng)電路失真等引起的噪聲。對(duì)于一個(gè)良好的圖像處理系統(tǒng)，不論是計(jì)算機(jī)進(jìn)行的數(shù)字處理還是用模擬處理，都是把減少最前一級(jí)的去除噪聲作為主攻目標(biāo)。 視頻讀取 本課題是基于 OpenCV 的 運(yùn)動(dòng) 視頻檢測(cè)，使用的是 OpenCV 函數(shù)庫(kù)，搭建在 Visual C++ 環(huán)境下 進(jìn)行編 譯 ，其 識(shí)別的 視頻格式為 avi。 這 兩種 獲取圖像的 方式都必須從第一幀開(kāi)始一幀一幀的按順序獲取，因此每獲取一幀 圖像 后都要保存 其 相應(yīng)的狀態(tài)和參數(shù) [8]。這些信息都保存在 CvCapture 中， 而 每獲取一幀后，這些信 息都將被更新，獲取下一幀需要將新 的 信息傳給獲取 信息所 傳遞的接口。 通過(guò) 設(shè)置視頻文件的路徑 ， 然后 在 設(shè)置窗口 大小 ，并且可以控制窗口的位置和大小。返回的圖像不可以被用戶釋放或者修改。 它的作用是 用來(lái)將下一幀視頻文件載入內(nèi)存，返回一個(gè)對(duì)應(yīng)當(dāng)前幀的指針。而在釋放內(nèi)存的時(shí)候， 就沒(méi)有必要通過(guò) cvReleaseImage 對(duì)這個(gè)返回的圖像指針進(jìn)行釋放，當(dāng) CvCapture 結(jié)構(gòu)被釋放后，每一幀圖像所對(duì)應(yīng)的內(nèi)存空間即會(huì)被釋放。 return 2。 IplImage* pFrImg = NULL。 CvCapture* pCapture = NULL。 cvNamedWindow(video, 1)。 cvNamedWindow(foreground,1)。 IplImage *img_erode。 while(pFrame = cvQueryFrame( pCapture )) //從攝像頭或文件中讀取并返回一幀 {...} 圖像灰度化 圖像灰度化就是 對(duì) 彩色圖像中的彩色信息 進(jìn)行處理 ， 將 其變?yōu)榛叶葓D像， 只包含亮度信息 。要對(duì)圖像進(jìn)行 灰度化 ，就需要 使圖像的 RGB 的三個(gè) 分量取相等的值， 則 圖像 就會(huì) 由原來(lái)的三維特征降到灰度化后的一維特征 ，在此過(guò)程中圖像 必然 會(huì) 7 丟失部分 的 信息。而 不論采取哪種 灰度化處理 方法， 都會(huì)將 其原有的顏色特征改變或丟失， 這樣就 使得同一 種二值化方法因?yàn)椴煌幕叶然幚磉^(guò)程得到不同的結(jié)果，其中 R 表示該像素的紅色分量 ， G 表示綠色分量， B 表示藍(lán)色分量。 效果圖如 圖 21 所示 圖 (a)為原始圖，圖 (b)為灰度化后的圖像。視頻圖像一般經(jīng)過(guò)預(yù)處理 、灰度處理之 后， 再加上對(duì)圖像的濾波去噪，將會(huì)改善 感興趣區(qū)域 的 可視化效果， 從而對(duì)視頻圖像的檢測(cè)起到重要的作用 。 圖像噪聲是 指 圖像在攝取時(shí)或是傳輸時(shí)所受到的隨機(jī)干擾信號(hào) ，而 這些 隨機(jī) 干擾信號(hào)的抑制稱為圖像的噪聲抑制 [9]。圖像傳感器帶來(lái)的噪聲在視頻圖像處理中為主要噪聲源。椒鹽噪聲 主要 是由 圖像傳感器，傳輸信道，解碼處理等產(chǎn)生的黑白相間的亮暗點(diǎn)噪聲 ， 往往由圖像切割引起。高嘶噪聲是從頻率上說(shuō)的隨機(jī)信號(hào)干擾，其噪聲服從高斯分布。因此，在 對(duì) 圖像處理之前應(yīng)該將其去除，以便得到良好的處理效果。頻域法的計(jì)算速度快，但是比較復(fù)雜，為了保證實(shí)時(shí)性，一般采用空域法 。傳感 器噪聲的 消除 方法有中值濾波、均值濾波、直方圖濾波等空間域上的濾波。因此，必須在圖像質(zhì)量和去除噪聲之間做出折衷。 中值去噪 中值濾波是由 Tukey 提出的 ，它是 一種基于排序統(tǒng)計(jì) 的 理論，能 夠 有效 的抑制 噪聲的非線性信號(hào)處理技術(shù)。 由于 高頻分量對(duì)應(yīng)圖像中的區(qū)域邊緣的灰度值具有較大較快變化的部分， 使用中值去噪 能減弱或消除傅立葉空間的高頻分量，該濾波可將這些分量濾除，使圖像 變得更加 平滑 ， 但 是同時(shí)也會(huì)影響低頻分量 [10]。 傳統(tǒng)的中值濾波 一 般采用含有奇數(shù)個(gè)點(diǎn)的滑動(dòng)窗口中各點(diǎn)狄度值的中值來(lái)代替指定點(diǎn)的灰度值。中值濾波 是 一種用來(lái)抑制脈沖噪聲 的 典型低通濾波器，它能夠徹底濾除尖波干擾噪聲， 并且 又具有較好地保護(hù)目標(biāo)圖像邊緣的特點(diǎn)。中值濾波的濾波方法是 將像素按照 滑動(dòng)濾波窗口 2N+l做 大 9 小排序，濾波 后 輸出像素值為該序列的中值。 但是 二維中值濾波的窗口形狀和尺寸設(shè)計(jì) 會(huì) 對(duì)濾波的效果 產(chǎn)生較大的影響 ，在針對(duì) 不同的圖像內(nèi)容和不同的應(yīng)用要求 ，使用 二維中值 時(shí) 往往采用不同的形狀和尺寸 ， 通常的 濾波窗口有線狀、方形、圓形、十字形及圓環(huán)形等，窗口尺寸一般 設(shè)置為 3，也可以根據(jù)濾波效果 適當(dāng) 的調(diào)整窗口的 尺寸， 從而得到較好 的濾波效果。傳統(tǒng)的排序算法 是用 冒泡排序法 ，這種 濾波算法 使窗口 每移動(dòng)一次，就要進(jìn)行一次排序 。 均值去噪 均值濾波也 被 稱為線性濾波， 它所運(yùn)用的 方法為鄰域平均法， 其 基本原理是用鄰域的均值替代原圖像中的各 個(gè)像素值， 通過(guò) 對(duì)處理的當(dāng)前像素點(diǎn) (X,Y)選擇一個(gè)模板窗口，而 模板 的選取是 由當(dāng)前像素近鄰的若干像素 所 組成， 在對(duì) 模板求取所有像素的均值，再把 所求的 均值賦 給 當(dāng)前 的 像素點(diǎn)，作為處理后圖像在該點(diǎn)上的灰度值，具體算法如下： 設(shè) f(x， y)為給定的含有噪聲的圖像，經(jīng)過(guò)鄰域平均 法處理 后 得到 的圖像為 g(x， y)，則 為 MyxN yxfyxg ?? ? ),(,),(),( （ 22） 其中 M 是 對(duì) 所取鄰域 圖像 中各鄰近像素的坐標(biāo)， N 是 鄰域中包含的鄰近像素的個(gè)數(shù)。 但是在實(shí)際運(yùn)用中，可根據(jù)不同的需要選擇不同的模板尺寸，如 3 5 7 99 等 ，模板尺寸選取會(huì)對(duì)圖像的去噪的效果產(chǎn)生較大的影響， 模板 的 尺寸 選取的 越大，噪聲減小就 越顯著，但 是不足之處就是 圖像的對(duì)比度下降 就 越多。 另外，均值濾波 只是 將雜點(diǎn)無(wú)限放 大 ，使 人眼不易察覺(jué)，但不能 從本質(zhì)上 消除雜點(diǎn)， 因此均值濾波只能處理要求不高的圖像， 對(duì)椒鹽噪聲 的去除，使用 均值濾波 得到的圖像處理效果并不理想 。高斯濾波 通過(guò) 對(duì)整幅圖像進(jìn)行加權(quán)平均， 其中圖像中 每 一個(gè) 像素 點(diǎn)的值 ， 都由其本身和鄰域內(nèi)的其他像素值經(jīng)過(guò)加權(quán)平均后得到。 例如在對(duì)一幀圖像進(jìn)行處理時(shí) ，拿圖像的八連通區(qū)域來(lái)說(shuō)， 就是讓 中間點(diǎn)的像素值等于八連通區(qū)的像素值的均值， 通過(guò)這樣的方式 達(dá)到 圖像的 平