【文章內(nèi)容簡介】 URCC(39。P39。,39。I39。,39。M39。,39。139。)是MPEG1 codec，CV_FOURCC(39。M39。,39。J39。,39。P39。,39。G39。)是motionjpeg codec等。在Win32下，如果傳入?yún)?shù)1，可以從一個對話框中選擇壓縮方法和壓縮參數(shù)。fps：被創(chuàng)建視頻流的幀率。frame_size：視頻流的大小。is_color：如果非零，編碼器將希望得到彩色幀并進行編碼；否則，是灰度幀（只有在Windows下支持這個標志）。7）cvWriteFrame( )：寫入一幀到一個視頻文件中int cvWriteFrame( CvVideoWriter* writer, const IplImage* image )。writer：視頻寫入器結(jié)構(gòu)。image：被寫入的幀。 本章小結(jié)本章主要介紹了OpenCV技術(shù)，包括OpenCV在Visual C++，著重介紹了與本文工作密切相關(guān)的OpenCV中的數(shù)據(jù)結(jié)構(gòu)和常用函數(shù)，為后面的系統(tǒng)實現(xiàn)打下基礎(chǔ)。3 圖像預(yù)處理數(shù)字圖像處理(Digital Image Proeessing)又稱為計算機圖像處理，它是指將圖像信號轉(zhuǎn)換成數(shù)字信號并利用計算機對其進行處理的過程。為了消除采集圖像的噪聲和干擾，加強有用信息，使圖像更易于辨識。其中，處理的重點是去除噪聲，但選取怎么樣的濾波器最合適則是個難題。通常圖像里的噪聲類型有高斯噪聲、脈沖噪聲、瑞利噪聲等。高斯噪聲的特點是密度大、噪聲強度的波動范圍寬。受高斯噪聲污染的圖像不僅在圖像的每一像素灰度級上都受影響，而且即便同一灰度級上造成的污染程度也可能存在著較大的差異。圖像中出現(xiàn)的一般為高斯噪聲。一般用平滑濾波器降低高斯噪聲。 圖像的獲取與灰度轉(zhuǎn)換原始彩色圖像的背景提取，基本思想是，圖像中的某個像素按時間抽樣，其作為背景像素的時間比作為運動前景的時間長，即其作為背景的概率比作為前景的概率大，而且背景和前景在顏色上和亮度上都有很大不同。這是因為，對于固定場景，運動物體在運動，其轉(zhuǎn)瞬即逝，大多數(shù)時間我們看到的都是靜止背景，因此圖像上某個像素點作為前景的時間相對作為背景的時間短得多；而且，運動物體和靜止背景在色彩上有明顯區(qū)別，人能輕易分辨出前景物體，即使在一張靜止圖像上。不論何種方法，都是基于這個思想。利用普通的彩色CCD 攝像機拍攝的圖像都可以統(tǒng)一規(guī)整為寬度為384，高度為255像素(pixels)點的位圖文件格式，即彩色的BMP 位圖文件。BMP 格式的圖像是以象素的形式記錄圖像的，它的每個象素點(Pxiel)由紅、綠、藍三原色組成，每個色彩通道的顏色值都由一個八位的字節(jié)來表示。BMP 圖像文件的結(jié)構(gòu)分為:文件頭、調(diào)色板數(shù)據(jù)和圖像數(shù)據(jù)三個部分，其中文件頭的長度固定為54個字節(jié)，文件頭中包含兩種數(shù)據(jù)結(jié)構(gòu)。然而，考慮到圖像文件的存儲量和處理圖像需占用大量機器資源，本圖像識別系統(tǒng)均采用不含彩色信息的灰度圖像，即圖像中每個象素僅由一個八位字節(jié)表示該像素的亮度值，因而灰度圖像是具有256 個灰度級的黑白圖像，便于后續(xù)的圖像二值化，處理運算量大大減少。一些系統(tǒng)的攝像部分采用單色CCD 攝像頭則可以直接得到灰度圖像。由真彩圖像到灰度圖像的變換，本課題用如下的變換公式:RGB →Gray :Y = *R + *G + *B ()其中Y 為灰度圖像的灰度值，R、G、B 為真彩圖像的紅、綠、藍三通道顏色值。在openCV 中，主要使用的圖像格式為Ipllmage，即IpL 圖像頭。Ipllmage 結(jié)自于Intel Imageproeessing Library(是所具有的)。OpenCV 只支持其中的一個子集。Ipllmgae結(jié)構(gòu)中各成員變量所代表的含義。 圖像噪聲噪聲主要在數(shù)字圖像的獲取(量化)和傳輸中產(chǎn)生，可以理解為妨礙人的視覺器官或系統(tǒng)傳感器對所接收圖像源信息進行理解或分析的各種因素，一般是不可預(yù)測的隨機信號，只能用概率統(tǒng)計的方法去認識。噪聲對圖像處理十分重要，影響圖像處理的輸入 、采集、處理的各個環(huán)節(jié)以及輸出結(jié)果的全過程。特別是圖像的輸入、采集噪聲的抑制是十分關(guān)鍵的問題，若輸入伴有較大的噪聲，必然影響處理全過程及輸出的結(jié)果。因此一個良好的圖像處理系統(tǒng)，不論是模擬處理還是用計算機進行的數(shù)字處理，無不把減少最前一級的噪聲作為主攻目標。 噪聲的特征設(shè)圖像信號為灰度圖像并按二維亮度 f (x, y)分布，則噪聲可看作是對亮度的干擾，可用n(x, y)來表示。噪聲是隨機的，因而需用隨機過程來描述，即要求知道其分布函數(shù)和密度函數(shù)。但在許多情況下這些函數(shù)很難測出或描述，甚至不可能得到，所以常用統(tǒng)計特征描述噪聲，如:均值、方差、相關(guān)函數(shù)等。用噪聲平方的平均值 (E[]表示均值操作)描述噪聲的總功率。用噪聲的方差描述噪聲的交流功率。用噪聲平均值的平方表示噪聲的直流功率。 噪聲的分類根據(jù)噪聲產(chǎn)生的來源，大致可以分為外部噪聲和內(nèi)部噪聲兩大類。外部噪聲是指從處理系統(tǒng)外來的影響。如天線干擾或電磁波從電源線竄入系統(tǒng)的噪聲。內(nèi)部噪聲則有如下四種最常見形式。例如電流可看作電子或空穴運動這些粒子運動產(chǎn)生隨機散粒噪聲，導(dǎo)體中電子流動的熱噪聲，光量子運動的光量子噪聲等。例如，接頭振動使電流不穩(wěn)，磁頭或磁帶、磁盤抖動等。如光學(xué)底片的顆粒噪聲，磁帶、磁盤缺陷噪聲，光盤的疵點噪聲等。從噪聲的分類方法來看是多種多樣的。但綜合來說，噪聲是隨機產(chǎn)生的量，所以又可以從統(tǒng)計數(shù)學(xué)的觀點來定義噪聲。凡是統(tǒng)計特征不隨時間變化的噪聲稱為平穩(wěn)噪聲，而統(tǒng)計特征隨時間變化的噪聲稱作非平穩(wěn)噪聲。從噪聲的分類方法來看是多種多樣的。但綜合來說，噪聲是隨機產(chǎn)生的量，所以又可以從統(tǒng)計數(shù)學(xué)的觀點來定義噪聲。凡是統(tǒng)計特征不隨時間變化的噪聲稱為平穩(wěn)噪聲，而統(tǒng)計特征隨時間變化的噪聲稱作非平穩(wěn)噪聲。而噪聲反應(yīng)在圖片上則有高斯噪聲、脈沖噪聲、瑞利噪聲等。高斯噪聲的特點是密度大、噪聲強度的波動范圍寬。受高斯噪聲污染的圖像不僅在圖像的每一像素灰度級上都受影響，而且即便同一灰度級上造成的污染程度也可能存在著較大的差異。 圖像濾波為了消除采集圖像的噪聲和干擾，加強有用信息，使圖像更易于辨識，需要去除噪聲?？赏ㄟ^圖像濾波的方法實現(xiàn)。噪聲信號的濾波是信號處理的基本任務(wù)之一。過去這一任務(wù)主要由線性濾波器來完成，但線性濾波器不能有效地抑制各種非加性高斯噪聲，且不利于信號邊緣等細節(jié)特征的保持。因而，近年來的噪聲信號恢復(fù)問題主要采用非線性濾波器來處理。在諸多種類的非線性濾波器中，中值濾波器是最具代表性和很有發(fā)展前途的一種濾波器，因為它是以排序為基礎(chǔ)的，具有并行快速實現(xiàn)的特點，一直受到國內(nèi)外學(xué)者的普遍關(guān)注和廣泛研究。中值濾波器的主要功能是改變與周圍象素灰度值差別比較大的象素的值而改取與周圍象素灰度值接近的值，從而消除孤立的噪聲點。 中值濾波原理中值濾波的基本思想是用象素點鄰域灰度值的中值來代替該象素點的灰度值，對于奇數(shù)個元素，中值是指按大小排序后中間的數(shù)值；對于偶數(shù)個元素，中值是指排序后中間兩個元素灰度值的平均值。中值濾波這種方法由于不依賴于鄰域內(nèi)那些與典型值差別很大的值，因而能在去除噪聲脈沖、椒鹽噪聲的同時又能保留圖像邊緣細節(jié)。中值濾波一般采用一個含有奇數(shù)個點的滑動窗口，具體方法為首先確定一個奇數(shù)象素的窗口W，窗口內(nèi)各象素按灰度大小排隊后，用其中間位置的灰度值代替原f(x,y)灰度值成為增強圖像 (x,y)，即： ()其中，W為選定窗口大小。本文在對圖像進行濾波時正是考慮了圖像中多為尖峰狀干擾，中值濾波能去除點狀尖峰干擾而邊緣不會變壞，若用低通濾波雖能去除噪聲但陡峭的邊緣將被模糊。對于一維情況，中值濾波器不影響階躍函數(shù)和斜坡函數(shù)，并可以有效地消除單、雙脈沖，使三角函數(shù)的頂端變平；對于二維情況，中值濾波的窗口形狀和尺寸對濾波器效果影響很大。使用二維中值濾波最值得注意的是要保持圖像中有效的細線狀物體，如果圖像中的線、尖角細節(jié)較多，則不宜采用中值濾波。 中值濾波特性(1)對某些輸入信號中值濾波的不變性；(2)中值濾波去噪性能：可以用來減弱隨機干擾和脈沖干擾。對尖峰性干擾效果好，即保持邊緣的陡度又去掉干擾，對高斯分布噪聲效果差；對脈沖干擾來講，特別是相距較遠的窄脈沖干擾，中值濾波是很有效的。 中值濾波后的圖像 本章小結(jié)本章主要討論了圖像預(yù)處理的思路，先將背景圖像進行灰度處理，然后分析圖像上產(chǎn)生的噪聲，為了消除采集圖像的噪聲和干擾，分析與選用何種濾波器，討論濾波器的特性和是否滿足需求。4 運動目標檢測運動目標檢測處于整個視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級應(yīng)用如目標跟蹤、目標分類、目標行為理解等的基礎(chǔ)。運動目標檢測是指從視頻流中實時提取目標，一般是確定目標所在區(qū)域和顏色特征等。運動目標檢測的結(jié)果是一種“靜態(tài)”目標一一前景目標，由一些靜態(tài)特征所描述。運動目標檢測依據(jù)前景目標所處的背景環(huán)境，可以劃分為兩類一一靜態(tài)背景下運動目標檢測和動態(tài)背景下運動目標檢測，本章結(jié)合論文的工作實際主要研究攝像機不發(fā)生運動的靜態(tài)背景運動目標檢測算法。相對于靜止信息來說，運動信息更能引起人們的注意，也更加有用。例如，對于自動視頻監(jiān)控系統(tǒng)，監(jiān)控對象的變化也是它更感興趣的信息。自動視頻監(jiān)控系統(tǒng)是利用攝像機采集到的圖像序列對監(jiān)控的對象進行不間斷監(jiān)視，如出現(xiàn)異常情況，給出報警信號，通知有關(guān)人員進行及時處理。為了對監(jiān)控對象的變化進行檢測，系統(tǒng)要對采集得到的圖像序列進行有效地處理，從中分離出變化信息，對于一般場合變化信息就是目標的運動。目前，檢測運動目標的方法主要有光流法和幀間差閾值法。由于噪聲、多光源、陰影、透明性和遮擋性等原因，使得計算出的光流場分布不是十分可靠和精確，光流場的計算實時性和實用性較差。幀間差閾值法速度快，易于硬件實現(xiàn)。不足之處是很難求出運動物體的速度，且當(dāng)運動物體在成像平面有重迭時，幀間差閾值法不適用。本文使用圖像背景差分的方法來對序列圖像中的運動目標進行檢測。 運動目標檢測的基本方法目標檢測與提取在目標跟蹤應(yīng)用中有著重要的地位。目標檢測與提取的準確性直接影響到跟蹤的結(jié)果和精度。一個好的運動目標檢測算法，應(yīng)該能適用于所監(jiān)視的各種環(huán)境，通常一個優(yōu)秀的運動目標檢測算法應(yīng)具有以下的特征:1 不依賴于攝像頭的安裝位置。2 在各種天氣條件下應(yīng)是魯棒的。3 對環(huán)境光線的變化應(yīng)是魯棒的。4 應(yīng)能夠處理雜亂無章的大面積區(qū)域的各種運動，以及視場內(nèi)目標的疊加。5 能適應(yīng)場景中個別物體運動的干擾，如樹木的搖晃，水面的波動。人們總是希望能有一個能適用于監(jiān)視各種各樣環(huán)境，能夠滿足各種要求以及普遍適用的一個運動目標檢測算法，但是實際應(yīng)用中要達到這樣的要求是十分困難的，因為實際應(yīng)用中不但要考慮到算法要盡量適用于多種環(huán)境，而且一般還要在算法的復(fù)雜度、可靠性，以及實時性等諸多方面中考慮。通常情況下，運動目標檢測的算法可以按照被監(jiān)視場景是室內(nèi)還是室外分為室內(nèi)監(jiān)測算法和室外監(jiān)測算法，也可以按照算法具體使用的方法分為連續(xù)幀間差分法、背景差分法和光流法。 幀間差分法對于許多應(yīng)用來說，檢測圖像序列中連續(xù)幀圖像的差異是非常重要的步驟。場景中任何可觀察的運動都會體現(xiàn)在場景圖像序列的變化上，如果能檢測這種變化，就可以分析其運動特性。進一步，如果目標的運動限制在平行于圖像平面的一個平面上，則可以得到目標運動特性定量參數(shù)的很好估計。 相鄰兩幀圖像差分法基本原理流程連續(xù)幀間差分法可分為相鄰兩幀圖像差分和連續(xù)三幀圖像差分，這里主要介紹相鄰兩幀圖像差分法。相鄰兩幀圖像差分法的基本運算過程如圖()。首先，利用公式()計算第k 幀圖像與第k ?1幀圖像之間的差別，得到差分后的圖像，然后對差分后圖像使用圖像分割算法—式()進行二值化處理，即認為當(dāng)差分圖像中某一像素的差大于設(shè)定的閉值時，則認為該像素是前景像素(檢測到的目標)，反之則認為是背景像素。在對差分圖像二值化后還可以使用數(shù)學(xué)形態(tài)學(xué)對其進行濾波處理，然后得到圖像凡，最后對 圖像進行區(qū)域連通性分析，當(dāng)某一連通的區(qū)域的面積大于某一給定閉值，則成為檢測目標，并認為該區(qū)域就是目標的區(qū)域范圍，就可以確定目標的最小外接矩形。 ()其中 , 為連續(xù)兩幀圖像。 為幀差圖像。 ()其中T是二值化設(shè)定閥值?；谶B續(xù)幀間差分法的運動目標檢測其主要優(yōu)點是：1 算法實現(xiàn)簡單。2 程序設(shè)計復(fù)雜度低。3 易于實現(xiàn)實時監(jiān)視。4 由于相鄰幀的時間間隔較短，因此該方法對場景光線的變化不太敏感，受目標陰影的影響也不太大，可以講連續(xù)幀間差分法對動態(tài)環(huán)境有較好的適應(yīng)性。然而，這種方法在使用過程中還存在兩個問題:一是兩幀間目標的重疊部分不容易檢測出來，即只能檢測出目標的一部分:二是檢測出目標在兩幀中變化的信息，這樣會存在較多的偽目標點，檢測出的目標要比實際的目標大一些。分析原因，前者是由于我們直接用相鄰的兩幀相減后，保留下來的部分是兩幀中相對變化的部分，因此兩幀間目標的重疊部分不容易被檢測出來。后者是由于相鄰兩幀必然存在的灰度變化所產(chǎn)生的。 背景差法其原理如下圖所示 背景差分法原理流程 基于背景差分方法的原理非常簡單，其基本運算過程如圖()所示:先利用公式()計算背景圖像fbk與當(dāng)前幀圖像fk的差，然后依據(jù)公式()對差分圖像Dk進行二值化和形態(tài)學(xué)濾波處理，并對所得結(jié)果Rk進行區(qū)域連通性分析，當(dāng)某一連通的區(qū)域的面積大于某一給定閾值，則成為檢測目標，并認為該區(qū)域就是目標的區(qū)域范圍，就可以確定目標的最小外接矩形。 ()其中fk(x,y) 、fbk(x,y)為連續(xù)兩幀圖像， Dk(x,y)為幀差圖像。 ()其中T 是二值化設(shè)定閥值。此方法的主要特點是：1 要求使