【文章內(nèi)容簡(jiǎn)介】 URCC(39。P39。,39。I39。,39。M39。,39。139。)是MPEG1 codec，CV_FOURCC(39。M39。,39。J39。,39。P39。,39。G39。)是motionjpeg codec等。在Win32下，如果傳入?yún)?shù)1，可以從一個(gè)對(duì)話框中選擇壓縮方法和壓縮參數(shù)。fps：被創(chuàng)建視頻流的幀率。frame_size：視頻流的大小。is_color：如果非零，編碼器將希望得到彩色幀并進(jìn)行編碼；否則，是灰度幀（只有在Windows下支持這個(gè)標(biāo)志）。7）cvWriteFrame( )：寫入一幀到一個(gè)視頻文件中int cvWriteFrame( CvVideoWriter* writer, const IplImage* image )。writer：視頻寫入器結(jié)構(gòu)。image：被寫入的幀。 本章小結(jié)本章主要介紹了OpenCV技術(shù)，包括OpenCV在Visual C++，著重介紹了與本文工作密切相關(guān)的OpenCV中的數(shù)據(jù)結(jié)構(gòu)和常用函數(shù)，為后面的系統(tǒng)實(shí)現(xiàn)打下基礎(chǔ)。3 圖像預(yù)處理數(shù)字圖像處理(Digital Image Proeessing)又稱為計(jì)算機(jī)圖像處理，它是指將圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并利用計(jì)算機(jī)對(duì)其進(jìn)行處理的過程。為了消除采集圖像的噪聲和干擾，加強(qiáng)有用信息，使圖像更易于辨識(shí)。其中，處理的重點(diǎn)是去除噪聲，但選取怎么樣的濾波器最合適則是個(gè)難題。通常圖像里的噪聲類型有高斯噪聲、脈沖噪聲、瑞利噪聲等。高斯噪聲的特點(diǎn)是密度大、噪聲強(qiáng)度的波動(dòng)范圍寬。受高斯噪聲污染的圖像不僅在圖像的每一像素灰度級(jí)上都受影響，而且即便同一灰度級(jí)上造成的污染程度也可能存在著較大的差異。圖像中出現(xiàn)的一般為高斯噪聲。一般用平滑濾波器降低高斯噪聲。 圖像的獲取與灰度轉(zhuǎn)換原始彩色圖像的背景提取，基本思想是，圖像中的某個(gè)像素按時(shí)間抽樣，其作為背景像素的時(shí)間比作為運(yùn)動(dòng)前景的時(shí)間長(zhǎng)，即其作為背景的概率比作為前景的概率大，而且背景和前景在顏色上和亮度上都有很大不同。這是因?yàn)?，?duì)于固定場(chǎng)景，運(yùn)動(dòng)物體在運(yùn)動(dòng)，其轉(zhuǎn)瞬即逝，大多數(shù)時(shí)間我們看到的都是靜止背景，因此圖像上某個(gè)像素點(diǎn)作為前景的時(shí)間相對(duì)作為背景的時(shí)間短得多；而且，運(yùn)動(dòng)物體和靜止背景在色彩上有明顯區(qū)別，人能輕易分辨出前景物體，即使在一張靜止圖像上。不論何種方法，都是基于這個(gè)思想。利用普通的彩色CCD 攝像機(jī)拍攝的圖像都可以統(tǒng)一規(guī)整為寬度為384，高度為255像素(pixels)點(diǎn)的位圖文件格式，即彩色的BMP 位圖文件。BMP 格式的圖像是以象素的形式記錄圖像的，它的每個(gè)象素點(diǎn)(Pxiel)由紅、綠、藍(lán)三原色組成，每個(gè)色彩通道的顏色值都由一個(gè)八位的字節(jié)來表示。BMP 圖像文件的結(jié)構(gòu)分為:文件頭、調(diào)色板數(shù)據(jù)和圖像數(shù)據(jù)三個(gè)部分，其中文件頭的長(zhǎng)度固定為54個(gè)字節(jié)，文件頭中包含兩種數(shù)據(jù)結(jié)構(gòu)。然而，考慮到圖像文件的存儲(chǔ)量和處理圖像需占用大量機(jī)器資源，本圖像識(shí)別系統(tǒng)均采用不含彩色信息的灰度圖像，即圖像中每個(gè)象素僅由一個(gè)八位字節(jié)表示該像素的亮度值，因而灰度圖像是具有256 個(gè)灰度級(jí)的黑白圖像，便于后續(xù)的圖像二值化，處理運(yùn)算量大大減少。一些系統(tǒng)的攝像部分采用單色CCD 攝像頭則可以直接得到灰度圖像。由真彩圖像到灰度圖像的變換，本課題用如下的變換公式:RGB →Gray :Y = *R + *G + *B ()其中Y 為灰度圖像的灰度值，R、G、B 為真彩圖像的紅、綠、藍(lán)三通道顏色值。在openCV 中，主要使用的圖像格式為Ipllmage，即IpL 圖像頭。Ipllmage 結(jié)自于Intel Imageproeessing Library(是所具有的)。OpenCV 只支持其中的一個(gè)子集。Ipllmgae結(jié)構(gòu)中各成員變量所代表的含義。 圖像噪聲噪聲主要在數(shù)字圖像的獲取(量化)和傳輸中產(chǎn)生，可以理解為妨礙人的視覺器官或系統(tǒng)傳感器對(duì)所接收?qǐng)D像源信息進(jìn)行理解或分析的各種因素，一般是不可預(yù)測(cè)的隨機(jī)信號(hào)，只能用概率統(tǒng)計(jì)的方法去認(rèn)識(shí)。噪聲對(duì)圖像處理十分重要，影響圖像處理的輸入 、采集、處理的各個(gè)環(huán)節(jié)以及輸出結(jié)果的全過程。特別是圖像的輸入、采集噪聲的抑制是十分關(guān)鍵的問題，若輸入伴有較大的噪聲，必然影響處理全過程及輸出的結(jié)果。因此一個(gè)良好的圖像處理系統(tǒng)，不論是模擬處理還是用計(jì)算機(jī)進(jìn)行的數(shù)字處理，無不把減少最前一級(jí)的噪聲作為主攻目標(biāo)。 噪聲的特征設(shè)圖像信號(hào)為灰度圖像并按二維亮度 f (x, y)分布，則噪聲可看作是對(duì)亮度的干擾，可用n(x, y)來表示。噪聲是隨機(jī)的，因而需用隨機(jī)過程來描述，即要求知道其分布函數(shù)和密度函數(shù)。但在許多情況下這些函數(shù)很難測(cè)出或描述，甚至不可能得到，所以常用統(tǒng)計(jì)特征描述噪聲，如:均值、方差、相關(guān)函數(shù)等。用噪聲平方的平均值 (E[]表示均值操作)描述噪聲的總功率。用噪聲的方差描述噪聲的交流功率。用噪聲平均值的平方表示噪聲的直流功率。 噪聲的分類根據(jù)噪聲產(chǎn)生的來源，大致可以分為外部噪聲和內(nèi)部噪聲兩大類。外部噪聲是指從處理系統(tǒng)外來的影響。如天線干擾或電磁波從電源線竄入系統(tǒng)的噪聲。內(nèi)部噪聲則有如下四種最常見形式。例如電流可看作電子或空穴運(yùn)動(dòng)這些粒子運(yùn)動(dòng)產(chǎn)生隨機(jī)散粒噪聲，導(dǎo)體中電子流動(dòng)的熱噪聲，光量子運(yùn)動(dòng)的光量子噪聲等。例如，接頭振動(dòng)使電流不穩(wěn)，磁頭或磁帶、磁盤抖動(dòng)等。如光學(xué)底片的顆粒噪聲，磁帶、磁盤缺陷噪聲，光盤的疵點(diǎn)噪聲等。從噪聲的分類方法來看是多種多樣的。但綜合來說，噪聲是隨機(jī)產(chǎn)生的量，所以又可以從統(tǒng)計(jì)數(shù)學(xué)的觀點(diǎn)來定義噪聲。凡是統(tǒng)計(jì)特征不隨時(shí)間變化的噪聲稱為平穩(wěn)噪聲，而統(tǒng)計(jì)特征隨時(shí)間變化的噪聲稱作非平穩(wěn)噪聲。從噪聲的分類方法來看是多種多樣的。但綜合來說，噪聲是隨機(jī)產(chǎn)生的量，所以又可以從統(tǒng)計(jì)數(shù)學(xué)的觀點(diǎn)來定義噪聲。凡是統(tǒng)計(jì)特征不隨時(shí)間變化的噪聲稱為平穩(wěn)噪聲，而統(tǒng)計(jì)特征隨時(shí)間變化的噪聲稱作非平穩(wěn)噪聲。而噪聲反應(yīng)在圖片上則有高斯噪聲、脈沖噪聲、瑞利噪聲等。高斯噪聲的特點(diǎn)是密度大、噪聲強(qiáng)度的波動(dòng)范圍寬。受高斯噪聲污染的圖像不僅在圖像的每一像素灰度級(jí)上都受影響，而且即便同一灰度級(jí)上造成的污染程度也可能存在著較大的差異。 圖像濾波為了消除采集圖像的噪聲和干擾，加強(qiáng)有用信息，使圖像更易于辨識(shí)，需要去除噪聲。可通過圖像濾波的方法實(shí)現(xiàn)。噪聲信號(hào)的濾波是信號(hào)處理的基本任務(wù)之一。過去這一任務(wù)主要由線性濾波器來完成，但線性濾波器不能有效地抑制各種非加性高斯噪聲，且不利于信號(hào)邊緣等細(xì)節(jié)特征的保持。因而，近年來的噪聲信號(hào)恢復(fù)問題主要采用非線性濾波器來處理。在諸多種類的非線性濾波器中，中值濾波器是最具代表性和很有發(fā)展前途的一種濾波器，因?yàn)樗且耘判驗(yàn)榛A(chǔ)的，具有并行快速實(shí)現(xiàn)的特點(diǎn)，一直受到國內(nèi)外學(xué)者的普遍關(guān)注和廣泛研究。中值濾波器的主要功能是改變與周圍象素灰度值差別比較大的象素的值而改取與周圍象素灰度值接近的值，從而消除孤立的噪聲點(diǎn)。 中值濾波原理中值濾波的基本思想是用象素點(diǎn)鄰域灰度值的中值來代替該象素點(diǎn)的灰度值，對(duì)于奇數(shù)個(gè)元素，中值是指按大小排序后中間的數(shù)值；對(duì)于偶數(shù)個(gè)元素，中值是指排序后中間兩個(gè)元素灰度值的平均值。中值濾波這種方法由于不依賴于鄰域內(nèi)那些與典型值差別很大的值，因而能在去除噪聲脈沖、椒鹽噪聲的同時(shí)又能保留圖像邊緣細(xì)節(jié)。中值濾波一般采用一個(gè)含有奇數(shù)個(gè)點(diǎn)的滑動(dòng)窗口，具體方法為首先確定一個(gè)奇數(shù)象素的窗口W，窗口內(nèi)各象素按灰度大小排隊(duì)后，用其中間位置的灰度值代替原f(x,y)灰度值成為增強(qiáng)圖像 (x,y)，即： ()其中，W為選定窗口大小。本文在對(duì)圖像進(jìn)行濾波時(shí)正是考慮了圖像中多為尖峰狀干擾，中值濾波能去除點(diǎn)狀尖峰干擾而邊緣不會(huì)變壞，若用低通濾波雖能去除噪聲但陡峭的邊緣將被模糊。對(duì)于一維情況，中值濾波器不影響階躍函數(shù)和斜坡函數(shù)，并可以有效地消除單、雙脈沖，使三角函數(shù)的頂端變平；對(duì)于二維情況，中值濾波的窗口形狀和尺寸對(duì)濾波器效果影響很大。使用二維中值濾波最值得注意的是要保持圖像中有效的細(xì)線狀物體，如果圖像中的線、尖角細(xì)節(jié)較多，則不宜采用中值濾波。 中值濾波特性(1)對(duì)某些輸入信號(hào)中值濾波的不變性；(2)中值濾波去噪性能：可以用來減弱隨機(jī)干擾和脈沖干擾。對(duì)尖峰性干擾效果好，即保持邊緣的陡度又去掉干擾，對(duì)高斯分布噪聲效果差；對(duì)脈沖干擾來講，特別是相距較遠(yuǎn)的窄脈沖干擾，中值濾波是很有效的。 中值濾波后的圖像 本章小結(jié)本章主要討論了圖像預(yù)處理的思路，先將背景圖像進(jìn)行灰度處理，然后分析圖像上產(chǎn)生的噪聲，為了消除采集圖像的噪聲和干擾，分析與選用何種濾波器，討論濾波器的特性和是否滿足需求。4 運(yùn)動(dòng)目標(biāo)檢測(cè)運(yùn)動(dòng)目標(biāo)檢測(cè)處于整個(gè)視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級(jí)應(yīng)用如目標(biāo)跟蹤、目標(biāo)分類、目標(biāo)行為理解等的基礎(chǔ)。運(yùn)動(dòng)目標(biāo)檢測(cè)是指從視頻流中實(shí)時(shí)提取目標(biāo)，一般是確定目標(biāo)所在區(qū)域和顏色特征等。運(yùn)動(dòng)目標(biāo)檢測(cè)的結(jié)果是一種“靜態(tài)”目標(biāo)一一前景目標(biāo)，由一些靜態(tài)特征所描述。運(yùn)動(dòng)目標(biāo)檢測(cè)依據(jù)前景目標(biāo)所處的背景環(huán)境，可以劃分為兩類一一靜態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)和動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)，本章結(jié)合論文的工作實(shí)際主要研究攝像機(jī)不發(fā)生運(yùn)動(dòng)的靜態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)算法。相對(duì)于靜止信息來說，運(yùn)動(dòng)信息更能引起人們的注意，也更加有用。例如，對(duì)于自動(dòng)視頻監(jiān)控系統(tǒng)，監(jiān)控對(duì)象的變化也是它更感興趣的信息。自動(dòng)視頻監(jiān)控系統(tǒng)是利用攝像機(jī)采集到的圖像序列對(duì)監(jiān)控的對(duì)象進(jìn)行不間斷監(jiān)視，如出現(xiàn)異常情況，給出報(bào)警信號(hào)，通知有關(guān)人員進(jìn)行及時(shí)處理。為了對(duì)監(jiān)控對(duì)象的變化進(jìn)行檢測(cè)，系統(tǒng)要對(duì)采集得到的圖像序列進(jìn)行有效地處理，從中分離出變化信息，對(duì)于一般場(chǎng)合變化信息就是目標(biāo)的運(yùn)動(dòng)。目前，檢測(cè)運(yùn)動(dòng)目標(biāo)的方法主要有光流法和幀間差閾值法。由于噪聲、多光源、陰影、透明性和遮擋性等原因，使得計(jì)算出的光流場(chǎng)分布不是十分可靠和精確，光流場(chǎng)的計(jì)算實(shí)時(shí)性和實(shí)用性較差。幀間差閾值法速度快，易于硬件實(shí)現(xiàn)。不足之處是很難求出運(yùn)動(dòng)物體的速度，且當(dāng)運(yùn)動(dòng)物體在成像平面有重迭時(shí)，幀間差閾值法不適用。本文使用圖像背景差分的方法來對(duì)序列圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)。 運(yùn)動(dòng)目標(biāo)檢測(cè)的基本方法目標(biāo)檢測(cè)與提取在目標(biāo)跟蹤應(yīng)用中有著重要的地位。目標(biāo)檢測(cè)與提取的準(zhǔn)確性直接影響到跟蹤的結(jié)果和精度。一個(gè)好的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，應(yīng)該能適用于所監(jiān)視的各種環(huán)境，通常一個(gè)優(yōu)秀的運(yùn)動(dòng)目標(biāo)檢測(cè)算法應(yīng)具有以下的特征:1 不依賴于攝像頭的安裝位置。2 在各種天氣條件下應(yīng)是魯棒的。3 對(duì)環(huán)境光線的變化應(yīng)是魯棒的。4 應(yīng)能夠處理雜亂無章的大面積區(qū)域的各種運(yùn)動(dòng)，以及視場(chǎng)內(nèi)目標(biāo)的疊加。5 能適應(yīng)場(chǎng)景中個(gè)別物體運(yùn)動(dòng)的干擾，如樹木的搖晃，水面的波動(dòng)。人們總是希望能有一個(gè)能適用于監(jiān)視各種各樣環(huán)境，能夠滿足各種要求以及普遍適用的一個(gè)運(yùn)動(dòng)目標(biāo)檢測(cè)算法，但是實(shí)際應(yīng)用中要達(dá)到這樣的要求是十分困難的，因?yàn)閷?shí)際應(yīng)用中不但要考慮到算法要盡量適用于多種環(huán)境，而且一般還要在算法的復(fù)雜度、可靠性，以及實(shí)時(shí)性等諸多方面中考慮。通常情況下，運(yùn)動(dòng)目標(biāo)檢測(cè)的算法可以按照被監(jiān)視場(chǎng)景是室內(nèi)還是室外分為室內(nèi)監(jiān)測(cè)算法和室外監(jiān)測(cè)算法，也可以按照算法具體使用的方法分為連續(xù)幀間差分法、背景差分法和光流法。 幀間差分法對(duì)于許多應(yīng)用來說，檢測(cè)圖像序列中連續(xù)幀圖像的差異是非常重要的步驟。場(chǎng)景中任何可觀察的運(yùn)動(dòng)都會(huì)體現(xiàn)在場(chǎng)景圖像序列的變化上，如果能檢測(cè)這種變化，就可以分析其運(yùn)動(dòng)特性。進(jìn)一步，如果目標(biāo)的運(yùn)動(dòng)限制在平行于圖像平面的一個(gè)平面上，則可以得到目標(biāo)運(yùn)動(dòng)特性定量參數(shù)的很好估計(jì)。 相鄰兩幀圖像差分法基本原理流程連續(xù)幀間差分法可分為相鄰兩幀圖像差分和連續(xù)三幀圖像差分，這里主要介紹相鄰兩幀圖像差分法。相鄰兩幀圖像差分法的基本運(yùn)算過程如圖()。首先，利用公式()計(jì)算第k 幀圖像與第k ?1幀圖像之間的差別，得到差分后的圖像，然后對(duì)差分后圖像使用圖像分割算法—式()進(jìn)行二值化處理，即認(rèn)為當(dāng)差分圖像中某一像素的差大于設(shè)定的閉值時(shí)，則認(rèn)為該像素是前景像素(檢測(cè)到的目標(biāo))，反之則認(rèn)為是背景像素。在對(duì)差分圖像二值化后還可以使用數(shù)學(xué)形態(tài)學(xué)對(duì)其進(jìn)行濾波處理，然后得到圖像凡，最后對(duì) 圖像進(jìn)行區(qū)域連通性分析，當(dāng)某一連通的區(qū)域的面積大于某一給定閉值，則成為檢測(cè)目標(biāo)，并認(rèn)為該區(qū)域就是目標(biāo)的區(qū)域范圍，就可以確定目標(biāo)的最小外接矩形。 ()其中 , 為連續(xù)兩幀圖像。 為幀差圖像。 ()其中T是二值化設(shè)定閥值。基于連續(xù)幀間差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)其主要優(yōu)點(diǎn)是：1 算法實(shí)現(xiàn)簡(jiǎn)單。2 程序設(shè)計(jì)復(fù)雜度低。3 易于實(shí)現(xiàn)實(shí)時(shí)監(jiān)視。4 由于相鄰幀的時(shí)間間隔較短，因此該方法對(duì)場(chǎng)景光線的變化不太敏感，受目標(biāo)陰影的影響也不太大，可以講連續(xù)幀間差分法對(duì)動(dòng)態(tài)環(huán)境有較好的適應(yīng)性。然而，這種方法在使用過程中還存在兩個(gè)問題:一是兩幀間目標(biāo)的重疊部分不容易檢測(cè)出來，即只能檢測(cè)出目標(biāo)的一部分:二是檢測(cè)出目標(biāo)在兩幀中變化的信息，這樣會(huì)存在較多的偽目標(biāo)點(diǎn)，檢測(cè)出的目標(biāo)要比實(shí)際的目標(biāo)大一些。分析原因，前者是由于我們直接用相鄰的兩幀相減后，保留下來的部分是兩幀中相對(duì)變化的部分，因此兩幀間目標(biāo)的重疊部分不容易被檢測(cè)出來。后者是由于相鄰兩幀必然存在的灰度變化所產(chǎn)生的。 背景差法其原理如下圖所示 背景差分法原理流程 基于背景差分方法的原理非常簡(jiǎn)單，其基本運(yùn)算過程如圖()所示:先利用公式()計(jì)算背景圖像fbk與當(dāng)前幀圖像fk的差，然后依據(jù)公式()對(duì)差分圖像Dk進(jìn)行二值化和形態(tài)學(xué)濾波處理，并對(duì)所得結(jié)果Rk進(jìn)行區(qū)域連通性分析，當(dāng)某一連通的區(qū)域的面積大于某一給定閾值，則成為檢測(cè)目標(biāo)，并認(rèn)為該區(qū)域就是目標(biāo)的區(qū)域范圍，就可以確定目標(biāo)的最小外接矩形。 ()其中fk(x,y) 、fbk(x,y)為連續(xù)兩幀圖像， Dk(x,y)為幀差圖像。 ()其中T 是二值化設(shè)定閥值。此方法的主要特點(diǎn)是：1 要求使