【正文】 多目標(biāo)跟蹤系統(tǒng)采用了先進(jìn)的圖像檢測，識別和跟蹤技術(shù)，配合緊密運(yùn)動控制系統(tǒng)，實(shí)現(xiàn)對大場景中多個運(yùn)動目標(biāo)的連續(xù)快速跟蹤捕捉。運(yùn)動目標(biāo)的檢測技術(shù)是視頻監(jiān)控系統(tǒng)研究中最基本的技術(shù)之一，它的檢測結(jié)果直接關(guān)系到后續(xù)對運(yùn)動目標(biāo)的識別和跟蹤。本文以攝像頭固定、檢測目標(biāo)運(yùn)動為研究場景，對現(xiàn)有的幀差法進(jìn)行改進(jìn)，提出了基于邊緣檢測算子的三幀差分法。將移動距離超過一定數(shù)值的點(diǎn)標(biāo)為1，低于一定數(shù)值的標(biāo)為0。得到我們所需要的運(yùn)動目標(biāo)的輪廓。 Image processing。 Morphological filtering第1章 緒論 引言 運(yùn)動目標(biāo)的檢測與跟蹤是應(yīng)用視覺研究領(lǐng)域的一個重要課題。但是當(dāng)要求更精確更持久的檢測與跟蹤時僅憑肉眼明顯是不夠的。因此對于運(yùn)動目標(biāo)的檢測和跟蹤是一個非常有意義的課題，并會在相當(dāng)長的時間內(nèi)不斷的研究。多運(yùn)動目標(biāo)的檢測原理就是：將大場景內(nèi)多目標(biāo)的跟蹤檢測和視頻分析功能集成在一個獨(dú)立的系統(tǒng)中，通過對前端攝像頭采集的視頻信息進(jìn)行智能化分析，自動對異常行為和事件進(jìn)行數(shù)據(jù)采集分類并聯(lián)動報(bào)警，同時后臺可以實(shí)時看到分析數(shù)據(jù)和視頻錄像，在事后可以通過事件檢索進(jìn)行視頻提取和取證。該方法主要優(yōu)點(diǎn)是：可以同時監(jiān)控多個目標(biāo)不同行為模式。 多運(yùn)動目標(biāo)檢測近年來的發(fā)展與現(xiàn)狀 運(yùn)動目標(biāo)檢測在國外已經(jīng)取得了一些的研究成果，許多相關(guān)技術(shù)已經(jīng)開始應(yīng)用到實(shí)際系統(tǒng)中，但是國內(nèi)研究相對落后,與國外還有較大差距。然后對該圖像的亮度、色度或其他信息作空間上的分割以對區(qū)域作邊緣檢測。如光流算法、主動輪廓模型算法。另一類算法主要以時間變化檢測作為準(zhǔn)則,這類算法主要通過幀差檢測圖像上的變化區(qū)域和不變區(qū)域,將運(yùn)動物體與靜止背景進(jìn)行分割。此外,還有時空結(jié)合方法、時空亮度梯度信息結(jié)合的方法等等。此時，圖像中的背景區(qū)域固定不動。另外，當(dāng)涉及到背景的使用時，一旦背景發(fā)生一些變化時，如背景中頻繁地出現(xiàn)運(yùn)動物體，或者光照發(fā)生變化、樹葉等小物體的晃動等等，使得不能準(zhǔn)確地提取背景作為參考圖像，從而不能正確地分割出視頻序列中的運(yùn)動物體。在能夠滿足實(shí)時性和實(shí)用性要求的前提下。這種背景提取方法增加了人力和物力的需求，而且在很多情況下很難在沒有前景的情況下獲得背景圖像，比如高速公路的車輛監(jiān)測系統(tǒng)、小區(qū)的門禁系統(tǒng)等等。（2）統(tǒng)計(jì)中值法：考慮到運(yùn)動物體較少的情況下，連續(xù)多幀圖像中背景的像素值占主要部分，這樣在一段時間內(nèi)變化緩慢，取中值便可以認(rèn)為是背景圖像。在一段時間內(nèi)對視頻序列圖像的亮度值(或者色彩信息)該算法存在的問題在于：圖像幀的像素點(diǎn)大多以數(shù)萬，數(shù)十萬的數(shù)量級出現(xiàn)，而用于取中值的圖像幀數(shù)量N也應(yīng)該比較大。同時需要占用大量的內(nèi)存單元用于存儲數(shù)據(jù)。在讀入一段視頻時，對某一像素點(diǎn)進(jìn)行觀察，會發(fā)現(xiàn)在沒有前景的運(yùn)動目標(biāo)通過時，該點(diǎn)的灰度值保持穩(wěn)定，變化很小,只有當(dāng)前景的運(yùn)動目標(biāo)通過時，該點(diǎn)的灰度才會發(fā)生劇烈的變化。這樣也可以濾除背景圖像中的突變噪聲點(diǎn)。y)表示背景圖像，Ii(x,y)表示第i幀序列圖像，N表示平均幀數(shù)。而通過平均法得到的背景就會消除亮暗分布不均勻的情況。常見的方法有如下3種： 這樣，根據(jù)時間上相鄰的幾幀圖像可以計(jì)算出各像素點(diǎn)運(yùn)動的大小和方向，從而利用運(yùn)動場來區(qū)分背景和運(yùn)動目標(biāo)。但其缺點(diǎn)也很明顯，由于要依賴光流估計(jì)的準(zhǔn)確程度，大多數(shù)計(jì)算方法相當(dāng)復(fù)雜并且計(jì)算量特別大，所以除非有特殊的硬件支持，否則很難實(shí)現(xiàn)實(shí)時檢測。將實(shí)時視頻流中的圖像像素點(diǎn)灰度值與事先已存儲或?qū)崟r得到的視頻背景模型中的相應(yīng)值比較，不符合要求的像素點(diǎn)被認(rèn)為是運(yùn)動像素。這種方法雖然能較完整的提取運(yùn)動目標(biāo)，但對光照和外部條件造成的環(huán)境變化過于敏感，常常會將運(yùn)動目標(biāo)的陰影錯誤的檢測為其自身的一部分。幀間差法是根據(jù)當(dāng)前圖像與參考圖像的差別來獲得運(yùn)動目標(biāo)輪廓的方法。但一般不能完整的提取運(yùn)動目標(biāo)，且在運(yùn)動實(shí)體內(nèi)易產(chǎn)生空洞現(xiàn)象，從而不利于下一步的分析和處理。這些工具方便用戶使用MATLAB的函數(shù)和文件，其中許多工具采用的是圖形用戶界面。隨著MATLAB的商業(yè)化以及軟件本身的不斷升級，MATLAB的用戶界面也越來越精致，更加接近Windows的標(biāo)準(zhǔn)界面，人機(jī)交互性更強(qiáng)，操作更簡單。簡單的編程環(huán)境提供了比較完備的調(diào)試系統(tǒng)，程序不必經(jīng)過編譯就可以直接運(yùn)行，而且能夠及時地報(bào)告出現(xiàn)的錯誤及進(jìn)行分析。并且了解了我們可以運(yùn)用的方法以及可以運(yùn)用的軟件。并且對圖像處理處容易造成的干擾進(jìn)行重點(diǎn)考慮，避免出現(xiàn)圖像模糊讀取物體不完整等情況。讀取圖像首先需要讀取目標(biāo)圖像，將圖像放置到matlab中的work文件夾以方便調(diào)用。我們在拍攝圖像和視頻中經(jīng)常會受到環(huán)境的影響，比如陰影，光照，反光等等。這些都會對于我們的結(jié)果有很大的影響。預(yù)處理圖像首先需要進(jìn)行預(yù)處理將圖像轉(zhuǎn)換成二值化圖像。判別運(yùn)動物體判別圖像中的運(yùn)動物體原理是利用運(yùn)動物體區(qū)域的特征來判斷物體，將運(yùn)動物體區(qū)域從整幅圖像中分割出來，也就是對于運(yùn)動物體進(jìn)行預(yù)判。檢測多運(yùn)動目標(biāo)一般的檢測方式分為3種光流法，背景減除法和時間幀差法。 PC監(jiān)控平臺的簡述 PC監(jiān)控平臺硬件介紹pc監(jiān)控主機(jī)：普通型，配置無特殊要求，主要完成圖像采集、串口通信控制的任務(wù)。千兆網(wǎng)網(wǎng)卡：為充分發(fā)揮相機(jī)的性能，推薦使用的網(wǎng)卡型號：Intel PRO/1000,Intel 82540,Intel 82541等。 硬件連接結(jié)構(gòu)示意圖千兆網(wǎng)卡插在pc主機(jī)的擴(kuò)展卡槽上，它將千兆網(wǎng)相機(jī)采集到的模擬圖像信號轉(zhuǎn)換成計(jì)算機(jī)能夠處理的數(shù)字圖像信號，此外它還帶有圖像緩存器，用于存放所采集的圖像數(shù)據(jù)，較好的網(wǎng)卡能夠保證大數(shù)據(jù)量或頻繁控制相機(jī)時的可靠性和穩(wěn)定性。解碼控制器采用半雙工的RS485通信網(wǎng)絡(luò)，具有傳輸距離遠(yuǎn)、抗干擾能力強(qiáng)等特點(diǎn)。所以我們必須對原始圖像進(jìn)行預(yù)處理。對于視頻檢測中的圖像預(yù)處理不考慮圖像質(zhì)量原因而是突出了圖像中的我們需要檢測的特征并且消減其他不重要的特征。圖像預(yù)處理一般分為圖像增強(qiáng)，分割和數(shù)學(xué)形態(tài)學(xué)。圖像增強(qiáng)可分成兩大類：頻率域法和空間域法。采用低通濾波（即只讓低頻信號通過）法，可去掉圖中的噪聲；采用高通濾波法，則可增強(qiáng)邊緣等高頻信號，使模糊的圖片變得清晰。圖像增強(qiáng)的方法是通過一定手段對原圖像附加一些信息或變換數(shù)據(jù)，有選擇地突出圖像中感興趣的特征或者抑制(掩蓋)圖像中某些不需要的特征，使圖像與視覺響應(yīng)特性相匹配。圖像增強(qiáng)技術(shù)根據(jù)增強(qiáng)處理過程所在的空間不同，可分為基于空域的算法和基于頻域的算法兩大類。本課題中我們將會運(yùn)用空域?yàn)V波法，一般分為三種中值濾波，均值濾波，高斯濾波。噪聲是圖象干擾的重要原因，一幅圖象在實(shí)際應(yīng)用中可能存在各種各樣的噪聲,這些噪聲可能在傳輸中產(chǎn)生,也可能在量化等處理中產(chǎn)生。(1) 加性噪聲,此類噪聲與輸入圖象信號無關(guān),含噪圖象可表示為f(x,y)=g(x,y)+n(x,y),信道噪聲及光導(dǎo)攝像管的攝像機(jī)掃描圖象時產(chǎn)生的噪聲就屬這類噪聲；(2) 乘性噪聲,此類噪聲與圖象信號有關(guān),含噪圖象可表示為f(x,y)=g(x,y)+n(x,y)g(x,y),飛點(diǎn)掃描器掃描圖象時的噪聲,電視圖象中的相關(guān)噪聲,膠片中的顆粒噪聲就屬于此類噪聲；(3) 量化噪聲,此類噪聲與輸入圖象信號無關(guān),是量化過程存在量化誤差,再反映到接收端而產(chǎn)生。這些優(yōu)良特性是線性濾波方法所不具有的。所以，中值濾波方法一經(jīng)提出后，便在數(shù)字信號處理領(lǐng)得到重要的應(yīng)用。設(shè)在某一個時刻，窗口內(nèi)的信號樣本為x(iN)，…，x(i)，…，x(i+N)，其中x(i)為位于窗口中心的信號本值。 （） 具體實(shí)現(xiàn)的方法：中值濾波是基于排序統(tǒng)計(jì)理論的一種能有效抑制噪聲的非線性信號處理技術(shù)，中值濾波的基本原理是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個鄰域中各點(diǎn)值的中值代替，讓周圍的像素值接近的真實(shí)值，從而消除孤立的噪聲點(diǎn)。二維中值濾波輸出為g（x,y）=med{f(xk,yl),(k,l∈W)} ，其中，f(x,y)，g(x,y)分別為原始圖像和處理后圖像。1：通過從圖像中的某個采樣窗口取出奇數(shù)個數(shù)據(jù)進(jìn)行排序2：用排序后的中值取代要處理的數(shù)據(jù)即可我們需要通過matlab將原始圖進(jìn)行灰度化然后加入椒鹽噪聲隨后進(jìn)行中值濾波處理，： 中值濾波效果圖均值濾波是典型的線性濾波算法，它是指在圖像上對目標(biāo)像素給一個模板，該模板包括了其周圍的臨近像素（以目標(biāo)象素為中心的周圍8個像素，構(gòu)成一個濾波模板，即去掉目標(biāo)像素本身），再用模板中的全體像素的平均值來代替原來像素值。線性濾波的基本原理是用均值代替原圖像中的各個像素值，即對待處理的當(dāng)前像素點(diǎn)（x，y），選擇一個模板，該模板由其近鄰的若干像素組成，求模板中所有像素的均值，再把該均值賦予當(dāng)前像素點(diǎn)（x，y），作為處理后圖像在該點(diǎn)上的灰度個g（x，y），即個g（x，y）=1/m ∑f（x，y） m為該模板中包含當(dāng)前像素在內(nèi)的像素總個數(shù)。： 均值濾波效果圖 形態(tài)濾波(1) 腐蝕 腐蝕可以收縮圖像，消除物體邊界點(diǎn) ，可以把小于結(jié)構(gòu)元素的物體(毛刺、 小凸起)去除，通過選取不同大小的結(jié)構(gòu)元素，就可以在原圖像中去掉不同大小的物體。： 腐蝕效果圖(2) 膨脹膨脹具有擴(kuò)大圖像的作用。 定義： A和B是兩個集合，A被B膨脹 定義為： （）上式表示：B的反射進(jìn)行平移與A的交集不為空B的反射：相對于自身原點(diǎn)的映象B的平移：對B的反射進(jìn)行位移： 膨脹效果圖(3) 開運(yùn)算利用圖像B對圖像A做開運(yùn)算，用符號表示，其定義為： （）含義：先用B對A腐蝕，然后用B對結(jié)果膨脹功能：使圖像的輪廓變得光滑，斷開狹窄的間斷和消除細(xì)的突出物(4) 閉運(yùn)算使用結(jié)構(gòu)元素B對集合A進(jìn)行閉操作，定義為： A? B = (A⊕B)ΘB （）含義：先用B對A膨脹，然后用B對結(jié)果腐蝕功能：同樣使圖像的輪廓變得光滑，但與開操作相反，它能消除狹窄的間斷和長細(xì)的鴻溝，消除小的孔洞，并填補(bǔ)輪廓線中的裂痕我們通過結(jié)合開閉運(yùn)算來查看圖像去噪的效果。： 開閉效果圖隨后我們需要對圖像進(jìn)行二值化的處理使特征明顯。這類圖像通常顯示為從最暗黑色到最亮的白色的灰度，理論上這個采樣可以是任何顏色的深淺不同，甚至可以是不同亮度上的不同顏色?；叶葓D像經(jīng)常是在單個電磁波頻譜如可見光內(nèi)測量每個像素的亮度得到的。一般有以下四種方法對彩色圖像進(jìn)行灰度化：灰度值的方法：分量法將彩色圖像中的三分量的亮度作為三個灰度圖像的灰度值，可根據(jù)應(yīng)用需要選取一種灰度圖像。如圖41的彩色圖像轉(zhuǎn)為42三種灰度圖。 f(i,j)=max(R(i,j),G(i,j),B(i,j)) ()平均值法將彩色圖像中的三分量亮度求平均得到一個灰度值。由于人眼對綠色的敏感最高，對藍(lán)色敏感最低，因此，按下式對RGB三分量進(jìn)行加權(quán)平均能得到較合理的灰度圖像。即將256個亮度等級的灰度圖像通過適當(dāng)?shù)拈撝颠x取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。為了得到理想的二值圖像，一般采用封閉、連通的邊界定義不交疊的區(qū)域。如果某特定物體在內(nèi)部有均勻一致的灰度值，并且其處在一個具有其他等級灰度值的均勻背景下，使用閾值法就可以得到比較的分割效果。動態(tài)調(diào)節(jié)閾值實(shí)現(xiàn)圖像的二值化可動態(tài)觀察其分割圖像的具體結(jié)果。全局二值化一幅圖像包括目標(biāo)物體、背景還有噪聲，要想從多值的數(shù)字圖像中直接提取出目標(biāo)物體，最常用的方法就是設(shè)定一個全局的閾值T，用T將圖像的數(shù)據(jù)分成兩部分：大于T的像素群和小于T的像素群。全局二值化，在表現(xiàn)圖像細(xì)節(jié)方面存在很大缺陷。局部自適應(yīng)二值化局部二值化的方法就是按照一定的規(guī)則將整幅圖像劃分為N個窗口，對這N個窗口中的每一個窗口再按照一個統(tǒng)一的閾值T將該窗口內(nèi)的像素劃分為兩部分，進(jìn)行二值化處理。這個缺陷存在于那個統(tǒng)一閾值的選定。這就導(dǎo)致在每一個窗口內(nèi)仍然出現(xiàn)的是全局二值化的缺陷。局部自適應(yīng)二值化，該方法就是在局部二值化的基礎(chǔ)之上，將閾值的設(shè)定更