【正文】 A 7：912922.[18] Lucas B and Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision. Proc. Of 7th International Joint Conference on Artificial Intelligence (IJCAI), .[19] Linda , George ,2005年.[20] JeanYves Bouguet. Pyramidal Implementation of the Lucas Kanade Feature Tracker.[21] Anderson C, Bert P and Vander Wal G.. Change detection and tracking using pyramids transformation techniques. In： Proc SPIE Conference on Intelligent Robots and Computer Vision, Cambridge,MA,1985, 579： 7278.[22] Rafael . 數(shù)字圖像處理. 電子工業(yè)出版社, 2005.[23] 蘇虹, 32(9)：2427.[24] A. Mutrat Tekalp著,1998.[25] 曉東, C++.NET中文版實(shí)用培訓(xùn)教程. 清華大學(xué)出版社, 2002.[26] Intel Corporation. OpenCV Reference Manuals.。在此，謹(jǐn)以此文獻(xiàn)給我的雙親，以表達(dá)我對(duì)他們最深的感激和愛(ài)。最后，我要感謝我的父親和母親，是他們撫育我長(zhǎng)大成人，支持我完成本科生階段的學(xué)業(yè)。在學(xué)習(xí)期間，陳煦陽(yáng)、吳燕雄、吳明璽等同學(xué)給我很多耐心的幫助，在此深表感謝。感謝吳財(cái)軍老師在學(xué)習(xí)生活中給予的指導(dǎo)、支持和關(guān)心。羅老師認(rèn)真嚴(yán)謹(jǐn)?shù)闹螌W(xué)精神和科學(xué)的研究方法給了我很深的影響，使我終生受益。致謝值此論文完成之際，我要向所有給我指導(dǎo)、幫助和關(guān)心的人表示感謝。3. 在上述研究的基礎(chǔ)上，構(gòu)建了視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)，它主要是被設(shè)計(jì)用來(lái)統(tǒng)計(jì)交通路段上行駛的機(jī)動(dòng)車的數(shù)量，并監(jiān)測(cè)道路交通狀況。雖然三幀差背景差分技術(shù)己經(jīng)考慮了背景的運(yùn)動(dòng)問(wèn)題，但該方法僅從序列圖像的角度出發(fā)，未考慮攝像機(jī)的運(yùn)動(dòng)影響，因而差圖像中仍可能存在偽運(yùn)動(dòng)信息，需進(jìn)行運(yùn)動(dòng)補(bǔ)償。并搭建了基于改進(jìn)光流法的視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)。2. 目前常用的算法在解決動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)提取時(shí)都會(huì)存在運(yùn)算量較大的問(wèn)題，可以考慮引入機(jī)器學(xué)習(xí)的理論，先建立目標(biāo)的模型庫(kù)，再通過(guò)特征匹配識(shí)別出目標(biāo)，同時(shí)結(jié)合幀間的相關(guān)信息，減少檢測(cè)算法的運(yùn)算量并能提高檢測(cè)算法的識(shí)別率。 前景展望1. 視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)有必要拓寬車輛檢測(cè)算法以解決不同同的交通場(chǎng)景下的車輛檢測(cè)(這些場(chǎng)景包括黑夜，雪天條件下的交通視頻檢測(cè))。同時(shí)，由于光流法計(jì)算量較大，導(dǎo)致系統(tǒng)的實(shí)時(shí)性受到影響，建議計(jì)算一次光流值后，利用卡爾曼濾波計(jì)算出下一刻的狀態(tài)值，從而實(shí)現(xiàn)目標(biāo)的跟蹤，原理框圖如下：3. 視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)功能不夠完善，雖然目前能能夠)能夠?qū)ΡO(jiān)視區(qū)域內(nèi)的通過(guò)車輛數(shù)目進(jìn)行實(shí)時(shí)計(jì)數(shù)，并對(duì)監(jiān)視區(qū)域內(nèi)的運(yùn)動(dòng)車輛進(jìn)行實(shí)時(shí)速度測(cè)量，但作為一套實(shí)用性較強(qiáng)的系統(tǒng)，還應(yīng)該能夠?qū)⒔煌z測(cè)獲得的數(shù)據(jù)存入數(shù)據(jù)庫(kù)，并對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)輸出，同時(shí)能夠保存道路現(xiàn)場(chǎng)的視頻數(shù)據(jù)，以供將來(lái)進(jìn)行錄像回放。為此，在做差圖像前，應(yīng)先彌補(bǔ)攝像機(jī)的運(yùn)動(dòng)，做運(yùn)動(dòng)補(bǔ)償。表52 三種運(yùn)動(dòng)目標(biāo)提取方法性能比較背景差法三幀背景差分法金字塔光流法靜止目標(biāo)能能不能灰度與道路接 近的運(yùn)動(dòng)目標(biāo)差較優(yōu)較優(yōu)大面積無(wú)紋理 的運(yùn)動(dòng)目標(biāo)較優(yōu)差較優(yōu)高速運(yùn)動(dòng)目標(biāo)較優(yōu)較差優(yōu)低速運(yùn)動(dòng)目標(biāo)較優(yōu)較差較差第6章 當(dāng)前不足及前景展望 當(dāng)前不足及解決建議1. 當(dāng)攝像機(jī)運(yùn)動(dòng)時(shí)，攝像機(jī)的運(yùn)動(dòng)導(dǎo)致相對(duì)大地靜止的景物在圖像平面也產(chǎn)生運(yùn)動(dòng)。金字塔光流法解決了大目標(biāo)的識(shí)別問(wèn)題。相反，幀間差法對(duì)檢測(cè)低速、高速、靜止的、大面積沒(méi)有紋理的目標(biāo)有困難，但對(duì)檢測(cè)灰度同背景相似的運(yùn)動(dòng)目標(biāo)有優(yōu)勢(shì)。表51 三種方法的檢測(cè)率比較丟檢率%誤檢率%檢測(cè)率%背景差三幀背景差分金字塔光流HS 性能比較分析本文對(duì)背景差法，三幀背景差分法及金字塔光流法的性能進(jìn)行比較。在金字塔光流法中，“丟檢”主要出現(xiàn)在運(yùn)動(dòng)速度過(guò)慢情況。而在三幀背景差分法中， “丟檢”主要出現(xiàn)在環(huán)境光照很暗的情況。在背景差的方法中，“丟檢”主要出現(xiàn)在運(yùn)動(dòng)汽車的灰度接近于道路的情況。在表格里，“丟檢”表示有目標(biāo)出現(xiàn)在檢測(cè)區(qū)域，但算法沒(méi)有檢測(cè)出來(lái)。窗口中顯示的圖像可以進(jìn)行放大、縮小等操作。3) 窗口3：用于顯示經(jīng)過(guò)處理后的視頻圖像，例如經(jīng)過(guò)幾何校正后的視頻圖像。在地圖上同時(shí)還將顯示地理信息，當(dāng)前檢測(cè)的交通路段或路口信息，以及用不同顏色標(biāo)記的交通態(tài)勢(shì)信息等。窗口中顯示的圖像可以進(jìn)行放大、縮小等操作。窗口4窗口5窗口6窗口3窗口2窗口1注：窗口6功能未實(shí)現(xiàn)，為預(yù)留窗口，有利于系統(tǒng)功能的擴(kuò)展。同時(shí)考慮到地圖、視頻圖像顯示的實(shí)際需要，系統(tǒng)界面在1280x1024的分辨率下設(shè)計(jì)，界面外觀如下圖所示，整個(gè)界面分為六部分即窗口16，頂部為標(biāo)題欄，底部為狀態(tài)條。同時(shí)，OpenCV也在不斷成長(zhǎng)和完善中，增加了更多功能強(qiáng)大結(jié)構(gòu)復(fù)雜的函數(shù)，彌補(bǔ)了一些現(xiàn)有函數(shù)的不足。由于OpenCV的圖像處理函數(shù)具有完整的功能和良好的封裝，使用時(shí)給人感覺(jué)非常方便，圖像處理的結(jié)果也令人滿意。它有以下一些特點(diǎn)：1) 開(kāi)放C源碼；2) 基于Intel處理器指令集開(kāi)發(fā)的優(yōu)化代碼；3) 統(tǒng)一的結(jié)構(gòu)和功能定義；4) 強(qiáng)大的圖像和矩陣運(yùn)算能力；5) 方便靈活的用戶接口；6) 同時(shí)支持MSWINDOWS， LINUX平臺(tái)。OpenCV[26]是一個(gè)跨平臺(tái)的中、高層API函數(shù)集，目前包括300多個(gè)C函數(shù)。2. OpenCVOpenCV是Intel公司開(kāi)發(fā)的開(kāi)源圖像處理和計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)。但是，由于C/C++本身的復(fù)雜性，Visual C++.net對(duì)編程人員要求還是相當(dāng)高的。2) 眾多的開(kāi)發(fā)商支持以及業(yè)已成為工業(yè)標(biāo)準(zhǔn)的MFC類庫(kù)：MFC類庫(kù)已經(jīng)成為事實(shí)上的工業(yè)標(biāo)準(zhǔn)類庫(kù)，得到了眾多開(kāi)發(fā)商和軟件開(kāi)發(fā)工具的支持；另外，由于眾多的開(kāi)發(fā)商都采用Visual C++.net進(jìn)行軟件開(kāi)發(fā)，這樣用Visual C++.net開(kāi)發(fā)的程序就與別的應(yīng)用軟件有許多相似之處，易于學(xué)習(xí)和使用。Visual C++還提供了基于CASE技術(shù)的可視化軟件自動(dòng)生成和維護(hù)工具AppWizard， C1assWizard， Visual Studio， WizardBar等，幫助用戶直觀的、可視地設(shè)計(jì)程序的用戶界面，可以方便的編寫和管理各種類，維護(hù)程序源代碼，從而提高了開(kāi)發(fā)效率。1. Visual C++.net Visual C++.net[25]是美國(guó)Microsoft公司推出的4GL軟件開(kāi)發(fā)工具，目前已成為國(guó)內(nèi)應(yīng)用最廣泛的高級(jí)程序設(shè)計(jì)語(yǔ)言之一。軟件平臺(tái)：操作系統(tǒng)是Windows XP。軟件：Windows9X， windows2000， XP操作系統(tǒng)，可視化編程語(yǔ)言Visual C++.net、MFC，圖像處理工具庫(kù)OPENCV。硬件：一臺(tái)高性能微機(jī)。(3)圖像預(yù)處理：算法子系統(tǒng)首先將這些采集到的序列數(shù)字圖像進(jìn)行預(yù)處理：濾波除噪，灰度轉(zhuǎn)換等等。主要是對(duì)系統(tǒng)中的參數(shù)進(jìn)行設(shè)定，如每秒采集圖像的幀數(shù)、車輛檢測(cè)的閾值，視頻數(shù)據(jù)的來(lái)源等等。該系統(tǒng)的性能特點(diǎn)是：支持?jǐn)z像頭運(yùn)動(dòng)的情況；支持不同道路環(huán)境，快速適應(yīng)道路環(huán)境變化；可同時(shí)監(jiān)控小同路段和多條車道；通過(guò)有效且直觀的信息反饋，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控。 系統(tǒng)總體設(shè)計(jì)(1)能夠?qū)ΡO(jiān)視區(qū)域內(nèi)的通過(guò)車輛數(shù)目進(jìn)行實(shí)時(shí)計(jì)數(shù)； (2)對(duì)系統(tǒng)測(cè)量到的車輛數(shù)目能實(shí)時(shí)處理并顯示；(3)能夠提供實(shí)時(shí)的交通錄像供用戶觀察交通現(xiàn)場(chǎng)。另一個(gè)方而，在這些原則的取舍時(shí)，要考慮這十個(gè)原則是有輕重之分的，比如，系統(tǒng)的實(shí)用性和實(shí)時(shí)性就是非常重要的原則。以上設(shè)計(jì)原則是相互關(guān)聯(lián)，互相影響的，要設(shè)計(jì)出高效實(shí)用的交通檢測(cè)系統(tǒng)，只能根據(jù)工作的性質(zhì)和要求，綜合考慮，做折中處理，只強(qiáng)調(diào)部分原則必然會(huì)降低其余原則的要求。就本文的系統(tǒng)來(lái)說(shuō)，將來(lái)可擴(kuò)充的功能包括：車牌識(shí)別，車型識(shí)別等等。先進(jìn)性原則：指系統(tǒng)設(shè)計(jì)采用當(dāng)前先進(jìn)的技術(shù)，先進(jìn)的算法，如果技術(shù)上不先進(jìn)，系統(tǒng)開(kāi)發(fā)的意義將不存在。如主機(jī)、硬盤、網(wǎng)絡(luò)等所有關(guān)鍵硬件資源都能做到冗余各份。系統(tǒng)的可靠性依賴于主機(jī)、操作系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)及應(yīng)用軟件等全方位的可靠性保障，任何一處的故障將會(huì)導(dǎo)致整個(gè)系統(tǒng)的穩(wěn)定性受到威脅。采用成熟的、并經(jīng)實(shí)踐證明其實(shí)用性的技術(shù)，能滿足現(xiàn)在業(yè)務(wù)處理的需要，并能適應(yīng)將來(lái)一定時(shí)期業(yè)務(wù)發(fā)展的需要。系統(tǒng)性原則：是指從系統(tǒng)論的觀點(diǎn)出發(fā)，以實(shí)現(xiàn)系統(tǒng)總體功能為目的，來(lái)構(gòu)建整個(gè)系統(tǒng)結(jié)構(gòu)，以達(dá)到最優(yōu)化的系統(tǒng)結(jié)構(gòu)。通常圖像空間分辨率和圖像數(shù)字化空間精度有關(guān)。精確性：計(jì)算機(jī)圖像處理的數(shù)據(jù)精度是很高的，可精確到有限的任何位。最后，山于信息網(wǎng)絡(luò)化的發(fā)展趨勢(shì)“即時(shí)”還應(yīng)包括數(shù)字化圖像的遠(yuǎn)距離傳輸。“即時(shí)”還包括輸出信號(hào)快，因?yàn)橛?jì)算機(jī)代替人去處理，識(shí)別，理解圖像景物，最終目的是為了控制，因此，快速輸出控制信號(hào)及結(jié)果是一個(gè)圖像處理系統(tǒng)的重要指標(biāo)。由于目前圖像的輸入方式是以逐點(diǎn)輸入為主，這樣就對(duì)圖像的數(shù)字化要求很高?！凹磿r(shí)”必須體現(xiàn)在各個(gè)環(huán)節(jié)中才能使總體速度即時(shí)。它表現(xiàn)在以下幾個(gè)方面：包括獲取圖像即時(shí)，處理分析即時(shí)，輸出結(jié)果即時(shí)，控制其他設(shè)備即時(shí)，總體的“即時(shí)”是各部分即時(shí)的綜合表現(xiàn)。它是一個(gè)相對(duì)的概念，確切的定義應(yīng)該是“即時(shí)”，即在系統(tǒng)允許的時(shí)間內(nèi)完成任務(wù)。實(shí)時(shí)性：實(shí)時(shí)性就是程序的處理必須在時(shí)間上與外部發(fā)生的事件同步，即對(duì)外來(lái)事件在限定時(shí)間內(nèi)能夠做出反應(yīng)。例如，系統(tǒng)設(shè)計(jì)出來(lái)應(yīng)該是實(shí)用的，所以必須站在用戶的角度考慮設(shè)計(jì)。計(jì)算機(jī)視頻處理主要由視頻數(shù)據(jù)的獲得，圖像處理，車輛檢測(cè)等幾大部分組成，這些部分的總體構(gòu)成方案及各部分的性能優(yōu)劣直接影響處理系統(tǒng)的質(zhì)量。第4章 視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 系統(tǒng)概述交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)是一種利用上一章提到的基于金字塔光流法的運(yùn)動(dòng)目標(biāo)提取技術(shù)實(shí)現(xiàn)對(duì)交通目標(biāo)檢測(cè)和識(shí)別的計(jì)算機(jī)處理系統(tǒng)，主要是被設(shè)計(jì)用來(lái)統(tǒng)計(jì)交通路段上行駛的機(jī)動(dòng)車的數(shù)量，并監(jiān)測(cè)道路交通狀況。(3) 對(duì)背景和車輛顏色接近的情況進(jìn)行分割 (a)原始圖像 (b)亮度圖像 (c)分割后圖像，分割出的圖像（(c)）具有車的特征，分割效果較為理想。(1) 利用色度信息對(duì)圖像進(jìn)行分割 (a)截取的車輛原始圖像 (b)車輛的色度信息圖像 (c)分割后圖像，分割結(jié)果（(c)）并不理想（分割出的圖像并不具有車的特征），分析其原因是因?yàn)閳D像進(jìn)行壓縮存儲(chǔ)后，色度信息受損，所以造成了分割后結(jié)果不理想。如何實(shí)現(xiàn)在遮擋情況下的多目標(biāo)跟蹤是視頻監(jiān)控的難點(diǎn)。如當(dāng)單個(gè)目標(biāo)出現(xiàn)相互遮擋時(shí)，多個(gè)目標(biāo)融合為一個(gè)目標(biāo)組，原目標(biāo)信息可能丟失，而實(shí)現(xiàn)跟蹤需要識(shí)別出目標(biāo)組中的各個(gè)目標(biāo)，以便在目標(biāo)分離后仍能有效跟蹤目標(biāo)。這些特征信息描述了運(yùn)動(dòng)物體的特征。由于區(qū)域的形狀是不確定的，可以利用包含區(qū)域的最小外接矩形的面積來(lái)近似區(qū)域的面積。3. 基于改進(jìn)光流法的面積閾值算法在檢測(cè)結(jié)果可能會(huì)出現(xiàn)一些孤立的小區(qū)域，這些孤立的小區(qū)域是在分割的過(guò)程中被錯(cuò)誤分割出來(lái)的，如果不把這些小區(qū)域過(guò)濾掉，很有可能會(huì)把它們也認(rèn)為是運(yùn)動(dòng)目標(biāo)區(qū)域。噪聲在某些區(qū)域可能會(huì)先擴(kuò)大，然后逐步去掉的。即將計(jì)算出的離散點(diǎn)光流值連成一片區(qū)域，利于下一步進(jìn)行面積閾值判斷。初始運(yùn)動(dòng)向量平移變換輸入視頻光流法+運(yùn)動(dòng)向量 平移變換原理框圖本文采用3層金字塔結(jié)構(gòu)，對(duì)圖像中的點(diǎn)(x,y),在金字塔最下層=0，經(jīng)光流法計(jì)算得出，經(jīng)過(guò)乘2及升采樣，第2層的初始運(yùn)動(dòng)向量為，經(jīng)過(guò)對(duì)第2層的前一幀圖象平移，再通過(guò)式()計(jì)算出光流值，以此類推，最終得出第一層光流值： ()金字塔最下層由于像素點(diǎn)較少，故計(jì)算得到的光流值較小，所選用的窗口()可以較小，可選小窗口進(jìn)行計(jì)算，這樣就提高了檢測(cè)的準(zhǔn)確性[20]，節(jié)省了計(jì)算資源，又可允許目標(biāo)有較大的位移。設(shè)第L1層的圖像為，則通過(guò)降采樣，上一層第L層的圖像為： () 升采樣為降采樣的逆過(guò)程，現(xiàn)將圖像隔行插入0點(diǎn)，再通過(guò)與濾波器卷積并乘以4，得到下一層的圖像。擬使用這種方法解決常用光流法中大運(yùn)動(dòng)目標(biāo)的識(shí)別問(wèn)題。 基