【文章內(nèi)容簡介】 03 年推出的智能視頻監(jiān)控系統(tǒng) SmartSystem 等。國內(nèi)的相關(guān)研究起步較晚，其中中國科學(xué)院北京自動(dòng)化研究所下屬的模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室視覺監(jiān)控研究走在了國內(nèi)的最前沿。在交通場景的視覺監(jiān)控（基于三維線性模型定位、基于 KALMAN 濾波器的車輛跟蹤算法），人的運(yùn)動(dòng)視覺監(jiān)控和行為模式識(shí)別等方面進(jìn)行了深入的研究[1]，并且取得了一定的成果。而且參考了國外的一些成熟的車輛交通監(jiān)控，總結(jié)英國雷丁大學(xué)的 VIEWS 的車輛交通監(jiān)控系統(tǒng)的研究經(jīng)驗(yàn)，運(yùn)用自己的理論研究，自行設(shè)計(jì)并實(shí)現(xiàn)了擁有完全自主知識(shí)產(chǎn)權(quán)的交通監(jiān)控原型系統(tǒng) vstart(Visual SurveillanceStart)。除此之外，國內(nèi)的一些高校和著名企業(yè)，也在進(jìn)行相關(guān)的技術(shù)研究，如上海交通大學(xué)、北京理工大學(xué)、華為技術(shù)有限公司。盡管，國內(nèi)外進(jìn)行了大量的學(xué)術(shù)和技術(shù)方面的研究。但是在具體的應(yīng)用的時(shí)候，運(yùn)動(dòng)目標(biāo)檢測和跟蹤的算法仍面臨這很多問題和難點(diǎn)，主要問題和難點(diǎn)有：①運(yùn)動(dòng)目標(biāo)之間相互遮擋，導(dǎo)致無法完全提取運(yùn)動(dòng)目標(biāo)的特征。②不同視角以及光照的變化，導(dǎo)致目標(biāo)對(duì)應(yīng)位置灰度或形狀變化。③巨大的運(yùn)算量，導(dǎo)致系統(tǒng)實(shí)時(shí)性很差。④目標(biāo)運(yùn)動(dòng)的連續(xù)性問題。目前，國內(nèi)外關(guān)于該問題的研究，都是圍繞這些相關(guān)問題展開。在目標(biāo)檢測方面，主要的方法有光流法、幀差法、背景差分法，其中的背景差分法又分為多幀平均法、混合高斯模型法、Surendra 算法、碼本的算法等。在目標(biāo)跟蹤方面，主要的方法有基于相關(guān)性的2汕頭大學(xué)工學(xué)院 2012 屆碩士學(xué)位論文跟蹤方法和基于直方圖的跟蹤算法。但是每種算法都存在自己的優(yōu)勢(shì)和缺陷，而且都只能針對(duì)某種特定的環(huán)境才能夠產(chǎn)生較好的檢測、跟蹤的效果。就目前而言，不存在一個(gè)通用的算法來解決這個(gè)問題。因此，對(duì)于目標(biāo)檢測和跟蹤算法的分析研究是和有必要的，也是我們進(jìn)行算法設(shè)計(jì)的一個(gè)必要的基礎(chǔ)。 研究內(nèi)容及創(chuàng)新點(diǎn)本文選取視頻序列中的運(yùn)動(dòng)目標(biāo)的檢測和跟蹤作為研究重點(diǎn)。最終在嵌入式系統(tǒng)平臺(tái)上，結(jié)合 OpenCV 進(jìn)行具體運(yùn)動(dòng)目標(biāo)檢測和跟蹤算法的實(shí)現(xiàn)。針對(duì)運(yùn)動(dòng)目標(biāo)的正確識(shí)別與分割、物體之間的相互遮擋和重疊、處理的實(shí)時(shí)性等難點(diǎn)進(jìn)行研究，著力解決這幾個(gè)難點(diǎn)。本文主要內(nèi)容總結(jié)如下：在運(yùn)動(dòng)目標(biāo)檢測方面：重點(diǎn)分析目前較廣泛使用的光流法、幀差法、背景差分法，指出這些算法的優(yōu)缺點(diǎn)，提出適用于嵌入式系統(tǒng)的檢測方法，并說明該算法在嵌入式 linux上面的實(shí)現(xiàn)方式。在運(yùn)動(dòng)目標(biāo)跟蹤方面：本文將詳細(xì)研究運(yùn)動(dòng)目標(biāo)跟蹤的各個(gè)算法，分析其優(yōu)缺點(diǎn)，說明其適用的范圍，并提出一種基于碼本模型的算法，并在嵌入式系統(tǒng)上實(shí)現(xiàn)該算法。最后，就是具體的實(shí)現(xiàn)工作了，準(zhǔn)備在以三星的 S3C6410 為主芯片的開發(fā)板上進(jìn)行具體的實(shí)現(xiàn)工作，開發(fā)板上跑 操作系統(tǒng)。另外，本文所研究的很多問題，都涉及圖像處理的相關(guān)問題，如果每個(gè)實(shí)現(xiàn)過程都完全自己用代碼實(shí)現(xiàn)，那必然是個(gè)龐大的過程，工作量也是十分驚人的、不太可能的，所以我們采用 Intel 的 OpenCV(Open Source ComputerVision Library)進(jìn)行這些過程的實(shí)現(xiàn)。 開發(fā)環(huán)境的介紹該算法在 上進(jìn)行開發(fā)。Ubuntu 是一個(gè)以桌面應(yīng)用為中心的 linux 操作系統(tǒng)。“ubuntu”譯為烏邦托或?yàn)醢鄨D，意思為“人性”、“我的存在是因?yàn)榇蠹业拇嬖凇?，是非洲傳統(tǒng)的一個(gè)價(jià)值觀，類似華人社會(huì)的“仁愛”思想。Ubuntn 是基于 Debian 發(fā)行版和 GNOME桌面環(huán)境，目標(biāo)在于為用戶提供最新的、最穩(wěn)定的主要由自由軟件構(gòu)建而成的操作系統(tǒng)。作為 linux 的一個(gè)發(fā)行版本，具有著 linux 的很多優(yōu)勢(shì)，如較低的成本、較低的管理成本、在高性能運(yùn)算方面也具有較強(qiáng)的優(yōu)勢(shì)、高可擴(kuò)展性和可維護(hù)性，也正是由于 linux 具有這么多的優(yōu)勢(shì)，近年來，開發(fā)人員逐漸傾向于采用 linux 系統(tǒng)進(jìn)行開發(fā)，而且在嵌入式終端3緒論上 linux 操作系統(tǒng)的占有率，也逐年的增加。在進(jìn)行設(shè)計(jì)的算法中，設(shè)計(jì)到很多的數(shù)字圖像處理相關(guān)的算法，如果這些基本的算法完全自己用代碼來實(shí)現(xiàn)的話，將是十分巨大的工程，也是不太切合實(shí)際的。這里我們采用Intel 的 OpenCV(Open Source Computer Vision Library),OpenCV 是 Intel1999 年開始建立的，基于 BSD 許可證授權(quán)（開源）發(fā)型的跨平臺(tái)計(jì)算機(jī)數(shù)據(jù)庫，具有很好的跨平臺(tái)性，可以運(yùn)行在 Linxu、 Window 和 MAC OS 等操作系統(tǒng)上，這個(gè)庫主要由 C 函數(shù)構(gòu)成，其中包含了少量的 C++組成，是一個(gè)輕量級(jí)但是十分高效的計(jì)算機(jī)圖像庫，實(shí)現(xiàn)了數(shù)字圖像處理和計(jì)算機(jī)視覺方面的大部分算法。另外，OpenCV 還具有開源的特性，所有使用者都可以免費(fèi)獲得 Opencv 的源代碼和安裝包，使用者可以方面的使用，不需要其他外部支持也可以完整的編譯連接并生成可執(zhí)行的程序。目前，做圖像處理和機(jī)器視覺相關(guān)應(yīng)用方面的研究，大量的使用該開源庫，而且很多人也把該庫或者該庫的部分移植到 DSP、ARM 等硬件上。對(duì)于廣大的本科和研究生同學(xué)，也提供了很大的便利。可以免費(fèi)利用該庫進(jìn)行畢業(yè)設(shè)計(jì)。這里，我也把 Opencv 移植到嵌入式 linux 上面，作為畢業(yè)設(shè)計(jì)的基本算法庫。 本章總結(jié)本章從研究背景、研究現(xiàn)狀、研究的內(nèi)容及創(chuàng)新點(diǎn)、開發(fā)環(huán)境等幾個(gè)方面展開論文。主要對(duì)自己的研究內(nèi)容進(jìn)行說明，并對(duì)當(dāng)前目標(biāo)檢測和目標(biāo)跟蹤的普遍研究內(nèi)容進(jìn)行分析，提出的想法和思路，并提出自己設(shè)計(jì)算法的創(chuàng)新點(diǎn)。開發(fā)環(huán)境是進(jìn)行算法實(shí)現(xiàn)和仿真的基本要求。從系統(tǒng)軟件和依賴的基本庫 2 個(gè)方面，說明我們的開發(fā)環(huán)境。說明系統(tǒng)軟件和依賴的基本庫的優(yōu)勢(shì)，具有很好的可靠性、通用性、跨平臺(tái)性、低成本性等各個(gè)方面進(jìn)行說明，這些是進(jìn)行算法和程序設(shè)計(jì)的基本要求，為我們程序和算法的設(shè)計(jì)和實(shí)現(xiàn)提供了可靠的保障。4汕頭大學(xué)工學(xué)院 2012 屆碩士學(xué)位論文第 2 章 系統(tǒng)介紹和總體設(shè)計(jì)我們旨在實(shí)現(xiàn)一個(gè)視頻監(jiān)控中的目標(biāo)檢測和目標(biāo)跟蹤系統(tǒng)，對(duì)于系統(tǒng)的軟硬件做整體的設(shè)計(jì)，以便能夠?qū)崿F(xiàn)我們準(zhǔn)備實(shí)現(xiàn)的功能和性能。這里我們對(duì)我們系統(tǒng)的要求進(jìn)行具體的分析，確定了我們實(shí)現(xiàn)的平臺(tái)，包括硬件、系統(tǒng)軟件、圖像處理庫等。 系統(tǒng)功能分析目標(biāo)檢測和跟蹤系統(tǒng)，這里就是對(duì)監(jiān)控系統(tǒng)中，出現(xiàn)在視場內(nèi)的運(yùn)動(dòng)目標(biāo)（如人、車輛）進(jìn)行檢測，然后隨著目標(biāo)的移動(dòng)，實(shí)時(shí)地跟蹤運(yùn)動(dòng)的目標(biāo)。因?yàn)樵趯?shí)際的運(yùn)用中，我們所采用的攝像頭都是有一定可視角的，不可能覆蓋 360 度范圍，總是存在一定的監(jiān)控死角。當(dāng)我們檢測到有運(yùn)動(dòng)目標(biāo)進(jìn)入視場后，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，并且實(shí)時(shí)地把運(yùn)動(dòng)目標(biāo)當(dāng)前所在視場內(nèi)的坐標(biāo)反饋給系統(tǒng)，系統(tǒng)根據(jù)反饋的運(yùn)動(dòng)目標(biāo)的坐標(biāo)，實(shí)時(shí)地控制云臺(tái)，通過云臺(tái)的轉(zhuǎn)動(dòng)，從而保證運(yùn)動(dòng)目標(biāo)的中心一直處在視場的中心位置。隨著嵌入式系統(tǒng)的發(fā)展，一方面主芯片的主頻越來越高，處理一些復(fù)雜算法的實(shí)時(shí)性越來越好；另一方面更多實(shí)時(shí)性好、穩(wěn)定可靠的操作系統(tǒng)的出現(xiàn)，在嵌入式設(shè)備上面都可以很好的運(yùn)行，嵌入式設(shè)備逐漸成為工業(yè)、民用、軍用等各方面青睞的實(shí)現(xiàn)系統(tǒng)。這里我們也采用嵌入式系統(tǒng)進(jìn)行實(shí)現(xiàn)，主芯片采用三星的 S3C6410，片上運(yùn)行 linux 操作系統(tǒng)，采用 Intel 的 Opencv 作為圖像處理的基本圖形庫。詳細(xì)的軟硬件介紹，在下文進(jìn)行。 硬件平臺(tái)介紹S3C64XX 系列 的應(yīng)用處 理器芯片 是三星主 推的，三 星目前主 要推出 S3C6400 和S3C6410，這 2 款主芯片都是 ARM11 架構(gòu)的芯片，而且硬件管腳兼容，2 個(gè)芯片的功能是基本傷痛的，最明顯的區(qū)別就是 S3C6410 帶有 2D/3D 硬件加速。主頻最高可以達(dá)到 677M，足以處理我們的算法。5系統(tǒng)介紹和總體設(shè)計(jì)網(wǎng)口串口LCD 彩屏ARM11（ S3C6410）核心板攝像頭觸摸屏圖 21 嵌入式硬件結(jié)構(gòu)圖Fig. 21 Hardware structure of embedded systemS3C6410 處理器是一個(gè)強(qiáng)大的處理器，尤其它的 MFC(Multi Foramt Codec)單元。這是一個(gè)視頻 Codec 模塊，支持 MPEG4，, P3 和 VC1 MainProfile 編解碼功能。支持 1/2 和 1/4 像素的運(yùn)動(dòng)估計(jì)，支持 MPEG4 AC/DC 預(yù)測，支持，對(duì)于 MPEG4 還支持可逆 VLC 和 Data Partition 功能，支持碼流控制（CBR 或者 VBR），編解碼同時(shí)進(jìn)行的時(shí)候，可以支持 VGA 30fps。從而極大地提高了對(duì)視頻的編碼效率，也極大提高了產(chǎn)品的實(shí)時(shí)性能。系統(tǒng)用到的片上設(shè)備有：①Camera Interface:外接 Camera，支持 ITUR 。支持 ZoomIn、Zoom Out 功能，最大圖像可達(dá) 4096*4096，支持 Preview，在支持 Rotation 和 Mirror功能，Preview 輸出圖像格式可以是 RGB16/18/24Bit 和 YUV4433 格式，還支持圖像的一個(gè)特殊效果。② Multi Format Codec：視頻 Codec，支持 MPEG4 Simple Profile， Profile， P3 和 VC1 Main Profile 編解碼功能。支持 1/2 和 1/4 像素的運(yùn)動(dòng)估計(jì)，支持MPEG4 AC/DC 預(yù)測，支持 ，對(duì)于 MPEG4 還支持可逆 VLC 和 DataPartition 功能，支持碼流控制 (CBR 或者 VBR)，編解碼同時(shí)進(jìn)行的時(shí)候，可支持 VGA 30fps。③ AC97：AC97 控制器，支持獨(dú)立的 PCM 立體聲音頻輸入，單聲道 MIC 輸入和 PCM立體聲音頻輸出，通過 ACLink 接口與 Audio Codec 相連。④ 以太網(wǎng)口：10/100M 自適應(yīng)網(wǎng)口，支持局域網(wǎng)和 PPPOE。6汕頭大學(xué)工學(xué)院 2012 屆碩士學(xué)位論文 軟件平臺(tái)的介紹硬件平臺(tái)使用以三星的 S3C6410 為主芯片的 ARM 平臺(tái)。系統(tǒng)軟件使用當(dāng)前大量使用的開源 linux 系統(tǒng)；基本的圖像處理算法庫采用 Intel 的 Opencv。開發(fā)的過程中如果涉及到界面方面的開發(fā)，我們采用 NOKIA 的跨平臺(tái)圖像庫 QT 進(jìn)行開發(fā)。 linux 操作系統(tǒng)Linux 是一種自由和開放源碼的遵守 GPL 協(xié)議的類 Unix 操作系統(tǒng)。目前的嵌入式設(shè)備大量的使用該系統(tǒng)，linux 具有開源、免費(fèi)、穩(wěn)定等很多的優(yōu)勢(shì)。它誕生于 1991 年（這是第一次正式向外公布的時(shí)間）。以后借助 Internet 網(wǎng)絡(luò)，并在大量的 Linux 社區(qū)或論壇，在全世界的 linux 愛好者的共同努力下，現(xiàn)在已經(jīng)成為今天世界上使用量最大的 UNIX 類操作系統(tǒng)，并且使用人數(shù)還在迅猛增加。近年來隨著 ARM(Advanced RISC Machines)處理器是發(fā)展及大量的使用。Linux 很早就開始了對(duì)該架構(gòu)處理器芯片的支持，使得 linux 的發(fā)展邁出了很大的一步，linux 的使用量得到了一次更大的突破。目前，在嵌入式市場上，具有很大的占有率。Linux 的大量使用得力于它的很多優(yōu)勢(shì)，下面將進(jìn)行具體闡述:①低廉的附加費(fèi)用。Linux 經(jīng)常被大家宣傳為免費(fèi)的，實(shí)際上 Linux 并不是一個(gè)完全零成本的解決方案，并且在實(shí)際應(yīng)用中沒有組織會(huì)去安裝、使用一個(gè)沒有技術(shù)支持協(xié)議的軟件?，F(xiàn)在提供 Linux 技術(shù)支持的著名廠商和鄰近的經(jīng)銷商大量出現(xiàn)，隨著大量有償?shù)牡谌郊夹g(shù)支持的出現(xiàn)，linux 會(huì)被越來越多的企業(yè)用戶所接受。組織在考慮許可成本，特別是大量使用者和大量計(jì)算機(jī)設(shè)備的許可成本時(shí)，都驚奇發(fā)現(xiàn)在成本上有著重大的優(yōu)勢(shì)。②根據(jù)您的要求靈活定制。用戶可以根據(jù)自己需求簡單地修改調(diào)整應(yīng)用軟件。這是由于 linux 是個(gè)開源的系統(tǒng)，用戶可以自己獲得源碼，根據(jù)自己的需求選擇編譯；另一方面，GUN 許可協(xié)議允許任何人去修改和重新再發(fā)布軟件。并承認(rèn)其合法性。③從各種許可證的限制中解脫。不必考慮眾多協(xié)議或許可證的限制。④系統(tǒng)穩(wěn)定性。Linux 的使用者幾乎不用考慮系統(tǒng)崩潰的問題，因?yàn)閘inux 完全不會(huì)崩潰，linux 沒有像其他操作系統(tǒng)一樣內(nèi)核如此龐大、充滿漏洞，具有可靠的系統(tǒng)結(jié)構(gòu)。⑤強(qiáng)大的兼容性。由于 linux 的開源性，且遵守 GPL，支持眾多的相關(guān)協(xié)議。⑥眾多硬件的支持。目前大量采用的 X8ARM、MIPS 架構(gòu)的主芯片，對(duì) linux 操作系統(tǒng)都具有很好的支持。⑦強(qiáng)大的因特網(wǎng)支持。Linux 的發(fā)展在很大程度上得力于互聯(lián)網(wǎng)，反7系統(tǒng)介紹和總體設(shè)計(jì)過來強(qiáng)大的互聯(lián)網(wǎng)支持也是 l