【正文】 例 ............................................... 45 分支測試 ........................................................ 45 集成測試 ........................................................ 55 測試結(jié)果分析 ........................................... 57 5 總結(jié)和展望 ......................................... 58 工作總結(jié) ............................................... 58 心得體會 ............................................... 58 致 謝 ................................................ 62 附錄 1 程序源代碼 ...................................... 63 附錄 2 翻譯（原文和譯文） ............................... 76 四川大學(xué)本科畢業(yè)論文 基于塊匹配的人群運動估計 1 1 緒論 研究背景 智能監(jiān)控 隨著視頻分析技術(shù)和人工智能技術(shù)的發(fā)展，智能視頻監(jiān)控已成為一個非?；钴S的研究領(lǐng)域，它涉及信號分析、圖像處理、計算機視覺、機器學(xué)習、模式識別等多門學(xué)科，主要研究圖像序列中感興趣目標的檢測、跟蹤、行為分析與識別等問題。目前，智能監(jiān)控的研究大多集中于少數(shù)目標個體上。如對單個人的檢測、跟蹤、行為識別，對車輛的監(jiān)控，以及人和車輛的交互行為等。 智能化人群監(jiān)控是智能視頻監(jiān)控研究中的一個重要課題，它作為智能監(jiān)控中的一項關(guān)鍵技術(shù)，在人群管理、公共場所設(shè)計、虛擬環(huán)境建模、視覺監(jiān) 控、智能環(huán)境模擬等方面都有著重要的應(yīng)用價值 [1]。 人群監(jiān)控的提出 隨著社會的發(fā)展，公共安全需求的提高，群體運動分析受到越來越多人的關(guān)注 ,美國人口普查局在 08 年的一份報告中指出， 1999 年，世界人口達到 60 億，比 1960 年翻了一倍。08 年全球人口已達到 67 億，預(yù)計到 2050 年，全球人口將超過 90 億。隨著人口的增加，人群活動日益增加，相對應(yīng)地，人群安全問題也越來越突出，對人群的分析研究分別在社會學(xué)、心理學(xué)、建筑學(xué)、計算機等各個學(xué)科受到了極大的關(guān)注。 現(xiàn)代社會，伴隨經(jīng)濟的發(fā)展 ,各種高層建筑、地下建筑和大型商 業(yè)娛樂設(shè)施也越來越多 ,同時出入或圍繞這些建筑物的人群也在加大，一旦擁擠人群發(fā)生突發(fā)事件 ,容易造成群死群傷事故，因此必須考慮到人群的安全問題。人們經(jīng)過探索，最終提出了人群監(jiān)控這一技術(shù) [2]。 人群監(jiān)控是借助于數(shù)字圖像處理技術(shù)對某一區(qū)域的人群進行監(jiān)控 ,它在社會生活和生產(chǎn)的許多領(lǐng)域有著廣闊的應(yīng)用前景 [3]。 傳統(tǒng)的人群監(jiān)控通過監(jiān)控場景所安裝的閉路電視進行人工監(jiān)控，費時費力且缺乏實時性，不能做到每時每刻監(jiān)控，且比較主觀，不能做定量判斷，起不到預(yù)防的作用且容易發(fā)生漏報現(xiàn)象。隨著智能化技術(shù)的發(fā)展，智能化的人群監(jiān)控技術(shù) 已成為研究的熱點。 現(xiàn)代數(shù)字圖像處理技術(shù)的發(fā)展 ,為解決上述問題提供了途徑。將圖像處理、模式識別、計算機視覺等技術(shù)應(yīng)用在人群監(jiān)控中 ,可以達到對人群的自動、客觀、實時、定量分析。自智能化人群監(jiān)控技術(shù)提出以后 ,人們對其進行了廣泛研究 ,目前已有許多算法 ,一些實用的系統(tǒng)也開始應(yīng)用在廣場、車站等場合的人流監(jiān)控中。 四川大學(xué)本科畢業(yè)論文 基于塊匹配的人群運 動估計 2 人群監(jiān)控分為人群密度估計和人群運動估計，本文著手解決人群運動估計。 運動估計 考慮到人群密度和運動的自動監(jiān)測量和以及智能檢測人群分布和流量的重要性，需要一個不管在人群密度大或小都能正常測量的新 技術(shù)，但是這是一個困難的問題，因為在視頻顯示人群中，通常只會出現(xiàn)一部分人，重疊現(xiàn)象很嚴重 [4]。 從而分別提出了密度估計法與運動估計法這兩類技術(shù)。 密度估計法提出一種紋理法 分析法 ， 它可以在重疊現(xiàn)象嚴重的視頻中進行較精確的估計 [5]， 這里略過。 運動估計法的基本思想是將圖像序列的每一幀分成許多互不重疊的宏塊，并認為宏塊內(nèi)所有象素的位移量都相同，然后對每個宏塊到參考幀某一給定特定搜索范圍內(nèi)根據(jù)一定的匹配準則找出與當前塊最相似的塊，即匹配塊，匹配塊與當前塊的相對位移即為運動矢量。視頻壓縮的時候，只需保存運動矢量和 殘差數(shù)據(jù)就可以完全恢復(fù)出當前塊。 運動估計和 運動補償 是 AVS 中去除時間冗余的主要方法，作為視頻壓縮編碼系統(tǒng)的核心算法，占整個系統(tǒng)運算量的 60%80%，它采用多種宏塊劃分方式， 1P4 像素插值、雙向估計和多參考幀等技術(shù)大大提高了編碼效率，但同時也給編解碼器增加了一定的復(fù)雜度。 運動估計算法是視頻壓縮編碼的核心算法之一。高質(zhì)量的運動估計算法是高效 視頻編碼 的前提和基礎(chǔ)。其中塊匹配法（ BMA, Block Match Algorithm）由于算法簡單和易于硬件實現(xiàn)，被廣泛應(yīng)用于各視頻編碼標準中。 塊匹配算法 塊匹配法的基本思想是先將圖像劃分為許多子塊，然后對當前幀中的每一塊根據(jù)一定的匹配準則在相鄰幀中找出當前塊的匹配塊，由此得到兩者的相對位移，即當前塊的運動矢量。在 標準的搜索算法中，圖像序列的當前幀被劃分成互不重疊 1616 大小的子塊 ，而每個子塊又可劃分成更小的子塊，當前子塊按一定的塊匹配準則在參考幀中對應(yīng)位置的一定搜索范圍內(nèi)尋找最佳匹配塊，由此得到運動矢量和匹配誤差。運動估計的估計精度和運算復(fù)雜度取決于搜索策略和塊匹配準則。這里使用 推薦算法 UMHexagonS（ Unsymmetricalcross MultiHexagongrid Search）作為 DSP 實現(xiàn)的算法參考，與 FS 算法比較，它在保證可靠搜索精度的前提下大幅降低搜索復(fù)雜度。同時使用絕對差和（ SAD, the Sum of Absolute Difference）標準作為匹配準則，它具有便于硬件實現(xiàn)的優(yōu)點。 OpenCV 四川大學(xué)本科畢業(yè)論文 基于塊匹配的人群運動估計 3 計算機視覺是在圖像處理的基礎(chǔ)上發(fā)展起來的新興學(xué)科， OpenCV(Open Source Computer Vision Library，開源計算機視覺庫 ) 是一種數(shù)字圖像處理和計算機視覺的函數(shù)庫， 它是一個跨平臺的開源計算機視覺庫， 最初 由 Intel公司微處理器實驗室 (Intel’S Microprocessor Research Lab)的視覺交互組 (The Visual Interactivity Group)開發(fā) [6]，是 Intel資助 的兩大圖像處理利器之一，以 BSD 許可證授權(quán)發(fā)行，可免費用于商業(yè)和研究領(lǐng)域， 它可以在 Windows 系統(tǒng)、 Linux 系統(tǒng)、Mac0Sx 系統(tǒng)等操作平臺上使用，也可以和其他編程工具結(jié)合，以滿足不同的使用要求。 它包含許多常用的算法，為圖像處理、模式識別、三維重建、物體跟蹤、機器學(xué)習和線性代數(shù)提供了各種各樣的算法 [7]。它已經(jīng)廣泛應(yīng)用于對實時性要求較高的計算機視覺和模式識別系統(tǒng)的開發(fā)。截至 20xx 年 8 月，在 的下載次數(shù)已經(jīng)超過 2 200 000 次，大量用戶來自中國。 論文工作構(gòu)思 關(guān)于人群 運動估計，本文用到的方法是塊匹配，工具有 OpenCV 和 vc6，程序用 C 和C++編寫。 為了更好的進行人群運動估計，前期準備必不可少， 1. 學(xué)習圖像處理的基本原理，了解人群監(jiān)控的意義，采集 若干組實驗用視頻序列； 2. 了解現(xiàn)有圖像處理的運動估計方法，學(xué)習 OpenCV 視頻處理的基本知識，掌握塊匹配的主要方法，利用 OpenCV 實現(xiàn)塊匹配的原理和技術(shù)。 完成以上兩點后，利用 C 和 C++編寫程序?qū)崿F(xiàn)功能。 國內(nèi)外研究與技術(shù)現(xiàn)狀 智能人群監(jiān)控的研究現(xiàn)狀 目前，國內(nèi)的安全防范工作中，智能人群估計領(lǐng)域基本還是一項空白，相關(guān)的文獻和技 術(shù)資料很少，基礎(chǔ)理論和相關(guān)技術(shù)不多，沒有成熟的產(chǎn)品，國外在人群運動分析方面研究較多。本文的研究對象是運動群體 (這里的群體特指人群 )，研究內(nèi)容是運動人群的運動估計。 傳統(tǒng)的保障人群安全的途徑主要有 : 人群的密度估計與運動估計 ① 采用物理方法修正建筑物。在一些容易發(fā)生人群聚集的地方，采取適當?shù)匦拚F(xiàn)有建筑物的方法，比如在人多的地方增加出入口等。 ② 利用閉路電視監(jiān)控某一場景。閉路電視對周圍環(huán)境進行例行地掃描來查找發(fā)生危險的地方，并有專門的工作人員盯著屏幕，以便發(fā)生情況及時通報并采取措施。 四川大學(xué)本科畢業(yè)論文 基于塊匹配的人群運 動估計 4 但是這樣做主要有如下缺 點 : ① 不能起到預(yù)防的作用。即使人可以根據(jù)經(jīng)驗來發(fā)出危險警告，但由于人的主觀性太強，很容易發(fā)生預(yù)告太晚或者錯誤預(yù)告的情況。 ② 易造成漏報。 當人群己經(jīng)發(fā)生擁塞時，一般采取的方法是 :關(guān)閉人群正在大量涌入的入口。這種方法雖然解決了建筑物某個入口處的擁擠問題，但是人群很可能又涌向別的入口造成新的擁擠。所以這種做法往往不能從根本上解決問題。 近年來，對人群的研究越來越引起人們的關(guān)注，對人群狀態(tài)和行為的研究也越來越多，而人群研究的前提是要弄清如何對人群進行適當?shù)拿枋觥ｋm然人群由獨立個體組成，而每一個個體又有他自己的行 為模式，但作為總體的人群有它整體性的特征，且可被描述出來。要想用精確的數(shù)學(xué)模型來描述人群的狀態(tài)和行為非常困難，但我們?nèi)匀豢吹搅艘恍┠軌虮平巳赫鎸嵭袨榈臄?shù)學(xué)模型的出現(xiàn)，如 ， Corwd Dynamic Limted 公司依據(jù) AuotCAD 做出了一些建筑設(shè)施的設(shè)計方案。 運動估計方法的研究現(xiàn)狀 作為視頻編碼器中計算量最大的一個模塊，運動估計能夠有效地減少幀問相關(guān)性，因此被廣泛用于各種視頻編碼標準中，如 MPEG MPEG MPEG H． 26l、 H． 263和 H． 264/AVC 等 [8]。 人群運動估計的傳統(tǒng)方法是人工估計，但這種方法比較主觀，不能做定量判斷。二十世紀以來，人群人群密度和運動估計的自動方法逐漸發(fā)展起來。在密度估計上主要有Davies， Chow， Marana 等人的方法；在運動估計上主要有 Rourke 等人的方法。這些方法各有不足。 Davies 和 Chow 的方法在人群密度較高時，由于人群遮擋現(xiàn)象，測量值與人群人數(shù)之間的線性關(guān)系消失，導(dǎo)致誤差很大，且這些方法要求提供場景的背景圖像。 Marana的方法雖然可以解決高密度人群的估計問題，但計算量較 大，處理時間較長，而且該方法沒有考慮攝像機透視效應(yīng)問題。 Rourke 等人的人群運動估計的方法都限于低密度人群，如果人群密度較高，出現(xiàn)個體間的相互遮擋使得個體信息提取不全對，就會遇到困難 [9]。 塊匹配現(xiàn)狀 在主流視頻壓縮標準 (如 ， MPEG 系列等 )中，視頻系統(tǒng)編碼器的效率主要取決于運動估計算法，而運動估計的效率主要體現(xiàn)在圖像質(zhì)量、壓縮碼率和搜索速度 3 個方面[10]， 這些由采用的搜索策略、匹配準則和初始搜索點的選擇等因素決定。塊匹配運動估計算法算法簡單，便于 VLSI 實現(xiàn)，被廣泛應(yīng)用。目前， 其研究主要集中在： 四川大學(xué)本科畢業(yè)論文 基于塊匹配的人群運動估計 5 1)利用不同幀相同位置塊和相同幀內(nèi)相鄰塊運動矢量的相關(guān)性，從同幀中左上、上、左等塊的運動矢量及前一幀或前幾幀相同位置塊的運動矢量中挑選出當前塊運動矢量的最優(yōu)初始值 然后再按照某一種算法進行搜索； 2)不斷改進運動估計匹配模板的形狀和大小，旨在減少搜索點數(shù)，從而減少搜索時間，提高編碼速度； 3)通過數(shù)學(xué)不等式來改進目標函數(shù)，通過判斷提前結(jié)束搜索，達到節(jié)約運算量和運算時間的目的。其中第 2 點通過改進模板的方法來減少搜索點數(shù)更是當前的研究熱點，出現(xiàn)了許多算法。研究方向。 論文主要工作 在視頻運動估計方面，相關(guān)技術(shù)比較多，也比較成熟，而在人群運動估計方面，主流技術(shù)則顯得較不成熟，各種算法層出不窮，用得最多的只有幾種，其中關(guān)鍵就在于對時間性和空間性的要求，隨著科學(xué)技術(shù)的發(fā)展，對這兩點的要求已不再那么強烈，注意力已轉(zhuǎn)移到性能上，一般來說，性能越好，算法越復(fù)雜，而 OpenCV 作為一個開源視覺庫，全部由 C 語言寫就，因此，這是一個十分強大的圖像視覺處理工具，對細微處的處理很好，其功能接口都為函數(shù)，程序員只需調(diào)用函數(shù)便可完成一系列高效高質(zhì)量的操作。而本程序在人群運動估計這一方面運用了一種全新的處理方 法，即利用 OpenCV 完成塊匹配法運動估計，其真正達到了高性能高密度。 論文組織與結(jié)構(gòu) 第 1 章：緒論。主要介紹了人群監(jiān)控發(fā)展和應(yīng)用，以及本論文的研究背景和研究工作，利用 OpenCV 實現(xiàn)基于塊匹配的人群運動估計的設(shè)計目的； 第 2 章：塊匹配法各模塊算法背景與分析。介紹運動估計，把塊匹配法分為各個模塊，并對其算法進行介紹與分析，同時在最后得出各個模塊最合適的算法； 第 3 章：算法分析與設(shè)計。