【文章內(nèi)容簡(jiǎn)介】 ..........................................................................................47 Introduction ....................................................................................................47 Presentation of track method ..........................................................................47 Template matching .........................................................................................50 State forecast method .....................................................................................54 Result of tracking............................................................................................598 Conclusions and outlook.......................................................................................609 References.............................................................................................................62西華大學(xué)碩士學(xué)位論文XI10 Academic results.................................................................................................6611 Announcements...................................................................................................6712 Authorization ......................................................................................................6813 Acknowledgements.............................................................................................69西華大學(xué)碩士學(xué)位論文11 緒論 研究的背景及意義近年來(lái)，隨著信息技術(shù)的發(fā)展，應(yīng)用的普及性不斷提高，以及計(jì)算機(jī)的軟硬件性能的飛速提升，更加高效并且也更加友好的人機(jī)交互技術(shù),即HCI(Human Computer Interaction)被不斷的提出并應(yīng)用于我們周圍，并且這些技術(shù)的應(yīng)用不再依賴于傳統(tǒng)的鍵盤(pán)，鼠標(biāo)，顯示器等設(shè)備，開(kāi)始向著多模態(tài)人機(jī)交互的方向發(fā)展。多模態(tài)人機(jī)交互模擬人類自然交流的方法，包括視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和嗅覺(jué)，試圖綜合圖像，聲音，文字等手段，達(dá)到與計(jì)算機(jī)進(jìn)行交流的目的，其中以視覺(jué)交流最為方便和易于接受。同時(shí)，圖像處理設(shè)備的性價(jià)比也不斷的提高，從而使得基于圖像處理的人機(jī)交互技術(shù)成為當(dāng)前研究領(lǐng)域的熱點(diǎn)。同時(shí)隨著人機(jī)交互技術(shù)的發(fā)展，視頻監(jiān)控，可視電話、視頻電視會(huì)議的廣泛應(yīng)用，人們開(kāi)始將人臉檢測(cè)與跟蹤作為統(tǒng)一的整體加以研究。目前人臉檢測(cè)與跟蹤的應(yīng)用背景己經(jīng)遠(yuǎn)遠(yuǎn)超出了人臉識(shí)別系統(tǒng)的范疇。作為完整的單獨(dú)功能模塊，人臉檢測(cè)與跟蹤已的應(yīng)用領(lǐng)域十分廣泛，已經(jīng)成為了計(jì)算機(jī)視覺(jué)及相關(guān)領(lǐng)域中的關(guān)鍵技術(shù)，在基于內(nèi)容的視頻存儲(chǔ)與檢索、數(shù)字視頻處理、高級(jí)人機(jī)交互、智能視頻監(jiān)控等方面有著重要的應(yīng)用價(jià)值。在CBIR(Contentbased Image Retrieval，即基于內(nèi)容的圖像檢索)系統(tǒng)中，圖像中的人臉可以成為圖像檢索的條件，因此許多 CBIR 系統(tǒng)都將人臉檢測(cè)作為系統(tǒng)中一個(gè)重要的組成部分。例如芝加哥大學(xué)開(kāi)發(fā)的用于在萬(wàn)維網(wǎng)上搜索圖像的影像搜索引擎 Webseer，其中就使用了基于神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)作為搜索引擎的一部分。因特網(wǎng)上廣泛使用的數(shù)字圖書(shū)館中包含了大量的視頻及音頻信息，因此許多數(shù)字圖書(shū)館將人臉檢測(cè)作為系統(tǒng)搜索引擎的一個(gè)重要的組成部分。在智能人機(jī)接口應(yīng)用領(lǐng)域中，我們希望未來(lái)的機(jī)器能像人一樣與我們更加容易和便捷地交流，如手勢(shì)驅(qū)動(dòng)控制、手語(yǔ)翻譯等。人與人之間的信息交流主要是依靠語(yǔ)言，并適當(dāng)結(jié)合手勢(shì)、身體姿勢(shì)和面部表情等，因此視覺(jué)信息可以作為語(yǔ)音和自然語(yǔ)言理解的有效補(bǔ)充來(lái)完成更加智能的人機(jī)交互。這就要求未來(lái)的計(jì)算機(jī)必須具備感知外部環(huán)境的能力，即代替?zhèn)鹘y(tǒng)的鍵盤(pán)或鼠標(biāo)輸入模式、獨(dú)立地提取周圍環(huán)境的重要信息(如檢測(cè)到人的存在等)；更進(jìn)一步的能力是進(jìn)行人的識(shí)別和視頻中的人臉檢測(cè)跟蹤技術(shù)及其應(yīng)用行為理西華大學(xué)碩士學(xué)位論文2解，結(jié)合面部表情、身體姿勢(shì)和手勢(shì)等的分析來(lái)與人進(jìn)行相應(yīng)的交流。在視頻監(jiān)視系統(tǒng)中，人臉檢測(cè)和跟蹤技術(shù)得到了及其重要的應(yīng)用。針對(duì)敏感場(chǎng)合（如銀行、商店、停車場(chǎng)）開(kāi)發(fā)的智能監(jiān)控系統(tǒng)，能夠每天連續(xù) 24 小時(shí)的實(shí)時(shí)監(jiān)視，并自動(dòng)分析攝像機(jī)捕捉的圖像數(shù)據(jù)，當(dāng)盜竊發(fā)生或發(fā)現(xiàn)到具有異常行為的可疑的人時(shí)，系統(tǒng)能向保衛(wèi)人員準(zhǔn)確及時(shí)地發(fā)出警報(bào)，從而避免犯罪的發(fā)生；同時(shí)，人臉檢測(cè)與跟蹤技術(shù)在訪問(wèn)控制場(chǎng)合，在自動(dòng)售貨機(jī)、ATM機(jī)、交通管理、公共場(chǎng)所行人的擁擠狀態(tài)分析及商店中消費(fèi)者流量統(tǒng)計(jì)等監(jiān)控方面也有著相應(yīng)的應(yīng)用。同樣，人臉檢測(cè)和跟蹤還可以應(yīng)用于其他許多領(lǐng)域，比如現(xiàn)在數(shù)碼相機(jī)中常見(jiàn)的對(duì)人臉進(jìn)行檢測(cè)和自動(dòng)對(duì)焦，以及 MPEG4 中采用的基于對(duì)象的壓縮等。 人臉檢測(cè)與跟蹤技術(shù)簡(jiǎn)介人臉檢測(cè)問(wèn)題最初來(lái)源于人臉識(shí)別，它是自動(dòng)人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)。但是早期的人臉識(shí)別研究主要針對(duì)具有較強(qiáng)約束條件的人臉圖像（如無(wú)背景的圖像） ，往往假設(shè)人臉位置已知或很容易獲得，因此人臉檢測(cè)問(wèn)題并未受到重視。近幾年隨著電子商務(wù)等應(yīng)用的發(fā)展，人臉識(shí)別成為最有潛力的生物身份驗(yàn)證手段，這種應(yīng)用背景要求自動(dòng)人臉識(shí)別系統(tǒng)能夠?qū)σ话悱h(huán)境圖像具有一定的適應(yīng)能力，由此所面臨的一系列問(wèn)題使得人臉檢測(cè)也開(kāi)始作為一個(gè)獨(dú)立的課題受到研究者的重視。一般人臉檢測(cè)問(wèn)題可以描述為：給定一副靜止圖像或一段動(dòng)態(tài)圖像序列，從未知的圖像背景中分割、提取并確認(rèn)可能存在的人臉，如果檢測(cè)到人臉，提取人臉特征。雖然人類能毫不費(fèi)力地識(shí)別出人臉及其表情，但用機(jī)器自動(dòng)進(jìn)行人臉檢測(cè)與識(shí)別卻是一個(gè)難度極大的課題。它牽涉到模式識(shí)別、圖像處理及生理、心理學(xué)等方面的諸多知識(shí)。其面臨的問(wèn)題可以歸結(jié)如下：1．圖像中是否存在人臉：即如何判斷圖像中是否存在人臉，如何區(qū)別人臉和類似人臉的非人臉圖像。2．檢測(cè)不同表現(xiàn)形式的人臉：人臉可能以不同視角出現(xiàn)在圖像中，也可能被某些物體遮擋，造成某些用于檢測(cè)而需提取的人臉特征不可見(jiàn)，為了實(shí)西華大學(xué)碩士學(xué)位論文3現(xiàn)檢測(cè)方法的魯棒性，還需考慮人臉在各種復(fù)雜的背景中，不同方向、角度、尺度等情況下所展現(xiàn)出來(lái)的不同表象。3．圖像中存在著噪聲：檢測(cè)對(duì)象大多是由圖像捕捉設(shè)備所采集的數(shù)字圖像或視頻流中的數(shù)字圖像序列，所以采集條件特別是光照條件包括光源的方向、明暗、色彩等都會(huì)對(duì)圖像的效果產(chǎn)生很大的影響，進(jìn)而影響對(duì)人臉的檢測(cè)。4．人臉自身的因素：人臉是一個(gè)包含五官、毛發(fā)等極不規(guī)則的復(fù)雜待測(cè)目標(biāo)，不同的人臉在形狀、大小、顏色、質(zhì)地等方面都有很大的變化性，某些局部特征具有隨機(jī)性（如眼鏡、胡須、發(fā)型等） ，而且還存在著不同表情的人臉，以及時(shí)間間隔產(chǎn)生人臉的變化等，這些都給人臉檢測(cè)帶來(lái)難度。人臉檢測(cè)問(wèn)題在近十年中得到了廣泛的關(guān)注和長(zhǎng)足的發(fā)展，國(guó)內(nèi)外很多研究學(xué)者提出了很多方法，在不同的領(lǐng)域取得了一定的成果。但是對(duì)于尋找一種能夠普遍適用于各種復(fù)雜情況的準(zhǔn)確率很高的檢測(cè)算法，還有很大的距離。 人臉檢測(cè)與跟蹤的研究狀況目前國(guó)外對(duì)人臉檢測(cè)與跟蹤問(wèn)題的研究很多，比較著名的有 MIT、CMU等；國(guó)內(nèi)的清華大學(xué)、北京工業(yè)大學(xué)、南京理工大學(xué)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所和中國(guó)科學(xué)院自動(dòng)化研究所等都有人員從事人臉檢測(cè)與跟蹤的相關(guān)研究。而且 MPEG7 標(biāo)準(zhǔn)組織已經(jīng)建立了人臉識(shí)別草案小組，人臉檢測(cè)與跟蹤算法也是一項(xiàng)征集的內(nèi)容。隨著人臉檢測(cè)與跟蹤研究的深入，國(guó)際上發(fā)表的有關(guān)論文數(shù)量也大幅度增加，EI 可檢索到的相關(guān)文獻(xiàn)多達(dá)數(shù)千篇，每年的國(guó)際會(huì)議上關(guān)于這方面的專題也屢屢可見(jiàn)，如 IEEE 的 FG(IEEE International Conference onAutomatic Face and Gesture Recognition)、CVPR(Conference on Computer Vision and PatternRecognition)、ICIP(International Conference on Image Processing)、ICPR(International Conference on Pattern Recognition)等重要國(guó)際會(huì)議上每年都有大量關(guān)于人臉檢測(cè)與跟蹤的論文，占有關(guān)人臉研究論文的近 1/3 之多。西華大學(xué)碩士學(xué)位論文4 人臉檢測(cè)方法綜述人臉檢測(cè)的基本思想是用知識(shí)或統(tǒng)計(jì)的方法，比較所有可能的待檢測(cè)區(qū)域與人臉模型的匹配度，從而得到可能存在人臉的區(qū)域。人臉檢測(cè)問(wèn)題所包含的內(nèi)容十分廣泛。從不同的角度有多種分類方法。根據(jù)利用人臉知識(shí)的不同，現(xiàn)有的人臉檢測(cè)技術(shù)方法可以分為三類：基于特征的方法、模板匹配法、基于表象（appearancebased ）的方法。1．基于特征的人臉檢測(cè)方法是通過(guò)檢測(cè)出不同的人臉面部特征的位置，然后根據(jù)它們之間的空間幾何關(guān)系來(lái)定位人臉。這種方法又可以進(jìn)一步分為基于知識(shí)和基于局部特征的檢測(cè)策略?；谥R(shí)的方法首先定位候選人臉區(qū)域，然后再通過(guò)人臉的先驗(yàn)知識(shí)來(lái)檢驗(yàn)人臉是否存在。與之相對(duì)應(yīng)的基于局部特征的方法中，人臉的局部特征如眼睛、鼻子和嘴唇等首先被檢測(cè)出來(lái)，然后由這些局部特征組合成人臉。另外，膚色特征與運(yùn)動(dòng)特征也能與其他特征相結(jié)合用于人臉檢測(cè)之中。2．早期的基于模板匹配的方法 [1]處理過(guò)程是：首先建立一個(gè)標(biāo)準(zhǔn)的人臉模板，由包含局部人臉特征的子模板構(gòu)成，然后對(duì)一幅輸入圖像進(jìn)行全局搜索，對(duì)應(yīng)不同尺度大小的圖像窗口，計(jì)算與標(biāo)準(zhǔn)人臉模板中不同部分的相關(guān)系數(shù)，通過(guò)預(yù)先設(shè)置的閾值來(lái)判斷該圖像窗口中是否包含人臉。利用基于模板的方法來(lái)定位眼睛的位置，他們把標(biāo)準(zhǔn)的眼睛模板調(diào)整為 5 個(gè)不同的尺寸，然后在輸入圖像中找尋眼睛。這種簡(jiǎn)單模板匹配的方法易于實(shí)現(xiàn)，但是也存在著缺點(diǎn)：圖像噪聲對(duì)檢測(cè)結(jié)果影響很大，因此需要對(duì)輸入圖像做適當(dāng)?shù)念A(yù)處理；標(biāo)準(zhǔn)模板的大小是人為設(shè)定的，因此不能動(dòng)態(tài)檢測(cè)眼睛的位置。Yullie等人提出了一種基于彈性模板的人臉檢測(cè)方法 [2]。彈性模板是由一個(gè)根據(jù)被測(cè)物體形狀而設(shè)定的參數(shù)化的可調(diào)模板和與之相應(yīng)的能量函數(shù)所構(gòu)成，能量函數(shù)要根據(jù)圖像的灰度信息、被測(cè)物體輪廓等先驗(yàn)知識(shí)來(lái)設(shè)計(jì)。當(dāng)用彈性模板進(jìn)行人臉檢測(cè)時(shí)，首先，將可調(diào)模板在待測(cè)圖像中移動(dòng)，并動(dòng)態(tài)地調(diào)整其參數(shù)，計(jì)算能量函數(shù)。當(dāng)能量函數(shù)到達(dá)最小值時(shí)，根據(jù)其位置和參數(shù)所決定的可調(diào)模板形狀應(yīng)該達(dá)到與人臉形狀的最佳擬合,這樣就檢測(cè)到了一幅人臉。這種方法的優(yōu)點(diǎn)在于，由于使用的彈性模板可調(diào)，能夠檢測(cè)不同大小、具有不同偏轉(zhuǎn)角度的物體。但是其缺點(diǎn)是檢測(cè)前必須根據(jù)待測(cè)物體的形狀來(lái)設(shè)計(jì)西華大學(xué)碩士學(xué)位論文5彈性模板的輪廓，否則會(huì)影響收斂的結(jié)果；當(dāng)對(duì)圖像進(jìn)行全局搜索時(shí)，由于要?jiǎng)討B(tài)地調(diào)整參數(shù)和計(jì)算能量函數(shù)，計(jì)算時(shí)間過(guò)長(zhǎng)。3．基于表象的方法遵循一種統(tǒng)一的模式，即首先通過(guò)學(xué)習(xí)，在大量訓(xùn)練樣本的基礎(chǔ)上建立一個(gè)能對(duì)人臉和非人臉樣本進(jìn)行正確識(shí)別的分類器，然后對(duì)被檢測(cè)圖像進(jìn)行全局掃描，用分類器檢測(cè)掃描到的圖像窗口中是否包含人臉。若有，則給出人臉?biāo)诘奈恢?。采用這種檢測(cè)模式的理論依據(jù)是：人臉具有統(tǒng)一的結(jié)構(gòu)模式（都是眉毛，眼睛，鼻子和嘴巴等器官構(gòu)成） ，如果將所有的圖像集看作一個(gè)高維線性空間，那么整個(gè)人臉圖像集僅對(duì)應(yīng)于其中的某個(gè)子空間。通過(guò)檢驗(yàn)待測(cè)圖像窗口是否落在這個(gè)子空間中來(lái)判斷其是否為人臉。因此，通過(guò)大量的人臉和非人臉樣本來(lái)建立一個(gè)分類器，使它能正確分辨這兩種不同的圖像模式，再利用訓(xùn)練好的分類器在未知的圖像中檢測(cè)人臉。在這些方法中，基于支持向量機(jī)與基于神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)的方法是最具有代表性的 [3]。另外，Viola [4]提出了積分圖像概念和基于 Adaboost 方法訓(xùn)練人臉檢測(cè)分類器的方法，具有速度快、檢測(cè)率高等優(yōu)點(diǎn)，是目前較有影響的一種方法。隨后 Li 的研究組 [5]發(fā)展了這一方法，建立了實(shí)時(shí)的多視角人臉檢測(cè)系統(tǒng)。Viola 的方法利用積分圖像快速計(jì)算圖像的矩特征；通過(guò) Adaboost 學(xué)習(xí)算法選擇少量的關(guān)鍵特征并構(gòu)造分類器；在檢測(cè)時(shí)，將多個(gè)分類器組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)，以快速的排除圖像中的非人臉區(qū)域。 人臉跟蹤方法綜述人臉跟蹤方法主要分為基于運(yùn)動(dòng)(Motionbased) 的方法和基于模型(Modelbased)的方法兩類。其中前者主