【正文】 要通過(guò)“ 閾值處理”的方法實(shí)現(xiàn)對(duì)單幀人臉圖像的二值化，必須先解決的問(wèn)題是確定適合的人臉膚色模型。 人臉膚色模型和二值化 將單幀圖像轉(zhuǎn)換到 YCrCb空間后，要檢測(cè)該單幀圖像中某一像素是否屬于人臉像素，可以通過(guò)“閾值處理”的方法對(duì)該像素的灰度值進(jìn)行判斷，然后把符合“閾值處理”公式的像素標(biāo)識(shí)出來(lái)，從而實(shí)現(xiàn)圖像的二值化。具體的實(shí)現(xiàn)方法是處理亮度分量時(shí)，每個(gè)像素?cái)?shù)字化為 8bit（ 256級(jí)亮度），而 Cb、 Cr色差分量則是每四個(gè)像素用一個(gè) 8bit數(shù)據(jù)表示，這樣以來(lái)，將一個(gè)像素用 24bit 表示壓縮為用 12bit表示，對(duì)這種變化人眼是感覺(jué)不到的。而對(duì)于彩色圖像， CrCb 決定了圖像的色調(diào)， 22 )()( CrCb ?代表圖像的飽和度。即 )(1 YBkCb ?? 和)(2 YRkCr ?? ，其中 1k 、 2k 為加權(quán)系數(shù)。一次，我們選擇更能突出顏色特征的色彩空間的 YCrCb彩色空間來(lái)分析人臉膚色和背景色，并為人臉建模。此外，統(tǒng)計(jì)表明，不同的人種，不同環(huán)境下的膚色區(qū)別主要受亮度影響，受色度影響較小。其中，亮度是光作用于人眼時(shí)所引起的明亮程度的感覺(jué)，它與觀察事物的光強(qiáng)度有關(guān)；色度反映顏色的種類(lèi)，是當(dāng)人眼看到一種或多種波長(zhǎng)的光時(shí)所產(chǎn)生的色彩感覺(jué)，它與光 的波長(zhǎng)有關(guān)，是決定顏色的基本特征；飽和度是指顏色的深淺程度，即各種顏色混入白光的程度。設(shè)計(jì)流程如下： 獲 取 視 頻 幀 圖 像轉(zhuǎn) 換 彩 色 空 間二 值 化后 處 理定 位 人 臉 并 檢 測(cè) 出 人 臉 圖 人臉定位和檢測(cè)流程圖 RGB 到 YCrCb 色彩模型的轉(zhuǎn)換 我們從視頻中獲取的幀圖像通常是 RGB模型的圖像，在 RGB空間中顏色是有紅、綠、藍(lán)三種顏色按照不同的比例混合而成，這樣的表達(dá)方式不不能準(zhǔn)確的反映出顏色本身的特征。與此同時(shí)，如何平衡系統(tǒng)的性能提升與算法復(fù)雜度，仍是研究者需要解決的一個(gè)重要課題。另外復(fù)雜背景圖像中的多姿態(tài)人臉的檢測(cè)與跟蹤也是研究的重點(diǎn)之一。人臉檢測(cè)問(wèn)題的內(nèi)涵十分廣泛，由于人臉檢測(cè)與跟蹤問(wèn)題的復(fù)雜特點(diǎn)，實(shí)現(xiàn)通用的人臉檢測(cè)與跟蹤方法還不現(xiàn)實(shí)。 本章小結(jié) 隨著人機(jī)交互技術(shù)日益成為當(dāng)前研究的一個(gè)中心，人臉檢測(cè)與跟蹤問(wèn)題越來(lái)越受到重視，成為模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)熱點(diǎn)。有人提出可以采用選取最優(yōu)重要性密度函數(shù)或通過(guò)重采樣的方法來(lái)解決此問(wèn)題。但在實(shí)際應(yīng)用中，粒子數(shù)目不可能是無(wú)窮大的，所以它是一種次優(yōu)估計(jì)。其代表算法有： STING算法、 CLIQUE算法、 WAVECLUSTER算法。 ②格子基搜索 ]21[ ：這種方法首先將數(shù)據(jù)空間劃分成為有限個(gè)單元的網(wǎng)格結(jié)構(gòu)，計(jì)算都是以單個(gè)的單元為對(duì)象，處理速度只與把數(shù)據(jù)空間分為多少個(gè)單元有關(guān)?？柭鼮V波方法采用線性遞歸濾波的方法，可以用任意一點(diǎn)作為初始化開(kāi)始遞歸，實(shí)時(shí)計(jì)算，預(yù)測(cè)具無(wú)偏、穩(wěn)定和最優(yōu) ]20[ 。 ①卡爾曼濾波：卡爾 曼濾波方法是美國(guó)著名學(xué)者 Kalman和 Bucy在 1960年提出的一種遞推最優(yōu)線性均方誤差估計(jì)方法。通常在貝葉斯濾波理論框架下采用狀態(tài)空間法 (State Space Approach)實(shí)現(xiàn)視覺(jué)跟蹤。 基于貝葉斯濾波的方法實(shí)際上是一種自頂向下的模型驅(qū)動(dòng)的跟蹤方法。這個(gè)后驗(yàn)概率密度函數(shù)包含了所有當(dāng)前的統(tǒng)計(jì)信息。該方法將二維圖像偏移的置信區(qū)域限制在放射體內(nèi)，并將他們傳播到參數(shù)空間，在劣質(zhì)圖像序列中提取信息有很好的魯棒性。 4) 基于可變形模型的人臉跟蹤 Goldenstein 和 Vogler 等人利用可變形模型和預(yù)測(cè)濾波器實(shí)現(xiàn)在劣質(zhì)圖像序列中跟蹤三維人臉。在搜索預(yù)測(cè)區(qū)域時(shí)，對(duì)每一個(gè)候選窗口使用雙眼模板匹配進(jìn)行粗篩選 ，跟蹤時(shí)使用前一幀結(jié)果，進(jìn)一步求解新的監(jiān)視區(qū)域。該算法能夠在自然光照條件下去的較為滿意的結(jié)果，同時(shí)對(duì)人臉在旋轉(zhuǎn)、縮放、遮擋等條件下，多人臉背景下的跟蹤有較強(qiáng)的魯棒性。 2) 基于橢圓模型的人臉跟蹤 由于絕大部分人臉輪廓都近似為橢圓形狀，橢圓模型正是利用這一特征建立模型來(lái)實(shí)現(xiàn)人臉識(shí)別與跟蹤。由于膚色信息對(duì)放大、縮小以及微小變形不敏感，這種方法比較容易在前一幀圖像分析結(jié)果的基礎(chǔ)上跟蹤到下一幀圖像的人臉區(qū)域，具有速度快，姿勢(shì)不變性等特點(diǎn)。 1）基于膚色模型的人臉跟蹤 膚色是人臉最重要而且最明顯的特征，人臉面部膚色特征可以用幾個(gè)簡(jiǎn)單的參數(shù)來(lái)表征， 而且在一定光照條件下基本保持不變。 基于模型的人臉跟蹤 基于模型的人臉跟蹤方法就是獲取目標(biāo)的先驗(yàn)知識(shí)，建立低價(jià)參數(shù)模型，對(duì)輸入的每一幀圖像通過(guò)滑動(dòng)窗口進(jìn)行模板匹配，實(shí)現(xiàn)人臉的識(shí)別與跟蹤。 3）基于器官跟蹤的人臉跟蹤 這種方法利用形態(tài)學(xué)運(yùn)算對(duì)嘴進(jìn)行跟蹤，并在很好的局部旋轉(zhuǎn) 運(yùn)算處理后，簡(jiǎn)單地分析人臉的對(duì)稱性，從而高速準(zhǔn)確地跟蹤人臉。參考文獻(xiàn) ]19[ 給出了一種在首幀中確定搜索特征點(diǎn)，采用改進(jìn)的 KLT算法對(duì)未加標(biāo)識(shí)點(diǎn)的人臉正面視頻圖像進(jìn)行特征點(diǎn)的跟蹤，進(jìn)而求得人臉特征點(diǎn)運(yùn)動(dòng)參數(shù)的方法。接著以前一幀特征點(diǎn)的坐標(biāo)作為這一幀參考點(diǎn)，提取參考點(diǎn)的小波系數(shù)，對(duì)比新舊小波系數(shù)來(lái)估計(jì)特征點(diǎn)的新坐標(biāo)，從而得到特征點(diǎn)在新幀中的位置，實(shí)現(xiàn)跟蹤目的。 Jebara 和 Pentlan 使用自動(dòng)定位來(lái)跟蹤人臉，用運(yùn)動(dòng)技術(shù)對(duì)特征點(diǎn)的三維位置進(jìn)行估計(jì)，并用本征臉的約束方法匹配人臉的幾何特征，來(lái)對(duì)于面部特征點(diǎn)位置估計(jì)。但是特征點(diǎn)會(huì)由于遮擋、光照或者陰影不可見(jiàn)，而導(dǎo)致跟蹤失敗，這是特征點(diǎn)跟蹤方法的缺點(diǎn)。 基于特征檢測(cè)方法的人臉跟蹤 基于人臉局部特征的跟蹤方法主要思想是根據(jù)不同的人臉器官特征信息進(jìn)行器官跟蹤，這類(lèi)方法經(jīng)常利用眼睛、嘴和鼻子等器官特征信息進(jìn)行跟蹤定位。例如在視頻圖像運(yùn)動(dòng)目標(biāo)的提取過(guò)程中運(yùn)用的光流法、背景減除法、時(shí)域差分等方法均可應(yīng)用到人臉跟蹤上。人臉跟蹤處理的較多的是視頻序列，這就要求人臉跟蹤算法需要具有較高的運(yùn)算效率 ]17[ 。它的挑戰(zhàn)性來(lái)自于兩個(gè)方面：一是魯棒性。 人臉跟蹤的方法 人臉跟蹤進(jìn)行動(dòng)態(tài)人臉信息處理的第一個(gè)環(huán)節(jié)，在視頻會(huì)議、可視電話、人工智能交互等方面有著重要的應(yīng)用價(jià)值。 (4)基于 支持向量機(jī)的方法 ]16[ ：支持向量機(jī) (SVM， Support Vector Machines)是 Vapnik等提出的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的統(tǒng)計(jì)學(xué)習(xí)原理，用于分類(lèi)與回歸問(wèn)題。 (2)基于人工神經(jīng)網(wǎng)絡(luò)的方法 ]15,14,13[ ：這是一種重要的機(jī)器學(xué)習(xí)方法，將人臉這類(lèi)復(fù)雜的、難以描述的模式的統(tǒng)計(jì)特性隱含在人工神經(jīng)網(wǎng)絡(luò) (ANN)的結(jié)構(gòu)和參數(shù)之中。它不依賴與人臉的先驗(yàn)知識(shí)和參數(shù)模型，避免不精確或者不完整的知識(shí)造成的誤判，并且采用了實(shí)例學(xué)習(xí)的方法獲取模型參數(shù)，統(tǒng)計(jì)意義上更為可靠，同時(shí)它可以通過(guò)增加學(xué)習(xí)的實(shí)例擴(kuò)充檢測(cè)模型范圍，提高檢測(cè)的魯棒性，因此，基于統(tǒng)計(jì)模型的方法目前比較流行。此類(lèi)方法將人臉區(qū)域看作一 類(lèi)模型，即模板特征，使用大量的人臉與非人臉樣本訓(xùn)練并構(gòu)造分類(lèi)器，通過(guò)判別圖像中所有可能區(qū)域?qū)儆谀念?lèi)模板的方法實(shí)現(xiàn)人臉檢測(cè)。 (2)模板大小人為設(shè)定，不能動(dòng)態(tài)地檢測(cè)眼睛的位置。 基于模板的方法 首先建立一 個(gè)標(biāo)準(zhǔn)人臉模板，由包含局部人臉特征的子模板構(gòu)成，然后對(duì)輸入圖像進(jìn)行全局搜索，通過(guò)預(yù)先設(shè)置的閾值來(lái)判斷該圖像窗口中是否包含人臉 ]11[ 。 (3)人臉區(qū)域驗(yàn)證。這個(gè)檢測(cè)系統(tǒng)分成三個(gè)主要步驟： (1)在原始圖像中采用諸如閉運(yùn)算、或或運(yùn)算等形態(tài)學(xué)操作定位眼睛近似物像素的位置，然后用標(biāo)記過(guò)程產(chǎn)生眼睛近似物分段。但是該方法面臨的主要問(wèn)題是由于圖像噪聲、光照、陰影等原因破壞，弱化的局部特征 ，導(dǎo)致該算法失效。 基于局部特征的方法 人臉存在一些固有的特征，使得人們能夠在不同的環(huán)境、姿態(tài)下也能發(fā)現(xiàn)人臉。他們利用分層的策略來(lái)檢測(cè)人臉，系統(tǒng)共分三層，首先最高一層的規(guī)則描述的是人臉整體應(yīng)該滿足的條件，而下層規(guī)則側(cè)重與人臉的細(xì)節(jié)應(yīng)滿足的條件。于是，可以利用一組描述 人臉的局部特征分布的規(guī)則來(lái)進(jìn)行人臉檢測(cè) (人臉局部特征之間的相對(duì)距離和位置關(guān)系 )，如果圖像滿足這些規(guī)律，則存在人臉區(qū)域。人臉器官的關(guān)系可以總結(jié)為一些規(guī)律。 基于啟發(fā)式模型的人臉檢測(cè)方法進(jìn)一步又可以分為基于知識(shí)和基于局部特征的檢測(cè)策略。 基于啟發(fā)式模型的方法 該方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗(yàn)他們是否符合人 臉的先驗(yàn)知識(shí)，利用較少的特征實(shí)現(xiàn)較高的檢測(cè)速度，實(shí)現(xiàn)實(shí)時(shí)檢測(cè)與跟蹤。首先計(jì)算每一塊膚色區(qū)域中膚色像素的坐標(biāo)均值和協(xié)方差： ??? Ni iXN 11? （ ） TNiTiXiXNC ???? ??11 （ ） N是區(qū)域的膚色像素點(diǎn)總數(shù)， Xi為各像素點(diǎn)坐標(biāo)向量。再根據(jù)選定的閾值得到其二值化圖像。 彩色空間 (RGB)轉(zhuǎn)換到 HSV空間的轉(zhuǎn)換公式參見(jiàn)下式 ]8[ ： 3 BGRI ??? （ ） ??? ??? GB ,360 GB ,0 ??H （ ） ]),m in([1 I BGRS ?? （ ） 其中， })])(()[( )]()[(2/1a rc c os { 2/12 BRGRGR BRGR ???? ?????。在對(duì)色彩信息的利用中，我們提取一類(lèi)物體 (目標(biāo)人臉 )的色彩方面的特性時(shí)，經(jīng)常需要了解其在某一色彩空間的聚類(lèi)特性，而這一聚類(lèi)特性往往體現(xiàn)在色彩的本質(zhì)特性上，而又經(jīng)常受到光照明暗等條件的干擾影響。其中 V表示顏色的亮度， H表示色調(diào)，而 S則表示顏色的飽和度。通過(guò)這個(gè)膚色模型分布可以得到待檢測(cè)彩色圖像中任 意各一個(gè)像素點(diǎn)屬于皮膚的概率，對(duì)于某像素點(diǎn) s，從 RGB 空間轉(zhuǎn)換到 YCbCr色彩空間得到色度值 (Cb,Cr)，則該像素的膚色概率密度可由下式計(jì)算得到： )]()( x p [),( 1 mxCmxCrCbp T ???? ? （ ） 式中， TCrCbx ),(? 。在去除亮度的色度空間里，不同膚色的分布具有據(jù)聚類(lèi)性。膚色模型是人臉?lè)浅Ｖ匾囊粋€(gè)特性。 YCbCr(YUV)格式 這種色彩空間是以演播室質(zhì)量標(biāo)準(zhǔn)為目標(biāo)的 CCIR601編碼方案中采用的彩色模型，被廣泛的應(yīng)用在電視的色彩顯示等領(lǐng)域中。因此利用 R、 Q、 B三基色這三個(gè)分量來(lái)表征顏色是很自然的一種格式。主要的色彩空間有以下幾種。根據(jù)計(jì)算機(jī)理論，對(duì)一種顏色而言，在計(jì)算機(jī)中有不同的表達(dá)方式，這樣就形成了不同的色彩空間。 基于膚色的檢測(cè)方法 膚 色方法是最通常的的方法之一，也是最容易理解的。一般都是用膚色檢測(cè)加快人臉檢測(cè)的速度。對(duì)于灰度圖像，目前存在的方法主要有：基于整體外貌(Appearancebased)的方法、基于特征 (Featurebased)的方法和基于模板 (Templatebased)的方法。人臉模式具有復(fù)雜而細(xì)致的變化，所包含的模式特征也十分豐富 (如圖 )，實(shí)際應(yīng)用中往往無(wú)法找到一個(gè)通用的算法，因此一般需要采用多種模式特征綜合的方法。 第 5章總結(jié) 第 6章參考文獻(xiàn) 第 2 章 人臉檢測(cè)和跟蹤的主要方法 人臉檢測(cè)的方法 人臉檢測(cè)與跟蹤問(wèn)題所涉及的內(nèi)容十分廣泛，從不同的角度可以有很多分類(lèi)的方法。本章主要介紹了基于膚色人臉檢測(cè)的具體方法，并對(duì)視頻幀中單張圖片單人臉進(jìn)行檢測(cè)和定位。人臉跟蹤的方法主要有基于特征檢測(cè)的方法、基于模型的方法和基于貝葉斯濾波的方法等。 第 2章主要分析了人臉檢測(cè)與跟蹤的主要方法。在基本的人臉跟蹤的方法上，主要研究了基于膚色的人臉檢測(cè)方法檢測(cè)視頻圖像中的人臉以及通過(guò)背景差分法對(duì)視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人臉檢測(cè)）相結(jié)合對(duì)視頻中運(yùn)動(dòng)目標(biāo)的人臉進(jìn)行檢測(cè)與跟蹤。在人臉檢測(cè)方面文章主要討論了基于膚色的檢測(cè)方法、基于啟發(fā)式模型的 方法和基于統(tǒng)計(jì)模型的方法等幾種主要方法，并利用膚色在 YCrCb 空間的聚類(lèi)特性來(lái)檢測(cè)人臉，同時(shí)為了去除亮度對(duì)膚色的影響，增強(qiáng)檢測(cè)的可靠性，采用了亮度補(bǔ)償。另外復(fù)雜背景圖像中的多姿態(tài)人臉的檢測(cè)與跟蹤也是研究的重點(diǎn)之一。 主要研究?jī)?nèi)容及章節(jié)安排 人臉檢測(cè)與跟蹤問(wèn)題的內(nèi)涵十分廣泛，由于人臉模式的復(fù)雜性，實(shí)現(xiàn)通用的人臉檢測(cè)與跟蹤方法還不現(xiàn)實(shí)。 (3)實(shí)時(shí)性。 (2)準(zhǔn)確性。一般來(lái)說(shuō)，人臉跟蹤算法主要實(shí)現(xiàn)的目標(biāo)為 ]13[ ： (1)魯棒性。在實(shí)際應(yīng)用中，人臉檢測(cè)所面臨的主要難點(diǎn)可以歸結(jié)為 ]12[ ： (1)數(shù)學(xué)模型不能精確描述人臉； (2)人臉受到光照、陰影、距離的影響； (3)特定的復(fù)雜背景對(duì)檢測(cè)率有很大影響； (4)人臉在運(yùn)動(dòng)中的非剛性，角度、 偏轉(zhuǎn)、遮擋等使人臉特征缺失。