【正文】 ,2021. [22]徐林忠 .基于粒子濾波和卡爾曼濾波的復(fù)雜場(chǎng)景下視覺(jué)跟蹤 [D].浙江 ,浙江大學(xué) ,2021. [23]馮冬青 ， 丁鍇 .視頻中基于膚色 模型的人臉檢測(cè) .計(jì)算機(jī)應(yīng)用與軟件 [國(guó)家自然科學(xué)基金項(xiàng)目(60774059） ]， 2021. 。 我們主要研究了基于膚色的人臉檢測(cè)方法檢測(cè)視頻圖像中的人臉以及通過(guò)背景差分法對(duì)視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人臉檢測(cè)）相結(jié)合對(duì)視頻中運(yùn)動(dòng)目標(biāo)的人臉進(jìn)行檢測(cè)與跟蹤。本文學(xué)習(xí)了前人在人臉檢測(cè)與跟蹤的主要方法，給出了基于膚色人臉檢測(cè)與人臉的眼部特征（啟發(fā)式特征人臉檢測(cè)）相結(jié)合對(duì)視頻中運(yùn)動(dòng)目標(biāo)的人臉進(jìn)行檢測(cè)與跟蹤的方法。這是可以改進(jìn)的地方。對(duì)眼部的檢測(cè)使用算法為 : )/(311 22 CrCbCrCbF e c ??? （ ） 1),( ),( ???? yxgY yxgYFecl （ ） 2 A N D 1 FecFecFec ? （ ） Cr 為 Cr 的負(fù) (如 255Cr)， ? 是形態(tài)學(xué)中的膨脹運(yùn)算， ? 是腐蝕運(yùn)算， g 的定義g: )9(2 RRG ?? ， AND為與運(yùn)算。 ? ?? ?? Ti Ti ii pip0 00 /? （ ） ? ???? ???? 11 111 /LTi LTi ii pip? （ ） 類間方差定義為 : 2112021 )()( TT ww ????? ???? （ ） 其中 10ww 表示 C0C1 在圖中出現(xiàn)的概率， T? 表示整幅圖的灰度均值，然后令 T 在 L 個(gè)灰度內(nèi)依次取值，使 2? 最大者為最終閾值。自動(dòng)閾值通常有 Otsu 法，迭代式閾值選擇法和最小誤差閾值選擇法。 Y是指亮度分量， Cb是藍(lán)色色度分量， Cr是紅色色度分量。本文中鑒于 要達(dá)到實(shí)時(shí)性的目的，簡(jiǎn)化地將各個(gè)像素 R、 G、 B三分量的和擴(kuò)展到最高的 255，進(jìn)行光補(bǔ)償。在 YCbCr空間中，眼特征可以用本文算法提取出來(lái)。 RGB 是最常見(jiàn)的彩色模型，然而， RGB空間更適合于顯示系統(tǒng)。此時(shí)對(duì)每一幀的處理實(shí)際上是對(duì)一個(gè)靜態(tài)圖像的運(yùn)算。一種簡(jiǎn)單的獲取背景圖像的方法是當(dāng)場(chǎng)景中無(wú)任何目標(biāo)出現(xiàn)時(shí)捕捉背景圖像，但是這種方法有很多局限性。 另一個(gè)是人臉膚色建模和閾值化的過(guò)程中，針對(duì)不同背景圖像，分割的效果也可能不理想，這也在一定程度上影響了檢測(cè)定位的精度，所以為了能更準(zhǔn)確的分割出人臉區(qū)域，我們可以從人臉的其他特征入手，從而減少閾值分割的非最佳性，并且我們可以在色彩轉(zhuǎn)換之前進(jìn)行光補(bǔ)償來(lái)改善顏色的聚類性。 但是這個(gè)程序僅僅對(duì)單張圖片中的單一人臉具有很好的檢測(cè)效果，這就使得程序具有很大的局限性。 IplImage* Threshold(IplImage* pFrame)。一旦得到人臉在單幀圖像中的位置坐標(biāo)后，就可以在原來(lái)的、以 RGB彩色空間表示的單 幀圖像中，把滿足這個(gè)（由（ x1,y1），（ x2,y1），（ x1,y2），（ x2,y2）這四個(gè)坐標(biāo)所確定下來(lái)的）矩形邊線給描敘出來(lái)。根據(jù)圖像的存儲(chǔ)原理，首先依次從下往上進(jìn)行掃描，出現(xiàn)白色像素的 第一行就是人臉的下邊界，記該行為 y1。由于環(huán)境的復(fù)雜性，在圖像中存在與人臉膚色模型相近像素。用淺膚色類來(lái)判斷白種人，用中等膚色類來(lái)判斷黃種人，用深膚色類來(lái)判斷印第安人。 為了尋找適合的人臉膚色模型，我們首先依照所介紹的人 臉膚色模型進(jìn)行實(shí)驗(yàn)。 要通過(guò)“ 閾值處理”的方法實(shí)現(xiàn)對(duì)單幀人臉圖像的二值化，必須先解決的問(wèn)題是確定適合的人臉膚色模型。具體的實(shí)現(xiàn)方法是處理亮度分量時(shí)，每個(gè)像素?cái)?shù)字化為 8bit（ 256級(jí)亮度），而 Cb、 Cr色差分量則是每四個(gè)像素用一個(gè) 8bit數(shù)據(jù)表示，這樣以來(lái)，將一個(gè)像素用 24bit 表示壓縮為用 12bit表示，對(duì)這種變化人眼是感覺(jué)不到的。即 )(1 YBkCb ?? 和)(2 YRkCr ?? ，其中 1k 、 2k 為加權(quán)系數(shù)。此外，統(tǒng)計(jì)表明，不同的人種，不同環(huán)境下的膚色區(qū)別主要受亮度影響，受色度影響較小。設(shè)計(jì)流程如下： 獲 取 視 頻 幀 圖 像轉(zhuǎn) 換 彩 色 空 間二 值 化后 處 理定 位 人 臉 并 檢 測(cè) 出 人 臉 圖 人臉定位和檢測(cè)流程圖 RGB 到 YCrCb 色彩模型的轉(zhuǎn)換 我們從視頻中獲取的幀圖像通常是 RGB模型的圖像，在 RGB空間中顏色是有紅、綠、藍(lán)三種顏色按照不同的比例混合而成，這樣的表達(dá)方式不不能準(zhǔn)確的反映出顏色本身的特征。另外復(fù)雜背景圖像中的多姿態(tài)人臉的檢測(cè)與跟蹤也是研究的重點(diǎn)之一。 本章小結(jié) 隨著人機(jī)交互技術(shù)日益成為當(dāng)前研究的一個(gè)中心，人臉檢測(cè)與跟蹤問(wèn)題越來(lái)越受到重視，成為模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)熱點(diǎn)。但在實(shí)際應(yīng)用中，粒子數(shù)目不可能是無(wú)窮大的，所以它是一種次優(yōu)估計(jì)。 ②格子基搜索 ]21[ ：這種方法首先將數(shù)據(jù)空間劃分成為有限個(gè)單元的網(wǎng)格結(jié)構(gòu)，計(jì)算都是以單個(gè)的單元為對(duì)象，處理速度只與把數(shù)據(jù)空間分為多少個(gè)單元有關(guān)。 ①卡爾曼濾波：卡爾 曼濾波方法是美國(guó)著名學(xué)者 Kalman和 Bucy在 1960年提出的一種遞推最優(yōu)線性均方誤差估計(jì)方法。 基于貝葉斯濾波的方法實(shí)際上是一種自頂向下的模型驅(qū)動(dòng)的跟蹤方法。該方法將二維圖像偏移的置信區(qū)域限制在放射體內(nèi)，并將他們傳播到參數(shù)空間，在劣質(zhì)圖像序列中提取信息有很好的魯棒性。在搜索預(yù)測(cè)區(qū)域時(shí)，對(duì)每一個(gè)候選窗口使用雙眼模板匹配進(jìn)行粗篩選 ，跟蹤時(shí)使用前一幀結(jié)果，進(jìn)一步求解新的監(jiān)視區(qū)域。 2) 基于橢圓模型的人臉跟蹤 由于絕大部分人臉輪廓都近似為橢圓形狀，橢圓模型正是利用這一特征建立模型來(lái)實(shí)現(xiàn)人臉識(shí)別與跟蹤。 1）基于膚色模型的人臉跟蹤 膚色是人臉最重要而且最明顯的特征，人臉面部膚色特征可以用幾個(gè)簡(jiǎn)單的參數(shù)來(lái)表征， 而且在一定光照條件下基本保持不變。 3）基于器官跟蹤的人臉跟蹤 這種方法利用形態(tài)學(xué)運(yùn)算對(duì)嘴進(jìn)行跟蹤，并在很好的局部旋轉(zhuǎn) 運(yùn)算處理后，簡(jiǎn)單地分析人臉的對(duì)稱性，從而高速準(zhǔn)確地跟蹤人臉。接著以前一幀特征點(diǎn)的坐標(biāo)作為這一幀參考點(diǎn)，提取參考點(diǎn)的小波系數(shù)，對(duì)比新舊小波系數(shù)來(lái)估計(jì)特征點(diǎn)的新坐標(biāo)，從而得到特征點(diǎn)在新幀中的位置，實(shí)現(xiàn)跟蹤目的。但是特征點(diǎn)會(huì)由于遮擋、光照或者陰影不可見(jiàn)，而導(dǎo)致跟蹤失敗，這是特征點(diǎn)跟蹤方法的缺點(diǎn)。例如在視頻圖像運(yùn)動(dòng)目標(biāo)的提取過(guò)程中運(yùn)用的光流法、背景減除法、時(shí)域差分等方法均可應(yīng)用到人臉跟蹤上。它的挑戰(zhàn)性來(lái)自于兩個(gè)方面：一是魯棒性。 (4)基于 支持向量機(jī)的方法 ]16[ ：支持向量機(jī) (SVM， Support Vector Machines)是 Vapnik等提出的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的統(tǒng)計(jì)學(xué)習(xí)原理，用于分類與回歸問(wèn)題。它不依賴與人臉的先驗(yàn)知識(shí)和參數(shù)模型，避免不精確或者不完整的知識(shí)造成的誤判，并且采用了實(shí)例學(xué)習(xí)的方法獲取模型參數(shù)，統(tǒng)計(jì)意義上更為可靠，同時(shí)它可以通過(guò)增加學(xué)習(xí)的實(shí)例擴(kuò)充檢測(cè)模型范圍，提高檢測(cè)的魯棒性，因此，基于統(tǒng)計(jì)模型的方法目前比較流行。 (2)模板大小人為設(shè)定，不能動(dòng)態(tài)地檢測(cè)眼睛的位置。 (3)人臉區(qū)域驗(yàn)證。但是該方法面臨的主要問(wèn)題是由于圖像噪聲、光照、陰影等原因破壞，弱化的局部特征 ，導(dǎo)致該算法失效。他們利用分層的策略來(lái)檢測(cè)人臉，系統(tǒng)共分三層，首先最高一層的規(guī)則描述的是人臉整體應(yīng)該滿足的條件，而下層規(guī)則側(cè)重與人臉的細(xì)節(jié)應(yīng)滿足的條件。人臉器官的關(guān)系可以總結(jié)為一些規(guī)律。 基于啟發(fā)式模型的方法 該方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗(yàn)他們是否符合人 臉的先驗(yàn)知識(shí)，利用較少的特征實(shí)現(xiàn)較高的檢測(cè)速度，實(shí)現(xiàn)實(shí)時(shí)檢測(cè)與跟蹤。再根據(jù)選定的閾值得到其二值化圖像。在對(duì)色彩信息的利用中，我們提取一類物體 (目標(biāo)人臉 )的色彩方面的特性時(shí)，經(jīng)常需要了解其在某一色彩空間的聚類特性，而這一聚類特性往往體現(xiàn)在色彩的本質(zhì)特性上，而又經(jīng)常受到光照明暗等條件的干擾影響。通過(guò)這個(gè)膚色模型分布可以得到待檢測(cè)彩色圖像中任 意各一個(gè)像素點(diǎn)屬于皮膚的概率，對(duì)于某像素點(diǎn) s，從 RGB 空間轉(zhuǎn)換到 YCbCr色彩空間得到色度值 (Cb,Cr)，則該像素的膚色概率密度可由下式計(jì)算得到： )]()( x p [),( 1 mxCmxCrCbp T ???? ? （ ） 式中， TCrCbx ),(? 。膚色模型是人臉?lè)浅Ｖ匾囊粋€(gè)特性。因此利用 R、 Q、 B三基色這三個(gè)分量來(lái)表征顏色是很自然的一種格式。根據(jù)計(jì)算機(jī)理論，對(duì)一種顏色而言，在計(jì)算機(jī)中有不同的表達(dá)方式，這樣就形成了不同的色彩空間。一般都是用膚色檢測(cè)加快人臉檢測(cè)的速度。人臉模式具有復(fù)雜而細(xì)致的變化，所包含的模式特征也十分豐富 (如圖 )，實(shí)際應(yīng)用中往往無(wú)法找到一個(gè)通用的算法，因此一般需要采用多種模式特征綜合的方法。本章主要介紹了基于膚色人臉檢測(cè)的具體方法，并對(duì)視頻幀中單張圖片單人臉進(jìn)行檢測(cè)和定位。 第 2章主要分析了人臉檢測(cè)與跟蹤的主要方法。在人臉檢測(cè)方面文章主要討論了基于膚色的檢測(cè)方法、基于啟發(fā)式模型的 方法和基于統(tǒng)計(jì)模型的方法等幾種主要方法，并利用膚色在 YCrCb 空間的聚類特性來(lái)檢測(cè)人臉，同時(shí)為了去除亮度對(duì)膚色的影響，增強(qiáng)檢測(cè)的可靠性，采用了亮度補(bǔ)償。 主要研究?jī)?nèi)容及章節(jié)安排 人臉檢測(cè)與跟蹤問(wèn)題的內(nèi)涵十分廣泛，由于人臉模式的復(fù)雜性，實(shí)現(xiàn)通用的人臉檢測(cè)與跟蹤方法還不現(xiàn)實(shí)。 (2)準(zhǔn)確性。在實(shí)際應(yīng)用中，人臉檢測(cè)所面臨的主要難點(diǎn)可以歸結(jié)為 ]12[ ： (1)數(shù)學(xué)模型不能精確描述人臉； (2)人臉受到光照、陰影、距離的影響； (3)特定的復(fù)雜背景對(duì)檢測(cè)率有很大影響； (4)人臉在運(yùn)動(dòng)中的非剛性，角度、 偏轉(zhuǎn)、遮擋等使人臉特征缺失。此外， MPEG7 標(biāo)準(zhǔn)組織建立了人臉識(shí)別草案小組，人臉檢測(cè)算法也是一項(xiàng)征集的內(nèi)容，隨著研究的不斷深入，國(guó)際上一些權(quán)威期刊，如IJCV(International Journal of Computer Vision)、 CVIU(Computer Vision and Image Understanding)、 PAMI(IEEE Transonic Pattern Analysis and Machine Intelligence)及重要學(xué)術(shù)會(huì)議，例如 ICCV(International Conference on Computer Vision)、 CVPR(IEEE Computer Society Conference on Computer Vision and Pattern Recognition) 、ECCV(European Conference on Computer Vision)、 IWVS(IEEE International Workshop on Visual Surveillance)每年都有大量關(guān)于人臉檢測(cè)與人臉跟蹤的論文，極大地促進(jìn)了研究學(xué)者的學(xué)術(shù)交流。 目前簡(jiǎn)單背景、人臉偏轉(zhuǎn)角度不大的正面人臉檢測(cè)算法已經(jīng)比較成熟，有較高的檢測(cè)效率和速度，但對(duì)于人臉偏轉(zhuǎn)角度較大、嚴(yán)重遮擋的情況下，算法魯棒性一般。 在早期的人臉識(shí)別問(wèn)題的研究中，人臉圖像往往具有很強(qiáng)的約束條件 (如無(wú)背景圖像 )，因此使人臉檢測(cè)問(wèn)題并未受到很好的重視。并不去刻意模擬人類視覺(jué)系統(tǒng)內(nèi)部結(jié)構(gòu)，而僅僅考慮系統(tǒng)的輸入和輸出，并采用任何現(xiàn)有的可行的手段實(shí)現(xiàn)系統(tǒng)功能。它的目的是用計(jì)算機(jī)實(shí)現(xiàn)人的視覺(jué)功能 —— 對(duì)客觀世界的三維場(chǎng)景進(jìn)行感知、理解和解釋 ]1[ 。 skin module。通過(guò)建立膚色模型，經(jīng)自適應(yīng)閾值的二值化處理后，再進(jìn)行膚色分割，將非人臉區(qū)域去除；最終利用眼睛特征定位人臉。人臉檢測(cè)定位跟蹤的方法有很多，為了實(shí)現(xiàn)視頻中彩色圖像人臉的精確定位，本文采用了一種基于膚色模型、膚色分割處理的人臉定位算法。 Technology, Southwest Jiaotong University, Chengdu, 610031, China） Abstract Face detection positioning and tracking as a biological feature recognition is an important technique, it is widely used in many aspects. In this article, in order to localize the human face in color images captured from the video accurately, a human face localization algorit