【正文】 ,2021. [22]徐林忠 .基于粒子濾波和卡爾曼濾波的復(fù)雜場景下視覺跟蹤 [D].浙江 ,浙江大學(xué) ,2021. [23]馮冬青 ， 丁鍇 .視頻中基于膚色 模型的人臉檢測 .計算機(jī)應(yīng)用與軟件 [國家自然科學(xué)基金項目(60774059） ]， 2021. 。 我們主要研究了基于膚色的人臉檢測方法檢測視頻圖像中的人臉以及通過背景差分法對視頻中運(yùn)動目標(biāo)的檢測與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人臉檢測）相結(jié)合對視頻中運(yùn)動目標(biāo)的人臉進(jìn)行檢測與跟蹤。本文學(xué)習(xí)了前人在人臉檢測與跟蹤的主要方法，給出了基于膚色人臉檢測與人臉的眼部特征（啟發(fā)式特征人臉檢測）相結(jié)合對視頻中運(yùn)動目標(biāo)的人臉進(jìn)行檢測與跟蹤的方法。這是可以改進(jìn)的地方。對眼部的檢測使用算法為 : )/(311 22 CrCbCrCbF e c ??? （ ） 1),( ),( ???? yxgY yxgYFecl （ ） 2 A N D 1 FecFecFec ? （ ） Cr 為 Cr 的負(fù) (如 255Cr)， ? 是形態(tài)學(xué)中的膨脹運(yùn)算， ? 是腐蝕運(yùn)算， g 的定義g: )9(2 RRG ?? ， AND為與運(yùn)算。 ? ?? ?? Ti Ti ii pip0 00 /? （ ） ? ???? ???? 11 111 /LTi LTi ii pip? （ ） 類間方差定義為 : 2112021 )()( TT ww ????? ???? （ ） 其中 10ww 表示 C0C1 在圖中出現(xiàn)的概率， T? 表示整幅圖的灰度均值，然后令 T 在 L 個灰度內(nèi)依次取值，使 2? 最大者為最終閾值。自動閾值通常有 Otsu 法，迭代式閾值選擇法和最小誤差閾值選擇法。 Y是指亮度分量， Cb是藍(lán)色色度分量， Cr是紅色色度分量。本文中鑒于 要達(dá)到實(shí)時性的目的，簡化地將各個像素 R、 G、 B三分量的和擴(kuò)展到最高的 255，進(jìn)行光補(bǔ)償。在 YCbCr空間中，眼特征可以用本文算法提取出來。 RGB 是最常見的彩色模型，然而， RGB空間更適合于顯示系統(tǒng)。此時對每一幀的處理實(shí)際上是對一個靜態(tài)圖像的運(yùn)算。一種簡單的獲取背景圖像的方法是當(dāng)場景中無任何目標(biāo)出現(xiàn)時捕捉背景圖像，但是這種方法有很多局限性。 另一個是人臉膚色建模和閾值化的過程中，針對不同背景圖像，分割的效果也可能不理想，這也在一定程度上影響了檢測定位的精度，所以為了能更準(zhǔn)確的分割出人臉區(qū)域，我們可以從人臉的其他特征入手，從而減少閾值分割的非最佳性，并且我們可以在色彩轉(zhuǎn)換之前進(jìn)行光補(bǔ)償來改善顏色的聚類性。 但是這個程序僅僅對單張圖片中的單一人臉具有很好的檢測效果，這就使得程序具有很大的局限性。 IplImage* Threshold(IplImage* pFrame)。一旦得到人臉在單幀圖像中的位置坐標(biāo)后，就可以在原來的、以 RGB彩色空間表示的單 幀圖像中，把滿足這個（由（ x1,y1），（ x2,y1），（ x1,y2），（ x2,y2）這四個坐標(biāo)所確定下來的）矩形邊線給描敘出來。根據(jù)圖像的存儲原理，首先依次從下往上進(jìn)行掃描，出現(xiàn)白色像素的 第一行就是人臉的下邊界，記該行為 y1。由于環(huán)境的復(fù)雜性，在圖像中存在與人臉膚色模型相近像素。用淺膚色類來判斷白種人，用中等膚色類來判斷黃種人，用深膚色類來判斷印第安人。 為了尋找適合的人臉膚色模型，我們首先依照所介紹的人 臉膚色模型進(jìn)行實(shí)驗。 要通過“ 閾值處理”的方法實(shí)現(xiàn)對單幀人臉圖像的二值化，必須先解決的問題是確定適合的人臉膚色模型。具體的實(shí)現(xiàn)方法是處理亮度分量時，每個像素數(shù)字化為 8bit（ 256級亮度），而 Cb、 Cr色差分量則是每四個像素用一個 8bit數(shù)據(jù)表示，這樣以來，將一個像素用 24bit 表示壓縮為用 12bit表示，對這種變化人眼是感覺不到的。即 )(1 YBkCb ?? 和)(2 YRkCr ?? ，其中 1k 、 2k 為加權(quán)系數(shù)。此外，統(tǒng)計表明，不同的人種，不同環(huán)境下的膚色區(qū)別主要受亮度影響，受色度影響較小。設(shè)計流程如下： 獲 取 視 頻 幀 圖 像轉(zhuǎn) 換 彩 色 空 間二 值 化后 處 理定 位 人 臉 并 檢 測 出 人 臉 圖 人臉定位和檢測流程圖 RGB 到 YCrCb 色彩模型的轉(zhuǎn)換 我們從視頻中獲取的幀圖像通常是 RGB模型的圖像，在 RGB空間中顏色是有紅、綠、藍(lán)三種顏色按照不同的比例混合而成，這樣的表達(dá)方式不不能準(zhǔn)確的反映出顏色本身的特征。另外復(fù)雜背景圖像中的多姿態(tài)人臉的檢測與跟蹤也是研究的重點(diǎn)之一。 本章小結(jié) 隨著人機(jī)交互技術(shù)日益成為當(dāng)前研究的一個中心，人臉檢測與跟蹤問題越來越受到重視，成為模式識別與計算機(jī)視覺領(lǐng)域的一個熱點(diǎn)。但在實(shí)際應(yīng)用中，粒子數(shù)目不可能是無窮大的，所以它是一種次優(yōu)估計。 ②格子基搜索 ]21[ ：這種方法首先將數(shù)據(jù)空間劃分成為有限個單元的網(wǎng)格結(jié)構(gòu)，計算都是以單個的單元為對象，處理速度只與把數(shù)據(jù)空間分為多少個單元有關(guān)。 ①卡爾曼濾波：卡爾 曼濾波方法是美國著名學(xué)者 Kalman和 Bucy在 1960年提出的一種遞推最優(yōu)線性均方誤差估計方法。 基于貝葉斯濾波的方法實(shí)際上是一種自頂向下的模型驅(qū)動的跟蹤方法。該方法將二維圖像偏移的置信區(qū)域限制在放射體內(nèi)，并將他們傳播到參數(shù)空間，在劣質(zhì)圖像序列中提取信息有很好的魯棒性。在搜索預(yù)測區(qū)域時，對每一個候選窗口使用雙眼模板匹配進(jìn)行粗篩選 ，跟蹤時使用前一幀結(jié)果，進(jìn)一步求解新的監(jiān)視區(qū)域。 2) 基于橢圓模型的人臉跟蹤 由于絕大部分人臉輪廓都近似為橢圓形狀，橢圓模型正是利用這一特征建立模型來實(shí)現(xiàn)人臉識別與跟蹤。 1）基于膚色模型的人臉跟蹤 膚色是人臉最重要而且最明顯的特征，人臉面部膚色特征可以用幾個簡單的參數(shù)來表征， 而且在一定光照條件下基本保持不變。 3）基于器官跟蹤的人臉跟蹤 這種方法利用形態(tài)學(xué)運(yùn)算對嘴進(jìn)行跟蹤，并在很好的局部旋轉(zhuǎn) 運(yùn)算處理后，簡單地分析人臉的對稱性，從而高速準(zhǔn)確地跟蹤人臉。接著以前一幀特征點(diǎn)的坐標(biāo)作為這一幀參考點(diǎn)，提取參考點(diǎn)的小波系數(shù)，對比新舊小波系數(shù)來估計特征點(diǎn)的新坐標(biāo)，從而得到特征點(diǎn)在新幀中的位置，實(shí)現(xiàn)跟蹤目的。但是特征點(diǎn)會由于遮擋、光照或者陰影不可見，而導(dǎo)致跟蹤失敗，這是特征點(diǎn)跟蹤方法的缺點(diǎn)。例如在視頻圖像運(yùn)動目標(biāo)的提取過程中運(yùn)用的光流法、背景減除法、時域差分等方法均可應(yīng)用到人臉跟蹤上。它的挑戰(zhàn)性來自于兩個方面：一是魯棒性。 (4)基于 支持向量機(jī)的方法 ]16[ ：支持向量機(jī) (SVM， Support Vector Machines)是 Vapnik等提出的基于結(jié)構(gòu)風(fēng)險最小化原理的統(tǒng)計學(xué)習(xí)原理，用于分類與回歸問題。它不依賴與人臉的先驗知識和參數(shù)模型，避免不精確或者不完整的知識造成的誤判，并且采用了實(shí)例學(xué)習(xí)的方法獲取模型參數(shù)，統(tǒng)計意義上更為可靠，同時它可以通過增加學(xué)習(xí)的實(shí)例擴(kuò)充檢測模型范圍，提高檢測的魯棒性，因此，基于統(tǒng)計模型的方法目前比較流行。 (2)模板大小人為設(shè)定，不能動態(tài)地檢測眼睛的位置。 (3)人臉區(qū)域驗證。但是該方法面臨的主要問題是由于圖像噪聲、光照、陰影等原因破壞，弱化的局部特征 ，導(dǎo)致該算法失效。他們利用分層的策略來檢測人臉，系統(tǒng)共分三層，首先最高一層的規(guī)則描述的是人臉整體應(yīng)該滿足的條件，而下層規(guī)則側(cè)重與人臉的細(xì)節(jié)應(yīng)滿足的條件。人臉器官的關(guān)系可以總結(jié)為一些規(guī)律。 基于啟發(fā)式模型的方法 該方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗他們是否符合人 臉的先驗知識，利用較少的特征實(shí)現(xiàn)較高的檢測速度，實(shí)現(xiàn)實(shí)時檢測與跟蹤。再根據(jù)選定的閾值得到其二值化圖像。在對色彩信息的利用中，我們提取一類物體 (目標(biāo)人臉 )的色彩方面的特性時，經(jīng)常需要了解其在某一色彩空間的聚類特性，而這一聚類特性往往體現(xiàn)在色彩的本質(zhì)特性上，而又經(jīng)常受到光照明暗等條件的干擾影響。通過這個膚色模型分布可以得到待檢測彩色圖像中任 意各一個像素點(diǎn)屬于皮膚的概率，對于某像素點(diǎn) s，從 RGB 空間轉(zhuǎn)換到 YCbCr色彩空間得到色度值 (Cb,Cr)，則該像素的膚色概率密度可由下式計算得到： )]()( x p [),( 1 mxCmxCrCbp T ???? ? （ ） 式中， TCrCbx ),(? 。膚色模型是人臉非常重要的一個特性。因此利用 R、 Q、 B三基色這三個分量來表征顏色是很自然的一種格式。根據(jù)計算機(jī)理論，對一種顏色而言，在計算機(jī)中有不同的表達(dá)方式，這樣就形成了不同的色彩空間。一般都是用膚色檢測加快人臉檢測的速度。人臉模式具有復(fù)雜而細(xì)致的變化，所包含的模式特征也十分豐富 (如圖 )，實(shí)際應(yīng)用中往往無法找到一個通用的算法，因此一般需要采用多種模式特征綜合的方法。本章主要介紹了基于膚色人臉檢測的具體方法，并對視頻幀中單張圖片單人臉進(jìn)行檢測和定位。 第 2章主要分析了人臉檢測與跟蹤的主要方法。在人臉檢測方面文章主要討論了基于膚色的檢測方法、基于啟發(fā)式模型的 方法和基于統(tǒng)計模型的方法等幾種主要方法，并利用膚色在 YCrCb 空間的聚類特性來檢測人臉，同時為了去除亮度對膚色的影響，增強(qiáng)檢測的可靠性，采用了亮度補(bǔ)償。 主要研究內(nèi)容及章節(jié)安排 人臉檢測與跟蹤問題的內(nèi)涵十分廣泛，由于人臉模式的復(fù)雜性，實(shí)現(xiàn)通用的人臉檢測與跟蹤方法還不現(xiàn)實(shí)。 (2)準(zhǔn)確性。在實(shí)際應(yīng)用中，人臉檢測所面臨的主要難點(diǎn)可以歸結(jié)為 ]12[ ： (1)數(shù)學(xué)模型不能精確描述人臉； (2)人臉受到光照、陰影、距離的影響； (3)特定的復(fù)雜背景對檢測率有很大影響； (4)人臉在運(yùn)動中的非剛性，角度、 偏轉(zhuǎn)、遮擋等使人臉特征缺失。此外， MPEG7 標(biāo)準(zhǔn)組織建立了人臉識別草案小組，人臉檢測算法也是一項征集的內(nèi)容，隨著研究的不斷深入，國際上一些權(quán)威期刊，如IJCV(International Journal of Computer Vision)、 CVIU(Computer Vision and Image Understanding)、 PAMI(IEEE Transonic Pattern Analysis and Machine Intelligence)及重要學(xué)術(shù)會議，例如 ICCV(International Conference on Computer Vision)、 CVPR(IEEE Computer Society Conference on Computer Vision and Pattern Recognition) 、ECCV(European Conference on Computer Vision)、 IWVS(IEEE International Workshop on Visual Surveillance)每年都有大量關(guān)于人臉檢測與人臉跟蹤的論文，極大地促進(jìn)了研究學(xué)者的學(xué)術(shù)交流。 目前簡單背景、人臉偏轉(zhuǎn)角度不大的正面人臉檢測算法已經(jīng)比較成熟，有較高的檢測效率和速度，但對于人臉偏轉(zhuǎn)角度較大、嚴(yán)重遮擋的情況下，算法魯棒性一般。 在早期的人臉識別問題的研究中，人臉圖像往往具有很強(qiáng)的約束條件 (如無背景圖像 )，因此使人臉檢測問題并未受到很好的重視。并不去刻意模擬人類視覺系統(tǒng)內(nèi)部結(jié)構(gòu)，而僅僅考慮系統(tǒng)的輸入和輸出，并采用任何現(xiàn)有的可行的手段實(shí)現(xiàn)系統(tǒng)功能。它的目的是用計算機(jī)實(shí)現(xiàn)人的視覺功能 —— 對客觀世界的三維場景進(jìn)行感知、理解和解釋 ]1[ 。 skin module。通過建立膚色模型，經(jīng)自適應(yīng)閾值的二值化處理后，再進(jìn)行膚色分割，將非人臉區(qū)域去除；最終利用眼睛特征定位人臉。人臉檢測定位跟蹤的方法有很多，為了實(shí)現(xiàn)視頻中彩色圖像人臉的精確定位，本文采用了一種基于膚色模型、膚色分割處理的人臉定位算法。 Technology, Southwest Jiaotong University, Chengdu, 610031, China） Abstract Face detection positioning and tracking as a biological feature recognition is an important technique, it is widely used in many aspects. In this article, in order to localize the human face in color images captured from the video accurately, a human face localization algorit