【文章內(nèi)容簡介】 影響。首先考慮對樣本圖像進行照度梯度修正（illumination gradient correction），即用圖像的灰度值擬合出一個校正平面，然后減去這個平面。假設待處理的圖像中包含N個像素，灰度為，需要擬合的平面為，此平面應該使與z間的均方誤差最小，即 （）式（）可以用最小二乘法求解。求得平面后，將圖像中的各個像素與其上相應位置的z值相減，即 （）照度梯度修正消除了圖像的一階變化量，能很大程度上減弱臉部的陰影，但該方法并不能完全消除臉部的陰影。這些陰影可以看作是人臉模式中固有的干擾分量，需采用統(tǒng)計學習的方法使分類器適應這些變化。為了進一步增強人臉模式的一致性，可以對樣本圖片的統(tǒng)計特性進行標準化（歸一化）?？紤]最基本的統(tǒng)計量——灰度的均值和方差，將它們調(diào)整到給定值。令大小為像素的圖像灰度矩陣為，則該圖像的灰度均值和方差分別為 （） （）不失一般性，將圖像的灰度均值和方差調(diào)整到給定值0和1，則需要對每個像素點的灰度值進行如下變換： （）變換后的圖像可以部分地消除訓練樣本與測試樣本光照變化。 特征提取特征提取的目的是將訓練圖像的像素值映射到特征空間，以降低類內(nèi)距離，提高類間距離，方便分類。常用的特征包括原始像素特征、haar特征和Gabor特征[9]等。特征提取要同時考慮特征的鑒別能力和計算復雜度。例如當直接采用圖像灰度值作為特征時，雖然省略了特征提取這一計算過程，但由于原始像素特征本身的鑒別性比較低，往往需要采用分類器將特征提取這一過程隱含在分類結構中，使得分類器結構變得非常復雜，分類速度下降，Gabor特征對目標的描述比較有效，但該特征的計算復雜度較高，不便于人臉檢測的實時應用。haar特征的定義簡單，同時計算復雜度較低，是現(xiàn)有人臉檢測算法中廣泛采用的特征表示形式，將在第4章詳細介紹。 分類器的學習分類器的學習是模式識別和機器學習研究的主要內(nèi)容，現(xiàn)在常用的方法包括神經(jīng)網(wǎng)絡、SVM和AdaBoost集成分類器等。神經(jīng)網(wǎng)絡在20世紀90年代早期應用較多；隨著SVM的發(fā)展，目前可以采用神經(jīng)網(wǎng)絡的地方已大多由SVM替代。采用SVM的優(yōu)點是避免了反復選取神經(jīng)網(wǎng)絡的隱藏層節(jié)點數(shù)目且推廣性較好。AdaBoost集成分類器的優(yōu)點是可以從一個特征池中選擇出對分類最有用的特征，其設計方法將在下文第5章有詳細介紹。在分類器訓練過程中可以通過“自舉”（bootstrap）的方法提高分類器的性能。自舉的意思是利用已經(jīng)訓練好的分類器對背景圖片上的窗口進行分類，將得到的虛警加入到非人臉樣本中，然后重新訓練分類器。自舉的目的是將最容易混淆的非人臉樣本逐漸加入到訓練集中，以提高分類器的鑒別能力。自舉的方法可以反復進行直到所得到的分類器在測試集合或者驗證數(shù)據(jù)集合上的性能沒有明顯改善為止。 目標的在線檢測在訓練過程中得到的目標模型具有固定的寬度和高度，而在待檢測圖像中目標可能出現(xiàn)在任何位置，具有任意的大小，所以檢測過程中一般采用金字塔式的窮盡搜索法。 目標檢測的金字塔原始圖像按照預定尺度步長逐步縮小，直到達到預先設定的尺度或者小于模板為止。在每一尺度下分別以固定的步長抽取和標準模板同樣大小的窗口，經(jīng)過和訓練過程中相同的預處理和特征提取過程得到該窗口的特征向量，最后利用預先訓練好的分類器對該特征向量進行分類。由于目標的長寬比是固定的，所以目標在尺度上只有一個自由度，目標在圖像上的位置退化為3個自由度，可以用3D空間中的一個點表示。假設目標模板的高度為H、寬度為W、模板的中心位置為、每個模板對應的位置設為3D空間中的坐標點，那么目標在3D空間中點對應的中心為，寬度為sW，高度為sH。某一尺度下任意一個窗口對應3D空間中的一個固定點y，對應的分類器的響應值為，概率大于預先設定閾值的窗口可以加入候選目標集合Y。一般在目標附近，會有好幾個窗口被判斷為候選目標。 檢測結果的融合需要對這些對應同一個目標的窗口進行融合，找到分類器相應的局部極值，然后用這個3D空間中的極值點作為目標出現(xiàn)的真實位置。檢測結果融合有以下3條原則[10]：l 局部極值點對應的概率值越大，說明該位置出現(xiàn)目標的可能性越大；l 局部極值點附近對應的窗口越多，說明該極值點是目標的概率越大；l 臨近的檢測結果應該融合在一起，但在各個尺度上都臨近的檢測目標可能是對應相鄰的兩個目標，不應該被融合。目前滿足這3條原則的較好的融合方法是變帶寬的均值漂移算法（variable bandwidth mean shift）[11]。 人臉檢測方法的性能評價對于人臉檢測方法的性能評價，一般來講會關注于兩個方面，一是運用怎樣的人臉數(shù)據(jù)庫來檢測，該人臉數(shù)據(jù)庫必須盡可能多的包括實際生活中人臉出現(xiàn)的情況；二是需要運用怎樣的性能評價方法以及產(chǎn)生的評價指標。 人臉圖像數(shù)據(jù)庫人臉圖像數(shù)據(jù)庫可用于人臉檢測的訓練和測試。大部分的人臉檢測方法都需要人臉訓練圖像數(shù)據(jù)，原先用于人臉識別實驗的數(shù)據(jù)庫現(xiàn)在都可以用來進行人臉檢測的訓練。通常人臉識別實驗所采用的人臉庫不大，一般僅包括100幅左右的人臉圖像，如MIT 庫、Yale 庫、CMU 庫等都是小型庫。下表列出了常見的一些人臉檢測圖像數(shù)據(jù)庫[12]：數(shù)據(jù)庫描述位置MIT共有16個人的臉，每個人有27幅在不同光線、不同尺度、不同頭部角度情況下的圖像ftp://FERET收集了大量的男性、女性人臉，每張圖像包含了一張?zhí)囟ū砬榈娜四楿MIST分為20個主題，共564張圖像，每個主題包括從側面到正面的不同人臉姿態(tài)Univ. of Bern30個人的300 張正面人臉（每人10張）和150 張側面人臉（每人5張）ftp://Yale在不同光照條件下，戴眼鏡的表情人臉ATamp。T(Olivetti)40個主題，每個主題10張圖像Harvard在不同光照條件下的剪裁好的人臉圖像ftp://M2VTS一個包含不同圖像序列的多態(tài)數(shù)據(jù)庫Purdue AR3276 張在不同光照條件下的表情和有遮擋的人臉圖像~aleix/ 常用的人臉圖像數(shù)據(jù)庫 典型的正面人臉圖像數(shù)據(jù)庫中的人臉圖像，就是MIT的一個典型的正面人臉數(shù)據(jù)庫中的圖像，圖像的尺寸都為。本論文的檢測算法所用的訓練圖像即為這個數(shù)據(jù)庫中的所有圖片。當然，設計者由于不同研究任務的需要，必要時可以設計和建立具有專用工程特色的數(shù)據(jù)庫。 性能評價方法由于不同的人臉庫所取得的圖像條件和質(zhì)量不同，因此不同的識別程序之間很難進行比較。，左側為測試圖像，右側為檢測結果。不同的標準會導致不同的檢測結果。為促進人臉識別算法的深入研究和實用化，美國國防部發(fā)起了人臉識別技術（Face Recognition Technology, FERET）工程，它包括一個通用人臉庫和一套通用測試標準，用于定期對各種人臉識別算法進行性能測試，其分析測試結果對未來的工作起到了一定的指導作用。 左側為測試圖像，右側為檢測結果。 基于學習的目標檢測方法有兩種性能評價方法：針對分類器性能評價的ROC（receiver operating characteristic）曲線和針對檢測結果評價的RP（recallprecision）曲線。ROC曲線描述了分類器在掃描窗口級別的性能，正面測試樣本是一系列和模板同樣大小且包含目標的窗口，負面測試樣本是從背景圖像中抽取的和模板同樣大小且不包含目標的窗口。ROC一般定義為檢測率（detection rate, DR）和虛警率（false alarm rate, FAR或false positive rate, FPR）之間的變化關系。檢測率和虛警率的定義如下： （） （）ROC曲線的橫坐標為虛警率，縱坐標為檢測率。曲線越靠近左上角，表明性能越好。不同的ROC曲線可以用指定虛警率下的檢測率或曲線下的面積（area under curve, AUC）進行比較。，是基于MIT+CMU測試集的人臉檢測ROC曲線。 MIT+CMU測試集的人臉檢測ROC曲線另外一個和ROC曲線極為相關的曲線是DET（detection error tradeoff）曲線，它和ROC曲線表達信息相同，不過采用漏檢率（miss rate）作為縱坐標，所以DET曲線越靠近左下角表明分類器的效果越好。ROC曲線或DET曲線評價方法簡單、直接，可以有效地評價一個分類器對目標的鑒別性。缺點在于它不是直接對檢測結果的評價，忽略了前期預處理和后期臨近結果融合對檢測性能的影響。RP曲線可以有效地評價一個檢測器的檢測結果，無論該檢測結果是否由基于統(tǒng)計學習的方法得到。它的測試集合是一系列標注了目標位置的圖片，檢測器的輸出是目標可能的位置和相應的概率，通過變化閾值可以得到一系列檢測結果。對每個檢測結果進行分析，得到每個閾值點的查全率（recall）和查準率（precision），它們的定義如下： （） （）一個檢測結果是否正確，取決于它與目標真實位置間的重疊程度。假設一個檢測結果對應的位置為，相鄰目標的真實位置為，當 （）大于50%時，該檢測結果被視為正確的檢測結果（true positive）。同時需要注意的是當一個真實目標對應多個檢測結果時，只有一個檢測結果可以作為正確的檢測結果，其余的檢測結果被視為虛警（false positive）。繪制RP曲線時，用“1查準率”作為橫坐標，查全率作為縱坐標，曲線越靠近左上角，表明性能越好。3 基于AdaBoost的人臉檢測方法概述在上文中詳細介紹了人臉檢測的研究方法以及基于學習的人臉檢測方法的一般流程。在下文中將重點講解基于學習的人臉檢測方法的代表——AdaBoost方法， AdaBoost人臉檢測器結構從上到下分為三個組成部分：l haar矩形特征的提取與積分圖的轉換l 訓練基于AdaBoost的強分類器l 多個強分類器的級聯(lián)當然，對于快速的人臉檢測研究也有三個主要的研究方向。第一個方向是尋找新的圖像特征去減少分類器的數(shù)量。第二個方向是修正現(xiàn)有的學習方法或者引入新的選擇特征的學習方法。第三個方向是減少子圖像的數(shù)目從而達到加速檢測速度。裁剪圖像圖像對比拉伸人臉檢測人臉非人臉轉變?yōu)榉e分圖 人臉檢測系統(tǒng)流程AdaBoost人臉檢測系統(tǒng)是以強分類器級聯(lián)的方式構成的。每一個強分類器由若干個弱分類器構成，并且這些弱分類器具有權重值和帶有閾值的特征。對于一幅圖像，我們可以通過從不同的位置和大小來產(chǎn)生眾多的子圖像。每一個強分類器可以排除一定數(shù)目的子圖像；被排除的子圖像將不再被處理。大多數(shù)被排除的子圖像是非人臉子窗口，極少數(shù)是人臉圖像。 分類器級聯(lián)結構4 矩形特征與積分圖 引言本章節(jié)描述了對 AdaBoost人臉檢測訓練算法速度很重要的兩方面，特征的選取和特征值的計算。將矩形作為人臉檢測的特征向量，稱為矩形特征。本算法選取了最簡單的5個矩形特征模板進行訓練，以得到一套用于人臉檢測的最適合的矩形特征，事實證明，這種特征選取方法的訓練速度雖然不快，但是檢測效率很高。Viola 提出將積分圖(integral image)應用到特征值的計算之中。積分圖的引用，可以只對圖像進行一次遍歷計算，就能夠在用常量時間完成每個特征值的計算，這使得訓練和檢測的速度大大提升。 haar矩形特征 概述人臉部的具體特征對人臉檢測是有重要意義的。我們可以發(fā)現(xiàn)人臉的某些區(qū)域比其他區(qū)域在圖像上呈現(xiàn)的色彩更深。例如，通常，眼睛要比臉頰顏色更深；鼻梁兩側要比鼻梁顏色要深；嘴巴要比周圍顏色更深。因此，我們可以選用不同數(shù)量的明暗區(qū)域組合，來檢測人臉的具體特征。，我們用如圖的矩形組合去檢測人臉。 矩形特征在人臉上的特征匹配 特征模板與模板特征值我們將使用簡單的矩形組合為我們的特征模板。這類特征模板由兩個或者是多個完全一樣的矩形相鄰組合而成，特征模板內(nèi)有白色和黑色兩種矩形（定義左上角的為白色，然后依次交錯）。名稱（模板號）特征模板邊緣特征（1）（2） 線性特征（3）（4） 對角線特征（5） haar特征模板其中兩個矩形的特征的取值是白色矩形中的像素值之和與黑色框像素值之和的差，3個矩形框的特征的定義為兩個白色矩形中的像素值之和與一個黑色矩形中的像素值之和的差，4個矩形框的特征定義為兩個白色矩形框像素值之和與兩個黑色矩形框像素值之和的差。該特征的個數(shù)十分龐大，例如對于一個大小為的檢測器模板，相應矩形框的個數(shù)有160000多個，必須通過特定算法甄選合適的矩形特征，并將其組合成強分類器才能檢測人臉。 haar特征的擴展為了增強haar特征的表示能力，在參考了有關文獻后[13]，我們提出了擴展的haar特征。擴展的haar特征集合可以提高特征對于人臉模式和非人臉模式的區(qū)分能力。假定人臉的模板大小為，任意垂直或者傾斜的矩形框可以定義為，其中。 豎直和傾斜的矩形的例子WH分類窗口whhwwh假設矩形r內(nèi)所有像素之和為RecSum(r)，擴展的haar特征定義為所有的矩形框的像素之和的組合，即： （）其中，矩形框和N可以任意選取。式（）表示的特征集合極大，為了便于實際應用，可進行下述簡化：每次只考慮兩個矩形框，即N=2,；兩個矩形框的權值的符號相反，且絕對值與各自的矩形面積成反比，即。不失一般性，假設=1于是；這些特征模仿了haar特征和其他的視覺響應，如中心周圍響應和對角響應。，共包括下面3種形式：4個邊緣特征，8個線性特征，2個中心周圍特征。加上特殊的對角線特征，共得到15個特征模板。 擴展的haar特征集合這些特征模板可以在水平和垂直兩個方向上任意縮放，在目標模板窗口里任意