【正文】 ak Classifier 22 AdaBoost算法訓練強分類器 22 算法描述 23 算法流程圖 24 級聯(lián)強分類器結構 256 基于OpenCV的程序實現(xiàn) 26 OpenCV簡介 26 訓練樣本集與測試集 26 基于OpenCV的分類器實現(xiàn) 27 樣本描述文件創(chuàng)建 27 訓練分類器 28 檢測結果 28 檢測結果對比 28 基于AdaBoost算法的更多檢測結果 30 基于AdaBoost算法的視頻檢測結果 327 結論與對未來的展望 33參考文獻 34英文原文 35中文譯文 42致 謝 48圖像目錄 人臉的遮擋、不同表情和圖像的旋轉會影響到人臉的檢測 4 不同角度人臉帶來的檢測結果也有可能不同 4 基于學習的人臉檢測流程 6 目標檢測的金字塔 9 檢測結果的融合 9 典型的正面人臉圖像數(shù)據(jù)庫中的人臉圖像 11 左側為測試圖像，右側為檢測結果。人們?yōu)榱俗層嬎銠C看到這個世界并主動從這個世界尋找信息，發(fā)展了機器視覺；為了讓計算機自主處理和判斷所得到的信息，發(fā)展了人工智能科學。迄今為止，機器視覺的發(fā)展已經歷了一個漫長的過程。而且，計算性價比的提高和視頻獲取成本的降低，使得計算機視覺系統(tǒng)能夠向桌面級和嵌入式系統(tǒng)發(fā)展，這意味著計算機視覺系統(tǒng)能夠安裝在一切電子系統(tǒng)之中。人臉檢測(face detection, FD)，也稱自動人臉檢測(automated face detection, AFD)，是近年來得到廣泛關注的研究熱點，其相關技術的應用范圍也在不斷擴展，人臉檢測技術的出現(xiàn)與飛躍，為機器視覺在人機交互領域的長足進步奠定了堅實的基礎。人臉檢測是人臉識別、表情檢測和性別檢測等人臉信息處理問題中涉及的一項關鍵技術，同時也是通用目標檢測問題最具代表性的特例，近年來在模式檢測與計算機視覺領域受到普遍重視。為了更好地對人臉檢測研究的歷史和現(xiàn)狀進行介紹，我們將按照研究內容、技術方法等方面的特點大體劃分為三個時間階段來做介紹。人工神經網(wǎng)絡也一度曾經被研究人員用于人臉檢測問題中。Kanade博士于1973年在京都大學完成了第一篇AFR方面的博士論文，直到現(xiàn)在，作為卡內基梅隆大學（CMU）機器人研究院的一名教授，Kanade博士仍然是人臉檢測領域的活躍人物之一，他所在的研究組也是人臉檢測領域的一支重要力量。第二階段（19911997年）：這一階段盡管時間相對短暫，但卻是人臉檢測研究的高潮期，可謂碩果累累：不但誕生了若干代表性的人臉檢測算法，美國軍方還組織了著名的FERET人臉檢測算法測試，并出現(xiàn)了若干商業(yè)化運作的人臉檢測系統(tǒng)，比如最為著名的Visionics（現(xiàn)為Identix）的FaceIt系統(tǒng)。其后的很多人臉檢測技術都或多或少與Eigenface有關系，現(xiàn)在Eigenface已經與歸一化的協(xié)相關量(Normalized Correlation)方法一道成為人臉檢測的性能測試基準算法。這一導向性的結論與Eigenface共同作用，基本中止了純粹的基于結構特征的人臉檢測方法研究，并在很大程度上促進了基于表觀（Appearancebased）的線性子空間建模和基于統(tǒng)計模式檢測技術的人臉檢測方法的發(fā)展——他們逐漸成為主流的人臉檢測技術。該方法首先采用主成分分析（Principal Component Analysis，PCA，亦即Eigenface）對圖像表觀特征進行降維，在此基礎上，采用線性判別分析（Linear Discriminant Analysis, LDA）的方法變換降維后的主成分，以期獲得“盡量大的類間散度和盡量小的類內散度”。MIT的Moghaddam則在Eigenface的基礎上，提出了基于雙子空間進行貝葉斯概率估計的人臉檢測方法。由美國國防部反毒品技術發(fā)展計劃辦公室資助的FERET(Face Recognition technology Test)項目無疑是該階段內的一個至關重要的事件。該項目包括三部分內容：資助若干項人臉檢測研究、創(chuàng)建FERET人臉圖像數(shù)據(jù)庫、組織FERET人臉檢測性能評測。該測試的另一個重要貢獻是給出了人臉檢測的進一步發(fā)展方向：光照、姿態(tài)等非理想采集條件下的人臉檢測問題逐漸成為熱點的研究方向。因此，光照、姿態(tài)問題逐漸成為研究熱點。以支持向量機（Support Vector Machine，SVM）[2]為代表的統(tǒng)計學習理論也在這一時期內被應用到了人臉檢測與確認中來。Blanz和Vetter等提出的基于3D變形(3D Morphable Model)模型的多姿態(tài)、多光照條件人臉圖像分析與檢測方法是這一階段內一項開創(chuàng)性的工作。實驗表明，該方法在CMUPIE（多姿態(tài)、光照和表情）人臉庫和FERET多姿態(tài)人臉庫上都達到了相當高的檢測率，證明了該方法的有效性。Basri和Jacobs則利用球面諧波（Spherical Harmonics）表示光照、用卷積過程描述朗博反射的方法解析地證明了一個重要的結論：由任意遠點光源獲得的所有朗博反射函數(shù)的集合形成一個線性子空間。FERET項目之后，涌現(xiàn)了若干人臉檢測商業(yè)系統(tǒng)，美國國防部有關部門進一步組織了針對人臉檢測商業(yè)系統(tǒng)的評測——Face Recognition Vendor Test(FRVT)，至今已經舉辦了兩次：FRVT2000以及FRVT2002測試。另一方面則全面總結了人臉檢測技術發(fā)展的現(xiàn)狀：較理想條件下（正面簽證照），針對37437人121589幅圖像的人臉檢測(Identification)最高首選檢測率為73%，人臉驗證(Verification)的等錯誤率大約為6%?？傮w而言，目前非理想成像條件下的人臉檢測問題逐漸成為研究的熱點問題。 人臉檢測的難點與研究方法人臉檢測需要考慮較多方面的因素，既要保證較高的檢出率（high detection rate），又要保證較低的誤檢率（low false positive rate）。人臉中包含很多細節(jié)和特性，比如人的發(fā)型、膚色、眼睛的大小和睜閉等，都可能給人臉檢測帶來困難。（3）人臉的視角變化。（4）復雜的背景。（5）多變的成像條件。 人臉的遮擋、不同表情和圖像的旋轉會影響到人臉的檢測 不同角度人臉帶來的檢測結果也有可能不同利用圖像技術的人臉檢測研究已經有20多年的歷史，現(xiàn)有的人臉檢測方法可以分為兩類，一類是基于知識的方法（knowledgebased approach），另一類是基于學習的方法（learningbased approach）[3]。例如人臉一般包括位置互相對稱的兩只眼睛、一個鼻子和一張嘴等特征，而且它們具有相對固定的位置關系。這種方法出現(xiàn)于早期的人臉檢測工作中，具有簡單、可行和易用的特點。如果規(guī)則過于嚴格，則容易出現(xiàn)漏檢的情況；過于簡單時又容易出現(xiàn)誤檢的情況?；趯W習的方法收集大量人臉和非人臉樣本，然后利用機器學習算法，通過學習得到一個分類器，最后利用該分類器進行人臉檢測。與基于知識的方法相比，基于學習的方法能夠處理復雜環(huán)境下的人臉檢測問題，是當前的主流研究方向。這4種方法在檢測器的精度上沒有本質的差別，但速度上借助haar矩形特征和AdaBoost算法的級聯(lián)檢測器結構的計算效率卻遠遠超越了其他方法[4]。2 基于學習的人臉檢測流程AdaBoost算法是基于學習的人臉檢測的典型方法，所以有必要在介紹AdaBoost算法之前詳細講解一下基于學習的人臉檢測方法的一般流程。離線學習指利用收集的訓練樣本結合機器學習算法學習得到表示目標模型的分類器結構，在線檢測指利用學習得到的分類器模型掃描輸入圖片從而得到人臉在圖像中的位置。 基于學習的人臉檢測流程（左半部分為離線學習，右半部分為在線檢測） 分類器的離線學習，分類器的離線學習包括圖像對齊、預處理、特征提取和分類器訓練四個基本模塊，下面對這四個模塊的具體操作做出詳細講解。對齊的目的是降低訓練樣本在尺度、形狀、旋轉和平移等幾何特性方面的模式變化。訓練圖像中不同尺度、形狀和傾斜角度的人臉被認為是由一個“標準人臉”經平移、旋轉或縮放得到。為了對齊人臉，可首先手工標注各個圖像上人臉的一些特征點的位置，如眼角、嘴角等。假定式（）等號左邊的矩陣為A，求解變量，等號右邊的向量為B，則有 （）通過式（）的逆變換，任意一個訓練圖像上的特征點可以變換到“標準人臉”坐標。這個迭代過程包括以下步驟[7]：（1）初始化所有訓練樣本上的對應樣本點的平均位置作為“標準人臉”上的特征點。（3）利用更新平均位置。得到標準人臉的坐標位置和每個訓練圖像的映射參數(shù)后，可以通過插值的方法[8]剪裁得到對齊的固定大小的人臉訓練圖像。 預處理預處理的目的是降低光照不均勻的影響。假設待處理的圖像中包含N個像素，灰度為，需要擬合的平面為，此平面應該使與z間的均方誤差最小，即 （）式（）可以用最小二乘法求解。這些陰影可以看作是人臉模式中固有的干擾分量，需采用統(tǒng)計學習的方法使分類器適應這些變化?？紤]最基本的統(tǒng)計量——灰度的均值和方差，將它們調整到給定值。 特征提取特征提取的目的是將訓練圖像的像素值映射到特征空間，以降低類內距離，提高類間距離，方便分類。特征提取要同時考慮特征的鑒別能力和計算復雜度。haar特征的定義簡單，同時計算復雜度較低，是現(xiàn)有人臉檢測算法中廣泛采用的特征表示形式，將在第4章詳細介紹。神經網(wǎng)絡在20世紀90年代早期應用較多；隨著SVM的發(fā)展，目前可以采用神經網(wǎng)絡的地方已大多由SVM替代。AdaBoost集成分類器的優(yōu)點是可以從一個特征池中選擇出對分類最有用的特征，其設計方法將在下文第5章有詳細介紹。自舉的意思是利用已經訓練好的分類器對背景圖片上的窗口進行分類，將得到的虛警加入到非人臉樣本中，然后重新訓練分類器。自舉的方法可以反復進行直到所得到的分類器在測試集合或者驗證數(shù)據(jù)集合上的性能沒有明顯改善為止。 目標檢測的金字塔原始圖像按照預定尺度步長逐步縮小，直到達到預先設定的尺度或者小于模板為止。由于目標的長寬比是固定的，所以目標在尺度上只有一個自由度，目標在圖像上的位置退化為3個自由度，可以用3D空間中的一個點表示。某一尺度下任意一個窗口對應3D空間中的一個固定點y，對應的分類器的響應值為，概率大于預先設定閾值的窗口可以加入候選目標集合Y。 檢測結果的融合需要對這些對應同一個目標的窗口進行融合，找到分類器相應的局部極值，然后用這個3D空間中的極值點作為目標出現(xiàn)的真實位置。目前滿足這3條原則的較好的融合方法是變帶寬的均值漂移算法（variable bandwidth mean shift）[11]。 人臉圖像數(shù)據(jù)庫人臉圖像數(shù)據(jù)庫可用于人臉檢測的訓練和測試。通常人臉識別實驗所采用的人臉庫不大，一般僅包括100幅左右的人臉圖像，如MIT 庫、Yale 庫、CMU 庫等都是小型庫。T(Olivetti)40個主題，每個主題10張圖像Harvard在不同光照條件下的剪裁好的人臉圖像ftp://M2VTS一個包含不同圖像序列的多態(tài)數(shù)據(jù)庫Purdue AR3276 張在不同光照條件下的表情和有遮擋的人臉圖像~aleix/ 常用的人臉圖像數(shù)據(jù)庫 典型的正面人臉圖像數(shù)據(jù)庫中的人臉圖像，就是MIT的一個典型的正面人臉數(shù)據(jù)庫中的圖像，圖像的尺寸都為。當然，設計者由于不同研究任務的需要，必要時可以設計和建立具有專用工程特色的數(shù)據(jù)庫。左側為測試圖像，右側為檢測結果。為促進人臉識別算法的深入研究和實用化，美國國防部發(fā)起了人臉識別技術（Face Recognition Technology, FERET）工程，它包括一個通用人臉庫和一套通用測試標準，用于定期對各種人臉識別算法進行性能測試，其分析測試結果對未來的工作起到了一定的指導作用。 基于學習的目標檢測方法有兩種性能評價方法：針對分類器性能評價的ROC（receiver operating characteristic）曲線和針對檢測結果評價的RP（recallprecision）曲線。ROC一般定義為檢測率（detection rate, DR）和虛警率（false alarm rate, FAR或false positive rate, FPR）之間的變化關系。曲線越靠近左上角，表明性能越好。是基于MIT+CMU測試集的人臉檢測ROC曲線。ROC曲線或DET曲線評價方法簡單、直接，可以有效地評價一個分類器對目標的鑒別性。RP曲線可以有效地評價一個檢測器的檢測結果，無論該檢測結果是否由基于統(tǒng)計學習的方法得到。對每個檢測結果進行分析，得到每個閾值點的查全率（recall）和查準率（precision），它們的定義如下： （） （）一個檢測結果是否正確，取決于它與目標真實位置間的重疊程度。同時需要注意的是當一個真實目標對應多個檢測結果時，只有一個檢測結果可以作為正確的檢測結果，其余的檢測結果被視為虛警（false positive）。3 基于AdaBoost的人臉檢測方法概述在上文中詳細介紹了人臉檢測的研究方法以及基于學習的人臉檢測方法的一般流程。第一個方向是尋找新的圖像特征去減少分類器的數(shù)量。第三個方向是減少子圖像的數(shù)目從而達到加速檢測速度。裁剪圖像圖像對比拉伸人臉檢測人臉非人臉轉變?yōu)榉e分圖 人臉檢測系統(tǒng)流程AdaBoost人臉檢測系統(tǒng)是以強分類器級聯(lián)的方式構成的。對于一幅圖像，我們可以通過從不同的位置和大小來產生眾多的子圖像。大多數(shù)被排除的子圖像是非人臉子窗口，極少數(shù)是人臉圖像。將矩形作為人臉檢測的特征向量，稱為矩形特征。Viola 提出將積分圖(integral image)應用到特征值的計算之中。 haar矩形特征 概述人臉部的具體特征對人臉檢測是有重要意義的。例如，通常，眼睛要比臉頰顏色更深；鼻梁