【導(dǎo)讀】學(xué)生姓名 陳穎 學(xué)院名稱計(jì)算機(jī)科學(xué)與技術(shù)專 業(yè)計(jì)算機(jī)科學(xué)與技術(shù)學(xué) 號(hào) 3003204004 指導(dǎo)教師 何英華 職 稱 講師。境、工作目的等。本課題的提出是在基于目前人臉檢測(cè)研究的基礎(chǔ)上發(fā)展創(chuàng)新，利用OpenCV開源計(jì)算機(jī)視覺庫中的一些通用算法，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)更有效的基于特征的人臉檢測(cè)系統(tǒng)。編程語言采用C++,使用VC++平臺(tái)，利用OpenCV開源計(jì)算機(jī)視覺庫，測(cè)試圖像集由數(shù)碼相機(jī)采集和互聯(lián)網(wǎng)下載。熟悉OpenCV中的人臉檢測(cè)部分的函數(shù)。隨著研究的深入和應(yīng)用的擴(kuò)大，今天，人臉檢測(cè)已遠(yuǎn)遠(yuǎn)超過了人臉識(shí)別的范疇。MPEG7標(biāo)準(zhǔn)組織己經(jīng)建立了人臉識(shí)別草案小組，人臉檢測(cè)算法也是一項(xiàng)征集的內(nèi)容。隨著人臉檢測(cè)研究的深入，國(guó)際上發(fā)表的有關(guān)論文數(shù)量也大幅度增加，每年的國(guó)際會(huì)議上關(guān)于這方面的專題也屢屢可見。在國(guó)內(nèi)，也有許多單位和學(xué)校從事人臉檢測(cè)與識(shí)別相關(guān)的研究。

　　

【正文】 的差分結(jié)果圖中尋找輪廓，將像素 數(shù)目過于小的部分忽略掉。因?yàn)槊恳粋€(gè)人臉器官特征與人臉區(qū)域有一個(gè)最大比 例，因此當(dāng)一個(gè)人臉候選區(qū)域上存在大于該區(qū)域 20%的“器官”時(shí)，將其剔除。 另外，如果一個(gè)區(qū)域上面部特征的數(shù)量過多或過少，也將其視為非人臉區(qū)域而剔 除。 算法偽代碼基于膚色特征的人臉檢測(cè)算法的偽代碼如下：1. 輸入待檢測(cè)圖像。2. 如有需要進(jìn)行圖像預(yù)處理，如 Gamma 校正、光照補(bǔ)償和色彩平衡等， 以改善光照條件，利于后面的膚色檢測(cè)。3. 進(jìn)行色彩空間轉(zhuǎn)換，由 RGB 色彩格式通過線性變換得到 YCbCr 色彩格 式。轉(zhuǎn)換公式如下：Y=(257*r+504*g+98*b)/1000+16。 Cr=(439*r368*g71*b)/1000+128。Cb=(148*r291*g+439*b)/1000+128。4. 對(duì) YCbCr 空間進(jìn)行非線性轉(zhuǎn)換，用來消除色度對(duì)亮度的依賴關(guān)系。5. 皮膚顏色建模。這里用到的主要是 YCbCr 空間中的色度信息，建模的形 式是橢圓公式匹配兩個(gè)色度分量的距離。它的解析表達(dá)式為：( x ? ecx ) 2a 22+ ( y ? ecy ) = 1b 26. 膨脹處理，連接臉部區(qū)域中不連續(xù)的塊。7. 腐蝕處理，使非人臉區(qū)域變小，恢復(fù)到膨脹前的大小。8. 中值濾波去除孤立噪聲點(diǎn)，以免影響到后面的操作。9. 再次膨脹和腐蝕，主要是為了得到人臉區(qū)域的像素點(diǎn)，方便后面定位人 臉區(qū)域。10. 大致定位人臉區(qū)域，在二值膚色圖像中尋找輪廓，用下面的循環(huán)遍歷每 個(gè)輪廓。for i=1,…,輪廓數(shù)目 n1) 計(jì)算第 i 個(gè)輪廓的面積；2) if（輪廓面積=600） 認(rèn)為是人臉候選區(qū)域，計(jì)算輪廓的最外面矩形邊界；3) 使用 Sobel 差分方法對(duì)候選區(qū)域進(jìn)行驗(yàn)證。a) 對(duì)原輸入圖像候選區(qū)域的灰度圖進(jìn)行 y方向的圖像差分處理；b) 對(duì)差分結(jié)果圖進(jìn)行二值化處理if（灰度值=70） 像素置為白色。else像素置為黑色。c) 在二值化處理后的差分結(jié)果圖中尋找輪廓for j=1,…,輪廓數(shù)目 m if（像素?cái)?shù)目33）此部分面積過于小，將其忽略掉；else if（像素?cái)?shù)目該候選區(qū)域面積的 20%） 該特征面積過大，將其剔除；4) if（Sobel 驗(yàn)證得到的符合條件的面部特征數(shù)2） 面部特征的數(shù)量過少，將其視為非人臉區(qū)域而剔除；else if（Sobel 驗(yàn)證得到的符合條件的面部特征數(shù)15） 面部特征的數(shù)量過多，也將其視為非人臉區(qū)域而剔除；else滿足驗(yàn)證條件，用紅色矩形框在原輸入圖像中標(biāo)識(shí)出來。 算法實(shí)現(xiàn)流程圖圖 36 基于膚色特征的人臉檢測(cè)算法流程圖 測(cè)試及評(píng)價(jià)測(cè)試的人臉圖像由數(shù)碼相機(jī)采集和互聯(lián)網(wǎng)下載，具有不同的大小，不同的復(fù) 雜背景，光照有亮有暗，部分有有色光照射，人臉尺寸有大有小，既有單人臉也 有多人臉，既有正面人臉也有側(cè)面人臉，有白種、黃種和黑種人，除了人臉，圖 像中還出現(xiàn)人體四肢等皮膚區(qū)域。測(cè)試圖像共有 100 幅，其中包括 618 個(gè)人臉， 正確檢測(cè)出 557 個(gè)人臉，檢測(cè)正確率達(dá)到 %，共出現(xiàn) 142 個(gè)錯(cuò)誤報(bào)警，經(jīng) 過 Sobel 驗(yàn)證后，錯(cuò)誤報(bào)警數(shù)減少到 33 個(gè)。每幅圖像的檢測(cè)速度隨圖像大小而 變化，圖像越小，檢測(cè)耗時(shí)越少。如果圖像的大小在 500500 像素左右，則檢 測(cè)時(shí)間小于 秒，如果圖像的大小在 10001000 像素左右，則檢測(cè)時(shí)間在 1 秒至 秒左右?？梢钥闯?，基于膚色特征的算法檢測(cè)人臉?biāo)俣群芸?，能夠達(dá)到 實(shí)時(shí)的要求。圖 37 給出了一些檢測(cè)結(jié)果。從圖中可以看出，該算法可以正確檢 測(cè)不同光照條件下，人臉圖像大小各不相同，膚色各異的人臉圖像，且能夠檢測(cè) 任意姿態(tài)下，任意表情的人臉，檢測(cè)效果非常好。在測(cè)試中發(fā)現(xiàn)，在亮度極低和極高的極端情況下，會(huì)發(fā)生漏檢，因?yàn)榇藭r(shí)的膚色區(qū)域已經(jīng)不在膚色模型限制范圍內(nèi)了。而當(dāng)四肢出現(xiàn)交疊時(shí)，特別是多人的合照中兩人的四肢交疊在一起時(shí)， 容易發(fā)生誤檢。因?yàn)榇藭r(shí)也比較容易滿足 Sobel 驗(yàn)證，很難排除這些區(qū)域。圖 37 檢測(cè)結(jié)果示例為了說明程序中 Sobel 驗(yàn)證的作用，下面給出了幾幅進(jìn)行 Sobel 驗(yàn)證前后的 對(duì)比圖。圖 38(a)中基于膚色特征的人臉檢測(cè)算法檢測(cè)后有一個(gè)被識(shí)別為人臉的 手區(qū)域，而在應(yīng)用 Sobel 驗(yàn)證后重新進(jìn)行檢測(cè)得到的檢測(cè)結(jié)果中，如圖 38(b)所 示，手被排除掉了。同樣，圖 38(c)中有三個(gè)四肢區(qū)域被誤檢，應(yīng)用 Sobel 驗(yàn)證 后，圖 38(d)所示，誤檢區(qū)域被排除。(a) (b)(c) (d)圖 38 Sobel 驗(yàn)證前后對(duì)比圖第四章 基于 Boosted Cascade 算法的人臉檢測(cè) 概述本課題開發(fā)的 autofaceGFB 人臉檢測(cè)系統(tǒng)還采用了 Boosted Cascade 算法作 為人臉檢測(cè)的令一個(gè)基本方法，該算法檢測(cè)正確率較高且具有極高的運(yùn)行速度， 是目前現(xiàn)有的人臉檢測(cè)算法中效果最好的算法之一，且對(duì)于光照變化環(huán)境下的人 臉，該算法也具有較好的適應(yīng)性。但該算法具有誤檢率高的缺點(diǎn)，且檢測(cè)結(jié)果直 接依賴于所使用的分類器，當(dāng)使用正面人臉分類器時(shí)，對(duì)側(cè)面人臉檢測(cè)效果不佳。 本模塊針對(duì)該方法檢測(cè)人臉的不足之處，分別有針對(duì)性的提出了改進(jìn)方案。其一， 為了降低誤檢率，分別進(jìn)行膚色驗(yàn)證和眼睛器官驗(yàn)證，能有效去掉一些誤檢區(qū)域， 從而最大限度的降低系統(tǒng)的錯(cuò)誤報(bào)警率，而又盡量不影響正確率。其二，由于單 純使用正面人臉分類器的 Boosted Cascade 方法對(duì)側(cè)面人臉的檢測(cè)不是很有效， 而同時(shí)用正例和反例樣本訓(xùn)練出來的分類器過于復(fù)雜且檢測(cè)效果并不好，故在正 面人臉檢測(cè)的基礎(chǔ)上，另外加載用側(cè)面人臉樣本訓(xùn)練過的分類器去補(bǔ)檢被漏檢的 一些側(cè)面人臉，采用正面與側(cè)面人臉檢測(cè)相結(jié)合的方法，大大提高了檢測(cè)正確率， 而且檢測(cè)速度也是可以接受的。基于 Boosted Cascade 算法的人臉檢測(cè)及其改進(jìn) 方案的總體結(jié)構(gòu)用圖 41 表示如下：圖 41 基于 Boosted Cascade 算法的人臉檢測(cè)的總體結(jié)構(gòu) Boosted Cascade 算法原理Boosted Cascade 算法最初由 Paul Viola 提出，并由 Rainer Lienhart 對(duì)這一算 法進(jìn)行了改善[11]。該算法的主要思想[11,12]是利用樣本（成百上千幅樣本圖片）的 Haar 特征進(jìn)行分類器訓(xùn)練，得到一個(gè)級(jí)聯(lián)的 boosted 分類器，能將候選子窗口的 人臉和非人臉區(qū)分開來。分類器中的“級(jí)聯(lián)”是指最終的分類器是由多級(jí)分類器 級(jí)聯(lián)組成，其中每一級(jí)分類器都是一個(gè)“強(qiáng)分類器”，是若干個(gè)被稱之為“弱分 類器”的集成，而每一個(gè)弱分類器對(duì)應(yīng)一個(gè)“弱特征”（Haar 特征），該特征可 以在一定程度上區(qū)分人臉和非人臉。分類器訓(xùn)練完以后，就可以應(yīng)用于輸入圖像2中感興趣區(qū)域的檢測(cè)。檢測(cè)到人臉區(qū)域分類器輸出為 1，否則輸出為 0。該算法中包括兩個(gè)關(guān)鍵的知識(shí)點(diǎn)：①Haar 特征的選取和計(jì)算。這些特征必須足夠簡(jiǎn)單 且容易計(jì)算，才能達(dá)到運(yùn)算速度的要求。②多層分類器級(jí)聯(lián)結(jié)構(gòu)的建立。這涉及 到如何從諸多的 Haar 特征中挑選出最有效的特征組合來訓(xùn)練分類器，使得它足 以區(qū)分人臉和非人臉。下面對(duì)這兩點(diǎn)分別作詳細(xì)說明。 Haar 特征的選取及特征值的計(jì)算目前的算法主要利用下面的 Haar 特征[11]，如圖 42 所示。圖 42 Haar 特征：（Edge features）；（Line features）； 特征（Centersurround features）每個(gè)特定分類器所使用的 Haar 特征可以用形狀、感興趣區(qū)域中的位置以及 比例系數(shù)來定義。Haar 特征值是指圖像上兩個(gè)或者多個(gè)形狀大小相同的矩形內(nèi) 部所有像素灰度值之和的差值。例如在第二行特征（2c）的情況下，響應(yīng)計(jì)算為 覆蓋全部特征整個(gè)矩形框（包括兩個(gè)白色矩形框和一個(gè)黑色矩形框）像素的和減 去黑色矩形框內(nèi)像素和的三倍。每個(gè)矩形框內(nèi)的像素和都可以通過積分圖像很快 計(jì)算出來。對(duì)于一個(gè)輸入圖像，像素處的積分圖像值定義為[12]：ii ( x , y ) =∑ i ( x 1 , y 1 )(41)x1 ≤ x , y ≤ y 1如圖 43 所示，即圖中用黑色填充部分的所有像素灰度的和。有了積分圖，上述 矩形特征就可以通過很少的計(jì)算量得到。任意一個(gè)矩形內(nèi)的像素和可以由積分圖 上對(duì)應(yīng)的四點(diǎn)得到，如圖 44 所示。兩個(gè)矩形內(nèi)像素和的差可以由積分圖上的八 點(diǎn)得到。由于上述矩形特征中的矩形都是相鄰的，所以兩個(gè)矩形的特征只需要計(jì) 算積分圖上對(duì)應(yīng)的六點(diǎn)，三個(gè)矩形的特征需要計(jì)算八點(diǎn)，四個(gè)矩形的特征需要計(jì) 算九點(diǎn)。圖 43 點(diǎn)(x,y)處的積分圖像值圖 44 圖中矩形 D 內(nèi)的像素和可由積分圖上的四點(diǎn)得到。積分圖上 1 是矩形 A 內(nèi)的像素 值的和，2 是矩形 A+B 內(nèi)的像素值的和，3 是矩形 A+C 內(nèi)的像素值的和，4 是矩形 A+B+C+D 內(nèi)的像素值的和，所以 D 內(nèi)像素和為 4+123為了得到一個(gè)輸入圖像 I 的積分圖像，只需要逐點(diǎn)掃描原圖像一次，就可以1s ( x , y ) =計(jì)算出來。記∑ y ≤ y i ( x , y 1 ) 是原圖像(x,y)點(diǎn)所在列縱坐標(biāo)不超過該點(diǎn)的所有像素灰度的和，則有下面的遞推公式[12]：s( x, y) = s( x, y ? 1) + i( x, y),ii( x, y) = ii( x ? 1, y) + s( x, y).(42)進(jìn)行多尺度檢測(cè)時(shí)，采用縮放特征模板的方法，即使在任意尺度搜索，也可以使 用這一個(gè)積分圖像。也就是說，整個(gè)檢測(cè)過程，只需要掃描原圖一遍就可以了。 可見，Haar 特征確實(shí)是簡(jiǎn)單且容易計(jì)算。Boosted Cascade 算法將大量的 Haar 矩形特征作為人臉的特征集，豐富的矩 形特征充分體現(xiàn)了人臉模式的特點(diǎn)，并且每個(gè)矩形特征對(duì)應(yīng)一個(gè)弱分類器，使得 算法有豐富的弱分類器可供選擇。圖 45 顯示了由 Boosted Cascade 算法選擇的兩個(gè) Haar 特征的例子[12]。其中 第 1 行為 Haar 特征弱分類器示意，第 2 行第 1 列為一幅被測(cè)圖，后兩列分別為 將弱分類器放在典型的目標(biāo)區(qū)域的情況。從實(shí)驗(yàn)結(jié)果來看，檢測(cè)器顯然分別利用 了眼部區(qū)域亮度低于臉頰和雙眼亮度低于眉心的特點(diǎn)確定了人臉的候選區(qū)域。圖 45 由 Boosted Cascade 方法學(xué)習(xí)出的兩個(gè) Haar 特征的例子 Boosted Cascade 多層分類器級(jí)聯(lián)結(jié)構(gòu)分類器進(jìn)行學(xué)習(xí)時(shí)，使用兩個(gè)訓(xùn)練集對(duì)分類器進(jìn)行訓(xùn)練，即正例樣本集和反 例樣本集，其中正例樣本是指人臉樣本，反例樣本指其它任意圖片，所有的樣本 圖片都被歸一化為同樣的尺寸大?。ɡ?，2020）。而在一個(gè) 2020 像素大小 的小窗口內(nèi)，就有數(shù)十萬個(gè)不同大小及其在小窗口所在位置不同的 Haar 矩形特征，這些特征并不是都對(duì)人臉檢測(cè)有效，因此從特征選擇的觀點(diǎn)來看，需要從這么多的特征中挑選出最有效的特征組合，并用挑選出的這些特征構(gòu)成一個(gè)分類 器。Boosted Cascade 算法可以實(shí)現(xiàn)上述功能。每一層強(qiáng)分類器都是若干 Haar 弱特征的帶權(quán)值的線性組合，為了達(dá)到預(yù)定 的性能，即預(yù)定的檢測(cè)正確率和錯(cuò)誤報(bào)警率，找到有效的弱特征是十分重要的。 每個(gè)弱分類器對(duì)應(yīng)一個(gè)弱特征，被設(shè)計(jì)為從能對(duì)正例和反例樣本進(jìn)行正確分類的所有弱分類器的集合中選擇錯(cuò)誤率最小的一個(gè)。一個(gè)子窗口 x 的弱分類器 h j ( x)11包括如下部分[13]：該子窗口的矩形特征值 f符號(hào)因子 p j ，如下式所示：j ( x) ，閾值232。 j 以及指示不等式方向的?1h j ( x) = ??0, p j f j ( x) p j232。 j， 其他(43)分類器學(xué)習(xí)的算法基本框架如下[13]：1. 給定一組包含人臉和非人臉的訓(xùn)練圖像。2. 對(duì)每一幅訓(xùn)練圖像初始化權(quán)值為249。1 。3. For t=1,…,T1) 歸一化權(quán)值249。t ；2) 對(duì)每一個(gè)特征 j，訓(xùn)練一個(gè)分類器 h j ，且該分類器只對(duì)應(yīng)一個(gè)特征；3) 選取使錯(cuò)誤率達(dá)到最小的分類器 ht ；4) 更新權(quán)值249。t +1 。4. 得到最終的強(qiáng)分類器 h(x)。 若干個(gè)弱分類器線性組合成一個(gè)強(qiáng)分類器，再由很多強(qiáng)分類器級(jí)聯(lián)組成最終的分類器，多層分類器級(jí)聯(lián)結(jié)構(gòu)如圖 46 所示。圖 46 多層分類器級(jí)聯(lián)結(jié)構(gòu)它是一種由粗到細(xì)的結(jié)構(gòu)，其中每一層都可以選取一個(gè) boosting 算法（權(quán)重 投票），并利用基礎(chǔ)分類器的自我訓(xùn)練得到，這里的基礎(chǔ)分類器（弱分類器）是 至少有兩個(gè)葉結(jié)點(diǎn)的決策樹分類器。這樣，每一層作為一個(gè)強(qiáng)分類器，都經(jīng)過閾 值調(diào)整，能讓全部正例樣本通過，而拒絕很大一部分非人臉樣本。用于訓(xùn)練后一層分類器的反例樣本集是從當(dāng)前分類器對(duì)非人臉圖像集進(jìn)行檢測(cè)后判斷為正例的但事實(shí)上沒有人臉的那些圖像中獲得的，顯然，分類器的層數(shù)越高，對(duì)于該分 類器的反例就越接近人臉，這時(shí)就對(duì)該層分類器加入更多的弱特征來排除反例。整體的檢測(cè)正確