【文章內(nèi)容簡(jiǎn)介】 產(chǎn)生大量的娛樂(lè)節(jié)目和效果。手機(jī)、數(shù)碼相機(jī)等消費(fèi)電子產(chǎn)品中，基于人臉的娛樂(lè)項(xiàng)目越來(lái)越豐富。 、 MSN等即時(shí)通信 工具以及虛擬化身網(wǎng)絡(luò)游戲也是人臉合成技術(shù)的廣闊市場(chǎng)。 另外還有家庭娛樂(lè)。家庭娛樂(lè)是指能夠識(shí)別主人身份的智能玩具，家政機(jī)器人，具有真實(shí)面像的虛擬游戲玩家等。隨著電子技術(shù)水平的提高，家庭娛樂(lè)會(huì)得到廣泛的應(yīng)用，其中的關(guān)鍵技術(shù)之一也是人臉的跟蹤識(shí)別。 (3)圖像搜索 目前， Google 的圖像搜索其實(shí)還是文字搜索。基于人臉圖像識(shí)別技術(shù)的搜索引擎將會(huì)具有廣泛的應(yīng)用前景。 (4)協(xié)助調(diào)查 目前，在銀行、金庫(kù)發(fā)生搶劫事件已經(jīng)屢見(jiàn)不鮮。發(fā)生這樣的事件不是一時(shí)就能夠制止的，但是可以通過(guò)人臉檢測(cè)的設(shè)備來(lái)提取并記錄罪犯的人臉，提供 給公安機(jī)關(guān)以幫助破案。 (5)信息安全 信息安全是指計(jì)算機(jī)和網(wǎng)絡(luò)的登錄、文件的加密和解密。在信息安全中，人臉的識(shí)別也是其中的一個(gè)關(guān)鍵技術(shù)。 人臉檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn) 人臉檢測(cè)系統(tǒng)性能主要評(píng)價(jià)標(biāo)準(zhǔn)有：檢測(cè)率，誤檢率，檢測(cè)速度以及魯棒性 ： 8 (1)檢測(cè)率 被正確檢測(cè)到的人臉數(shù)與圖像內(nèi)包含的人臉數(shù)的比值。檢測(cè)率越高，說(shuō)明檢測(cè)系統(tǒng)對(duì)人臉的接受能力越強(qiáng)。 (2)誤檢率 也稱虛警率，誤報(bào)率。被誤檢為人臉的非人臉子窗口數(shù)與圖像內(nèi)被檢測(cè)的所有非人臉子窗口數(shù)的比值。設(shè)圖像內(nèi)被檢測(cè)的所有非人臉子窗口數(shù)為 N2，被誤檢為人臉的非人臉子窗口數(shù)為從，則誤檢率為 Nl／ N2。再設(shè)圖像內(nèi)被檢測(cè)的所有子窗口數(shù)為 N，圖像內(nèi)包含的人臉數(shù)為 Nl， N=Nl。當(dāng) NNl時(shí)，誤檢率近似于 Nl／ N。 檢測(cè)率無(wú)法反映系統(tǒng)對(duì)非人臉的排除能力，有可能出現(xiàn)這種情況：所有人臉都被檢測(cè)到，但同時(shí)很多非人臉區(qū)域被誤認(rèn)為是人臉。因此引入誤檢率來(lái)衡量系統(tǒng)對(duì)非人臉的排除能力。誤檢率越低，說(shuō)明檢測(cè)系統(tǒng)對(duì)非人臉的排除能力越強(qiáng)。 (3)檢測(cè)速度 大部分應(yīng)用領(lǐng)域需要在線實(shí)時(shí)地檢測(cè)人臉，如人臉識(shí)別、人臉跟蹤，視頻監(jiān)控等。在檢測(cè)率和誤檢率達(dá)到滿意的前提下，檢測(cè)速度越快越好。 (4)魯棒性 即在各種條件下，檢測(cè)系統(tǒng)的適應(yīng)能力。如復(fù)雜背景的干擾，人臉姿態(tài)的影響，光照條件的影響，以及遮擋等因素的影響。 這四個(gè)標(biāo)準(zhǔn)有些是相互制約的，比如誤檢率隨著檢測(cè)率的提高而提高，檢測(cè)率隨著誤檢率的降低而降低。 9 第 2 章 檢測(cè)方法 人臉檢測(cè)經(jīng)歷了較長(zhǎng)的發(fā)展過(guò)程，期間涌現(xiàn)出了很多的檢測(cè)方法，本文以M． H． Yang在 2020年發(fā)表的關(guān)于人臉檢測(cè)方法的分類方法把人臉檢測(cè)方法分為以下四種：基于知識(shí)的方法 (Knowledgebased Methods)、特征不變量方法 (Feature Invariant Approaches)、 模 板 匹配 方 法 (Template Matching Methods)、 基 于 外 觀的 方 法(Appearancebased Methods)。 當(dāng)然，有許多人臉檢測(cè)的方法并不能簡(jiǎn)單地歸于上述中的某一類，而是幾類的組合。也可以將人臉檢測(cè)的方法簡(jiǎn)單地分為兩類：基于特征的和基于圖像的?；谔卣鞯姆椒ㄖ敢阅撤N特征為最小處理單元的方法；基于圖像的方法指以圖像 中的像素為處理單元的方法。 基于知識(shí)的方法 此方法是把人臉面部器官之間關(guān)系編碼并準(zhǔn)則化的人臉檢測(cè)方法。這是一種 自頂而下的方法，根據(jù)人臉面部器官的對(duì)稱性、灰度差異等先驗(yàn)知識(shí)，制定一系列的準(zhǔn)則。當(dāng)圖像中的待測(cè)區(qū)域符合準(zhǔn)則，即被檢測(cè)為人臉。 人臉及器官具有典型的邊沿和形狀特征，通常人們利用采用 Laplacian， Sobel和Canny等算子來(lái)提取邊沿特征，將這些特征用于人臉的定位。邊沿和形狀對(duì)于光照條件的變化具有很好的魯棒性，灰度特征對(duì)光照比較敏感。 每一個(gè)人臉都有固定的紋理特征，利用這種特征來(lái)區(qū)分不同的對(duì)象， Skufca和Augusteijn共同努力研究了一種通過(guò)鑒別類似于人臉的紋理推斷人臉的存在的方 法 。Nakano和 Dai也將 SGLD模型用于檢測(cè)人臉，取得了很好的效果。 Yang等首先提出了基于知識(shí)規(guī)則的由粗到細(xì)的三級(jí)結(jié)構(gòu)來(lái)檢測(cè)人臉。通過(guò)平均和采樣的方法得到原圖像在不同分辨率下的圖像，那些低分辨率的圖像被稱為鑲嵌圖(MosaicImage)。針對(duì)不同分辨率的圖像采用不同的準(zhǔn)則進(jìn)行判定，在低分辨率圖像里的準(zhǔn)則主要體現(xiàn)了人臉的大體輪廓，而在高分辨率圖像里的準(zhǔn)則主要體現(xiàn)了人臉的細(xì)節(jié)特征。雖然 ,Yang的方法在檢測(cè)性能方面并不突出，但由粗至細(xì)的檢測(cè)思想對(duì)以后的研究工作產(chǎn)生了積極的影響。 但是人臉的類型有千差萬(wàn)別，如果制定的規(guī)則 太細(xì)，真正的人臉可能會(huì)被漏掉；如果制定的規(guī)則太籠統(tǒng)，有可能造成較高的虛警率。 特征不變量方法 這個(gè)方法的目標(biāo)是尋找那些即使當(dāng)姿勢(shì)、視角和光線條件變化時(shí)仍然存在的結(jié)構(gòu)特 10 征，并利用這些特征來(lái)定位人臉。由于人類能夠毫不費(fèi)勁地“看到”在不同光線和姿態(tài)下的人臉和物體，因此研究人員認(rèn)為有一個(gè)潛在的假設(shè)： 存在一些關(guān)于人臉的不依賴于外在條件的屬性或者特征。 有許多方法就是按照這個(gè)潛在假設(shè)，首先去尋找這種臉部特征（通過(guò)大量樣本學(xué)習(xí)的方法），然后用尋找到的特征去檢測(cè)人臉。對(duì)比基于知識(shí)的自上而下的方法，這種基于特征的方法 是自下而上的。 Sirohey提出了用橢圓擬合人臉區(qū)域的方法。 Graf等人提出了利用某些形態(tài)學(xué)的方法進(jìn)行人臉的檢測(cè)方法。 Leung等人提出一種利用人臉五個(gè)特征來(lái)定義和檢測(cè)人臉的方法。Han等人提出了一種通過(guò)形態(tài)學(xué)眼部分割的方法來(lái)進(jìn)行人臉檢測(cè)的方法。 與基于知識(shí)規(guī)則的方法相比，該類方法主要是企圖尋找人臉不變化的特征來(lái)對(duì)人臉進(jìn)行檢測(cè)，特征不變量方法的根本假設(shè)是：在所有的人臉檢測(cè)過(guò)程中存在著圖像空域或者頻域不變量，而且這種不變量是唯一的。于是人臉檢測(cè)過(guò)程就是在圖像中全局搜索這種不變 量 。該類方法中所采用的特征不變量 主要有：面部特征、紋理。皮膚顏色和多種特征的融合。該類方法中所采用的一個(gè)主要問(wèn)題是：圖像特征極大的收到光照、遮擋和其它噪聲的影響，當(dāng)陰影存在時(shí)，面部的特征辯解將被減弱，而陰影的邊界將被增強(qiáng)，此時(shí)導(dǎo)致邊緣感知分組無(wú)效。 Sirohey 提出了一種從復(fù)雜背景中分割定位人臉的方法，該方法使用人臉邊緣圖信息和橢圓擬合方法檢測(cè)人臉。 Augusterjn 提出了一種通過(guò)面部相似性紋理信息的人臉檢測(cè)方法，通過(guò)在 ?1616 大小的子圖像上計(jì)算二階統(tǒng)計(jì)特征紋理信息。在許多的人臉檢測(cè)應(yīng)用中 ，膚色被認(rèn)為是人臉檢測(cè)中一種有效的特 征 ，因?yàn)轭伾畔⒑瓦\(yùn)動(dòng)信息是一種有效減少搜索空間的特征。最近，人臉檢測(cè)最常采用的主要方法是聯(lián)合幾種不同的特征方法檢 測(cè) 。它們首先利用全局特征，如膚色和形狀大小等信息尋找人臉候選區(qū)域，再根據(jù)局部特征，如眼睛、鼻子和頭發(fā)等信息來(lái)確認(rèn)候選區(qū)域是人臉區(qū) 域 。 在實(shí)際的檢測(cè)情況下，由于噪聲和遮擋等問(wèn)題的存在，人臉的某些特征可能被破壞，這將嚴(yán)重影響此算法的檢測(cè)效果。 模板匹配方法 該方法大多是用歸一化去互相關(guān)，在圖像灰度層次上直接比較目標(biāo)模板和候選圖像區(qū)域之間的相似性，得到表示 相似程度的值，然后與相應(yīng)閾值比較判斷候選圖像區(qū)域是否為人臉區(qū)域。其中較為典型的例子就是 Yullietlo 等提出的基于彈性模板匹配的人臉檢測(cè)方法。由于模板本身比較粗略，所以模板匹配的人臉檢測(cè)方法往往精度不是很高，而且計(jì)算量較大，速度較慢。 模板匹配通常被用于人臉檢測(cè)的驗(yàn)證，這樣可以更進(jìn)一步提高人臉檢測(cè)系統(tǒng)的準(zhǔn)確率，它的主要思想是利用模板與待檢測(cè)圖像之間的相關(guān)程度來(lái)對(duì)圖像中的入臉進(jìn)行判斷?？勺冃文０搴皖A(yù)先定義的模板是人臉檢測(cè)常用的模板。 Venkatraman 和GovindarajuI 使用小波延伸的方法用于圖像的 邊緣提取。 Tsukamoto 等提出一個(gè)人臉模式的定性模型 (QMF)。 QMF 方法將每一個(gè)樣本圖像分割成一些塊，再對(duì)各個(gè)塊估算 11 其定性特征。 主動(dòng)形狀模型 (ASM)和主動(dòng)外觀模型 (AAM)是 近年來(lái)流行的一種對(duì)象形狀提取算法，其核心思想是在某種局部點(diǎn)模型匹配的基礎(chǔ)上，利用統(tǒng)計(jì)模型對(duì)待識(shí)別的人臉的形狀進(jìn)行約束，從而轉(zhuǎn)化為一個(gè)最優(yōu)化求解問(wèn)題，并期望最終收斂到實(shí)際的人臉形狀上去。 而且，在實(shí)際的檢測(cè)中，由于人臉的尺度、形狀等的變化較大時(shí)往往檢測(cè)效果較差，此種方法也沒(méi)有獲得較廣泛的應(yīng)用。 基于外觀的方法 基于外觀 的方法也可以稱為基于統(tǒng)計(jì)的人臉檢測(cè)方法也可以稱為基于分布特征的檢測(cè)方法，它是利用統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)等方法來(lái)獲得人臉和非人臉特征，利用這些特征和判決函數(shù)來(lái)進(jìn)行人臉檢測(cè)的方法。 MIT 的 Sung 和 Poggio提出了一種基于分布特征的人臉檢測(cè)方法。他們建立了一個(gè)分布模型，指出通過(guò)對(duì)圖像正例和反例樣本的學(xué)習(xí)可以獲得人臉的分布模型。該系統(tǒng)由兩個(gè)部分組成，人臉模式和非人臉模式的分布模型及一個(gè)多層感知器分類器。每一個(gè)人臉和非人臉的學(xué)習(xí)樣本首先進(jìn)行預(yù)處理，包括歸一化，直方圖均衡等，然后處理為 19 19 的圖像，將這個(gè)圖 像作為 361 維的矢量。接下來(lái)將這些矢量采用改進(jìn)的 K 均值聚類算法分成 6個(gè)人臉和 6個(gè)非人臉的聚類。每一類用它們的均值圖像和協(xié)方差矩陣表示成一個(gè)高維的高斯函數(shù)。見(jiàn)圖 21 所示。 圖21 Sung 和 Poggio提出的人臉?lè)侨四樉垲惸Ｐ? 12 值得強(qiáng)調(diào)的是，為了解決人臉檢測(cè)中“非人臉”樣本的選取問(wèn)題， Sung 等人采用“自舉（ bootstrap）”方法：首先建立一個(gè)只使用“人臉”樣本和少量“非人臉”樣本訓(xùn)練的初始分類器對(duì)一組圖像進(jìn)行檢測(cè)，將所有錯(cuò)檢非人臉為人臉的圖像加入“非人臉”樣本庫(kù)；然后把得到的“人臉”和“ 非人臉”樣本訓(xùn)練構(gòu)成一個(gè)新的分類器進(jìn)行重新檢測(cè)。將以上過(guò)程不斷循環(huán)，直到收集到了足夠的“非人臉”樣本。這種循環(huán)檢測(cè)來(lái)得到非人臉的收集方法后來(lái)得到許多研究者的使用。 由于人臉圖像的復(fù)雜性，只使用基本特征與簡(jiǎn)單規(guī)則很難 有效地描述人臉與背景的本質(zhì)區(qū)別，因此基于統(tǒng)計(jì)和學(xué)習(xí)的方法越來(lái)越受到重視。這類方法是把人臉區(qū)域看作一類模式，利用統(tǒng)計(jì)分析與機(jī)器學(xué)習(xí)的方法對(duì)大量人臉樣本和非人臉樣本進(jìn)行學(xué)習(xí)得到各自的統(tǒng)計(jì)特征，然后根據(jù)這些特征構(gòu)造分類器，通過(guò)判別圖像中所有可能區(qū)域?qū)儆谀念惸Ｊ降姆椒▽?shí)現(xiàn)人臉檢測(cè)。實(shí)際上，人臉檢測(cè)問(wèn)題被轉(zhuǎn) 化為統(tǒng)計(jì)模式識(shí)別的二分類問(wèn)題。該類方法主要包括：線性子空間法、神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型、支持向量機(jī)、基于AdaBoost算法 等方法。 13 第 3 章 經(jīng)典方法概述 人臉檢測(cè)的方法多于牛毛，基于各種數(shù)學(xué)模型的方法估計(jì)有近百種。本節(jié)簡(jiǎn)單描述了用于人臉檢測(cè)的幾個(gè)經(jīng)典方法，以便管中窺豹，這幾個(gè)方法在人臉檢測(cè)歷史上都發(fā)揮過(guò)各自的作用。 特征臉 最早用特征向量來(lái)進(jìn)行人臉檢測(cè)的是 Kohonen，他構(gòu)建了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)規(guī)范化了的人臉圖像的識(shí)別。這個(gè)神經(jīng) 網(wǎng)絡(luò)用圖像的自相關(guān)矩陣的特征向量近似計(jì)算了對(duì)人臉的描述。這些特征向量后來(lái)就發(fā)展成了特征臉 (Eigenface)方法。 特征臉是基于從主成分分析（ PCA）的一種人臉檢測(cè)，它根據(jù)一組人臉訓(xùn)練樣本構(gòu)造主元子空間，檢測(cè)時(shí)，將測(cè)試圖像投影到主元子空間上 ,得到一組投影系數(shù)，再和各個(gè)己知的人臉圖像模式比較，從而得到檢測(cè)結(jié)果。 在傳統(tǒng)特征臉的基礎(chǔ)上，研究者注意到特征值大的特征人臉向量（特征臉）并不一定分類性能好，而因此發(fā)展了多種特征（子空間）選擇方法，如 Belhumeur的 FisherFace方法等。事實(shí)上，特征臉?lè)椒ㄊ且?種顯式主元分析人臉建模的方法，而一些線性自聯(lián)想、線性壓縮型 BP網(wǎng)則為隱式的主元分析方法，它們都是把人臉表示為一些向量的加權(quán)和，這些向量是訓(xùn)練集叉積陣的主特征向量。特征臉?lè)椒ㄊ且环N簡(jiǎn)單、快速、實(shí)用的基于變換系數(shù)特征的算法，但由于它在本質(zhì)上依賴于訓(xùn)練集和測(cè)試集圖像的灰度相關(guān)性，所以還有著很大的局限性。 神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Network， ANN)方法是通過(guò)訓(xùn)練一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，把模式的統(tǒng)計(jì)信息隱含在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)之中。在人工神經(jīng)網(wǎng)絡(luò)的方法中， Rowley的工 作較為突出。 Rowley等提出基于神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)系統(tǒng)。他們的系統(tǒng)分為兩個(gè)階段：第一階段是基于神經(jīng)網(wǎng)絡(luò)的分類器。該分類器的輸入是規(guī)定尺寸的檢測(cè)區(qū)域，輸出為 l到． 1的數(shù)，由此來(lái)判斷檢測(cè)區(qū)域是否是人臉 (輸出接近 1為人臉，接近． 1為非人臉 )：第二階段是合并重復(fù)檢測(cè)并判別。由于訓(xùn)練樣本以及分類器等因素，在圖像中以人臉為中心的一定區(qū)域內(nèi)會(huì)產(chǎn)生重復(fù)檢測(cè)。 此階段使用了一個(gè)單層的神經(jīng)網(wǎng)絡(luò)對(duì)重復(fù)檢測(cè)進(jìn)行合井 ，并使用一個(gè)多層的神經(jīng)網(wǎng)絡(luò)對(duì)檢測(cè)結(jié)果進(jìn)行判決。以上所述方法局限性在于，僅能檢測(cè)正面垂直的人臉。 1998年， Rowley等增加了一級(jí)神經(jīng)網(wǎng)絡(luò)用以檢測(cè)平面內(nèi)旋轉(zhuǎn)的人臉角度，在對(duì)原圖像進(jìn)行反旋轉(zhuǎn)后，送到正面人臉檢測(cè)器中進(jìn)行檢測(cè)，使得該系統(tǒng)可以檢 14 測(cè)圖像中按任意的角度旋轉(zhuǎn)的人臉。 圖 31 Rowley 的帶有圖像預(yù)處理的神經(jīng)網(wǎng)絡(luò)系統(tǒng) 用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)的好處是很容易訓(xùn)練一個(gè)用于檢測(cè)人臉模式的系 統(tǒng)。但是，缺點(diǎn)是網(wǎng)絡(luò)結(jié)構(gòu)需要大范圍的調(diào)整（層數(shù)、結(jié)點(diǎn)數(shù)、學(xué)習(xí)速率等