【文章內(nèi)容簡介】 產(chǎn)生大量的娛樂節(jié)目和效果。手機、數(shù)碼相機等消費電子產(chǎn)品中，基于人臉的娛樂項目越來越豐富。 、 MSN等即時通信 工具以及虛擬化身網(wǎng)絡(luò)游戲也是人臉合成技術(shù)的廣闊市場。 另外還有家庭娛樂。家庭娛樂是指能夠識別主人身份的智能玩具，家政機器人，具有真實面像的虛擬游戲玩家等。隨著電子技術(shù)水平的提高，家庭娛樂會得到廣泛的應(yīng)用，其中的關(guān)鍵技術(shù)之一也是人臉的跟蹤識別。 (3)圖像搜索 目前， Google 的圖像搜索其實還是文字搜索?；谌四槇D像識別技術(shù)的搜索引擎將會具有廣泛的應(yīng)用前景。 (4)協(xié)助調(diào)查 目前，在銀行、金庫發(fā)生搶劫事件已經(jīng)屢見不鮮。發(fā)生這樣的事件不是一時就能夠制止的，但是可以通過人臉檢測的設(shè)備來提取并記錄罪犯的人臉，提供 給公安機關(guān)以幫助破案。 (5)信息安全 信息安全是指計算機和網(wǎng)絡(luò)的登錄、文件的加密和解密。在信息安全中，人臉的識別也是其中的一個關(guān)鍵技術(shù)。 人臉檢測評價標準 人臉檢測系統(tǒng)性能主要評價標準有：檢測率，誤檢率，檢測速度以及魯棒性 ： 8 (1)檢測率 被正確檢測到的人臉數(shù)與圖像內(nèi)包含的人臉數(shù)的比值。檢測率越高，說明檢測系統(tǒng)對人臉的接受能力越強。 (2)誤檢率 也稱虛警率，誤報率。被誤檢為人臉的非人臉子窗口數(shù)與圖像內(nèi)被檢測的所有非人臉子窗口數(shù)的比值。設(shè)圖像內(nèi)被檢測的所有非人臉子窗口數(shù)為 N2，被誤檢為人臉的非人臉子窗口數(shù)為從，則誤檢率為 Nl／ N2。再設(shè)圖像內(nèi)被檢測的所有子窗口數(shù)為 N，圖像內(nèi)包含的人臉數(shù)為 Nl， N=Nl。當 NNl時，誤檢率近似于 Nl／ N。 檢測率無法反映系統(tǒng)對非人臉的排除能力，有可能出現(xiàn)這種情況：所有人臉都被檢測到，但同時很多非人臉區(qū)域被誤認為是人臉。因此引入誤檢率來衡量系統(tǒng)對非人臉的排除能力。誤檢率越低，說明檢測系統(tǒng)對非人臉的排除能力越強。 (3)檢測速度 大部分應(yīng)用領(lǐng)域需要在線實時地檢測人臉，如人臉識別、人臉跟蹤，視頻監(jiān)控等。在檢測率和誤檢率達到滿意的前提下，檢測速度越快越好。 (4)魯棒性 即在各種條件下，檢測系統(tǒng)的適應(yīng)能力。如復雜背景的干擾，人臉姿態(tài)的影響，光照條件的影響，以及遮擋等因素的影響。 這四個標準有些是相互制約的，比如誤檢率隨著檢測率的提高而提高，檢測率隨著誤檢率的降低而降低。 9 第 2 章 檢測方法 人臉檢測經(jīng)歷了較長的發(fā)展過程，期間涌現(xiàn)出了很多的檢測方法，本文以M． H． Yang在 2020年發(fā)表的關(guān)于人臉檢測方法的分類方法把人臉檢測方法分為以下四種：基于知識的方法 (Knowledgebased Methods)、特征不變量方法 (Feature Invariant Approaches)、 模 板 匹配 方 法 (Template Matching Methods)、 基 于 外 觀的 方 法(Appearancebased Methods)。 當然，有許多人臉檢測的方法并不能簡單地歸于上述中的某一類，而是幾類的組合。也可以將人臉檢測的方法簡單地分為兩類：基于特征的和基于圖像的?；谔卣鞯姆椒ㄖ敢阅撤N特征為最小處理單元的方法；基于圖像的方法指以圖像 中的像素為處理單元的方法。 基于知識的方法 此方法是把人臉面部器官之間關(guān)系編碼并準則化的人臉檢測方法。這是一種 自頂而下的方法，根據(jù)人臉面部器官的對稱性、灰度差異等先驗知識，制定一系列的準則。當圖像中的待測區(qū)域符合準則，即被檢測為人臉。 人臉及器官具有典型的邊沿和形狀特征，通常人們利用采用 Laplacian， Sobel和Canny等算子來提取邊沿特征，將這些特征用于人臉的定位。邊沿和形狀對于光照條件的變化具有很好的魯棒性，灰度特征對光照比較敏感。 每一個人臉都有固定的紋理特征，利用這種特征來區(qū)分不同的對象， Skufca和Augusteijn共同努力研究了一種通過鑒別類似于人臉的紋理推斷人臉的存在的方 法 。Nakano和 Dai也將 SGLD模型用于檢測人臉，取得了很好的效果。 Yang等首先提出了基于知識規(guī)則的由粗到細的三級結(jié)構(gòu)來檢測人臉。通過平均和采樣的方法得到原圖像在不同分辨率下的圖像，那些低分辨率的圖像被稱為鑲嵌圖(MosaicImage)。針對不同分辨率的圖像采用不同的準則進行判定，在低分辨率圖像里的準則主要體現(xiàn)了人臉的大體輪廓，而在高分辨率圖像里的準則主要體現(xiàn)了人臉的細節(jié)特征。雖然 ,Yang的方法在檢測性能方面并不突出，但由粗至細的檢測思想對以后的研究工作產(chǎn)生了積極的影響。 但是人臉的類型有千差萬別，如果制定的規(guī)則 太細，真正的人臉可能會被漏掉；如果制定的規(guī)則太籠統(tǒng)，有可能造成較高的虛警率。 特征不變量方法 這個方法的目標是尋找那些即使當姿勢、視角和光線條件變化時仍然存在的結(jié)構(gòu)特 10 征，并利用這些特征來定位人臉。由于人類能夠毫不費勁地“看到”在不同光線和姿態(tài)下的人臉和物體，因此研究人員認為有一個潛在的假設(shè)： 存在一些關(guān)于人臉的不依賴于外在條件的屬性或者特征。 有許多方法就是按照這個潛在假設(shè)，首先去尋找這種臉部特征（通過大量樣本學習的方法），然后用尋找到的特征去檢測人臉。對比基于知識的自上而下的方法，這種基于特征的方法 是自下而上的。 Sirohey提出了用橢圓擬合人臉區(qū)域的方法。 Graf等人提出了利用某些形態(tài)學的方法進行人臉的檢測方法。 Leung等人提出一種利用人臉五個特征來定義和檢測人臉的方法。Han等人提出了一種通過形態(tài)學眼部分割的方法來進行人臉檢測的方法。 與基于知識規(guī)則的方法相比，該類方法主要是企圖尋找人臉不變化的特征來對人臉進行檢測，特征不變量方法的根本假設(shè)是：在所有的人臉檢測過程中存在著圖像空域或者頻域不變量，而且這種不變量是唯一的。于是人臉檢測過程就是在圖像中全局搜索這種不變 量 。該類方法中所采用的特征不變量 主要有：面部特征、紋理。皮膚顏色和多種特征的融合。該類方法中所采用的一個主要問題是：圖像特征極大的收到光照、遮擋和其它噪聲的影響，當陰影存在時，面部的特征辯解將被減弱，而陰影的邊界將被增強，此時導致邊緣感知分組無效。 Sirohey 提出了一種從復雜背景中分割定位人臉的方法，該方法使用人臉邊緣圖信息和橢圓擬合方法檢測人臉。 Augusterjn 提出了一種通過面部相似性紋理信息的人臉檢測方法，通過在 ?1616 大小的子圖像上計算二階統(tǒng)計特征紋理信息。在許多的人臉檢測應(yīng)用中 ，膚色被認為是人臉檢測中一種有效的特 征 ，因為顏色信息和運動信息是一種有效減少搜索空間的特征。最近，人臉檢測最常采用的主要方法是聯(lián)合幾種不同的特征方法檢 測 。它們首先利用全局特征，如膚色和形狀大小等信息尋找人臉候選區(qū)域，再根據(jù)局部特征，如眼睛、鼻子和頭發(fā)等信息來確認候選區(qū)域是人臉區(qū) 域 。 在實際的檢測情況下，由于噪聲和遮擋等問題的存在，人臉的某些特征可能被破壞，這將嚴重影響此算法的檢測效果。 模板匹配方法 該方法大多是用歸一化去互相關(guān)，在圖像灰度層次上直接比較目標模板和候選圖像區(qū)域之間的相似性，得到表示 相似程度的值，然后與相應(yīng)閾值比較判斷候選圖像區(qū)域是否為人臉區(qū)域。其中較為典型的例子就是 Yullietlo 等提出的基于彈性模板匹配的人臉檢測方法。由于模板本身比較粗略，所以模板匹配的人臉檢測方法往往精度不是很高，而且計算量較大，速度較慢。 模板匹配通常被用于人臉檢測的驗證，這樣可以更進一步提高人臉檢測系統(tǒng)的準確率，它的主要思想是利用模板與待檢測圖像之間的相關(guān)程度來對圖像中的入臉進行判斷。可變形模板和預(yù)先定義的模板是人臉檢測常用的模板。 Venkatraman 和GovindarajuI 使用小波延伸的方法用于圖像的 邊緣提取。 Tsukamoto 等提出一個人臉模式的定性模型 (QMF)。 QMF 方法將每一個樣本圖像分割成一些塊，再對各個塊估算 11 其定性特征。 主動形狀模型 (ASM)和主動外觀模型 (AAM)是 近年來流行的一種對象形狀提取算法，其核心思想是在某種局部點模型匹配的基礎(chǔ)上，利用統(tǒng)計模型對待識別的人臉的形狀進行約束，從而轉(zhuǎn)化為一個最優(yōu)化求解問題，并期望最終收斂到實際的人臉形狀上去。 而且，在實際的檢測中，由于人臉的尺度、形狀等的變化較大時往往檢測效果較差，此種方法也沒有獲得較廣泛的應(yīng)用。 基于外觀的方法 基于外觀 的方法也可以稱為基于統(tǒng)計的人臉檢測方法也可以稱為基于分布特征的檢測方法，它是利用統(tǒng)計分析和機器學習等方法來獲得人臉和非人臉特征，利用這些特征和判決函數(shù)來進行人臉檢測的方法。 MIT 的 Sung 和 Poggio提出了一種基于分布特征的人臉檢測方法。他們建立了一個分布模型，指出通過對圖像正例和反例樣本的學習可以獲得人臉的分布模型。該系統(tǒng)由兩個部分組成，人臉模式和非人臉模式的分布模型及一個多層感知器分類器。每一個人臉和非人臉的學習樣本首先進行預(yù)處理，包括歸一化，直方圖均衡等，然后處理為 19 19 的圖像，將這個圖 像作為 361 維的矢量。接下來將這些矢量采用改進的 K 均值聚類算法分成 6個人臉和 6個非人臉的聚類。每一類用它們的均值圖像和協(xié)方差矩陣表示成一個高維的高斯函數(shù)。見圖 21 所示。 圖21 Sung 和 Poggio提出的人臉非人臉聚類模型 12 值得強調(diào)的是，為了解決人臉檢測中“非人臉”樣本的選取問題， Sung 等人采用“自舉（ bootstrap）”方法：首先建立一個只使用“人臉”樣本和少量“非人臉”樣本訓練的初始分類器對一組圖像進行檢測，將所有錯檢非人臉為人臉的圖像加入“非人臉”樣本庫；然后把得到的“人臉”和“ 非人臉”樣本訓練構(gòu)成一個新的分類器進行重新檢測。將以上過程不斷循環(huán)，直到收集到了足夠的“非人臉”樣本。這種循環(huán)檢測來得到非人臉的收集方法后來得到許多研究者的使用。 由于人臉圖像的復雜性，只使用基本特征與簡單規(guī)則很難 有效地描述人臉與背景的本質(zhì)區(qū)別，因此基于統(tǒng)計和學習的方法越來越受到重視。這類方法是把人臉區(qū)域看作一類模式，利用統(tǒng)計分析與機器學習的方法對大量人臉樣本和非人臉樣本進行學習得到各自的統(tǒng)計特征，然后根據(jù)這些特征構(gòu)造分類器，通過判別圖像中所有可能區(qū)域?qū)儆谀念惸Ｊ降姆椒▽崿F(xiàn)人臉檢測。實際上，人臉檢測問題被轉(zhuǎn) 化為統(tǒng)計模式識別的二分類問題。該類方法主要包括：線性子空間法、神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型、支持向量機、基于AdaBoost算法 等方法。 13 第 3 章 經(jīng)典方法概述 人臉檢測的方法多于牛毛，基于各種數(shù)學模型的方法估計有近百種。本節(jié)簡單描述了用于人臉檢測的幾個經(jīng)典方法，以便管中窺豹，這幾個方法在人臉檢測歷史上都發(fā)揮過各自的作用。 特征臉 最早用特征向量來進行人臉檢測的是 Kohonen，他構(gòu)建了一個簡單的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)規(guī)范化了的人臉圖像的識別。這個神經(jīng) 網(wǎng)絡(luò)用圖像的自相關(guān)矩陣的特征向量近似計算了對人臉的描述。這些特征向量后來就發(fā)展成了特征臉 (Eigenface)方法。 特征臉是基于從主成分分析（ PCA）的一種人臉檢測，它根據(jù)一組人臉訓練樣本構(gòu)造主元子空間，檢測時，將測試圖像投影到主元子空間上 ,得到一組投影系數(shù)，再和各個己知的人臉圖像模式比較，從而得到檢測結(jié)果。 在傳統(tǒng)特征臉的基礎(chǔ)上，研究者注意到特征值大的特征人臉向量（特征臉）并不一定分類性能好，而因此發(fā)展了多種特征（子空間）選擇方法，如 Belhumeur的 FisherFace方法等。事實上，特征臉方法是一 種顯式主元分析人臉建模的方法，而一些線性自聯(lián)想、線性壓縮型 BP網(wǎng)則為隱式的主元分析方法，它們都是把人臉表示為一些向量的加權(quán)和，這些向量是訓練集叉積陣的主特征向量。特征臉方法是一種簡單、快速、實用的基于變換系數(shù)特征的算法，但由于它在本質(zhì)上依賴于訓練集和測試集圖像的灰度相關(guān)性，所以還有著很大的局限性。 神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Network， ANN)方法是通過訓練一個網(wǎng)絡(luò)結(jié)構(gòu)，把模式的統(tǒng)計信息隱含在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)之中。在人工神經(jīng)網(wǎng)絡(luò)的方法中， Rowley的工 作較為突出。 Rowley等提出基于神經(jīng)網(wǎng)絡(luò)的人臉檢測系統(tǒng)。他們的系統(tǒng)分為兩個階段：第一階段是基于神經(jīng)網(wǎng)絡(luò)的分類器。該分類器的輸入是規(guī)定尺寸的檢測區(qū)域，輸出為 l到． 1的數(shù)，由此來判斷檢測區(qū)域是否是人臉 (輸出接近 1為人臉，接近． 1為非人臉 )：第二階段是合并重復檢測并判別。由于訓練樣本以及分類器等因素，在圖像中以人臉為中心的一定區(qū)域內(nèi)會產(chǎn)生重復檢測。 此階段使用了一個單層的神經(jīng)網(wǎng)絡(luò)對重復檢測進行合井 ，并使用一個多層的神經(jīng)網(wǎng)絡(luò)對檢測結(jié)果進行判決。以上所述方法局限性在于，僅能檢測正面垂直的人臉。 1998年， Rowley等增加了一級神經(jīng)網(wǎng)絡(luò)用以檢測平面內(nèi)旋轉(zhuǎn)的人臉角度，在對原圖像進行反旋轉(zhuǎn)后，送到正面人臉檢測器中進行檢測，使得該系統(tǒng)可以檢 14 測圖像中按任意的角度旋轉(zhuǎn)的人臉。 圖 31 Rowley 的帶有圖像預(yù)處理的神經(jīng)網(wǎng)絡(luò)系統(tǒng) 用神經(jīng)網(wǎng)絡(luò)進行人臉檢測的好處是很容易訓練一個用于檢測人臉模式的系 統(tǒng)。但是，缺點是網(wǎng)絡(luò)結(jié)構(gòu)需要大范圍的調(diào)整（層數(shù)、結(jié)點數(shù)、學習速率等