【文章內(nèi)容簡介】 人臉識別技術(shù)發(fā)展的三個階段 第一階段一非自動識別階段 :主要研究如何提取人臉識別所需的特征。通過簡單的語句描述人臉數(shù)據(jù)庫成為待識別人臉設(shè)計逼真的摹寫來提高面部識別率。這是需要手工干預(yù)的階段。此階段以 Bertillon、 Allen 和 Parke 為代表。在 Bertillon 系統(tǒng)中，用了一個簡單的語句與數(shù)據(jù)庫中的某一張臉相聯(lián)系，同時與指紋識別相結(jié)合，提供了一個較強(qiáng)的識別系統(tǒng)。為了提高面部識別率， Allen 為待識別人臉設(shè)計了一種有效逼真的摹寫 [2]， Parke 則用計算機(jī)實(shí)現(xiàn)了這一想 法 [3]，并且產(chǎn)生了較高質(zhì)量的人臉灰度圖模型。在此階段，識別過程全部依賴于操作人員，所以不是一種自動識別的系統(tǒng)。 第二階段一人機(jī)交互階段 :這一階段雖然實(shí)現(xiàn)了一定的自動化，但還需要操作員的某些先驗知識，仍然不是一個完全自動的識別系統(tǒng)。此階段的代表性工作有 :Goldstion、Harmon 和 Lesk 等人用幾何特征參數(shù)來表示人臉正面圖像 [4]。他們采用 21 維特征矢量表示人臉面部特征，并設(shè)計了基于這一表示法的識別系統(tǒng)。 Kaya 和 Kobayashi 則采用了統(tǒng)計識別的方法，用歐氏距離來表示人臉特征 [5]，例如嘴 和鼻子之間的距離，嘴唇的高度，兩眼之間的距離等。更進(jìn)一步的， 設(shè)計了快速且有一定知識引導(dǎo)的半自動回溯識別系統(tǒng) [6]，創(chuàng)造性的運(yùn)用積分投影法從單幅圖像上計算出一組臉部特征參數(shù)，再利用模式分類技術(shù)與標(biāo)準(zhǔn)人臉相匹配。 Kanad 的系統(tǒng)實(shí)現(xiàn)了快速、實(shí)時的處理，是一個很大的進(jìn)步?？偟膩碚f，上述方法都需要利用操作員的某些先驗知識，始終擺脫不了人的干預(yù)。 第三階段一自動識別階段 :這一階段真正實(shí)現(xiàn)了機(jī)器自動識別，產(chǎn)生了眾多人臉識別方法，出現(xiàn)了多種機(jī)器全自動識別系統(tǒng)。近十余年來，隨著高速度、高性能計算機(jī)的發(fā) 展，人臉識別方法有了較大的突破，提出了多種機(jī)器全自動識別系統(tǒng) [7]。近年來，人臉識別技術(shù)研究也非常活躍，除了基于 K一 L變換的特征臉方法與奇異值特征為代表的代數(shù)特征方法取得了發(fā)展外 [8][9]，人工神經(jīng)網(wǎng)絡(luò) [10][11]、隱馬爾可夫模型小波變換等也在人臉識別研究中得到了廣泛的應(yīng)用 [12][13]，而且出現(xiàn)了不少人臉識別的新方法 [14][15][16]。本文將在 節(jié)介紹人臉識別的主要內(nèi)容與方法。 國內(nèi)外發(fā)展現(xiàn)狀 目前，國外對人臉識別問題的研究比較多，其中比較著名的有 MTI、 CMU、 Cornell和 Rockfeller 等， MPEG 標(biāo)準(zhǔn)組織也已經(jīng)建立了專門的人臉識別草案小組。國際上發(fā)表的相關(guān)論文數(shù)量也大幅度增長， EIEE 的著名國際會議，如 EIEE International Conference on Automatic Face and Gesture Recognition、 International Conference on Image Processing、 Conference on Computer Vision and Pattern Recognition等，每年都有大量關(guān)于人臉識 別的論文。截至 2020 年 3月， EIEE/IEE 全文數(shù)據(jù)庫中收 5 錄的關(guān)于“ face”的文章 8916 篇，其中有關(guān)“ face recognition”的 3280 篇，約占 %，并且每年的文獻(xiàn)呈急劇上升趨勢。同樣在工程索引 El 中，至 2020 年 3 月，共有 81657篇有關(guān)“ face”的文獻(xiàn)，數(shù)目是驚人的，并且 2020 年后快速增長。國內(nèi)對人臉識別領(lǐng)域的研究起步較國外晚，但近十年來呈現(xiàn)飛速發(fā)展，據(jù)中國期刊網(wǎng)統(tǒng)計， 1996 年至 2020年 3 月，有關(guān)“人臉”的文獻(xiàn) 1467 篇，其中人臉識別領(lǐng)域的文章 494 篇，并且再近幾年獲得快速 增長，也預(yù)示人臉識別領(lǐng)域得到快速發(fā)展。目前國內(nèi)大部分高校有人從事人臉識別相關(guān)的研究，其中技術(shù)比較先進(jìn)的有中科院自動化所、清華大學(xué)、浙江大學(xué)等。 自動人臉識別技術(shù) (AFR)就是利用計算機(jī)技術(shù)，根據(jù)數(shù)據(jù)庫的人臉圖像，分析提取出有效的識別信息，用來“辨認(rèn)”身份的技術(shù)。人臉識別技術(shù)的研究始于六十年代末七十年代初，其研究領(lǐng)域涉及圖像處理、計算機(jī)視覺、模式識別、計算機(jī)智能等領(lǐng)域，是伴隨著現(xiàn)代化計算機(jī)技術(shù)、數(shù)據(jù)庫技術(shù)發(fā)展起來的綜合交叉學(xué)科。 人臉識別的研究內(nèi)容 人臉識 別的研究范圍廣義上來講大致包括以下五個方面的內(nèi)容。 (Face Detection):即從在動態(tài)的場景與復(fù)雜的背景中檢測出人臉的存在并且確定其位置，最后分離出來。這一任務(wù)主要受到光照、噪聲、面部傾斜以及各種各樣遮擋的影響。 (Face Representation)(也稱人臉特征提取 ):即采用某種表示方法表示檢測出人臉與數(shù)據(jù)庫中的己知人臉。通常的表示方法包括幾何特征 (如歐氏距離、曲率、角度 )、代數(shù)特征 (如矩陣特征向量 )、固定特征模板等。 (Face Identification):即將待識別的人臉與數(shù)據(jù)庫中已知人臉比較，得出相關(guān)信息。這一過程的核心是選擇適當(dāng)?shù)娜四槺碚鞣绞脚c匹配策略。 (Expression/Gesture Analysis):即對待識別人臉的表情或姿態(tài)信息進(jìn)行分析，并對其加以歸類。 (Physical Classification):即對待識別人臉的生理特征進(jìn)行分析，得出其年齡、性別等相關(guān)信息，或者從幾幅相關(guān)的圖像推導(dǎo)出希望得到的人臉圖像，如從父母圖像推導(dǎo)出孩子的臉部圖像和基于年齡增長的人臉圖像估算等。 人臉識別的研究內(nèi)容 ，從生物特征技術(shù)的應(yīng)用前景來分類，包括以下兩個方面 :人臉驗證與人臉識別。 (Face Verification/Authentication):即是回答“是不是某人 ?(Am I whom I claim I am?)”的問題。它是給定一幅待識別人臉圖像，判別它是否是“某人”的問題，屬于“一對一”的兩類模式分類問題，主要用于安全系統(tǒng)的身份驗證。 (Face Identification/Recognition):即是回答“是誰 ?(Who am I?)”的問題。它是給定一幅待識別人臉圖像 ，在已有的人臉數(shù)據(jù)庫中，判別它的身份的問題。 6 它是個“一對多”的多類模式分類問題，通常所說的人臉識別即指此類問題，這也是本文的主要研究內(nèi)容。 人臉識別的視覺機(jī)理 近幾年的研究表明 [17]，人類視覺數(shù)據(jù)處理是多層次的過程，其中最低層的視覺過程(視網(wǎng)膜功能 )起到信息轉(zhuǎn)儲作用，即將大量圖像數(shù)據(jù)轉(zhuǎn)換為較為抽象的信息，這一任務(wù)由視網(wǎng)膜中的兩類細(xì)胞完成 :低層次的細(xì)胞對空間的響應(yīng)與小波變換作用類似，高層次的細(xì)胞則依據(jù)低層次細(xì)胞的響應(yīng)，而作出具體的線、面乃至物體模式的響應(yīng)。這表明在視覺處理過程中，神經(jīng)元并不是隨便的 、不可靠的把視覺圖像的光照強(qiáng)度投射到感覺中樞，它們可以檢測模式單元，區(qū)分物體的深度，排除無關(guān)的變化因素，并組成一個令人感興趣的層次結(jié)構(gòu)。人臉識別不僅有著以上普通視覺過程的特點(diǎn)，而且具有以下獨(dú)特之處 [1822][23]。 。針對人臉識別，大腦中存在一個專門的處理過程； ，局部特征與整體特征均起作用。若存在明顯的局部特征，整體特征將不起作用； 。在正面人臉圖像中，頭發(fā)、人臉輪廓、眼睛以及 嘴巴對識別和記憶有著重要影響，鼻子的作用則不是很重要。但在側(cè)面人臉識別中，鼻子對特征點(diǎn)的匹配很有作用。通常來講人臉的上部比下部對識別作用更大些； 。低頻信息代表了整體的描述，高頻信息包含了局部的細(xì)節(jié)。對于性別的判斷，僅利用低頻信息就足夠了，對于身份識別沒有高頻信息就無法完成； 。有實(shí)驗表明，從人臉底部打光會導(dǎo)致識別困難； 。研究還發(fā)現(xiàn)，對熟悉的人臉，人類的識別能力在動態(tài)場景中要高于靜態(tài)場景； ，而較少的使用整體分析； 。性別的人臉識別的難易程度不同，這可能因為不同類型的人臉圖像具有不同的特征； 。通過對腦部受損的病人研究表明，表情的分析與識別雖有聯(lián)系，但總體來說是分開處理的。 人臉識別是一種復(fù)雜的信息處理任務(wù)，它的研究涉及計算機(jī)技術(shù)、心理學(xué)和神經(jīng)生理學(xué)。視覺機(jī)理、心理學(xué)和神經(jīng)生理學(xué)的研究結(jié)果無疑將非常有益于人臉識別技術(shù)的發(fā)展，這些結(jié)論對于設(shè)計有效的識別方法起到了一定啟發(fā)作用。但除少數(shù) 文獻(xiàn)外 [24]，機(jī)器識別人臉的研究還是獨(dú)立于心理學(xué)和神經(jīng)生理學(xué)的研究的。 人臉識別系統(tǒng)的組成 7 在人臉識別技術(shù)發(fā)展的幾十年中，研究者們提出了多種多樣的人臉識別方法，但大部分的人臉識別系統(tǒng)主要由三部分組成 :圖像預(yù)處理、特征提取和人臉的分類識別。一個完整的自動人臉識別系統(tǒng)還包括人臉檢測定位和數(shù)據(jù)庫的組織等模塊，如圖 11。其中人臉檢測和人臉識別是整個自動人臉識別系統(tǒng)中非常重要的兩個技術(shù)環(huán)節(jié)，并且相對獨(dú)立。下面分別介紹這兩個環(huán)節(jié)。 圖 11 人臉識別系統(tǒng)框圖 人臉檢測與定位 檢測圖像中是否有人臉 ，若有，將其從背景中分割出來，并確定其在圖像中的位置。在某些可以控制拍攝條件的場合，如警察拍罪犯照片時將人臉限定在標(biāo)尺內(nèi)，此時人臉的定位很簡單。證件照背景簡單，定位也比較容易。在另一些情況下，人臉在圖像中的位置預(yù)先是未知的，比如在復(fù)雜背景下拍攝的照片，這時人臉的檢測與定位將受以下因素的影響 : 、角度、不固定尺寸以及光照的影響； 、眼鏡、胡須以及人臉的表情變化等； 。 特征提取與人臉識別 特征提取之前一般需要做幾何歸一化和灰度歸一 化的工作。前者是指根據(jù)人臉定位結(jié)果將圖像中的人臉變化到同一位置和大小；后者是指對圖像進(jìn)行光照補(bǔ)償?shù)忍幚?，以克服光照變化的影響，光照補(bǔ)償能夠一定程度的克服光照變化的影響而提高識別率。提取出待識別的人臉特征之后，即可進(jìn)行特征匹配。這個過程是一對多或者一對一的匹配過程，前者是確定輸入圖像為圖像庫中的哪一個人 (即人臉識別 )，后者是驗證輸入圖像的人的身份是否屬實(shí) (即人臉驗證 )。 以上兩個環(huán)節(jié)的獨(dú)立性很強(qiáng)。在許多特定場合下人臉的檢測與定位相對比較容易，因此“特征提取與人臉識別環(huán)節(jié)”得到了更廣泛和深入的研究。近幾 年隨著人們越來越關(guān)心各種復(fù)雜的情形下的人臉自動識別系統(tǒng)以及多功能感知研究的興起，人臉檢測與定位才作為一個獨(dú)立的模式識別問題得到了較多的重視。本文主要研究人臉的特征提取與分類識別的問題。 主要的人臉識別方法 人臉識別技術(shù)作為模式識別領(lǐng)域的一個研究熱點(diǎn)，每年都有許多相應(yīng)的研究成果發(fā)表，并且涌現(xiàn)出各種各樣的識別方法，可以說信息處理領(lǐng)域的各種新方法的研究和算法 8 的改進(jìn)都嘗試在人臉識別中得到應(yīng)用。文獻(xiàn) [25][26]對近十年來人臉識別領(lǐng)域取得的成果進(jìn)行了總結(jié)。人臉識別方法的分類，根據(jù)研究角度的不同，可 以有不同的分類方法，這是研究人臉識別方法首先遇到的問題。本文在深入研究國內(nèi)外人臉識別技術(shù)的發(fā)展和研究成果的同時，將已有的不同的分類方法做一個比較，目的是希望能從不同角度認(rèn)識人臉識別問題，在較全面的了解各種方法優(yōu)缺點(diǎn)的基礎(chǔ)上，給本文的人臉識別方法提供研究方向。 根據(jù)輸入圖像中人臉的角度，人臉識別技術(shù)可分為基于正面、側(cè)面、傾斜人臉圖像的人臉識別。由于實(shí)際情況的要求，對人臉正面模式的研究最多，這也是本文的研究內(nèi)容。 根據(jù)圖像來源的不同，人臉識別技術(shù)可分為兩大類 :靜態(tài)人臉識別和動態(tài)人臉識別。靜態(tài)人臉 識別，即人臉來源為穩(wěn)定的二維圖像如照片。如果人臉的來源是一段視頻圖像，則人臉識別就屬于動態(tài)人臉識別。在頭部運(yùn)動和表情變化狀態(tài)下的人臉識別都可以看作動態(tài)人臉識別，如視頻監(jiān)視中的人臉識別。動態(tài)人臉識別具有更大的難度 :首先，視頻輸出的圖像質(zhì)量較差 :其次，背景較復(fù)雜，目前對動態(tài)人臉識別的研究還局限于簡單背景，較少人物的情況，對靜態(tài)人臉識別的研究比較多。本文的研究也是基于靜止圖像的。 根據(jù)人臉識別技術(shù)的發(fā)展歷史，人臉識別方法大致可分為基于幾何特征的人臉識別方法、基于模板匹配的人臉識別方法和基于模型的人臉識別方 法。 這是人臉識別技術(shù)發(fā)展中，應(yīng)用最早的方法。該方法是通過提取人臉的幾何特征，包括人臉部件的歸一化的點(diǎn)間距離、比率以及人臉的一些特征點(diǎn)，如眼角、嘴角、鼻尖等部位所構(gòu)成的二維拓?fù)浣Y(jié)構(gòu)進(jìn)行識別的方法。所構(gòu)造的幾何特征既要清晰區(qū)分不同對象人臉的差異，又要對光照背景條件不敏感，常規(guī)的幾何特征量很難滿足這些要求。因此該方法識別效果不理想。 基于模板匹配的方法，主要是利用計算模板和圖像灰度的自相關(guān)性來實(shí)現(xiàn)識別功能。一般基于人臉的全局特征，利用人臉模板和相關(guān) 參數(shù)如灰度的相關(guān)性來進(jìn)行檢測和識別的。 Berto 在 [27]中將基于幾何模型的人臉識別方法和模板匹配進(jìn)行了全面比較后，得出結(jié)論 :前者具有識別速度快和內(nèi)存要求小的優(yōu)點(diǎn)，但在識別率上后者要優(yōu)于前者。增加幾何特征對于基于幾何特征的人臉識別方法只能輕微的提高識別率，因為要提高幾何特征的提取質(zhì)量本身就十分困難，而且隨著圖像質(zhì)量的下降和人臉遮擋的引入，基于幾何特征的人臉識別效果會大幅下降?？傊?，認(rèn)為模板匹配法要優(yōu)于幾何特征法。 通過統(tǒng)計分析和匹配學(xué)習(xí)找出人臉和非人臉，以及不同人臉之間的聯(lián)系。該 方法包括特征臉法 (Eigenface)、神經(jīng)網(wǎng)絡(luò)方法 (NN)、隱馬爾可夫模型方法 (HMM)和支持向量機(jī)(SVM)等方法。和模板匹配的方法相比，基于模型方法的模板是通過樣本學(xué)習(xí)獲得，而非人為設(shè)定。所以該方法，從原理上更為先進(jìn)合理，實(shí)驗中也