【文章內(nèi)容簡介】 圖 應(yīng)用技術(shù)框架圖 人臉識(shí)別不管是訓(xùn)練階段還是識(shí)別階段都首先需要采集人臉圖像，然后對(duì)人臉圖像進(jìn)行預(yù)處理、特征提取、然后再進(jìn)行訓(xùn)練和識(shí)別，最后形成訓(xùn)練結(jié)果或識(shí)別結(jié)果，其中訓(xùn)練階段和識(shí)別階段使用的數(shù)據(jù)不同。 . 本章小結(jié) 本章介紹了人臉識(shí)別系統(tǒng)的技術(shù)框架和功能模塊，人臉檢測具有簡單、方便、成本低、識(shí)別速度快等優(yōu)點(diǎn)。人臉識(shí)別包括三個(gè)方面的內(nèi)容：人臉檢測、人臉對(duì)比和人臉跟蹤。其識(shí)別過程分為三步：首先建立人臉的面像檔案，其 次獲取當(dāng)前的人體面像，最后用當(dāng)前的面紋編碼與檔案庫存的比對(duì)。 3. 人臉識(shí)別的方法 . 人臉識(shí)別算法原理 人臉識(shí)別算法的原理：系統(tǒng)輸入一般是一張或者一系列含有未確定身份的人臉圖像，以及人臉數(shù)據(jù)庫中的若干已知身份的人臉圖象或者相應(yīng)的編碼，而其輸出則是一系列相似度得分，表明待識(shí)別的人臉的身份。 輸入訓(xùn)練集人臉圖像 圖像預(yù)處理 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 特征提取 特征提取 輸入檢測集人臉圖像 圖像預(yù)處理 決策輸出 神經(jīng)網(wǎng)絡(luò)分類器 基于 OpenCV 的 視頻人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 13 . 常用人臉識(shí)別方法 人臉識(shí)別包括兩個(gè)方面：一是人臉檢測和定位，二是人臉識(shí)別。人臉識(shí)別系統(tǒng)包括圖像攝取、人臉定位、圖像預(yù)處理、以及人臉識(shí)別。人臉識(shí)別的方法有很多。一是基于特征點(diǎn)的人臉識(shí)別方法，該方法是基于 KL 變換的人臉識(shí)別方法，這 種方法需要較多的訓(xùn)練樣本，而且完全是基于圖像灰度的統(tǒng)計(jì)特性。二是彈性圖匹配的人臉識(shí)別方法，這種方法在二維的空間中定義了一種對(duì)于通常的人臉變形具有一定的不變性的距離，并采用屬性拓?fù)鋱D來代表人臉，拓?fù)鋱D的任意頂點(diǎn)均包含一特征向量，用來記錄人臉在頂點(diǎn)位置附近的信息。三是基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法，該方法模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和工作機(jī)理，構(gòu)建一種類似人腦的計(jì)算模型。本文主要用基于神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行人臉識(shí)別，下一節(jié)將詳細(xì)介紹這一方法。其次還有線段 Hausdor 距離（ LHD）的人臉識(shí)別方法和支持向量機(jī)的人臉識(shí)別方法 。 . 基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法 人工神經(jīng)網(wǎng)絡(luò)是通過模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和工作機(jī)理，構(gòu)建一種類似人腦的計(jì)算模型。人工神經(jīng)網(wǎng)絡(luò)的識(shí)別方法在人臉識(shí)別中的應(yīng)用有很長的歷史，它有其特殊的適合于人臉識(shí)別的優(yōu)勢。它不像其他的方法那樣要用一套由人來確定的規(guī)則，同時(shí)也避免了復(fù)雜的特征提取工作，他能根據(jù)有代表性的樣本進(jìn)行學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)以并行方式處理信息，如果能用硬件實(shí)現(xiàn)，就能顯著提高速度。神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別、性別識(shí)別中都有廣泛的應(yīng)用。 人工神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別主要有兩種結(jié)構(gòu)。第一，為所有已知人臉建立一個(gè)神經(jīng)網(wǎng)絡(luò)：可對(duì)所有 已知人臉進(jìn)行分類和識(shí)別。這種結(jié)構(gòu)要求用所有人臉的特征對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練好的網(wǎng)絡(luò)連接權(quán)值是所有人臉特征的隱含表示，這種形式只需一個(gè)神經(jīng)網(wǎng)絡(luò)，但網(wǎng)絡(luò)規(guī)模很大，權(quán)系數(shù)要求較多，存儲(chǔ)量要求也較大，訓(xùn)練時(shí)間較長。由于系統(tǒng)每增加一個(gè)人，都要對(duì)網(wǎng)絡(luò)經(jīng)行重新訓(xùn)練，因此這種系統(tǒng)性能不佳。第二，對(duì)每一個(gè)人建立一種神經(jīng)網(wǎng)絡(luò)：這種神經(jīng)網(wǎng)絡(luò)的目的是區(qū)分每一對(duì)人，因此只需對(duì)著一對(duì)人進(jìn)行訓(xùn)練，網(wǎng)絡(luò)的權(quán)系數(shù)隱含區(qū)分這一對(duì)人臉的個(gè)性特征，固網(wǎng)絡(luò)的規(guī)模小，權(quán)系數(shù)少，存儲(chǔ)量和訓(xùn)練時(shí)間也少。同時(shí)，對(duì)每一對(duì)人的訓(xùn)練只需這一對(duì)人的特征，與其他人無關(guān) ，固系統(tǒng)具有良好的模塊化結(jié)構(gòu)，可擴(kuò)展性能好。本節(jié)介紹基于多層感知器神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法。 西北大學(xué)本科畢業(yè)論文 多層感知器是一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、一個(gè)或多個(gè)隱層以及一個(gè)輸出層組成，其學(xué)習(xí)算法采用 BP 算法。多層感知器在訓(xùn)練的過程中，第一層權(quán)值決定了超平面在空間的取向，網(wǎng)絡(luò)的不斷訓(xùn)練，標(biāo)志著由超平面所形成的超空間在不斷的變化。在隱層數(shù)足夠多的情況下，由超平面所形成的線性區(qū)域?qū)o窮多，其第一隱層可以在模式空間實(shí)現(xiàn)各種超平面分割；第二隱層實(shí)現(xiàn)第一隱層的邏輯“與”運(yùn)算，即將其分割的模式超平面空間按類別進(jìn)行空間劃分；而輸出層由第 二隱層的輸出值進(jìn)行邏輯“或”運(yùn)算，即將進(jìn)行邏輯“與”運(yùn)算的屬于同一類的超平面進(jìn)行歸類。 BP 神經(jīng)網(wǎng)絡(luò)分三層，即輸入層、隱層、輸出層。記輸入層神經(jīng)元數(shù)為 I，隱含層神經(jīng)元數(shù)為 H，輸出層神經(jīng)元數(shù)為 J。對(duì)于人臉識(shí)別數(shù)為 P 的人臉識(shí)別問題來說，網(wǎng)絡(luò)輸出層的神經(jīng)元數(shù) J 就取為人臉類別數(shù) P，對(duì)于任意一個(gè)人臉測試圖像，可根據(jù)網(wǎng)絡(luò)輸出層輸出矢量的最大分量分類。人臉圖像矢量的維數(shù) N 通常比較大，而訓(xùn)練樣本數(shù) K 通常比較小，所以設(shè)計(jì)用于人臉識(shí)別的 BP 神經(jīng)網(wǎng)絡(luò)分類器比較困難。為了實(shí)現(xiàn)具有推廣能力強(qiáng)的 BP 分類器，可以從特征壓縮著手，壓縮輸入 矢量的維數(shù)，并適當(dāng)?shù)倪x擇隱層的神經(jīng)元數(shù)。為了加快網(wǎng)絡(luò)訓(xùn)練的收斂速度，可對(duì)輸入矢量做標(biāo)準(zhǔn)化處理，并給個(gè)連接權(quán)適當(dāng)?shù)馁x予初值。 網(wǎng)絡(luò)的隱層可以認(rèn)為是輸入層和隱層之間的連接權(quán)值的“自組織化”對(duì)輸入模式進(jìn)行特征抽取，并將抽取出的特征傳遞給輸出層，關(guān)于隱層的神經(jīng)元數(shù) H 的選取尚無理論上的指導(dǎo)。一般地，隱層的神經(jīng)元數(shù) H 大，網(wǎng)絡(luò)的冗余性大，增加了網(wǎng)絡(luò)一次訓(xùn)練的訓(xùn)練時(shí)間，盡管使網(wǎng)絡(luò)收斂的訓(xùn)練次數(shù)會(huì)減少，但會(huì)降低分類器的推廣能力。為了保證分類器的穩(wěn)定性，顯然網(wǎng)絡(luò)未知連接權(quán)值的個(gè)數(shù)不宜超過訓(xùn)練樣本值的個(gè)數(shù)，所以隱層的神經(jīng)元數(shù) H 應(yīng) 該滿足一下要求： （ I+1） H+(H+1)KI 人臉識(shí)別網(wǎng)絡(luò)輸出層的神經(jīng)元數(shù) J 取為人臉類別數(shù) P，而通過特征壓縮網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù) I 也是取為人臉類別數(shù) P，這樣可按下式選取隱層的神經(jīng)元數(shù) H。 H≈ K/2 即網(wǎng)絡(luò)隱層的神經(jīng)元數(shù)是取為訓(xùn)練樣本數(shù)的一半。由于 BP 常采用的 Sigmoid 激勵(lì)函數(shù)的曲線兩端平坦，中間部分變化劇烈，為了提高網(wǎng)絡(luò)的收斂速度對(duì)網(wǎng)絡(luò)輸入矢量的每個(gè)分量化為均值為 0，方差為 1 的標(biāo)準(zhǔn)形式。一般認(rèn)為連接權(quán)值初值可在區(qū)間 [，]內(nèi)隨機(jī)選取。對(duì)人臉校準(zhǔn)圖像用類間相關(guān)矩陣作為 KL 變換的產(chǎn)生矩陣 ，可抽取出基于 OpenCV 的 視頻人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 15 P 維的識(shí)別特征，將 P 維的識(shí)別特征矢量做為網(wǎng)絡(luò)的輸入矢量，每訓(xùn)練一個(gè)樣本，修正一次連接權(quán)值。訓(xùn)練好網(wǎng)絡(luò)后，就可用它對(duì)新輸入的人臉進(jìn)行識(shí)別。 . 本章小結(jié) 本章主要介紹了人臉識(shí)別的一些方法以及人臉識(shí)別和生物特征識(shí)別的區(qū)別，主要的人臉識(shí)別方法有：幾何特征的人臉識(shí)別、基于特征臉的人臉識(shí)別方法、神經(jīng)網(wǎng)絡(luò)的的人臉識(shí)別、彈性匹配的人臉識(shí)別方法、線段 Hausdor 距離（ LHD）的人臉識(shí)別方法和支持向量機(jī)的人臉識(shí)別方法。本文主要用基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法進(jìn)行人臉識(shí)別。 4. 人臉檢測核心算法 . 人臉檢測算法在人臉識(shí)別 中的作用 人臉 檢測是人臉識(shí)別中的一項(xiàng)關(guān)鍵技術(shù)，人臉檢測是指判定任意給定一幅圖像或者一組圖像序列中是否存在人臉。如果存在，則返回其位置和各個(gè)人臉?biāo)嫉膮^(qū)域。在輸入圖像中確定所有的人臉存在的位置，大小，位姿的過程。是自動(dòng)人臉識(shí)別系統(tǒng)的一個(gè)關(guān)鍵環(huán)節(jié)。 人臉檢測最初是隨著人臉識(shí)別的研究而提出的 ,但隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展 ,人臉檢測受到越來越高的重視而作為一個(gè)獨(dú)立的課題提出。人臉檢測長期以來受檢測的精度和檢測的速度困擾 ,直到上世紀(jì) 90年代 ,由 Viola提出的基于 AdaBoost算法極大地提高了人臉檢測地速度的和精度 , 使人臉檢測技術(shù)真正走向?qū)嵱?。人臉識(shí)別技術(shù)是基于人的臉部特征，對(duì)輸入的人臉圖象或者視頻流進(jìn)行檢測 ，首先判斷其是否存在人臉 , 如果存在人臉，則進(jìn)一步的給出每個(gè)臉的位置、大小和各個(gè)主要面部器官的位置信息。并依據(jù)這些信息，進(jìn)一步提取每個(gè)人臉中所蘊(yùn)涵的身份特征，并將其與已知的人臉進(jìn)行對(duì)比，從而識(shí)別每個(gè)人臉的身份。 . 人臉檢測算法 人臉檢測的算法有很多。一是基于模版匹配的算法，其核心思想是利用人的臉部特征規(guī)律建立一個(gè)立體可調(diào)的模型框架，在定位出人的臉部位置后用模型框架定位和調(diào)整人的臉部特征定位，解決人臉識(shí)別過程中的 觀察角度、遮擋和表情變化等影響因素。二西北大學(xué)本科畢業(yè)論文 是主成份分析，它具有描述性強(qiáng)、計(jì)算代價(jià)小、易實(shí)現(xiàn)等特點(diǎn)。三是主成份分析法，該方法隨著樣本的增加需要不斷的舍棄一些 PC 以維持子空間維數(shù)不變，因而該方法精度稍差。四是 AdaBoost 算法，該算法是目前檢測最為成功的算法之一，檢測速度快。下一節(jié)將詳細(xì)介紹這一算法。 . AdaBoost 算法 Paul Viola 和 Michael Jones 于 2021 年將 AdaBoost 算法應(yīng)用于人臉檢測中 ,其基本思想是針對(duì)不同的訓(xùn)練集訓(xùn)練同一個(gè)分類器（弱分類器），然后把這些不同訓(xùn)練集上的得到的分 類器聯(lián)合起來，構(gòu)成一個(gè)最終的強(qiáng)分類器。 AdaBoost 算法中不同的訓(xùn)練集是通過調(diào)整每個(gè)樣本對(duì)應(yīng)的權(quán)重來實(shí)現(xiàn)的。開始時(shí)，每個(gè)樣本對(duì)應(yīng)的權(quán)重是相同的，對(duì)于 h1 分類錯(cuò)誤的樣本，加大其對(duì)應(yīng)的權(quán)重； 而對(duì)于分類正確的樣本， 降低其權(quán)重， 這樣分錯(cuò)的樣本就被突出出來，從而得到一個(gè)新的樣本分布 U2 。在新的樣本分布下，再次對(duì)弱分類器進(jìn)行訓(xùn)練，得到弱分類器 h2 。依次類推，經(jīng)過 T 次循環(huán)，得到 T 個(gè)弱分類器，把這 T 個(gè)弱分類器按一定的權(quán)重疊加（ boost）起來，得到最終想要的強(qiáng)分類器。 每個(gè) Haar 特征對(duì)應(yīng) 看一個(gè)弱分類器，但并不是任何一個(gè) Haar 特征都能較好的描述人臉灰度分布的某一特點(diǎn)，如何從大量的 Haar 特征中挑選出最優(yōu)的 Haar 特征并制作成分類器用于人臉檢測，這是 AdaBoost 算法訓(xùn)練過程所要解決的關(guān)鍵問題。 訓(xùn)練系統(tǒng)總體框架，由 “ 訓(xùn)練部分 ” 和 “ 補(bǔ)充部分 ” 構(gòu)成。依據(jù)系統(tǒng)框架，如圖，本文的訓(xùn)練系統(tǒng)可分為以下幾個(gè)模塊 : (1)以樣本集為輸入，在給定的矩形特征原型下，計(jì)算并獲得矩形特征集 。 (2)以特征集為輸入，根據(jù)給定的弱學(xué)習(xí)算法，確定閩值，將特征與弱分類器一一對(duì)應(yīng)，獲得弱分類器集 。 (3)以弱 分類器集為輸入， 在訓(xùn)練檢出率和誤判率限制下， 使用 AdaBoost 算法，挑選最優(yōu)的弱分類器構(gòu)成強(qiáng)分類器 。 (4)以強(qiáng)分類器集為輸入，將其組合為級(jí)聯(lián)分類器 。 (5)以非人臉圖片集為輸入，組合強(qiáng)分類器為臨時(shí)的級(jí)聯(lián)分類器，篩選并補(bǔ)充非人臉樣本。 基于 OpenCV 的 視頻人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 17 圖 訓(xùn)練系統(tǒng)框架 訓(xùn)練過程分為 3 個(gè)步驟：首先需要提取 Haar 特征；然 后將 Haar 特征轉(zhuǎn)化成對(duì)應(yīng)的弱分類器；最后從大量的弱分類器中迭代選擇出最優(yōu)弱分類器。 haar 特征 確定閥值，由矩形特征生成對(duì)應(yīng)的弱分類器 矩形特征原型 非人臉樣本集 強(qiáng)分類器集 非人臉圖片集 計(jì)算樣本積分圖 補(bǔ)充非人臉樣本 若分類器集 挑選最優(yōu)弱分類器 ， 調(diào) 用AdaBoost 算法訓(xùn)練強(qiáng)分類器 特征集 人臉樣本集 計(jì)算矩形特征值 訓(xùn) 練 部 分 補(bǔ)充部分 西北大學(xué)本科畢業(yè)論文 圖 常用的四中 haar 特征 常用的 Haar 特征有 4 種，如圖 所示。當(dāng)然也可以在這 4 種特征的基礎(chǔ)上設(shè)計(jì)出更多、更復(fù)雜的特征，上述 4 種特征的 總個(gè)數(shù)超過了 160000 個(gè)。這樣龐大的數(shù)字給后續(xù)的迭代訓(xùn)練工作帶來了龐大的計(jì)算量，直接導(dǎo)致 AdaBoost 算法訓(xùn)練過程極為費(fèi)時(shí)，這恰恰是算法需要改進(jìn)的關(guān)鍵問題之一。 每一個(gè) Haar特征都對(duì)應(yīng)著一個(gè)弱分類器，每一個(gè)弱分類器都是根據(jù)它所對(duì)應(yīng)的 Haar特征的參數(shù)來定義的。利用上述 Haar 特征的位置信息，對(duì)訓(xùn)練樣本進(jìn)行統(tǒng)計(jì)就可以得到對(duì)應(yīng)的特征參數(shù)。 AdaBoost 算法中所訓(xùn)練的弱分類器是任何分類器，包括決策樹，神經(jīng)網(wǎng)絡(luò)，隱馬爾科夫模型，如果弱分類器是線性神經(jīng)網(wǎng)絡(luò)，那么 AdaBoost 算法每次將構(gòu)造 多層感知器的一個(gè)節(jié)點(diǎn)。 AdaBoost 算法選取優(yōu)化的弱分類器。 AdaBoost 算法訓(xùn)練過程就是挑選最優(yōu)弱分類器，并賦予權(quán)重的過程。 . 本章小結(jié) 本章主要講了人臉識(shí)別常見算法以及人臉識(shí)別算法的原理，有二維人臉識(shí)別算法和三維人臉識(shí)別算法。二維人臉識(shí)別算法有基于模版匹配的方法、基于奇異值特征方法、子空間分析法、主成分分析法（ PCA）、積分圖像特征法（ AdaBoost）。 AdaBoost 算法應(yīng)用于人臉檢測中 ,其基本思想是針對(duì)不同的訓(xùn)練集訓(xùn)練同一個(gè)分類器，然后把這些不同訓(xùn)練集上的得到的分類器聯(lián)合起來，構(gòu)成一個(gè) 最終的強(qiáng)分類器。 5. 原型系統(tǒng)實(shí)現(xiàn) . 系統(tǒng)模塊劃分 該系統(tǒng)共分為六個(gè)功能模塊： 基于 OpenCV 的 視頻人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 19 （ 1）圖像獲取模塊。該模塊主要是從攝像頭捕捉到的或者用戶設(shè)定的路徑獲取圖片，隨后能夠在用戶的軟件的界面當(dāng)中顯示出來。 （ 2）圖像預(yù)處理模塊。圖像預(yù)處理就是對(duì)獲取的圖像進(jìn)行適當(dāng)?shù)奶幚?，使得無用信息被剔除，有用信息被保存并增強(qiáng)效果。 （ 3）人臉區(qū)域獲取。該模塊主要是從獲得的圖像中檢測發(fā)現(xiàn)是否有人臉的存在并將人臉區(qū)域用綠色圓圈圈出來。 （ 4）人臉定位模塊。人臉定位是將描述人臉特征的關(guān)鍵點(diǎn)（如兩眼中點(diǎn)、鼻尖、嘴角等等）標(biāo)記出來。 利用眼睛的對(duì)稱性以及五官之間的相對(duì)關(guān)系可以迅速的