【文章內(nèi)容簡介】 ，同一種表情在不同的人上也會(huì)有不同的表現(xiàn)形式。并且同一個(gè)人的不同表情之間也沒有 明確的界限。以上這些決定計(jì)算機(jī)很難用統(tǒng)一的標(biāo)準(zhǔn)來識別人的面部表情。 五 、 遮擋問題 對于非配合情況下，采集到的人臉圖像一般都不是完整的，這會(huì)影響人臉特征提取與識別，可能還會(huì)導(dǎo)致人臉檢測算法的 失效 。 如何有效地排除遮擋物的影響有著非常重要的意義，如在監(jiān)控環(huán)境下。 以上列舉 了 部分 主要的技術(shù)難點(diǎn) ，其他難點(diǎn) 由于本文的討論不會(huì)涉及，所以 不會(huì)再一一列 6 舉 。本文的實(shí)驗(yàn)是在人臉圖像正面姿態(tài)，光照正常，表情正常，部分面部圖像有小范圍 遮擋的情況下進(jìn)行的。這樣做的目的 只 是讓我們的工作重心集中在 分析 PCA 人臉識別算法 性能上。 第 四 節(jié) 人臉識別流程 人 臉 圖 像獲 取特 征 提 取系 統(tǒng) 數(shù) 據(jù)庫輸 出 結(jié) 果人 臉 圖 像獲 取特 征 提 取特 征 匹 配預(yù) 處 理 預(yù) 處 理 圖 人臉識別 系統(tǒng) 處理流程 一 、 人臉圖像采集 采集人臉圖像是通過傳感器采集人臉圖像，并將其轉(zhuǎn)換為計(jì)算機(jī)可以處理的數(shù)字信號。這是人臉識別的第一步。在采集人臉圖像時(shí)，要注意用戶人臉姿態(tài)，臉部有無遮擋 ， 周圍光照是否滿足要求 及設(shè)備采集圖像的質(zhì)量是否能滿足要求。 二 、 預(yù)處理 預(yù)處理 是為了除去噪聲 和對測量儀器或其他因素對人臉圖像造成退化現(xiàn)象進(jìn)行復(fù)原。 從傳感器采集到圖像除了包含人臉特征信息，還包含背景信息，所以必須從原始人臉圖像分割出 我們要處理的部分。如何分割就需要定位和分割算法。他們一般以人臉圖像在圖像結(jié)構(gòu)和人臉信號分布的先驗(yàn)知識為依據(jù)。 常用的人臉預(yù)處理有人臉圖像灰度化，人臉圖像二值化，人臉圖像歸一化，直方圖修正，圖像濾波和圖像銳化。 三 、 特征提取 7 特征提取 就是計(jì)算機(jī)通過提取人臉圖像中能夠 凸顯個(gè)性化差異的的本質(zhì)特征 ，進(jìn)而來實(shí)現(xiàn)身份識別。 本文講解如何使用 PCA 算法提取人臉特征，進(jìn)而實(shí)現(xiàn)人臉識別。 特征主要包括三種類型：物理特征，結(jié)構(gòu)特征和數(shù)學(xué)特征。由于物理特征和結(jié)構(gòu)特征容易被察覺，觸覺以及其他感覺器官所感知，所以人類常常是利用這些特征來 對對象進(jìn)行識別。對于計(jì)算機(jī)而言，模擬人類的感覺器官是很難實(shí)現(xiàn)的，但計(jì)算機(jī)在處理數(shù)學(xué)特征的能力上要比人類強(qiáng)得多，因此我們通過諸如協(xié)方差矩陣，統(tǒng)計(jì)平均值和相關(guān)系數(shù)等數(shù)學(xué)特征來構(gòu)建人臉識別系統(tǒng)。特征提取和選擇的根本任務(wù)就是從許多特征中找出那些最有效的特征。在樣本數(shù)不是很多的情況下，可以利用這些特征進(jìn)行分類器的設(shè)計(jì)，但是在大多數(shù)情況下，由于測量空間的維數(shù)很高，不能直接進(jìn)行分類器的設(shè)計(jì)。因此，如何把高維測量空間壓縮到低維 特征空間，以便有效的設(shè)計(jì)分類器，便成為了一個(gè)值得思考的問題。 為了獲得有效的特征，一般需要經(jīng)過特征 形成，特征提取和特征選擇等步驟。 1. 特征形成 特征形成是根據(jù)被識別對象產(chǎn)生出一組基本特征的過程，當(dāng)被識別的對象是波形或數(shù)字圖像時(shí)，這些特征可以通過計(jì)算得來；當(dāng)被識別對象是實(shí)物或某種過程時(shí)，這些特征可以用儀表或傳感器測量來得到。通過上面方法獲得特征被稱為原始特征。 2. 特征 提取 原始數(shù)據(jù)組成的空間 被稱為 測量空間。由于測量空間的維數(shù)一般都很高，不易設(shè)計(jì)分類器，所以在分類器設(shè)計(jì)之前，需要從測量空間變換到維數(shù)很少的特征空間，由特征向量表示。通過映射或變換方法用低緯空間來表示樣本的過程被稱為特征提取。映射后的特征稱為二次特 征，它們是原始特征的某種組合，通常是線性組合。 3. 特征選擇 從一組特征中挑出一些最有效的特征從而達(dá)到降低特征空間維數(shù)目的的過程稱為特征選擇。由于在許多實(shí)際問題中常常不容易找到那些最重要的特征，或者由于條件限制而不能對這些重要特征進(jìn)行測量。從而使得特征選擇和特征提取的任務(wù)復(fù)雜化。 特征提取和特征選擇在有些情況下并不是截然分開的，因?yàn)閺囊欢ㄒ饬x上來講，二者都是要達(dá)到對 數(shù)據(jù) 進(jìn)行降維的目的，只是實(shí)現(xiàn)的途徑不同。特征提取是通過某種變換的方法組合原有的高維特征，從而得到一組低維的特征。而特征選擇是根據(jù)專家的檢驗(yàn)知識或評價(jià) 準(zhǔn)則來挑選對分類最有影響的特征。 比如可以先將原始特征空間映射到維數(shù)較低的空間，在這個(gè)空間中在進(jìn)一步選擇特征來進(jìn)一步降低維度；也可以先去除那些明顯不含有分類信息的特征，而后再進(jìn)行映射以降低維度。 四 、 特征匹配 8 特征匹配 是計(jì)算兩個(gè)人臉圖像特征樣本的特征模塊間的 相似 度 即將采集到的人臉圖像的特征模版與系統(tǒng)中已存儲(chǔ)的特征模版進(jìn)行比對， 并輸出最佳匹配對象。在本文主要講解 使用 最近鄰法分類器 歐幾里得距離 來 判別人臉圖像 ，在實(shí)際廣泛使用的還有基于 SVM即支持向量機(jī)，基于神經(jīng)網(wǎng)絡(luò)和圖匹配的方法。 第 五 節(jié) 本章小結(jié) 本章 由 人臉識別的研究背景，人臉識別技術(shù)的主要難點(diǎn) ，人臉識別的發(fā)展趨勢 和人臉識別流程 四 個(gè)小節(jié)構(gòu)成 。在 人臉識別的研究概況 小節(jié)主要 講解人臉識別的研究 概況 及基于 PCA 人臉識別算法實(shí)現(xiàn)的研究意義。 在人臉識別的發(fā)展趨勢 小節(jié) 主要講解人臉識別技術(shù)未來的走向 。在人臉識別技術(shù)的主要難點(diǎn)小節(jié)主 要講解人臉識別的主要技術(shù)難點(diǎn)及本文是在什么樣的條件進(jìn)行試驗(yàn)的。 人臉識別小節(jié)講解本文人臉識別的流程。 9 第二章 人臉圖像的獲取 第一節(jié) 人臉圖像獲取 隨著計(jì)算機(jī)科技和微電子的發(fā)展，現(xiàn)在人臉圖像采集設(shè)備也越來越多。常用的采集設(shè)備有數(shù)碼相機(jī) ，數(shù)碼攝影機(jī)等。但是采集設(shè)備成像原理各異，有些設(shè)備對某類人臉圖像的采集效果比較好，進(jìn)而人臉識別率高，對不同類的人臉圖像采集效果差，進(jìn)而人臉識別率低。不過隨著現(xiàn)在科技的發(fā)展，這個(gè)問題已基本上被解決。另外，人臉圖像采集的形式不同也會(huì)影響識別率。人臉圖像的采集形式主要有兩種：一為靜態(tài)人臉圖像，二位動(dòng)態(tài)人臉圖像。靜態(tài)人臉圖像的采集相對比較簡單，用數(shù)碼相機(jī)即可獲取。動(dòng)態(tài)人臉圖像相比靜態(tài)人臉圖像獲取難度較大，但其更加貼近實(shí)際需求，應(yīng)用場合更加廣闊。 動(dòng)態(tài)人臉圖像相比于靜態(tài)人臉圖提供了更加客觀的信息量。但同時(shí)也帶了問題， 動(dòng)態(tài)人臉圖像序列里的某一幅圖像可能會(huì)產(chǎn)生瞬間模糊，這將會(huì)影響其識別率。上述問題是由 人臉 的多變性產(chǎn)生的。對于動(dòng)態(tài)人臉圖像要考慮如何在序列中提取清晰的圖像又不丟失局部信息。同時(shí)建立人臉圖像間的相關(guān)性是有必要的，可以有效的提高識別率。在實(shí)際中，要采用何種人臉采集形式要取決于應(yīng)用的需求和場合。一般而言，動(dòng)態(tài)人臉圖像采集應(yīng)用于特殊場合，如犯罪識別過程，而靜態(tài)人臉圖像采集應(yīng)用于普通的安全場合。 對于靜態(tài)人臉圖像采集要注意要確保人臉表情正常，姿態(tài)無傾斜，光線盡量均勻，并且要對周圍的光源做必要的處理，避免受到周圍強(qiáng)光和不均 勻異色光的干擾。采集完成后要對每個(gè)對象的圖像做必要的審核，剔除掉不符合要求的人臉圖像。 第二 節(jié) 人臉分割 人臉識別是通過對人臉進(jìn)行精確定位，并從圖像中提取人臉區(qū)域。人臉分割屬于圖像分割，是人臉識別系統(tǒng)中不可缺少的一環(huán)。 要對人臉進(jìn)行識別一般需要將人臉區(qū)域從采集到的圖像中分離出來。 人臉 分割 比較經(jīng)典的方法有數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)。數(shù)據(jù)驅(qū)動(dòng)方法直接對圖像進(jìn)行處理，不依賴于先驗(yàn)知識。其包含有基于邊緣檢測的方法，基于閥值的方法和基于區(qū)域增長的方法?；谀Ｐ偷姆椒ㄐ枰闰?yàn)知識。其包含有活動(dòng)輪廓模型等。采集到圖像中人 臉區(qū)域顏色和紋理變化較大，因此如果要實(shí)現(xiàn)精確分割，只利用圖像的數(shù)據(jù)信息是不夠的，所以實(shí)際中基于模型的方法使用的比較多。 10 基于邊緣的分割方法需要兩個(gè)步驟，分別為邊緣檢測和邊緣連接。該方法先提取邊緣后再進(jìn)行邊界連接，得到分割輪廓。但是這個(gè)方法也存在問題，實(shí)際中由于噪聲的圖像的影響，常常會(huì)檢測到假的邊緣，從而導(dǎo)致錯(cuò)誤的分割。 基于閥值的方法是使用采集到圖像的灰度直方圖計(jì)算出分割閥值，又可以分為全局閥值方法和局部閥值方法。全局閥值方法是使用整個(gè)圖像的灰度信息，來得到用于分割的閥值。局部閥值方法是圖像不同區(qū)域得到對應(yīng) 不同區(qū)域的閥值即一個(gè)閥值對應(yīng)圖像的一個(gè)子區(qū)域。在實(shí)際中，由于噪聲等因素的影響，直方圖經(jīng)常不能有明顯的峰值出現(xiàn)，這是選擇閥值并不合理，它是由閥值分割的特點(diǎn)決定的。此方法只考慮了圖像的灰度信息，拋棄了圖像的其他信息。對于灰度差不明顯的圖像，得不到令人滿意的結(jié)果。 基于區(qū)域增長的方法是將含有相似性質(zhì)的像素集合起來形成一個(gè)新的區(qū)域。首先把圖像分割成較小的區(qū)域，有可能非常小，甚至可能是一個(gè)像素。在每個(gè)子區(qū)域中，對經(jīng)過適當(dāng)定義能反映一個(gè)物體內(nèi)成員隸屬度的性質(zhì)進(jìn)行計(jì)算，每個(gè)子區(qū)域會(huì)用一組參數(shù)來表示該區(qū)域。然后對相鄰區(qū)域所 有邊界進(jìn)行分析，若便捷信息強(qiáng)，則邊界不變，若邊界信息弱 ，則消除個(gè)邊界并合并相應(yīng)的鄰 域。它是一個(gè)迭代過程，每一步重新計(jì)算邊界信息，若沒有區(qū)域合并，迭代完成，圖像分割完成。該方法開銷較大，但可以使用圖像的相關(guān)性質(zhì)進(jìn)行邊界定位。該方法當(dāng)前研究的區(qū)別在于區(qū)域性質(zhì)差異上。 基于模型的方法，都是通過引入統(tǒng)計(jì)信息來得到高魯棒性。其中活動(dòng)輪廓模型是使用在圖像上的一條動(dòng)態(tài)曲線，在內(nèi)力曲線本身新的表現(xiàn)和外力圖像信息的表現(xiàn)共同作用下趨于對象的輪廓。模型方法具有豐富的先驗(yàn)知識，在實(shí)際中具有很好的適應(yīng)性和魯棒性。目標(biāo)分割與識別通過將 目標(biāo)集合和統(tǒng)計(jì)信息表示為模型，是其成為目標(biāo)的搜索匹配或監(jiān)督分類。 第 三 節(jié) 人臉數(shù)據(jù)庫 人臉數(shù)據(jù)庫是人臉識別研究，開發(fā)和評測不可缺少的。每個(gè)人臉識別系統(tǒng) 都需要 一個(gè) 人臉數(shù)據(jù)庫。 人臉圖像數(shù)據(jù)庫的設(shè)計(jì)對人臉識別系統(tǒng)的識別率有著非常大影響。設(shè)計(jì)一個(gè)在所有變化情況下都能正確識別的系統(tǒng)是非常困難的，而且也沒有必要。所有人臉識別系統(tǒng)都是在一定的約束條件進(jìn)行的。所以有必要建立滿足不同需要的人臉數(shù)據(jù)庫 。 常用人臉數(shù)據(jù)庫如下： 國外 人臉 數(shù)據(jù)庫 的有 FERET 人臉數(shù)據(jù)庫， MIT 人臉數(shù)據(jù)庫， YALE 人臉數(shù)據(jù)庫， PIE 人臉數(shù)據(jù) 庫， ORL 人臉數(shù)據(jù)庫 ， AR 人臉數(shù)據(jù)庫 和 Essex 人臉數(shù)據(jù) 庫 。 FERET 人臉數(shù)據(jù)庫是人臉識別中最常用的數(shù)據(jù)庫，包含多姿態(tài)和多光照的人臉灰度圖像，但其多為西方人臉圖像，每個(gè)人的人臉圖像變化較少。 MIT 人臉數(shù)據(jù)庫有麻省理工大學(xué)媒體實(shí)驗(yàn)室建立，由 16 位志愿者的2592 副多姿態(tài)，多光照和不同大小的圖像組成。 PIE 人臉數(shù)據(jù)庫有卡內(nèi)基梅隆大學(xué)建立，由 11 68 位志愿者的 41368 副不同姿態(tài)，多光照和不同表情的圖像組成。 ORL 人臉數(shù)據(jù)庫由劍橋大學(xué) ATamp。T 實(shí)驗(yàn)室建立 由 40 位志愿者的 400 幅圖像組成，其中部分志愿者 的圖像還有姿態(tài)，表情和光照的變化。由于其人臉變化模式較少，現(xiàn)已很少使用。 AR 人臉數(shù)據(jù)庫為西班牙巴塞羅那計(jì)算機(jī)視覺中心建立，由 116 人的 3228 幅圖像構(gòu)成。采集是在嚴(yán)格控制攝像機(jī)參數(shù)，光照變化，攝像機(jī)距離等條件下進(jìn)行的。 Essex 人臉數(shù)據(jù)庫 是英國 埃塞克斯大學(xué) 的人臉數(shù)據(jù)庫。任何人都可以下載它的人臉數(shù)據(jù)庫，但是你不能發(fā)布，打印，銷售或發(fā)行這些圖像。這個(gè)人臉數(shù)據(jù)庫 由 Libor Speacek 博士主持的計(jì)算機(jī)視覺研究項(xiàng)目 在維護(hù)。 這個(gè)數(shù)據(jù)庫 由 faces94， faces95，faces96， grimace 四個(gè)庫組成 。這樣做的目的是為了增加 難度 。 Faces96 和 grimace 是這個(gè)數(shù)據(jù)庫最難識別的。 它們的背景和比例是變化的，人臉表情是極度變化的。 英國 埃塞克斯大學(xué) 計(jì)算機(jī)視覺研究項(xiàng)目 鼓勵(lì)研究者公布使用這個(gè)數(shù)據(jù)庫取得人臉識別結(jié)果 。我們在本文采用的是它的face94 數(shù)據(jù)庫。 faces94 數(shù)據(jù)庫中人臉圖像是在 受試者坐在距離相機(jī)固定位置，并要求講話的情況下采集而成 。 講話的目的是為了采集面部表情的變化。 每個(gè)圖像的大小為 180*200， 圖像的背景是藍(lán)色的。有輕微的姿態(tài)變換，無光照變換 。 國內(nèi)人臉數(shù)據(jù)庫 有中科院計(jì)算技術(shù)研究所銀晨科技面向識別聯(lián)合實(shí)驗(yàn)室建立的 CAS—PEAL 人臉數(shù)據(jù)庫。該數(shù)據(jù)庫 是基于目前的人臉數(shù)據(jù)庫大多都較小或圖像變化因素單一，人臉圖像的多為西方人，其面部特征與東方人存在一定的差別，需要建立一個(gè)大規(guī)模，多因素的東方人臉數(shù)據(jù)庫的需求建立的， 共采集了 1040 位志愿者（ 595 名男性， 445 名女性）的 99450幅圖像。該數(shù)據(jù)庫根據(jù)不同的變化因素又分為 7 種 模式子庫。這 7 種 變化因素為姿態(tài)，表情，飾物，光照，背景，距離和時(shí)間跨度，其中以姿態(tài)，表情，飾物和 光照 為主， 故稱為 PEAL（ pose，expression， accessory 和 lighting 的簡寫）。 CASE— PEAL— R1 為 CASE— PEAL 的共享版，可以提供給研究人員用以研究使用。其中研究人員 指的是 研究生導(dǎo)師或其他固定職位的研究員，不 包括 學(xué)生。 第 四 節(jié) 本章小結(jié) 本章主要介紹人臉圖像獲取，人臉分割和人臉數(shù)據(jù)庫。在人臉圖像獲取和人臉分割兩個(gè)小節(jié)中主要介紹常用的人臉獲取方法及獲取人臉原始圖像后如何分割出我們需要部分的方法 ，也為后面人臉圖像數(shù)據(jù)庫打下了基礎(chǔ)。在人臉數(shù)據(jù)庫一節(jié)中，主要介紹了常用的人臉數(shù)據(jù)庫及本文的實(shí)驗(yàn)是在 Essex 人臉數(shù)據(jù)庫中我們選擇出來的子庫中進(jìn)行的。這樣做的目的是我們的工作中心集中在核 心人臉識別算法 的性能研究上 。 12 第 三 章 人臉圖像的預(yù)處理 第一節(jié)