【文章內容簡介】 現面部形態(tài)的合成。 HaiBo[19]等人建立了一個融入 面部形狀與面部表情先驗信息的運動模型。他們在這個模型中通過反饋機制實現了計算機圖形學技術與計算機視覺技術的結合。在這種機制里可以將圖形學中的合成技術嵌入到面部分析階段并最終實現了較好的表情分析。 Black 和 Yacoob，及 Yacoob和 Davis 提出了面部的局部參數運動模型。該模型能在局部的空間和時間區(qū)域上精確的描述非剛性的面部運動，采用少量的參數描述了嘴巴、鼻子、眼皮、眉毛等器官與邊緣相關的運動。但他們的方法只能對非暫時性的特征進行描述，忽視了其它的暫時性表情特征。 國內在人臉表情識別方面的研究起步較晚， 但發(fā)展很快。目前，從事這方面研究的主要有清華大學、中國科學技術大學、浙江大學、上海交通大學、哈爾濱工業(yè)大學、中科院自動化所、中科院計算所、聯合實驗室、南京理工大學、北方交通大學等多所著名大學和研究機構都有人員從事人臉表情識別的研究。 最早進行計算機表情分析、編碼與識別研究的是哈爾濱工業(yè)大學高文教授領導的團隊。高文和金輝 [20]等通過對若干類面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型，在他們的另一篇文獻中，在對動態(tài)表情圖像序列的時序分析的基礎上，提出了對混合表情的識別系統。中國科技技術大學的尹星 云 [21]用隱馬爾科夫模型 (HMM)的基本理論和方法設計了人臉表情識別系統。哈爾濱工業(yè)大學的趙力莊、高文 [22]等將 Eigenfaee 多子空間分類方法用于面部表情識別；天津大學的左坤隆、劉文耀等利用活動外觀模板 (AAM)提取的人臉表情特征來進行人臉表情識別；東南大學的姜璐、章品正等利用矩分析的方法進行面部表情的識別，將 Zemike 矩和小波矩運用于面部表情識別問題；北京科技大學的劉芳、王志良等將黑斑特征算法應用于面部表情的識別，該算法對于一幅輸入的人臉圖像，依次進行灰度化、二值化、濾波、特征提取等處理后，通過 采用基于黑斑特征的算法進行表情的自動識別。東南大學的何良華、鄒采榮提出了一種基于DWTDCT 的面部表情識別算法。清華大學的王玉波等使用了 Adaboost 進行實時的表情識別。 7 人臉表情識別是一個具有挑戰(zhàn)性的課題，現在還處于研究階段，各種算法還在摸索，還不十分成熟。面部表情識別的主要難點是： (1) 對各種表情的體驗。表情的表現有緩和的和激動的、細微的和強烈的、輕松的和緊張的等諸多形式，它的生理因素也是細微多變，所以非常復雜，現在的識別方法對比較夸張和明顯的表情能夠有較好的識別率，但是對變化不太明顯的表情識別 率是較低的。 (2) 受不同年齡、種族、性別、頭發(fā)、飾物等的影響較大。 (3) 光照和人臉姿態(tài)對識別結果影響較大。 (4) 難以建立一個理想的人臉表情模型，因為人臉是一個柔性體，而非剛體，很難用模型來準確描述。 第二節(jié) 本論文的主要工作 人臉表情識別主要有四個基本部分組成：表情圖像獲取、表情圖像預處理、表情特征提取和表情分類。本文的主要工作集中于人臉表情特征的提取，即基于改進的局部二值模式 (LBP， Local Binary Pettern)的面部表情特征提取。 LBP 算法一般定義為 3 3 的窗口，以窗口中心點的灰度值為閾值對窗口內其它像素作二值化處理，然后根據像素不同位置進行加權求和得到該窗口的 LBP值。該方法來源于紋理分析領域，刻畫了局部圖像紋理的空間結構，具有對紋理圖像光照變化不敏感的特點，且計算簡單易于實現。 LBP 方法的局限之處在于對所有問題都采用了單一的變換映射，沒有考慮待分類樣本的分布特征以及分類目標的差異性。本章提出了一種 LBP 的擴展形式，即變閾值局部二值式。變閾值局部二值式通過引入參數變閾值擴展了變換后的特征空間，并且可以通過調整變閾值的值在特征空間中 尋找適合于特定分類問題的子空間。經過改進，變閾值局部二值式對于噪聲和光照變化相對于局部二值式更加魯棒，而且特征抽取的過程也能夠相對靈活。最后本文以變閾值局部二值式直方圖作為特征向量，采用 Ⅹ 2概率統計來計算各特征向量的距離，選用最近鄰分類器進行特征分類，求出識別率。 本文剩余章節(jié)安排如下：第二章介紹了局部二值式基本理論知識；第三章介紹了改進的局部二值式，闡述改進的局部二值式的基本理論；第四章為基于變閾值局部二值式的人臉表情識別的實現及實驗設計和結果分析。 8 第二章 人臉圖像分析技術常用方法 第一節(jié) 人臉檢 測常用方法 人臉檢測就是要在大量圖片中判斷是否存在人臉圖像，或者對一張照片進行掃描檢測人臉的具體位置與大小。人臉檢測根據人臉圖像類型 、 背景以及圖像前景的不同，檢測所用到的技術也各不相同，圖 對涉及到的人臉檢測類別做了分類匯總。 圖 人臉檢測的分類 由圖 我們知道根據圖像色彩的不同，分為對彩色圖像的人臉檢測與對灰度圖像的人臉檢測，其中對灰度圖像的研究是人臉檢測研究的重點。本文是對灰度人臉圖像進行研究識別的，因此重點介紹針對灰度圖像人臉檢測的常用方法。對灰度人臉圖像進行檢測的方法又可分為兩個方向，基于知識模型的方法和基于統計模型的方法，下面對這些方法做一些簡單介紹。 9 一、基于特征的方法 基于特征方法主要是尋找能夠有效表示人臉的不變特征來用于人臉檢測，人臉特征不僅能反映隱含在人臉內部的信息，也能表達出人臉的機構關系。此類方法最大的特點就是不首先確定人 臉是否存在，而是先檢測人臉的面部特征，根據提取的人臉面部特征，簡歷統計模型進行人臉檢測。人臉面部特征比較明顯，例如眉毛 、 眼睛 、 嘴巴和鼻子等。 近年來，提出不少對人臉特征有效抽取的方法，有主分量分析方法 (PCA)、線性判別分析 (LDA)、流形方法 (I SOMAP， LLE)等，其中主分量分析是一種常用方法，此方法是由 Turk 等提出來的，能抽取有效的特征來進行人臉檢測。首先將將人臉圖像進行正交變換，把人臉圖像降維到特征子空間，以消除原特征數據間的相關性，得到較小的特征數據集，用同樣的過程對非人臉訓練數據進行操作，然后將待檢測的人臉也投影到次特征子空間，通過跟人臉與非人臉訓練特征數據進行舉例比較，最終檢查出人臉，此方法被稱為 Distance from Face Space(DFFS)方法， DFFS 方法對檢查人臉正面圖像有橫好的效果，其缺點是計算量比較大。 二 、 基于支持向量機的方法 從人臉與非人臉圖像中提取的特征數據維數較高，將提取的特征數據也即建立的人臉模式投影到較低的維數空間，然后在人臉與非人臉數據中尋求最優(yōu)判別函數，是解決人臉檢測的一種典型方法。而今年來提出來的支持向量機是將人臉模式投影到比較高的維數特征空間。 支持向量機最早是由 Vapink 依據統計學習理論提出來的基于結構風險最小化的一種學習機，目的是用來結局分類問題。 Osuna 等人后來講支持向量機方法用在了人臉檢測領域，首先訓練 SVM 分類器，用有限的人臉與非人臉數據樣本來進行訓練，講數據投影到較高的維 數空間，尋找最優(yōu)判斷分類面，最終得到 SVM 分類器，用在人臉檢測中。此方法是一種能有效的處理大量樣本問題，速度較高，去的了較好的效果。 10 第二節(jié) 人臉識別常用方法 人臉識別是在人臉檢測基礎上的進一步的身份識別，根據圖像的不同可以分為對靜止圖像人臉識別和對視頻流中的人臉識別。人臉檢測的主要目的是要檢測確定出人臉的具體位置與大小，而人臉識別就要根據檢測出的人臉圖像確定人的身份，具體是哪個人，以此獲得相關信息，包括人的姓名 、 年齡 、 職業(yè) 、 性別以及工作等具體詳細的信息。人臉識別可以分為下列幾種方法。 一 、 基于特征臉的識別方法 特征臉方法以主成分分析 (PCA)方法為代表，屬于基于統計學習方法中的一種方法，也是現在人臉識別中的一種典型方法。特征臉方法或者特征子臉方法都是選取合適的人臉空間基，將人臉圖像投影到人臉空間中，目的是對人臉圖像數據降維并描述不同人臉之間的變化，然后進行判別分析，最終識別出人臉圖像。 最早是由 Pearson 提出來的，后來由 Hotelling 實現了此方法，并給出了具體的計算過程。隨后由 Sirovich 等人將 PCA 方法用在了人臉圖像分析區(qū)領域，并進行人臉識別。 主成分分析方法原理比較簡單且容 易實現，將高維人臉數據較少，提高了計算復雜度，但是這種方法容易受到光照等的影響，沒有考慮到人臉的個性差異，所以從理論來說這種方法具有一定的缺陷性，但是這種方法近年來也被廣泛應用在模式識別領域。 二 、 彈性圖匹配方法 彈性匹配方法是由 Lades 等人提出來的一種人臉識別方法，實質上是一種模板匹配方法，彈性圖匹配方法將動態(tài)鏈接結構用到了人臉識別中，此方法能夠克服光照的影響，同時對人臉圖像識別效果影響比較大的位移 、 旋轉和人臉尺度變化都不敏感，這點比起其它算法占據優(yōu)勢，但是，這種方法計算量較大，運算識別速度較其他算法 比較慢。 彈性圖匹配方法將人臉圖像用網狀的稀疏圖來表示，其中稀疏圖的變表示人臉中的眼睛 、 鼻子和嘴巴這些器官的拓撲結構，而圖的頂點用一個特征向量來表示，這個特征向量是用圖像位置的 Gabor 小波變換分解得到的，記錄了人臉在此 11 特征向量附近的特征信息。將待檢測人臉圖像的彈性匹配圖與人臉庫中的人臉模板圖進行匹配，找出最相似的模板圖，然后在對具體的圖頂點進行匹配，這種匹配會產生一個變形圖，這也是為什么稱此方法為“彈性圖”的原因。 三 、 基于非線性數據降維的方法 典型的數據非線性降維方法又多維尺度分析 (MDS)，以及建立在 MDS 上的等距離映射算法（ I SOMAP）和局部線性嵌入算法 (LLE)等。 將 I SOMAP 應用在人臉識別領域的好處是這種非線性降維方法能夠更好的提取數據的本質結構，尤其是眼睛模型的特征。其具體過程可以用圖 來表示。 圖 I SOMAPA 降維方法實現人臉識別的流程 12 第三節(jié) 本章小結 本章簡單介紹了用在人臉檢測以及人臉識別中的常用方法和一些經典方法。這些方法在本章中知識做 了簡單的介紹，后面章節(jié)中，將具體介紹一種人臉檢測和人臉識別的方法。 13 第三章 局部二值模式（ LBP） 第一節(jié) 關于 LBP的介紹 LBP(即 Local Binary Pattern，局部二進制模式的縮寫 )方法，最初是作為一種紋理算子來分析圖像紋理特征，由 Ojala[23]等人提出的。 LBP 算子是一種灰度范圍內的紋理度量，是從一種紋理局部近鄰定義中衍生出來，它利用結構法思想分析固定窗口特征，再利用統計法作整體的特征提取。 LBP 算法一般定義為 3 3的窗口，以窗口中心點的灰度值為閾值對窗口內其它像素作二值化處理，然后根據像素不同位置進行加權求和得到該窗口的 LBP 值。 LBP 算子剛提出來的時候，基本的概念就是圖像紋理中某個指定的中心像素 點 (g?)及其周圍緊鄰的 8 個像素點 (g?g?)所組成的局部區(qū)域，如圖 所示。 圖 標準的 LBP 算子 基本方法里所用的是經過處理后所得到的灰度圖像，每一個像素點的灰度值是 0～ 255 中的一個值。當指定了某一個像素點作為中心像素點 (g?)之后 (此時暫不考慮圖像邊界上的像素點 )，其周圍的 8 個像素點 (g?g?)的灰度值即可隨之確定下來。我們以中心像素點 (g??)的灰度值作為閾值 (thresholded value)，將 gc 周邊相鄰的 8 個像素點的灰度值與閾值進行比較，如果某相鄰像素點的灰度值大于或等于該閾值，則令該像素點的賦值為 1；如果相鄰像素點的灰度值小于該閾值，則令該像素點的賦值為 0。這樣， 在順次將周圍像素點的灰度值與閾值進行比較之后，就可以得到一個局部二進制的模式 (Local Binary Pattern)。接下來，從左上角的第一個像素點 (g?)開始， 2n 將權值 (n=0， 1?? 7)按照順時針次序依次賦予周圍各個像素點，并與該像素點經過閾值化之后所賦的二進制值相乘。最后，當每一個像素點都依次進行了上述運算之后，將所有 8 個像素點運算所得的結果相加，即為該中心像素點 (gc)的 LBP 值?，F舉例說明 LBP 算子基本方法的計算方式。 14 如圖 所示，樣本的中心像素的灰度值為 6，以之作為閾值，同其周邊 8個像 素點的灰度值依次進行比較，此過程稱為閾值化 (thresholding)。在進行了閾值化之后，我們可以得到一個局部二進制的模式 — 11110001；與此同時，將權值2? “ (n=0， l?? 7)從 g0 點開始按照順時針順序依次賦予周邊的 8 個像素點，這些點的賦值依次是 g?=l， g?=2， g?=4， g?=8， g?=16， g?=32， g?=64， g?=128。此后，把各像素點閾值化之后所得的二進制值和所賦權值一一對應相乘 —— 1 1，0 2， 0 4， 0 8， l 16， 1 3