【正文】 上一章對(duì) 變閾值局部二值式 的討論與分析，本文提出的基于 變閾值局部二值式 即的人臉表情識(shí)別的具體實(shí)現(xiàn)框圖如下圖所示： 圖 基于變閾值局部二值式的人臉表情識(shí)別實(shí)現(xiàn)框圖 從圖 ，不論是訓(xùn)練樣本，還是測試樣本，我們都先要進(jìn)行圖像區(qū)域劃分。根據(jù)這一結(jié)論，我們可以簡單地在 0～ 20 之間以 1 為步長搜尋最優(yōu)的變閾值 ε 的 值的區(qū)域。假設(shè)對(duì)于測試樣本集 Q中的樣本 S和訓(xùn)練樣本集 P中的樣本 M，則二者的 ? 2 定義如下： () 因此按上式計(jì)算出測試樣本 變閾值局部二值式的 特征和所有訓(xùn)練樣本 變閾值局部二值式的 特征之間的 ? 2 后，測試樣本應(yīng)歸為對(duì)應(yīng)方差值最小的那一類。 雖然基于 LBP 的方法具有計(jì)算簡單 、 特征分類能力強(qiáng)等優(yōu)點(diǎn)?？梢钥闯觯冮撝?ε 取值較小的 (b)圖描述出了相對(duì)更多的細(xì)節(jié)紋理信息。 第三節(jié) 本章小結(jié) 本章首先介紹了 LBP 方法的推導(dǎo)過程，并由此給出了一系列有關(guān) LBP 的概念和定義以及 LBP 的兩個(gè)重要性質(zhì)：對(duì)于任意單調(diào)變換的不變性和旋轉(zhuǎn)不變性在深入分析 LBP 特性的基礎(chǔ)上，文章比較了 LBP 方法所具有的優(yōu)勢以及依然存在的不足，從而為后續(xù)工作的開展做好了鋪墊。計(jì)算直方圖在這種模式中至關(guān)重要。的像素位置其賦值則有可能會(huì)變?yōu)?1。如果 gc 的坐標(biāo)是 (0， 0)，那么 gp 的坐標(biāo)是 (Rsin(2πp／ P)， Rcos(2πp／ P))，當(dāng)鄰域值不能精確的落到像素的中心時(shí)，采用雙線性二插值的方法進(jìn)行估計(jì)。 LBP 算子是一種灰度范圍內(nèi)的紋理度量，是從一種紋理局部近鄰定義中衍生出來，它利用結(jié)構(gòu)法思想分析固定窗口特征，再利用統(tǒng)計(jì)法作整體的特征提取。人臉檢測的主要目的是要檢測確定出人臉的具體位置與大小，而人臉識(shí)別就要根據(jù)檢測出的人臉圖像確定人的身份，具體是哪個(gè)人，以此獲得相關(guān)信息，包括人的姓名 、 年齡 、 職業(yè) 、 性別以及工作等具體詳細(xì)的信息。 8 第二章 人臉圖像分析技術(shù)常用方法 第一節(jié) 人臉檢 測常用方法 人臉檢測就是要在大量圖片中判斷是否存在人臉圖像，或者對(duì)一張照片進(jìn)行掃描檢測人臉的具體位置與大小。 7 人臉表情識(shí)別是一個(gè)具有挑戰(zhàn)性的課題，現(xiàn)在還處于研究階段，各種算法還在摸索，還不十分成熟。Choi[18]等人通過對(duì)輸入圖像進(jìn)行分析得到了頭部運(yùn)動(dòng)參數(shù)以及面部表情參數(shù)的估計(jì)；然后他們以迭代的方式對(duì)這兩類參數(shù)進(jìn)行進(jìn)一步的調(diào)整。Yacoob 和 Davis[17]使用光流跟蹤眉毛、眼睛、嘴巴等區(qū)域的運(yùn)動(dòng)。與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)理論（ Statistical Learning Theory 或 SLT）是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論。如果將子空間的正交基按照圖像陣列排列，則可以看出這些正交基呈現(xiàn)人臉的形狀，因此這些正交基也被稱作特征臉，這種識(shí)別方法也叫特征臉方法。 計(jì)算機(jī)方面， Suwa 和 Sugie[3]等人于 1978 年對(duì)表情識(shí)別做了一個(gè)最初的嘗試，他們跟蹤一段臉 部視頻動(dòng)畫，得到每幀圖片上 20 個(gè)關(guān)鍵點(diǎn)的運(yùn)動(dòng)規(guī)律，并將此運(yùn)動(dòng)規(guī)律與預(yù)先建立的不同表情的關(guān)鍵點(diǎn)運(yùn)動(dòng)模型相比較。 (2) 遠(yuǎn)程教育：有過遠(yuǎn)程教育經(jīng)歷的老師普遍覺得很難掌握學(xué)生對(duì)課程的掌握程度，如果在正常的授課中，老師可以通過實(shí)時(shí)的監(jiān)控學(xué)生的表情來調(diào)節(jié)和控制課程的進(jìn)度，那么將使教師更好的把握課程進(jìn)度，大大地提高學(xué)習(xí)效率。一般而言，人臉表情識(shí)別主要有四個(gè)基本部分組成：表情圖像獲取、表情圖像預(yù)處理、表情特征提取和表情分類。例如在人機(jī)界面中如果能夠出現(xiàn)安慰與鼓勵(lì)等方面的文字、圖像與聲音，用戶會(huì)感覺更加親切。 1978 年美國心理學(xué)家 Ekman 和 Friesen[2]開發(fā)了面部動(dòng)作編碼系統(tǒng) FACS(Facial Action coding system)來檢測面部表情的細(xì)微變化 。 Pantic[11]等人利用定位與跟蹤臉上特征部位的變化來取得臉部的幾何變化信息，然后將這種信息投影到肌肉塊的“運(yùn)動(dòng)單元 ” (Action Units， AU)空間中，最后通過二級(jí)結(jié)構(gòu)識(shí)別出 28個(gè) AU 和 6 種基本表情。例如基于圖像集似然度的人臉識(shí)別，首先用圖像集中每個(gè)圖像的奇異值向量構(gòu)造出一個(gè)新的矩陣 圖像集特征矩陣，據(jù)算待檢測人臉集的特征矩陣與已知的各類人臉集的特征矩陣的似然度，最終判斷帶檢測人臉屬于哪一類。 Cohn 等開發(fā)了一個(gè)基于特征點(diǎn)跟蹤的面部運(yùn)動(dòng)分類系統(tǒng)。 LantiS 等人使用了 活動(dòng)外觀模型方法提取人臉圖像特征，活動(dòng)外觀模型通過對(duì)人臉對(duì)象的形狀和紋理進(jìn)行 PCA 分析，從而用較少的參數(shù)來表達(dá)人臉對(duì)象的形狀與紋理特征。哈爾濱工業(yè)大學(xué)的趙力莊、高文 [22]等將 Eigenfaee 多子空間分類方法用于面部表情識(shí)別；天津大學(xué)的左坤隆、劉文耀等利用活動(dòng)外觀模板 (AAM)提取的人臉表情特征來進(jìn)行人臉表情識(shí)別；東南大學(xué)的姜璐、章品正等利用矩分析的方法進(jìn)行面部表情的識(shí)別，將 Zemike 矩和小波矩運(yùn)用于面部表情識(shí)別問題；北京科技大學(xué)的劉芳、王志良等將黑斑特征算法應(yīng)用于面部表情的識(shí)別，該算法對(duì)于一幅輸入的人臉圖像，依次進(jìn)行灰度化、二值化、濾波、特征提取等處理后，通過 采用基于黑斑特征的算法進(jìn)行表情的自動(dòng)識(shí)別。經(jīng)過改進(jìn)，變閾值局部二值式對(duì)于噪聲和光照變化相對(duì)于局部二值式更加魯棒，而且特征抽取的過程也能夠相對(duì)靈活。 Osuna 等人后來講支持向量機(jī)方法用在了人臉檢測領(lǐng)域，首先訓(xùn)練 SVM 分類器，用有限的人臉與非人臉數(shù)據(jù)樣本來進(jìn)行訓(xùn)練，講數(shù)據(jù)投影到較高的維 數(shù)空間，尋找最優(yōu)判斷分類面，最終得到 SVM 分類器，用在人臉檢測中。 圖 I SOMAPA 降維方法實(shí)現(xiàn)人臉識(shí)別的流程 12 第三節(jié) 本章小結(jié) 本章簡單介紹了用在人臉檢測以及人臉識(shí)別中的常用方法和一些經(jīng)典方法。 示例灰度值 閾化值 權(quán)重值 Pattern=11110001 LBP=1+16+32+64+128=241 圖 LBP 算子基本方法的簡單示例 通過以上的例子可以看出， LBP 算子的基本方法在理論上是十分易于理解的，并且由于參與運(yùn)算的值都是權(quán)值 2? “ (n=0， l，?， n)，因而此方法在計(jì)算上也十分簡便。由于圖像紋理的旋轉(zhuǎn)變換所產(chǎn)生的結(jié)果是一串連鎖效應(yīng)，會(huì)使 LBP 算子所作用的各個(gè)像素點(diǎn)的 LBP 17 特征值受到影響，從而直接或間接地影響到 LBP 特征提取的環(huán)節(jié)，上述變化如圖 所示。盡管 Uniform 模式僅僅是所有 LBP輸出中的小部分，但是實(shí)驗(yàn)結(jié)果已經(jīng)驗(yàn)證： Uniform 模式不僅可以描述絕大部分的紋理信息，且具有較強(qiáng)的分類能力。鄰近區(qū)域的 LBP 碼并不是相互獨(dú)立的，而是與其鄰近點(diǎn) 相關(guān)的，因此 LBP 對(duì)噪聲敏感。人臉表情信息主要體現(xiàn)在眉毛、眼睛、嘴巴的變化上，其次是體現(xiàn)在這些變化之間的相互關(guān)系上，從圖像處理的角度上來看，這些改變主要由圖像邊緣的變化引起的，因此較大的變閾值ε 反而更能滿足分類識(shí)別的要求。 在人臉識(shí)別中，通常是將 LBP 算子提取的直方圖向量作為人臉特征，具體的過程可以用圖 來表示： 圖 LBP 方法的人臉描述方式 由圖 可以看出， LBP 應(yīng)用在人臉識(shí)別方面的過程是：首先將人臉分成一些子區(qū)域，然后通過連接這些子區(qū)域的 LBP 直方圖最終獲得人臉特征向量。本文把臉部圖像分為 3 3 塊。該人臉表情數(shù)據(jù)庫由分辨率為 256 256 的 256 級(jí)灰度圖像構(gòu)成。因此，本文先將一幅人臉表情圖像劃分為互不重疊多個(gè)區(qū)域進(jìn)行分析，然后選取不同的變閾值 ε 的 值，應(yīng)用 變閾值局部二值式 算子進(jìn)行特征提取，計(jì)算各區(qū)域的 變閾值 27 局部二值式的 直方圖。 (2) 變閾值局部二值式 對(duì)于噪聲相對(duì)于 LBP 更加魯棒 直接在灰度圖上計(jì)算 LBP 特征會(huì)引入大量噪聲信息 (如圖 中 (b)所示 )，與原始的 LBP 特征相比， 變閾值局部二值式 特征對(duì)圖像噪聲的影響更加不敏感 (如圖 中 (c)、 (d)、 (e)所示 )，且能夠提取到圖像更加豐富的局部和全局信息，對(duì)人臉圖像具有更強(qiáng)的表示能力和判別能力，魯棒性更強(qiáng)，從而能夠提高人臉表情識(shí)別率。下面將具體介紹 變閾值二值式 實(shí)現(xiàn)的細(xì)節(jié)以及它的一些性質(zhì)。 LBP 不僅能夠描述出圖像中的一些微小特征，包括亮點(diǎn)、暗點(diǎn)、穩(wěn)定區(qū)域以及各方向邊緣等等，而且它能夠反映出這些特征的分布情況。圖 給出了 P=8 時(shí)出現(xiàn)的 36 個(gè)旋轉(zhuǎn)不變的二進(jìn)制模式。在計(jì)算此樣本的 LBP 特征向量分布 的時(shí)候，我們當(dāng)前通常只考慮像素點(diǎn)較為集中的那些部分，因?yàn)檫吘壍南袼攸c(diǎn)的分布情況對(duì)樣本整體的分布情況來說并不是最主要的影響因素，然后就可以計(jì)算圖像紋理中這些像素點(diǎn)較為集中的部分內(nèi)每個(gè)像素點(diǎn)的 LBP值，并且用這些像素點(diǎn)的 LBP值的分布情況來作為整個(gè)圖像紋理的特征向量，這里用字母 S(即 sample)來表示： S≈ t(LBPP,R (x， y))) () 以上所說的 LBP 拓展方法與最初的 LBP 方法在原理上是相似的：描述局部紋理模式的二值編碼都是通過將鄰域像素與中心像素的灰度 值比較得到。接下來，從左上角的第一個(gè)像素點(diǎn) (g?)開始， 2n 將權(quán)值 (n=0， 1?? 7)按照順時(shí)針次序依次賦予周圍各個(gè)像素點(diǎn)，并與該像素點(diǎn)經(jīng)過閾值化之后所賦的二進(jìn)制值相乘。 二 、 彈性圖匹配方法 彈性匹配方法是由 Lades 等人提出來的一種人臉識(shí)別方法，實(shí)質(zhì)上是一種模板匹配方法，彈性圖匹配方法將動(dòng)態(tài)鏈接結(jié)構(gòu)用到了人臉識(shí)別中，此方法能夠克服光照的影響，同時(shí)對(duì)人臉圖像識(shí)別效果影響比較大的位移 、 旋轉(zhuǎn)和人臉尺度變化都不敏感，這點(diǎn)比起其它算法占據(jù)優(yōu)勢，但是，這種方法計(jì)算量較大，運(yùn)算識(shí)別速度較其他算法 比較慢。人臉面部特征比較明顯，例如眉毛 、 眼睛 、 嘴巴和鼻子等。本文的主要工作集中于人臉表情特征的提取，即基于改進(jìn)的局部二值模式 (LBP， Local Binary Pettern)的面部表情特征提取。但他們的方法只能對(duì)非暫時(shí)性的特征進(jìn)行描述，忽視了其它的暫時(shí)性表情特征。 Cohen 等人采用Tao 等人提出的非剛體模型進(jìn)行運(yùn)動(dòng)矢量的抽取并以此構(gòu)成用于表情分析的特征向量，并且通過 HMM 和學(xué)習(xí) Bayesian 網(wǎng)進(jìn)行表情識(shí)別。 Zhang 等人通過對(duì)圖像中基準(zhǔn)點(diǎn)的位置以及從 基準(zhǔn)點(diǎn)的位置上抽取的 Gabor 系數(shù)并應(yīng)用多層感知器進(jìn)行分類，從而實(shí)現(xiàn)了表情分析。 ICA 方法是基于信號(hào)的高階統(tǒng)計(jì)特性的分析方法，經(jīng)過分解出的各個(gè)信號(hào)分量是相互獨(dú)立的。 到目前為止，人臉表情識(shí)別的方法大概可以分為以下幾類： (1) 基于幾何特征提取的方法 基于幾何特征的表情識(shí)別是對(duì)人臉表情的顯著特征，如眼睛、鼻子、眉毛、嘴等的形狀和位置變化進(jìn)行定位、測量，確定其大小、距離、形狀及相互比例，進(jìn)行表情識(shí)別。 (6) 醫(yī)療領(lǐng)域：表情識(shí)別還可用于機(jī)器人手術(shù)操作和電子護(hù)士的護(hù)理。此后，基于統(tǒng)計(jì)的人臉識(shí)別方法就成了人臉識(shí)別的主流方法。 關(guān)鍵字： 人臉表情識(shí)別，特征提取， LBP，變閾值局部二值模式 II ABSTRACT As an important part of the technology for manmachine interaction, more and more attention to facial expression recognition． It is one of the most challenging problems in the fields of pattern recognition, machine vision, image processing and psychology, and it has bee a hot research topic in the field of pattern recognition and artificial intelligence in recent years． Generally speaking， facial expression recognition included four parts： expression image acquisition, expression image preprocessing， facial feature extraction and expression classification． In this thesis we focused on the problem of