【正文】 .................................................................................. 13 第二節(jié) LBP 方法的優(yōu)點(diǎn)與不足 ....................................................................... 20 第三節(jié) 本章小結(jié) ................................................................................................ 20 第四章 變閾值局部二值模式 ........................................................................................ 21 第一節(jié) 變閾值局部二值式的定義與性質(zhì) ........................................................ 21 第二節(jié) 基于變閾值局 部二值模式的紋理特征提取 ........................................ 24 第三節(jié) 本章小結(jié) ................................................................................................ 25 第五章 基于變閾值局部二值式人臉表情識別的實(shí)現(xiàn)及實(shí)驗(yàn)結(jié)果 ................................. 26 第一節(jié) 基于 變閾值局部二值式 的人臉表情識別的實(shí)現(xiàn) ................................ 26 第二節(jié) 實(shí)驗(yàn)討論變閾值 ε 的調(diào)整 .................................................................... 27 第三節(jié) 實(shí)驗(yàn)設(shè)計與結(jié)果分析 ............................................................................ 28 第四節(jié) 總結(jié)與展望 ............................................................................................ 31 一 、 總結(jié)已有工作 .................................................................................... 31 二 、 對未來的展望 .................................................................................... 31 致謝 .............................................................................................................................. 32 參考文獻(xiàn) ....................................................................................................................... 33 I 摘要 作為智能化人機(jī)交互技術(shù)中的一個重要組成部分，人臉表情識別越來越受到重視，它是涉及模式識別、機(jī)器視覺、圖像處理、心理學(xué)等研究領(lǐng)域的一個極富挑戰(zhàn)性的交叉課題之一，是近年來模式識別與人工智能領(lǐng)域的一個研究熱點(diǎn)。此后，基于統(tǒng)計的人臉識別方法就成了人臉識別的主流方法。也許它會知道你喜歡什 么歌曲，喜歡哪個影星表演的電影，知道你所處的情緒狀態(tài) (正面情緒還是負(fù)面情緒 )，甚至可能做出一些人性化的舉動，真正實(shí)現(xiàn)智能化。 (6) 醫(yī)療領(lǐng)域：表情識別還可用于機(jī)器人手術(shù)操作和電子護(hù)士的護(hù)理。在這個系統(tǒng)中，他將表情分為六個基本類別：憤怒、厭惡、恐懼、高興、悲傷和驚奇以及 33 種不同的表情傾向，說明了具有這六種表情的人臉特征與無表情人臉特征相比具有相對獨(dú)特的肌肉運(yùn)動規(guī)律，后來進(jìn)一步的研究大多是在 FACS 系統(tǒng)的基礎(chǔ)上構(gòu)建的人臉表情模型，所以說這一系統(tǒng)的提出具有里程碑的意義。 到目前為止，人臉表情識別的方法大概可以分為以下幾類： (1) 基于幾何特征提取的方法 基于幾何特征的表情識別是對人臉表情的顯著特征，如眼睛、鼻子、眉毛、嘴等的形狀和位置變化進(jìn)行定位、測量，確定其大小、距離、形狀及相互比例，進(jìn)行表情識別。其基本思想是將面部表情圖像映射到特征空間，將大量圖像數(shù)據(jù)降維后進(jìn)行模式分類，因此提取統(tǒng)計特征實(shí)際就是“子空間分析法 。 ICA 方法是基于信號的高階統(tǒng)計特性的分析方法，經(jīng)過分解出的各個信號分量是相互獨(dú)立的。 SVM 的理論基礎(chǔ)來自于 Vapnik 等提出的統(tǒng)計學(xué)習(xí)理論，它的基本思想是，首先通過非線性變換將輸入空間變換到一個高維空間，然后在這個新空間中求取最優(yōu)線性分類面，而這種非線性變換時通過定義適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的。 Zhang 等人通過對圖像中基準(zhǔn)點(diǎn)的位置以及從 基準(zhǔn)點(diǎn)的位置上抽取的 Gabor 系數(shù)并應(yīng)用多層感知器進(jìn)行分類，從而實(shí)現(xiàn)了表情分析。 Tian 等人提出了一種不同的元素模型，其中 嘴唇、眼睛、眉毛和顴骨被用作特征點(diǎn)跟蹤，以根據(jù)隱藏的面部特征的變形而獲得模型的輪廓。 Cohen 等人采用Tao 等人提出的非剛體模型進(jìn)行運(yùn)動矢量的抽取并以此構(gòu)成用于表情分析的特征向量，并且通過 HMM 和學(xué)習(xí) Bayesian 網(wǎng)進(jìn)行表情識別。他們通過對視頻中的人臉信息進(jìn)行分析得到模型的形變估計并最終實(shí)現(xiàn)面部形態(tài)的合成與仿真。但他們的方法只能對非暫時性的特征進(jìn)行描述，忽視了其它的暫時性表情特征。清華大學(xué)的王玉波等使用了 Adaboost 進(jìn)行實(shí)時的表情識別。本文的主要工作集中于人臉表情特征的提取，即基于改進(jìn)的局部二值模式 (LBP， Local Binary Pettern)的面部表情特征提取。 本文剩余章節(jié)安排如下：第二章介紹了局部二值式基本理論知識；第三章介紹了改進(jìn)的局部二值式，闡述改進(jìn)的局部二值式的基本理論；第四章為基于變閾值局部二值式的人臉表情識別的實(shí)現(xiàn)及實(shí)驗(yàn)設(shè)計和結(jié)果分析。人臉面部特征比較明顯，例如眉毛 、 眼睛 、 嘴巴和鼻子等。 10 第二節(jié) 人臉識別常用方法 人臉識別是在人臉檢測基礎(chǔ)上的進(jìn)一步的身份識別，根據(jù)圖像的不同可以分為對靜止圖像人臉識別和對視頻流中的人臉識別。 二 、 彈性圖匹配方法 彈性匹配方法是由 Lades 等人提出來的一種人臉識別方法，實(shí)質(zhì)上是一種模板匹配方法，彈性圖匹配方法將動態(tài)鏈接結(jié)構(gòu)用到了人臉識別中，此方法能夠克服光照的影響，同時對人臉圖像識別效果影響比較大的位移 、 旋轉(zhuǎn)和人臉尺度變化都不敏感，這點(diǎn)比起其它算法占據(jù)優(yōu)勢，但是，這種方法計算量較大，運(yùn)算識別速度較其他算法 比較慢。 13 第三章 局部二值模式（ LBP） 第一節(jié) 關(guān)于 LBP的介紹 LBP(即 Local Binary Pattern，局部二進(jìn)制模式的縮寫 )方法，最初是作為一種紋理算子來分析圖像紋理特征，由 Ojala[23]等人提出的。接下來，從左上角的第一個像素點(diǎn) (g?)開始， 2n 將權(quán)值 (n=0， 1?? 7)按照順時針次序依次賦予周圍各個像素點(diǎn)，并與該像素點(diǎn)經(jīng)過閾值化之后所賦的二進(jìn)制值相乘。首先設(shè)單色調(diào)圖像局部鄰域紋理特征為 T，用來指代灰度級為 P(P0)的圖像中所有像素的灰度聯(lián)合分布，如式 所示： T=t(gc， g?， … gp1 ) () 式中， gc 是局部鄰域的中心像素點(diǎn)的灰度值， gp(p=0，?， P1)是在半徑為R(R0)的圓形對稱區(qū)域內(nèi) P 個相等空間像素灰度值。在計算此樣本的 LBP 特征向量分布 的時候，我們當(dāng)前通常只考慮像素點(diǎn)較為集中的那些部分，因?yàn)檫吘壍南袼攸c(diǎn)的分布情況對樣本整體的分布情況來說并不是最主要的影響因素，然后就可以計算圖像紋理中這些像素點(diǎn)較為集中的部分內(nèi)每個像素點(diǎn)的 LBP值，并且用這些像素點(diǎn)的 LBP值的分布情況來作為整個圖像紋理的特征向量，這里用字母 S(即 sample)來表示： S≈ t(LBPP,R (x， y))) () 以上所說的 LBP 拓展方法與最初的 LBP 方法在原理上是相似的：描述局部紋理模式的二值編碼都是通過將鄰域像素與中心像素的灰度 值比較得到。這樣所引發(fā)的結(jié)果就是在應(yīng)用 LBP 方法進(jìn)行像素點(diǎn)處理的時候，原本灰度大于等于中心像素點(diǎn)灰度值的那些位置上的新像素點(diǎn)的灰度值可能小于中心像素點(diǎn)的灰度值，簡單地說，即原本賦值為 1 的像素位置上在新的情況下其賦值有可能會變?yōu)?0；原本賦值為。圖 給出了 P=8 時出現(xiàn)的 36 個旋轉(zhuǎn)不變的二進(jìn)制模式。可見這 種統(tǒng)一模式可以有效地描述出圖像的大部分紋理特征，并明顯減少特征的數(shù)量，而且這種特征包含了圖像局部紋理的信息。 LBP 不僅能夠描述出圖像中的一些微小特征，包括亮點(diǎn)、暗點(diǎn)、穩(wěn)定區(qū)域以及各方向邊緣等等，而且它能夠反映出這些特征的分布情況。 本文的后續(xù)章節(jié)會陸續(xù)分析這些問題，并相應(yīng)地提出一些有益的嘗試。下面將具體介紹 變閾值二值式 實(shí)現(xiàn)的細(xì)節(jié)以及它的一些性質(zhì)。 圖 不同的 ε 值對應(yīng)的值所描述出來的圖像 上圖中， (a)為原始圖像， (b)(c)(d)(e)分別為 ε 取值 0、 15 時對應(yīng)的 變閾值局部二值式 圖 像。 (2) 變閾值局部二值式 對于噪聲相對于 LBP 更加魯棒 直接在灰度圖上計算 LBP 特征會引入大量噪聲信息 (如圖 中 (b)所示 )，與原始的 LBP 特征相比， 變閾值局部二值式 特征對圖像噪聲的影響更加不敏感 (如圖 中 (c)、 (d)、 (e)所示 )，且能夠提取到圖像更加豐富的局部和全局信息，對人臉圖像具有更強(qiáng)的表示能力和判別能力，魯棒性更強(qiáng)，從而能夠提高人臉表情識別率。鑒于上述情況，本研究采用 ISOMAP 對數(shù)據(jù)降維，由此來獲得數(shù)據(jù)在低維空間的本質(zhì)結(jié)構(gòu)，這樣偏于更好的隊(duì)數(shù)據(jù)進(jìn)行研究處理。因此，本文先將一幅人臉表情圖像劃分為互不重疊多個區(qū)域進(jìn)行分析，然后選取不同的變閾值 ε 的 值，應(yīng)用 變閾值局部二值式 算子進(jìn)行特征提取，計算各區(qū)域的 變閾值 27 局部二值式的 直方圖。顯然， ? 2 描述了兩個樣本間的相似程度，方差越小，兩個樣本越相似。該人臉表情數(shù)據(jù)庫由分辨率為 256 256 的 256 級灰度圖像構(gòu)成。需要指出的是，盡管分類性能相同， 但是變閾值局部二值模式 是一個有指導(dǎo)監(jiān)督的過程，而 LBP 則相對單一與固定，同時是一個無監(jiān)督的過程。本文把臉部圖像分為 3 3 塊。這是因?yàn)楸疚囊弥狈綀D進(jìn)行統(tǒng)計計算，但是全局的直方圖統(tǒng)計對面部局部變化不敏感，無法得到更多表情關(guān)鍵區(qū)域 (如眉毛、眼睛、嘴巴等 )的特征，從而丟失很多結(jié)構(gòu)上的細(xì)節(jié)。 在人臉識別中，通常是將 LBP 算子提取的直方圖向量作為人臉特征，具體的過程可以用圖 來表示： 圖 LBP 方法的人臉描述方式 由圖 可以看出， LBP 應(yīng)用在人臉識別方面的過程是：首先將人臉分成一些子區(qū)域，然后通過連接這些子區(qū)域的 LBP 直方圖最終獲得人臉特征向量。綜上所述，特征提取的關(guān)鍵在于提取的特征是否適合于特定的分類。人臉表情信息主要體現(xiàn)在眉毛、眼睛、嘴巴的變化上，其次是體現(xiàn)在這些變化之間的相互關(guān)系上，從圖像處理的角度上來看，這些改變主要由圖像邊緣的變化引起的，因此較大的變閾值ε 反而更能滿足分類識別的要求。其原理如下圖所以： 圖 變閾值特征變換圖 如圖 所示，應(yīng)用 LBP 的擴(kuò)展形式 變閾值局部二值式 ，只要調(diào)整了變閾值ε 的值，可以將特征空間由原來唯一的一種 (即 0LBP 情況 )擴(kuò)展為連續(xù)的空間組合。鄰近區(qū)域的 LBP 碼并不是相互獨(dú)立的，而是與其鄰近點(diǎn) 相關(guān)的，因此 LBP 對噪聲敏感?？偨Y(jié)起來，基于 LBP 的方法所需要的計算操作僅僅是簡單的模板操作以及直方圖向量的生成，從 節(jié)的分析可以看出，相對于其它方法基于LBP 的方法所需要的計算量較少，從分類的角度來看，這種優(yōu)點(diǎn)帶來的是訓(xùn)代價的大幅降低和分類速度的提高。盡管 Uniform 模式僅僅是所有 LBP輸出中的小部分，但是實(shí)驗(yàn)結(jié)果已經(jīng)驗(yàn)證： Uniform 模式不僅可以描述絕大部分的紋理信息，且具有較強(qiáng)的分類能力。鄰域像素的次序通常由中心像素正右方的像素開始，逆時針標(biāo)記。由于圖像紋理的旋轉(zhuǎn)變換所產(chǎn)生的結(jié)果是一串連鎖效應(yīng)，會使 LBP 算子所作用的各個像素點(diǎn)的 LBP 17 特征值受到影響，從而直接或間接地影響到 LBP 特征提取的環(huán)節(jié)，上述變化如圖 所示。另外，又由于 t(gc)所表示的是一幅圖像受到的整體光照度，這是與圖像的局部紋理特征無關(guān)的，并且 t(gc)中也不包含許多對圖像紋理分析有用的信息，因此我們