【正文】 為了獲得一個(gè)適合于具體問(wèn)題 變閾值 ε，我們的做法是從給定的數(shù)據(jù)集中生成一個(gè)訓(xùn)練集，然后在訓(xùn)練集上來(lái)搜尋較優(yōu)的變閾值 ε 的 值，這樣得到的變閾值 ε 的 值將被用在分類中。 25 第三節(jié) 本章小結(jié) 本章以改進(jìn) LBP 分類性能的手段為出發(fā)點(diǎn)，通過(guò)簡(jiǎn)單有效的對(duì) LBP 定義的擴(kuò)展，提出了 變閾值局部二值式 的定義并且分析了 變閾值局部二值式 的意義所在。取值中問(wèn)的 (c)和 (d)則描述了中間層次的紋理信息。解決該問(wèn)題的一種方法是通過(guò)優(yōu)化或者擴(kuò)展 LBP 的變換定義，達(dá)到提高分類性能的目的。前面已經(jīng)提到，由于 LBP 可以將圖像中的微小特征量化 為 LBP 表示的模式，因此直方圖統(tǒng)計(jì)的物理意義在于直方圖向量描述了圖像中各個(gè)微小特征分布情況，這在分類中是十分有意義的。 考察 LBP 的定義，發(fā)現(xiàn) LBPP,R 可以產(chǎn)生 2p 種不同輸出，對(duì)應(yīng)了局部近鄰集中 P 個(gè)像素形成的 2p 個(gè)不同的二進(jìn)制模式。 15 圖 幾種不同 P， R 值對(duì)應(yīng)的圓形鄰域 由于隨著距離的增大，像素之間的相關(guān)性逐漸減小，因此，在較小的鄰域中即可獲得絕大部分紋理信息。 LBP 算子剛提出來(lái)的時(shí)候，基本的概念就是圖像紋理中某個(gè)指定的中心像素 點(diǎn) (g?)及其周圍緊鄰的 8 個(gè)像素點(diǎn) (g?g?)所組成的局部區(qū)域，如圖 所示。 一 、 基于特征臉的識(shí)別方法 特征臉?lè)椒ㄒ灾鞒煞址治?(PCA)方法為代表，屬于基于統(tǒng)計(jì)學(xué)習(xí)方法中的一種方法，也是現(xiàn)在人臉識(shí)別中的一種典型方法。 圖 人臉檢測(cè)的分類 由圖 我們知道根據(jù)圖像色彩的不同，分為對(duì)彩色圖像的人臉檢測(cè)與對(duì)灰度圖像的人臉檢測(cè)，其中對(duì)灰度圖像的研究是人臉檢測(cè)研究的重點(diǎn)。表情的表現(xiàn)有緩和的和激動(dòng)的、細(xì)微的和強(qiáng)烈的、輕松的和緊張的等諸多形式，它的生理因素也是細(xì)微多變，所以非常復(fù)雜，現(xiàn)在的識(shí)別方法對(duì)比較夸張和明顯的表情能夠有較好的識(shí)別率，但是對(duì)變化不太明顯的表情識(shí)別 率是較低的。 HaiBo[19]等人建立了一個(gè)融入 面部形狀與面部表情先驗(yàn)信息的運(yùn)動(dòng)模型。 Black 等人使用多項(xiàng)式構(gòu)建局部參數(shù)模型并通過(guò)參數(shù)模型對(duì)圖像運(yùn)動(dòng)信息進(jìn)行刻畫從而實(shí)現(xiàn)了面部非剛體運(yùn)動(dòng)的估計(jì)。支持向量機(jī)用于分類，構(gòu)造的復(fù)雜程度取決于支持向量的數(shù)目，而不是特征空間的維數(shù)，這就有效解決了機(jī)器學(xué)習(xí)中非線性與維數(shù)災(zāi)難問(wèn)題。 1999 年， Ginalueal[13]等在以前人臉識(shí)別算法的基礎(chǔ)上，將 PCA 算法應(yīng)用到表情識(shí)別上。直到 1981 年才有人用仿生學(xué)方法從肌肉角度的觀點(diǎn)為面部表情建立模型。在類似這種不能由他人監(jiān)控，而工作者的精神 2 狀態(tài)不佳又會(huì)產(chǎn)生嚴(yán)重后果的工作中，表情自動(dòng)分析系統(tǒng)都可以得到應(yīng)用。變閾值局部二值模式通過(guò)引入變閾值 ε 擴(kuò)展了變換后的特征空間，并且可以通過(guò)調(diào)整變閾值ε 的值在特征空間基于改進(jìn) LBP 的人臉表情識(shí)別方法中尋找適合于特定分類問(wèn)題的子空間。所謂人臉表情識(shí)別就是利用計(jì)算機(jī)對(duì)人臉的表情信息進(jìn)行特征提取并分類的過(guò)程，它使計(jì)算機(jī)能獲知人的表情信息，進(jìn)而推斷人的心理狀態(tài)，從而實(shí)現(xiàn)人機(jī)之間的智能交互。 國(guó)際上關(guān)于面部表情的分析與識(shí)別的研究工作可分為基于心理學(xué)和計(jì)算機(jī)兩類。然后他們通過(guò)規(guī)則推理系統(tǒng)將這種面部幾何關(guān)系轉(zhuǎn)化為面部動(dòng)作單元的活動(dòng)，最終通過(guò)專家系統(tǒng)實(shí)現(xiàn)表情識(shí)別。在某種程度上，奇異值具有代數(shù)和幾何上的 雙重穩(wěn)定性，還具有比例不變性 、 旋轉(zhuǎn)不變性等重要性質(zhì)，因此將人臉特征矩陣進(jìn)行奇異值分解可以很好的取出圖像的代數(shù)特征，然后進(jìn)行匹配識(shí)別。早期面部表情識(shí)別的研究， Mase[15]使用了光流來(lái)估計(jì)面部肌肉的一個(gè)子集的活動(dòng)。 AAM 也是一種基于模型的 6 方法，它建立了一種對(duì)目標(biāo)對(duì)象變化程度的參數(shù)化描述。高文和金輝 [20]等通過(guò)對(duì)若干類面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型，在他們的另一篇文獻(xiàn)中，在對(duì)動(dòng)態(tài)表情圖像序列的時(shí)序分析的基礎(chǔ)上，提出了對(duì)混合表情的識(shí)別系統(tǒng)。本章提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值式。而今年來(lái)提出來(lái)的支持向量機(jī)是將人臉模式投影到比較高的維數(shù)特征空間。 將 I SOMAP 應(yīng)用在人臉識(shí)別領(lǐng)域的好處是這種非線性降維方法能夠更好的提取數(shù)據(jù)的本質(zhì)結(jié)構(gòu)，尤其是眼睛模型的特征。在進(jìn)行了閾值化之后，我們可以得到一個(gè)局部二進(jìn)制的模式 — 11110001；與此同時(shí)，將權(quán)值2? “ (n=0， l?? 7)從 g0 點(diǎn)開(kāi)始按照順時(shí)針順序依次賦予周邊的 8 個(gè)像素點(diǎn)，這些點(diǎn)的賦值依次是 g?=l， g?=2， g?=4， g?=8， g?=16， g?=32， g?=64， g?=128。 LBP 基本方法的適應(yīng)性很強(qiáng)，對(duì)圖像紋理的分析也很有效，但是此方法也存在著一些問(wèn)題。比如，在圖 中 0旋轉(zhuǎn)不變模式可以檢測(cè)圖像中的亮點(diǎn)，而 8可以檢測(cè)暗點(diǎn)以及穩(wěn)定區(qū)域， 4則可以檢測(cè)邊緣。在 LBP 的分析中，我們可以看到 LBP特征的提取通常采用了同樣的方式，特征表示單一固定，顯然，這樣的特征表示并不一定有利于分類超平面的尋求。由定義不難看出： 變閾值二值式 用二進(jìn)制串 1 描述圖像中那些灰度變化大于或等于變閾值 ε 的象素點(diǎn)，用二進(jìn)制串 0 描述圖像中灰度變化小于變閾值 ε 的點(diǎn)。 24 第二節(jié) 基于變閾值局部二值模式的紋理特征提取 局部二元模式能夠有效地度量和提取圖像局部及全局紋理信息。 I 的取值如式 ()： () 接著將所有區(qū)域的 變閾值局部二值式的 直方圖串接為一個(gè)直方圖序列，即得到所需的 變閾值局部二值式的 特征，并以此作為臉部圖像的特征向量。如圖 所，本文中的算法采用 matlab 編程，實(shí)驗(yàn)在 Intel Core 2 E6550(2． 23GHz)微處理器和 lG 內(nèi)存的計(jì)算機(jī)上進(jìn)行。 () 在這里， f(xc,yc)表示經(jīng)過(guò) 變閾值局部二值式的 計(jì)算后得到的局部區(qū)域圖像， b 表示不同的 LBP 模式的數(shù)量，即直方圖的 bin 數(shù)。由于 LBP 對(duì)于任意單調(diào)的變換具有不變性，因此， 變閾值局部二值式 本身對(duì)于單調(diào)分布的光照具有很強(qiáng)的魯棒性，在現(xiàn)實(shí)世界中，光照變化極為復(fù)雜，比如，圖 (a)是非均勻光源的環(huán)境下采集的人臉表情照片，我們可以觀察到該照片臉頰區(qū)域很亮，而另外部分區(qū)域特別是嘴巴、眼睛等周圍較暗，對(duì)于這種情況的光照問(wèn)題， LBP 往往無(wú)能為力，而使用 變閾值局部二值式 使得差異不再如此明顯，如圖 (e)所示。為改善這種情況 ，提出 變閾值局部二值式 定義，如式 ()所示： 變閾值局部二值模式 22 ε LBPP,R= () 其中， 且 ε≥0 比較式 ()與式 ()，我們可以發(fā)現(xiàn)，變閾值 ε 的引入是定義中唯一的變化之處，該參數(shù)用來(lái)描述周邊像素點(diǎn)值與中間像素點(diǎn)值的差異，它作為周邊像素點(diǎn)值與中間像素點(diǎn)值比較的閾值，可以靈活地選取不同的值，達(dá)到我們想要的效果。無(wú)疑，這些優(yōu) 點(diǎn)使得 LBP 特征具有很強(qiáng)的分類能力?？梢钥闯?，通過(guò)引入旋轉(zhuǎn)不變的定義， LBP 對(duì)于圖像旋轉(zhuǎn)表現(xiàn)得更為魯棒。 以上內(nèi)容通過(guò)一系列推導(dǎo)給出了 LBP 的拓展定義，并得出了 LBP 對(duì)于灰度范圍的平移不變性的性質(zhì)?，F(xiàn)舉例說(shuō)明 LBP 算子基本方法的計(jì)算方式。將待檢測(cè)人臉圖像的彈性匹配圖與人臉庫(kù)中的人臉模板圖進(jìn)行匹配，找出最相似的模板圖，然后在對(duì)具體的圖頂點(diǎn)進(jìn)行匹配，這種匹配會(huì)產(chǎn)生一個(gè)變形圖，這也是為什么稱此方法為“彈性圖”的原因。首先將將人臉圖像進(jìn)行正交變換，把人臉圖像降維到特征子空間，以消除原特征數(shù)據(jù)間的相關(guān)性，得到較小的特征數(shù)據(jù)集，用同樣的過(guò)程對(duì)非人臉訓(xùn)練數(shù)據(jù)進(jìn)行操作，然后將待檢測(cè)的人臉也投影到次特征子空間，通過(guò)跟人臉與非人臉訓(xùn)練特征數(shù)據(jù)進(jìn)行舉例比較，最終檢查出人臉，此方法被稱為 Distance from Face Space(DFFS)方法， DFFS 方法對(duì)檢查人臉正面圖像有橫好的效果，其缺點(diǎn)是計(jì)算量比較大。該方法來(lái)源于紋理分析領(lǐng)域，刻畫了局部圖像紋理的空間結(jié)構(gòu)，具有對(duì)紋理圖像光照變化不敏感的特點(diǎn)，且計(jì)算簡(jiǎn)單易于實(shí)現(xiàn)。目前，從事這方面研究的主要有清華大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、浙江大學(xué)、上海交通大學(xué)、哈爾濱工業(yè)大學(xué)、中科院自動(dòng)化所、中科院計(jì)算所、聯(lián)合實(shí)驗(yàn)室、南京理工大學(xué)、北方交通大學(xué)等多所著名大學(xué)和研究機(jī)構(gòu)都有人員從事人臉表情識(shí)別的研究?？梢哉f(shuō)基于模型的方法是對(duì)基于圖像的方法的一種擴(kuò)展和改進(jìn)的結(jié)果。 (6) 基于運(yùn)動(dòng)和形變特征提 取的方法 基于運(yùn)動(dòng)和形變的特征抽取方法關(guān)注由面部表情引起的面部變化。 C． Havran 等也是采用了類似方法，對(duì)經(jīng)過(guò) PCA 特征提取的圖像進(jìn)行獨(dú)立分量分析，試驗(yàn)表明這種表情提取方法比單獨(dú)用主分量分析的表情提取方法更有效，對(duì)主分量的特征空間維數(shù)的選擇具有更低的敏感度。 Chibelushi 等人 [6] 也采用了面部幾何特征點(diǎn)并采用KanadeTucasTomasi[7]特征點(diǎn)跟蹤算法實(shí)現(xiàn)特征點(diǎn)跟蹤，然后通過(guò)計(jì)算得到九個(gè)特征系數(shù)，而這九個(gè)系數(shù)構(gòu)成了特征流，描述了由于表情的發(fā)生而引起的面部特征點(diǎn)的幾何關(guān)系的變化。 (7) 心理學(xué)：心理學(xué)家在研究人類交往活動(dòng)中的信息表達(dá)時(shí)發(fā)現(xiàn)表情起到了重要的作用，假設(shè)開(kāi)發(fā)出的家庭機(jī)器人能夠自動(dòng)識(shí)別分析人類的各種表情，將可以幫助判斷人們的精神狀態(tài)甚至心理健康狀況，更好的與人合作，幫助我們協(xié)調(diào)人與人的關(guān)系等等。表 情含有豐富的人體行為信息，是情感的主載體，包含了豐富的情感信息，通過(guò)臉部表情能夠表達(dá)人的微妙的情緒反應(yīng)以及人類對(duì)應(yīng)的心理狀態(tài)，由此可見(jiàn)表情信息在人與人之間交流中的重要性。最后本文以變閾值局部二值模式直方圖作為特征向量，采用 ? 2 概率統(tǒng)計(jì)來(lái)計(jì)算各特征向量的距離，選用最近鄰分類器進(jìn)行特征分類，求出識(shí)別率。電腦游戲中的人物若能讀懂游戲者的表情，如喜、怒、哀、樂(lè)來(lái)做出實(shí)時(shí)的反應(yīng)，并與之親切交流，那么這樣的游戲肯定比那些傳統(tǒng)規(guī)定好規(guī)則的游戲更加吸引人，會(huì)給游戲者以更加身臨其境的感覺(jué)。尤其是近年來(lái)，隨著計(jì)算機(jī)硬件性能的提高和人類對(duì)人機(jī)交互的熱切盼望，它更成為一個(gè)熱門的研究課題。 20xx 年， Andrew J． Calder 等利用 PCA 在面部表情識(shí)別方面做了詳盡細(xì)致的工作，分別從識(shí)別理論和社會(huì)科學(xué)兩個(gè)角度說(shuō)明了主分量分析的可行性和有效性。 近來(lái)，有不少人對(duì) Gabor 小波進(jìn)行了深入研究并用于面部表情識(shí)別，取得了優(yōu)異的識(shí)別結(jié)果。 Rosenblum 等人則 借助特征點(diǎn)，采用矩形進(jìn)行臉部感興趣區(qū)域的跟蹤。在這種機(jī)制里可以將圖形學(xué)中的合成技術(shù)嵌入到面部分析階段并最終實(shí)現(xiàn)了較好的表情分析。 (3) 光照和人臉姿態(tài)對(duì)識(shí)別結(jié)果影響較大。對(duì)灰度人臉圖像進(jìn)行檢測(cè)的方法又可分為兩個(gè)方向，基于知識(shí)模型的方法和基于統(tǒng)計(jì)模型的方法，下面對(duì)這些方法做一些簡(jiǎn)單介紹。 最早是由 Pearson 提出來(lái)的，后來(lái)由 Hotelling 實(shí)現(xiàn)了此方法，并給出了具體的計(jì)算過(guò)程。當(dāng)指定了某一個(gè)像素點(diǎn)作為中心像素點(diǎn) (g?)之后 (此時(shí)暫不考慮圖像邊界上的像素點(diǎn) )，其周圍的 8 個(gè)像素點(diǎn) (g?g?)的灰度值即可隨之確定下來(lái)。然而，這種信息的少量犧牲帶來(lái)的好處是使得局部紋理的描述對(duì)于圖像灰度范圍內(nèi)的平移具有不變性 (所謂灰度范圍內(nèi)的平移不變性，可以理解為將圖像的所有像素點(diǎn)值加上或者減去一個(gè)常量，不影響 LBP 對(duì)于紋理的描述，通常，均勻光照可以視為灰度范圍的平移 )。很顯然，如果圖像發(fā)生旋轉(zhuǎn)，那么中心像素點(diǎn)的輸出值自然會(huì)有所變化 (當(dāng)然，那些二進(jìn)制表示原本為全 0 或者全 l 的像素點(diǎn)例外 )，為了消除圖像旋轉(zhuǎn)產(chǎn)生的影響， 0jala 等又引入了如下 : () 其中 ROR(x， i)函數(shù)為旋轉(zhuǎn)函數(shù)，表示將 X 右移 i 位。 20 第二節(jié) LBP方法的優(yōu)點(diǎn)與不足 優(yōu)點(diǎn)： (1) 理論簡(jiǎn)單明了，易于理解，計(jì)算過(guò)程方便快捷，并且從編碼的角度上講十分易于實(shí)現(xiàn)。 變閾值局部二值模式 通過(guò)引入變閾值 ε 擴(kuò)展了變換后的特征空間，并且可以通過(guò)調(diào)整 變閾值 的值在特征空間中尋找適合于特定分類問(wèn)題的子空間。通過(guò)調(diào)整參數(shù) ε 的值，特征提取的過(guò)程能夠相對(duì)靈活，因?yàn)椴⒎翘峁┙o分類器的描述特征越多，得到的分類效果就會(huì)越好，如圖 中所描述．圖(b)相對(duì)于圖 (e)其實(shí)描述了更多的紋理信息，但是我們的實(shí)驗(yàn)結(jié)果卻表明使用圖 (e)的特征表示在分類中的效果要好于使用圖 (b)中的特征表示。 26 第五章 基于變閾值局部二值式人臉表情識(shí)別的實(shí)現(xiàn)及實(shí)驗(yàn)結(jié)果 第一節(jié) 基于 變閾值局部二值式 的人臉表情識(shí)別的實(shí)現(xiàn) 根據(jù)