【正文】 局部二值式的人臉表情識(shí)別實(shí)現(xiàn)框圖 從圖 ，不論是訓(xùn)練樣本，還是測(cè)試樣本，我們都先要進(jìn)行圖像區(qū)域劃分。變閾值局部二值模式算子是對(duì) LBP 的改進(jìn)，能更好的提取人臉圖像紋理特征。通過調(diào)整參數(shù) ε 的值，特征提取的過程能夠相對(duì)靈活，因?yàn)椴⒎翘峁┙o分類器的描述特征越多，得到的分類效果就會(huì)越好，如圖 中所描述．圖(b)相對(duì)于圖 (e)其實(shí)描述了更多的紋理信息，但是我們的實(shí)驗(yàn)結(jié)果卻表明使用圖 (e)的特征表示在分類中的效果要好于使用圖 (b)中的特征表示。當(dāng)變閾值 ε 的值較小時(shí)，描述出更多的微小和細(xì)節(jié)的紋理信息，而當(dāng)變閾值 ε 的值較大時(shí)，它強(qiáng)調(diào)了周邊像素點(diǎn)值與中間像素點(diǎn)值的對(duì)比度，只有在灰度對(duì)比比較明顯的地方如圖 像中的邊緣、眼睛、眉毛、嘴巴等才會(huì)取二進(jìn)制串 0，對(duì)于灰度變化比較平緩的區(qū)域則大多為二進(jìn)制串 l，因此可以更多地描述了輪廓信息。 變閾值局部二值模式 通過引入變閾值 ε 擴(kuò)展了變換后的特征空間，并且可以通過調(diào)整 變閾值 的值在特征空間中尋找適合于特定分類問題的子空間。 (2) 對(duì)噪聲敏感。 20 第二節(jié) LBP方法的優(yōu)點(diǎn)與不足 優(yōu)點(diǎn)： (1) 理論簡(jiǎn)單明了，易于理解，計(jì)算過程方便快捷，并且從編碼的角度上講十分易于實(shí)現(xiàn)。 盡管具有灰度范圍內(nèi)的平移不變性以及圖像的旋轉(zhuǎn)不變性的性質(zhì)，但在實(shí)際的使用中，發(fā)現(xiàn)并不具有很強(qiáng)的分類能力， 0jala 等人通過進(jìn)一步研究認(rèn)為，這主要是因?yàn)榫哂行D(zhuǎn)不變性的輸出值出現(xiàn)的頻率差異太大，并由此提出了一種稱為 Uniform Pattern(統(tǒng)一模式 )的 LBP 描述方式： () 其中， U( LBPP,R)=|s(gp1gc)s(g0gc)|+ － s(gp1gc)| 通俗地描述，當(dāng)一個(gè) LBP 算子的二進(jìn)制特征值被視為首尾鏈接的環(huán)形時(shí)，至多存在兩位由 0 到 1 或是 1 到 0 的轉(zhuǎn)換，則該 LBP 算子被稱為統(tǒng)一模式，如10000001(圖 第一行都屬于 Uniform 模式 )。很顯然，如果圖像發(fā)生旋轉(zhuǎn)，那么中心像素點(diǎn)的輸出值自然會(huì)有所變化 (當(dāng)然，那些二進(jìn)制表示原本為全 0 或者全 l 的像素點(diǎn)例外 )，為了消除圖像旋轉(zhuǎn)產(chǎn)生的影響， 0jala 等又引入了如下 : () 其中 ROR(x， i)函數(shù)為旋轉(zhuǎn)函數(shù)，表示將 X 右移 i 位。 LBP 基本方法中一個(gè)比較突出的問題就是當(dāng)待處理的樣本圖像發(fā)生旋轉(zhuǎn)變換的時(shí)候，在這種情況下，絕大多數(shù)像素點(diǎn)的位置都會(huì)發(fā)生改變，因而像素點(diǎn)與像素點(diǎn)之間原有灰度值的大小關(guān)系就會(huì)發(fā)生變化。然而，這種信息的少量犧牲帶來的好處是使得局部紋理的描述對(duì)于圖像灰度范圍內(nèi)的平移具有不變性 (所謂灰度范圍內(nèi)的平移不變性，可以理解為將圖像的所有像素點(diǎn)值加上或者減去一個(gè)常量，不影響 LBP 對(duì)于紋理的描述，通常，均勻光照可以視為灰度范圍的平移 )。此后，把各像素點(diǎn)閾值化之后所得的二進(jìn)制值和所賦權(quán)值一一對(duì)應(yīng)相乘 —— 1 1，0 2， 0 4， 0 8， l 16， 1 32， l 64， l 128；最后將所得結(jié)果相加一1+16+32+64+128=241，即為中心像素點(diǎn) (gc)的 LBP 值。當(dāng)指定了某一個(gè)像素點(diǎn)作為中心像素點(diǎn) (g?)之后 (此時(shí)暫不考慮圖像邊界上的像素點(diǎn) )，其周圍的 8 個(gè)像素點(diǎn) (g?g?)的灰度值即可隨之確定下來。其具體過程可以用圖 來表示。 最早是由 Pearson 提出來的，后來由 Hotelling 實(shí)現(xiàn)了此方法，并給出了具體的計(jì)算過程。 支持向量機(jī)最早是由 Vapink 依據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出來的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的一種學(xué)習(xí)機(jī)，目的是用來結(jié)局分類問題。對(duì)灰度人臉圖像進(jìn)行檢測(cè)的方法又可分為兩個(gè)方向，基于知識(shí)模型的方法和基于統(tǒng)計(jì)模型的方法，下面對(duì)這些方法做一些簡(jiǎn)單介紹。變閾值局部二值式通過引入?yún)?shù)變閾值擴(kuò)展了變換后的特征空間，并且可以通過調(diào)整變閾值的值在特征空間中 尋找適合于特定分類問題的子空間。 (3) 光照和人臉姿態(tài)對(duì)識(shí)別結(jié)果影響較大。中國(guó)科技技術(shù)大學(xué)的尹星 云 [21]用隱馬爾科夫模型 (HMM)的基本理論和方法設(shè)計(jì)了人臉表情識(shí)別系統(tǒng)。在這種機(jī)制里可以將圖形學(xué)中的合成技術(shù)嵌入到面部分析階段并最終實(shí)現(xiàn)了較好的表情分析。 EdwardS 提出的活動(dòng)外觀模板 AAM，在圖像中手動(dòng)標(biāo)定 122 個(gè)點(diǎn)用來描述人臉特征信息。 Rosenblum 等人則 借助特征點(diǎn)，采用矩形進(jìn)行臉部感興趣區(qū)域的跟蹤。 Essa 和 Pemland[16]擴(kuò)展了這種方法，使用光流來估計(jì)面部解剖學(xué)和物理學(xué)模型中的面部運(yùn)動(dòng)。 近來，有不少人對(duì) Gabor 小波進(jìn)行了深入研究并用于面部表情識(shí)別，取得了優(yōu)異的識(shí)別結(jié)果。奇異值分解方法是在奇異值分解的基礎(chǔ)上，產(chǎn)生多種人臉識(shí)別方法。 20xx 年， Andrew J． Calder 等利用 PCA 在面部表情識(shí)別方面做了詳盡細(xì)致的工作，分別從識(shí)別理論和社會(huì)科學(xué)兩個(gè)角度說明了主分量分析的可行性和有效性。 Lanitis[10]用臉部一系列的特征點(diǎn)組成可變形的模型，通過測(cè)量特征點(diǎn)的相互位置和形狀來識(shí)別人臉表情。尤其是近年來，隨著計(jì)算機(jī)硬件性能的提高和人類對(duì)人機(jī)交互的熱切盼望，它更成為一個(gè)熱門的研究課題。早在 1872 年，著名生物學(xué)家達(dá)爾文 [1]就對(duì)人臉表情的相似性和延續(xù)性進(jìn)行了研究，他指出：面部表情不隨種族、國(guó)家、性別等的不同而不同，并且表情行為可以繼承。電腦游戲中的人物若能讀懂游戲者的表情，如喜、怒、哀、樂來做出實(shí)時(shí)的反應(yīng)，并與之親切交流，那么這樣的游戲肯定比那些傳統(tǒng)規(guī)定好規(guī)則的游戲更加吸引人，會(huì)給游戲者以更加身臨其境的感覺。表情識(shí)別技術(shù)是情感計(jì)算機(jī)研究的內(nèi)容之一，是生物特征識(shí)別、人工心理理論、情感計(jì)算、生理學(xué)、心理學(xué)、計(jì)算機(jī)視覺等多 學(xué)科交叉的一個(gè)極富挑戰(zhàn)性的課題，它的研究對(duì)于自然和諧的人機(jī)交互、遠(yuǎn)程教育、安全駕駛等都有重要的意義，具體表現(xiàn)在以下幾個(gè)方面： (1) 智能人機(jī)交互的實(shí)現(xiàn)：人臉面部表情的分析、編碼、識(shí)別以及在此基礎(chǔ)上的表情動(dòng)作跟蹤的研究，對(duì)實(shí)現(xiàn)自然的、智能化的人機(jī)交互和計(jì)算機(jī)自動(dòng)圖像理解都有重要的意義。最后本文以變閾值局部二值模式直方圖作為特征向量，采用 ? 2 概率統(tǒng)計(jì)來計(jì)算各特征向量的距離，選用最近鄰分類器進(jìn)行特征分類，求出識(shí)別率。本文重點(diǎn)集中在對(duì)表情特征提取問題的研究上，研究工作如下： 本文提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值模式。表 情含有豐富的人體行為信息，是情感的主載體，包含了豐富的情感信息，通過臉部表情能夠表達(dá)人的微妙的情緒反應(yīng)以及人類對(duì)應(yīng)的心理狀態(tài)，由此可見表情信息在人與人之間交流中的重要性。 (3) 安全領(lǐng)域：在一些特定的工作中，表情的自動(dòng)監(jiān)視與分析也非常有用比如，對(duì)機(jī)動(dòng)車司機(jī)、飛機(jī)駕駛員來說，一時(shí)的疲倦就有可能會(huì)產(chǎn)生嚴(yán)重的后果加入表情自動(dòng)分析技術(shù)的系統(tǒng)就可以實(shí)時(shí)的監(jiān) 控其表情的變化，判斷其精神狀態(tài)，對(duì)可能出現(xiàn)的危險(xiǎn)情況發(fā)出警告。 (7) 心理學(xué)：心理學(xué)家在研究人類交往活動(dòng)中的信息表達(dá)時(shí)發(fā)現(xiàn)表情起到了重要的作用，假設(shè)開發(fā)出的家庭機(jī)器人能夠自動(dòng)識(shí)別分析人類的各種表情，將可以幫助判斷人們的精神狀態(tài)甚至心理健康狀況，更好的與人合作，幫助我們協(xié)調(diào)人與人的關(guān)系等等。同年，Terzopoulous 和 Waters[4]則運(yùn)用了簡(jiǎn)化的 EkmanFriesen 模型，用計(jì)算機(jī)產(chǎn)生人臉動(dòng)畫，同時(shí)也做了人臉視頻序列的表情分析。 Chibelushi 等人 [6] 也采用了面部幾何特征點(diǎn)并采用KanadeTucasTomasi[7]特征點(diǎn)跟蹤算法實(shí)現(xiàn)特征點(diǎn)跟蹤，然后通過計(jì)算得到九個(gè)特征系數(shù)，而這九個(gè)系數(shù)構(gòu)成了特征流，描述了由于表情的發(fā)生而引起的面部特征點(diǎn)的幾何關(guān)系的變化。關(guān)于正交基的選擇有不同的考慮，采用主分量作正交基的方法稱為主成分分析法 (PCA)，它曾經(jīng)是人臉識(shí)別中最常用的方法 [12]。 C． Havran 等也是采用了類似方法，對(duì)經(jīng)過 PCA 特征提取的圖像進(jìn)行獨(dú)立分量分析，試驗(yàn)表明這種表情提取方法比單獨(dú)用主分量分析的表情提取方法更有效，對(duì)主分量的特征空間維數(shù)的選擇具有更低的敏感度。該理論針對(duì)小樣本統(tǒng)計(jì)問題簡(jiǎn)歷了一套新的理論體系，在這種體系下推理 規(guī)則不僅考慮了對(duì)漸進(jìn)性能的要求，而且追求在現(xiàn)有有限信息的條件下取得最優(yōu)結(jié)果。 (6) 基于運(yùn)動(dòng)和形變特征提 取的方法 基于運(yùn)動(dòng)和形變的特征抽取方法關(guān)注由面部表情引起的面部變化。 Horn 和 SChunck最早提出來基于梯度的光流場(chǎng)計(jì)算法， Otsuka 和 Ohya 在眼部和嘴巴兩個(gè)區(qū)域分別提取運(yùn)動(dòng)向量，再分別對(duì)豎直和水平方向的光流進(jìn)行二維傅立葉變換得到特向量?？梢哉f基于模型的方法是對(duì)基于圖像的方法的一種擴(kuò)展和改進(jìn)的結(jié)果。最終通過模型與這兩類參數(shù)的結(jié)合實(shí)現(xiàn)面部形態(tài)的合成。目前，從事這方面研究的主要有清華大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、浙江大學(xué)、上海交通大學(xué)、哈爾濱工業(yè)大學(xué)、中科院自動(dòng)化所、中科院計(jì)算所、聯(lián)合實(shí)驗(yàn)室、南京理工大學(xué)、北方交通大學(xué)等多所著名大學(xué)和研究機(jī)構(gòu)都有人員從事人臉表情識(shí)別的研究。面部表情識(shí)別的主要難點(diǎn)是： (1) 對(duì)各種表情的體驗(yàn)。該方法來源于紋理分析領(lǐng)域，刻畫了局部圖像紋理的空間結(jié)構(gòu)，具有對(duì)紋理圖像光照變化不敏感的特點(diǎn)，且計(jì)算簡(jiǎn)單易于實(shí)現(xiàn)。人臉檢測(cè)根據(jù)人臉圖像類型 、 背景以及圖像前景的不同，檢測(cè)所用到的技術(shù)也各不相同，圖 對(duì)涉及到的人臉檢測(cè)類別做了分類匯總。首先將將人臉圖像進(jìn)行正交變換，把人臉圖像降維到特征子空間，以消除原特征數(shù)據(jù)間的相關(guān)性，得到較小的特征數(shù)據(jù)集，用同樣的過程對(duì)非人臉訓(xùn)練數(shù)據(jù)進(jìn)行操作，然后將待檢測(cè)的人臉也投影到次特征子空間，通過跟人臉與非人臉訓(xùn)練特征數(shù)據(jù)進(jìn)行舉例比較，最終檢查出人臉，此方法被稱為 Distance from Face Space(DFFS)方法， DFFS 方法對(duì)檢查人臉正面圖像有橫好的效果，其缺點(diǎn)是計(jì)算量比較大。人臉識(shí)別可以分為下列幾種方法。將待檢測(cè)人臉圖像的彈性匹配圖與人臉庫中的人臉模板圖進(jìn)行匹配，找出最相似的模板圖，然后在對(duì)具體的圖頂點(diǎn)進(jìn)行匹配，這種匹配會(huì)產(chǎn)生一個(gè)變形圖，這也是為什么稱此方法為“彈性圖”的原因。 LBP 算法一般定義為 3 3的窗口，以窗口中心點(diǎn)的灰度值為閾值對(duì)窗口內(nèi)其它像素作二值化處理，然后根據(jù)像素不同位置進(jìn)行加權(quán)求和得到該窗口的 LBP 值。現(xiàn)舉例說明 LBP 算子基本方法的計(jì)算方式。此時(shí)就構(gòu)成了一個(gè)拓展的 LBP 算子所處理的局部區(qū)域，示例如圖 所示 (注： P 代表像素點(diǎn)的個(gè)數(shù)； R 代表以像素為單位的圓周半徑 )。 以上內(nèi)容通過一系列推導(dǎo)給出了 LBP 的拓展定義，并得出了 LBP 對(duì)于灰度范圍的平移不變性的性質(zhì)。最困難的地方在于，這種改變并不是同時(shí)發(fā)生在每一個(gè)像素點(diǎn)所在的局 部區(qū)域，也就是說可能有的像素點(diǎn)的 LBP 特征值會(huì)發(fā)生變化，而有的則不會(huì)，我們很難預(yù)期這種無規(guī)律變化的影響?？梢钥闯觯ㄟ^引入旋轉(zhuǎn)不變的定義， LBP 對(duì)于圖像旋轉(zhuǎn)表現(xiàn)得更為魯棒。 數(shù)字圖像經(jīng)過上述 LBP 算子運(yùn)算后，就可以得到變換以后的圖像，再對(duì)變換以后的圖像進(jìn)行直方圖統(tǒng)計(jì)，就得到了 LBP 直方圖的表示形式，很顯然，不同的 LBP 算子得到直方圖向量的維數(shù)是不一樣的，以 P=8， R=1 為例，如果采用LBP8,1，則得到的直方圖向量的維數(shù)是 256 維，而如果采用 Uniform 模式，得到的直方圖向量則是 59 維。無疑，這些優(yōu) 點(diǎn)使得 LBP 特征具有很強(qiáng)的分類能力。 21 第四章 變閾值局部二值模式 第一節(jié) 變閾值局部二值式的定義與性質(zhì) 第二章分析了 LBP 方法中依然存在的不足，指出了單一的 LBP 特征表示并不適應(yīng)于特定的分類問題，它完全依賴 LBP 特征本身的分類能力，未能充分利用先驗(yàn)與樣本集知識(shí)，通常并不能夠達(dá)到最優(yōu)的分類性能 。為改善這種情況 ，提出 變閾值局部二值式 定義，如式 ()所示： 變閾值局部二值模式 22 ε LBPP,R= () 其中， 且 ε≥0 比較式 ()與式 ()，我們可以發(fā)現(xiàn)，變閾值 ε 的引入是定義中唯一的變化之處，該參數(shù)用來描述周邊像素點(diǎn)值與中間像素點(diǎn)值的差異，它作為周邊像素點(diǎn)值與中間像素點(diǎn)值比較的閾值，可以靈活地選取不同的值，達(dá)到我們想要的效果。但隨機(jī)噪聲也比較大，而變閾值 ε 取值較大的 (e)圖則主要描述出了圖像中的輪廓邊緣信息，特別是眼睛、眉毛、嘴巴、鼻子等器官的邊緣，那些較小的紋理被過濾。由于 LBP 對(duì)于任意單調(diào)的變換具有不變性，因此， 變閾值局部二值式 本身對(duì)于單調(diào)分布的光照具有很強(qiáng)的魯棒性，在現(xiàn)實(shí)世界中，光照變化極為復(fù)雜，比如，圖 (a)是非均勻光源的環(huán)境下采集的人臉表情照片，我們可以觀察到該照片臉頰區(qū)域很亮，而另外部分區(qū)域特別是嘴巴、眼睛等周圍較暗，對(duì)于這種情況的光照問題， LBP 往往無能為力，而使用 變閾值局部二值式 使得差異不再如此明顯，如圖 (e)所示。但是從分類識(shí)別角度來看，它也存在一些不足：缺少對(duì)像素先驗(yàn)信息的利用， LBP 方法僅僅專注于特征提取，忽略了像素本身的信息，而這些信息對(duì)分類識(shí)別 的好壞有著顯著的影響。