【正文】 局部二值式的人臉表情識別實現(xiàn)框圖 從圖 ，不論是訓練樣本，還是測試樣本，我們都先要進行圖像區(qū)域劃分。變閾值局部二值模式算子是對 LBP 的改進，能更好的提取人臉圖像紋理特征。通過調整參數(shù) ε 的值，特征提取的過程能夠相對靈活，因為并非提供給分類器的描述特征越多，得到的分類效果就會越好，如圖 中所描述．圖(b)相對于圖 (e)其實描述了更多的紋理信息，但是我們的實驗結果卻表明使用圖 (e)的特征表示在分類中的效果要好于使用圖 (b)中的特征表示。當變閾值 ε 的值較小時，描述出更多的微小和細節(jié)的紋理信息，而當變閾值 ε 的值較大時，它強調了周邊像素點值與中間像素點值的對比度，只有在灰度對比比較明顯的地方如圖 像中的邊緣、眼睛、眉毛、嘴巴等才會取二進制串 0，對于灰度變化比較平緩的區(qū)域則大多為二進制串 l，因此可以更多地描述了輪廓信息。 變閾值局部二值模式 通過引入變閾值 ε 擴展了變換后的特征空間，并且可以通過調整 變閾值 的值在特征空間中尋找適合于特定分類問題的子空間。 (2) 對噪聲敏感。 20 第二節(jié) LBP方法的優(yōu)點與不足 優(yōu)點： (1) 理論簡單明了，易于理解，計算過程方便快捷，并且從編碼的角度上講十分易于實現(xiàn)。 盡管具有灰度范圍內的平移不變性以及圖像的旋轉不變性的性質，但在實際的使用中，發(fā)現(xiàn)并不具有很強的分類能力， 0jala 等人通過進一步研究認為，這主要是因為具有旋轉不變性的輸出值出現(xiàn)的頻率差異太大，并由此提出了一種稱為 Uniform Pattern(統(tǒng)一模式 )的 LBP 描述方式： () 其中， U( LBPP,R)=|s(gp1gc)s(g0gc)|+ － s(gp1gc)| 通俗地描述，當一個 LBP 算子的二進制特征值被視為首尾鏈接的環(huán)形時，至多存在兩位由 0 到 1 或是 1 到 0 的轉換，則該 LBP 算子被稱為統(tǒng)一模式，如10000001(圖 第一行都屬于 Uniform 模式 )。很顯然，如果圖像發(fā)生旋轉，那么中心像素點的輸出值自然會有所變化 (當然，那些二進制表示原本為全 0 或者全 l 的像素點例外 )，為了消除圖像旋轉產生的影響， 0jala 等又引入了如下 : () 其中 ROR(x， i)函數(shù)為旋轉函數(shù)，表示將 X 右移 i 位。 LBP 基本方法中一個比較突出的問題就是當待處理的樣本圖像發(fā)生旋轉變換的時候，在這種情況下，絕大多數(shù)像素點的位置都會發(fā)生改變，因而像素點與像素點之間原有灰度值的大小關系就會發(fā)生變化。然而，這種信息的少量犧牲帶來的好處是使得局部紋理的描述對于圖像灰度范圍內的平移具有不變性 (所謂灰度范圍內的平移不變性，可以理解為將圖像的所有像素點值加上或者減去一個常量，不影響 LBP 對于紋理的描述，通常，均勻光照可以視為灰度范圍的平移 )。此后，把各像素點閾值化之后所得的二進制值和所賦權值一一對應相乘 —— 1 1，0 2， 0 4， 0 8， l 16， 1 32， l 64， l 128；最后將所得結果相加一1+16+32+64+128=241，即為中心像素點 (gc)的 LBP 值。當指定了某一個像素點作為中心像素點 (g?)之后 (此時暫不考慮圖像邊界上的像素點 )，其周圍的 8 個像素點 (g?g?)的灰度值即可隨之確定下來。其具體過程可以用圖 來表示。 最早是由 Pearson 提出來的，后來由 Hotelling 實現(xiàn)了此方法，并給出了具體的計算過程。 支持向量機最早是由 Vapink 依據(jù)統(tǒng)計學習理論提出來的基于結構風險最小化的一種學習機，目的是用來結局分類問題。對灰度人臉圖像進行檢測的方法又可分為兩個方向，基于知識模型的方法和基于統(tǒng)計模型的方法，下面對這些方法做一些簡單介紹。變閾值局部二值式通過引入?yún)?shù)變閾值擴展了變換后的特征空間，并且可以通過調整變閾值的值在特征空間中 尋找適合于特定分類問題的子空間。 (3) 光照和人臉姿態(tài)對識別結果影響較大。中國科技技術大學的尹星 云 [21]用隱馬爾科夫模型 (HMM)的基本理論和方法設計了人臉表情識別系統(tǒng)。在這種機制里可以將圖形學中的合成技術嵌入到面部分析階段并最終實現(xiàn)了較好的表情分析。 EdwardS 提出的活動外觀模板 AAM，在圖像中手動標定 122 個點用來描述人臉特征信息。 Rosenblum 等人則 借助特征點，采用矩形進行臉部感興趣區(qū)域的跟蹤。 Essa 和 Pemland[16]擴展了這種方法，使用光流來估計面部解剖學和物理學模型中的面部運動。 近來，有不少人對 Gabor 小波進行了深入研究并用于面部表情識別，取得了優(yōu)異的識別結果。奇異值分解方法是在奇異值分解的基礎上，產生多種人臉識別方法。 20xx 年， Andrew J． Calder 等利用 PCA 在面部表情識別方面做了詳盡細致的工作，分別從識別理論和社會科學兩個角度說明了主分量分析的可行性和有效性。 Lanitis[10]用臉部一系列的特征點組成可變形的模型，通過測量特征點的相互位置和形狀來識別人臉表情。尤其是近年來，隨著計算機硬件性能的提高和人類對人機交互的熱切盼望，它更成為一個熱門的研究課題。早在 1872 年，著名生物學家達爾文 [1]就對人臉表情的相似性和延續(xù)性進行了研究，他指出：面部表情不隨種族、國家、性別等的不同而不同，并且表情行為可以繼承。電腦游戲中的人物若能讀懂游戲者的表情，如喜、怒、哀、樂來做出實時的反應，并與之親切交流，那么這樣的游戲肯定比那些傳統(tǒng)規(guī)定好規(guī)則的游戲更加吸引人，會給游戲者以更加身臨其境的感覺。表情識別技術是情感計算機研究的內容之一，是生物特征識別、人工心理理論、情感計算、生理學、心理學、計算機視覺等多 學科交叉的一個極富挑戰(zhàn)性的課題，它的研究對于自然和諧的人機交互、遠程教育、安全駕駛等都有重要的意義，具體表現(xiàn)在以下幾個方面： (1) 智能人機交互的實現(xiàn)：人臉面部表情的分析、編碼、識別以及在此基礎上的表情動作跟蹤的研究，對實現(xiàn)自然的、智能化的人機交互和計算機自動圖像理解都有重要的意義。最后本文以變閾值局部二值模式直方圖作為特征向量，采用 ? 2 概率統(tǒng)計來計算各特征向量的距離，選用最近鄰分類器進行特征分類，求出識別率。本文重點集中在對表情特征提取問題的研究上，研究工作如下： 本文提出了一種 LBP 的擴展形式，即變閾值局部二值模式。表 情含有豐富的人體行為信息，是情感的主載體，包含了豐富的情感信息，通過臉部表情能夠表達人的微妙的情緒反應以及人類對應的心理狀態(tài)，由此可見表情信息在人與人之間交流中的重要性。 (3) 安全領域：在一些特定的工作中，表情的自動監(jiān)視與分析也非常有用比如，對機動車司機、飛機駕駛員來說，一時的疲倦就有可能會產生嚴重的后果加入表情自動分析技術的系統(tǒng)就可以實時的監(jiān) 控其表情的變化，判斷其精神狀態(tài)，對可能出現(xiàn)的危險情況發(fā)出警告。 (7) 心理學：心理學家在研究人類交往活動中的信息表達時發(fā)現(xiàn)表情起到了重要的作用，假設開發(fā)出的家庭機器人能夠自動識別分析人類的各種表情，將可以幫助判斷人們的精神狀態(tài)甚至心理健康狀況，更好的與人合作，幫助我們協(xié)調人與人的關系等等。同年，Terzopoulous 和 Waters[4]則運用了簡化的 EkmanFriesen 模型，用計算機產生人臉動畫，同時也做了人臉視頻序列的表情分析。 Chibelushi 等人 [6] 也采用了面部幾何特征點并采用KanadeTucasTomasi[7]特征點跟蹤算法實現(xiàn)特征點跟蹤，然后通過計算得到九個特征系數(shù)，而這九個系數(shù)構成了特征流，描述了由于表情的發(fā)生而引起的面部特征點的幾何關系的變化。關于正交基的選擇有不同的考慮，采用主分量作正交基的方法稱為主成分分析法 (PCA)，它曾經(jīng)是人臉識別中最常用的方法 [12]。 C． Havran 等也是采用了類似方法，對經(jīng)過 PCA 特征提取的圖像進行獨立分量分析，試驗表明這種表情提取方法比單獨用主分量分析的表情提取方法更有效，對主分量的特征空間維數(shù)的選擇具有更低的敏感度。該理論針對小樣本統(tǒng)計問題簡歷了一套新的理論體系，在這種體系下推理 規(guī)則不僅考慮了對漸進性能的要求，而且追求在現(xiàn)有有限信息的條件下取得最優(yōu)結果。 (6) 基于運動和形變特征提 取的方法 基于運動和形變的特征抽取方法關注由面部表情引起的面部變化。 Horn 和 SChunck最早提出來基于梯度的光流場計算法， Otsuka 和 Ohya 在眼部和嘴巴兩個區(qū)域分別提取運動向量，再分別對豎直和水平方向的光流進行二維傅立葉變換得到特向量?？梢哉f基于模型的方法是對基于圖像的方法的一種擴展和改進的結果。最終通過模型與這兩類參數(shù)的結合實現(xiàn)面部形態(tài)的合成。目前，從事這方面研究的主要有清華大學、中國科學技術大學、浙江大學、上海交通大學、哈爾濱工業(yè)大學、中科院自動化所、中科院計算所、聯(lián)合實驗室、南京理工大學、北方交通大學等多所著名大學和研究機構都有人員從事人臉表情識別的研究。面部表情識別的主要難點是： (1) 對各種表情的體驗。該方法來源于紋理分析領域，刻畫了局部圖像紋理的空間結構，具有對紋理圖像光照變化不敏感的特點，且計算簡單易于實現(xiàn)。人臉檢測根據(jù)人臉圖像類型 、 背景以及圖像前景的不同，檢測所用到的技術也各不相同，圖 對涉及到的人臉檢測類別做了分類匯總。首先將將人臉圖像進行正交變換，把人臉圖像降維到特征子空間，以消除原特征數(shù)據(jù)間的相關性，得到較小的特征數(shù)據(jù)集，用同樣的過程對非人臉訓練數(shù)據(jù)進行操作，然后將待檢測的人臉也投影到次特征子空間，通過跟人臉與非人臉訓練特征數(shù)據(jù)進行舉例比較，最終檢查出人臉，此方法被稱為 Distance from Face Space(DFFS)方法， DFFS 方法對檢查人臉正面圖像有橫好的效果，其缺點是計算量比較大。人臉識別可以分為下列幾種方法。將待檢測人臉圖像的彈性匹配圖與人臉庫中的人臉模板圖進行匹配，找出最相似的模板圖，然后在對具體的圖頂點進行匹配，這種匹配會產生一個變形圖，這也是為什么稱此方法為“彈性圖”的原因。 LBP 算法一般定義為 3 3的窗口，以窗口中心點的灰度值為閾值對窗口內其它像素作二值化處理，然后根據(jù)像素不同位置進行加權求和得到該窗口的 LBP 值?，F(xiàn)舉例說明 LBP 算子基本方法的計算方式。此時就構成了一個拓展的 LBP 算子所處理的局部區(qū)域，示例如圖 所示 (注： P 代表像素點的個數(shù)； R 代表以像素為單位的圓周半徑 )。 以上內容通過一系列推導給出了 LBP 的拓展定義，并得出了 LBP 對于灰度范圍的平移不變性的性質。最困難的地方在于，這種改變并不是同時發(fā)生在每一個像素點所在的局 部區(qū)域，也就是說可能有的像素點的 LBP 特征值會發(fā)生變化，而有的則不會，我們很難預期這種無規(guī)律變化的影響?？梢钥闯?，通過引入旋轉不變的定義， LBP 對于圖像旋轉表現(xiàn)得更為魯棒。 數(shù)字圖像經(jīng)過上述 LBP 算子運算后，就可以得到變換以后的圖像，再對變換以后的圖像進行直方圖統(tǒng)計，就得到了 LBP 直方圖的表示形式，很顯然，不同的 LBP 算子得到直方圖向量的維數(shù)是不一樣的，以 P=8， R=1 為例，如果采用LBP8,1，則得到的直方圖向量的維數(shù)是 256 維，而如果采用 Uniform 模式，得到的直方圖向量則是 59 維。無疑，這些優(yōu) 點使得 LBP 特征具有很強的分類能力。 21 第四章 變閾值局部二值模式 第一節(jié) 變閾值局部二值式的定義與性質 第二章分析了 LBP 方法中依然存在的不足，指出了單一的 LBP 特征表示并不適應于特定的分類問題，它完全依賴 LBP 特征本身的分類能力，未能充分利用先驗與樣本集知識，通常并不能夠達到最優(yōu)的分類性能 。為改善這種情況 ，提出 變閾值局部二值式 定義，如式 ()所示： 變閾值局部二值模式 22 ε LBPP,R= () 其中， 且 ε≥0 比較式 ()與式 ()，我們可以發(fā)現(xiàn)，變閾值 ε 的引入是定義中唯一的變化之處，該參數(shù)用來描述周邊像素點值與中間像素點值的差異，它作為周邊像素點值與中間像素點值比較的閾值，可以靈活地選取不同的值，達到我們想要的效果。但隨機噪聲也比較大，而變閾值 ε 取值較大的 (e)圖則主要描述出了圖像中的輪廓邊緣信息，特別是眼睛、眉毛、嘴巴、鼻子等器官的邊緣，那些較小的紋理被過濾。由于 LBP 對于任意單調的變換具有不變性，因此， 變閾值局部二值式 本身對于單調分布的光照具有很強的魯棒性，在現(xiàn)實世界中，光照變化極為復雜，比如，圖 (a)是非均勻光源的環(huán)境下采集的人臉表情照片，我們可以觀察到該照片臉頰區(qū)域很亮，而另外部分區(qū)域特別是嘴巴、眼睛等周圍較暗，對于這種情況的光照問題， LBP 往往無能為力，而使用 變閾值局部二值式 使得差異不再如此明顯，如圖 (e)所示。但是從分類識別角度來看，它也存在一些不足：缺少對像素先驗信息的利用， LBP 方法僅僅專注于特征提取，忽略了像素本身的信息，而這些信息對分類識別 的好壞有著顯著的影響。