【正文】 術(shù)是情感計算機(jī)研究的內(nèi)容之一，是生物特征識別、人工心理理論、情感計算、生理學(xué)、心理學(xué)、計算機(jī)視覺等多 學(xué)科交叉的一個極富挑戰(zhàn)性的課題，它的研究對于自然和諧的人機(jī)交互、遠(yuǎn)程教育、安全駕駛等都有重要的意義，具體表現(xiàn)在以下幾個方面： (1) 智能人機(jī)交互的實(shí)現(xiàn)：人臉面部表情的分析、編碼、識別以及在此基礎(chǔ)上的表情動作跟蹤的研究，對實(shí)現(xiàn)自然的、智能化的人機(jī)交互和計算機(jī)自動圖像理解都有重要的意義。 人臉表情在人們的交流中起著非常重要的作用，是人們進(jìn)行非語言交流的一種重要方式。最后本文以變閾值局部二值模式直方圖作為特征向量，采用 ? 2 概率統(tǒng)計來計算各特征向量的距離，選用最近鄰分類器進(jìn)行特征分類，求出識別率。一般而言，人臉表情識別主要有四個基本部分組成：表情圖像獲取、表情圖像預(yù)處理、表情特征提取和表情分類。本文重點(diǎn)集中在對表情特征提取問題的研究上，研究工作如下： 本文提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值模式。我們使用 matlab 語言將上述算法應(yīng)用于人 臉表情識別，取得了較好的識別效果。表 情含有豐富的人體行為信息，是情感的主載體，包含了豐富的情感信息，通過臉部表情能夠表達(dá)人的微妙的情緒反應(yīng)以及人類對應(yīng)的心理狀態(tài)，由此可見表情信息在人與人之間交流中的重要性。例如在人機(jī)界面中如果能夠出現(xiàn)安慰與鼓勵等方面的文字、圖像與聲音，用戶會感覺更加親切。 (3) 安全領(lǐng)域：在一些特定的工作中，表情的自動監(jiān)視與分析也非常有用比如，對機(jī)動車司機(jī)、飛機(jī)駕駛員來說，一時的疲倦就有可能會產(chǎn)生嚴(yán)重的后果加入表情自動分析技術(shù)的系統(tǒng)就可以實(shí)時的監(jiān) 控其表情的變化，判斷其精神狀態(tài)，對可能出現(xiàn)的危險情況發(fā)出警告。 (5) 壓力檢測：同自動駕駛中的表情檢測一樣，表情檢測與分析對一些工作壓力較大的工人同樣是必須的 。 (7) 心理學(xué)：心理學(xué)家在研究人類交往活動中的信息表達(dá)時發(fā)現(xiàn)表情起到了重要的作用，假設(shè)開發(fā)出的家庭機(jī)器人能夠自動識別分析人類的各種表情，將可以幫助判斷人們的精神狀態(tài)甚至心理健康狀況，更好的與人合作，幫助我們協(xié)調(diào)人與人的關(guān)系等等。 1978 年美國心理學(xué)家 Ekman 和 Friesen[2]開發(fā)了面部動作編碼系統(tǒng) FACS(Facial Action coding system)來檢測面部表情的細(xì)微變化 。同年，Terzopoulous 和 Waters[4]則運(yùn)用了簡化的 EkmanFriesen 模型，用計算機(jī)產(chǎn)生人臉動畫，同時也做了人臉視頻序列的表情分析。美國、日本、英國、德國、荷蘭、法國等經(jīng) 濟(jì)發(fā)達(dá)國家和發(fā)展中國家如印度、新加坡都有專門的研究組進(jìn)行這方面的研究。 Chibelushi 等人 [6] 也采用了面部幾何特征點(diǎn)并采用KanadeTucasTomasi[7]特征點(diǎn)跟蹤算法實(shí)現(xiàn)特征點(diǎn)跟蹤，然后通過計算得到九個特征系數(shù)，而這九個系數(shù)構(gòu)成了特征流，描述了由于表情的發(fā)生而引起的面部特征點(diǎn)的幾何關(guān)系的變化。 Pantic[11]等人利用定位與跟蹤臉上特征部位的變化來取得臉部的幾何變化信息，然后將這種信息投影到肌肉塊的“運(yùn)動單元 ” (Action Units， AU)空間中，最后通過二級結(jié)構(gòu)識別出 28個 AU 和 6 種基本表情。關(guān)于正交基的選擇有不同的考慮，采用主分量作正交基的方法稱為主成分分析法 (PCA)，它曾經(jīng)是人臉識別中最常用的方法 [12]。 PCA 現(xiàn)己成功用于人臉識別和表情識別。 C． Havran 等也是采用了類似方法，對經(jīng)過 PCA 特征提取的圖像進(jìn)行獨(dú)立分量分析，試驗(yàn)表明這種表情提取方法比單獨(dú)用主分量分析的表情提取方法更有效，對主分量的特征空間維數(shù)的選擇具有更低的敏感度。例如基于圖像集似然度的人臉識別，首先用圖像集中每個圖像的奇異值向量構(gòu)造出一個新的矩陣 圖像集特征矩陣，據(jù)算待檢測人臉集的特征矩陣與已知的各類人臉集的特征矩陣的似然度，最終判斷帶檢測人臉屬于哪一類。該理論針對小樣本統(tǒng)計問題簡歷了一套新的理論體系，在這種體系下推理 規(guī)則不僅考慮了對漸進(jìn)性能的要求，而且追求在現(xiàn)有有限信息的條件下取得最優(yōu)結(jié)果。 Gabor 小波是一組窄帶帶通濾波器，在空間域和頻率域均有較好的分辨能力，有明顯的方向選擇和頻率選擇特性。 (6) 基于運(yùn)動和形變特征提 取的方法 基于運(yùn)動和形變的特征抽取方法關(guān)注由面部表情引起的面部變化。 Cohn 等開發(fā)了一個基于特征點(diǎn)跟蹤的面部運(yùn)動分類系統(tǒng)。 Horn 和 SChunck最早提出來基于梯度的光流場計算法， Otsuka 和 Ohya 在眼部和嘴巴兩個區(qū)域分別提取運(yùn)動向量，再分別對豎直和水平方向的光流進(jìn)行二維傅立葉變換得到特向量。 Essa 等人將光流技術(shù)與基于幾何、生理、運(yùn)動的動態(tài)模型結(jié)合起來實(shí)現(xiàn)面部特征的描述?？梢哉f基于模型的方法是對基于圖像的方法的一種擴(kuò)展和改進(jìn)的結(jié)果。 LantiS 等人使用了 活動外觀模型方法提取人臉圖像特征，活動外觀模型通過對人臉對象的形狀和紋理進(jìn)行 PCA 分析，從而用較少的參數(shù)來表達(dá)人臉對象的形狀與紋理特征。最終通過模型與這兩類參數(shù)的結(jié)合實(shí)現(xiàn)面部形態(tài)的合成。 Black 和 Yacoob，及 Yacoob和 Davis 提出了面部的局部參數(shù)運(yùn)動模型。目前，從事這方面研究的主要有清華大學(xué)、中國科學(xué)技術(shù)大學(xué)、浙江大學(xué)、上海交通大學(xué)、哈爾濱工業(yè)大學(xué)、中科院自動化所、中科院計算所、聯(lián)合實(shí)驗(yàn)室、南京理工大學(xué)、北方交通大學(xué)等多所著名大學(xué)和研究機(jī)構(gòu)都有人員從事人臉表情識別的研究。哈爾濱工業(yè)大學(xué)的趙力莊、高文 [22]等將 Eigenfaee 多子空間分類方法用于面部表情識別；天津大學(xué)的左坤隆、劉文耀等利用活動外觀模板 (AAM)提取的人臉表情特征來進(jìn)行人臉表情識別；東南大學(xué)的姜璐、章品正等利用矩分析的方法進(jìn)行面部表情的識別，將 Zemike 矩和小波矩運(yùn)用于面部表情識別問題；北京科技大學(xué)的劉芳、王志良等將黑斑特征算法應(yīng)用于面部表情的識別，該算法對于一幅輸入的人臉圖像，依次進(jìn)行灰度化、二值化、濾波、特征提取等處理后，通過 采用基于黑斑特征的算法進(jìn)行表情的自動識別。面部表情識別的主要難點(diǎn)是： (1) 對各種表情的體驗(yàn)。 (4) 難以建立一個理想的人臉表情模型，因?yàn)槿四樖且粋€柔性體，而非剛體，很難用模型來準(zhǔn)確描述。該方法來源于紋理分析領(lǐng)域，刻畫了局部圖像紋理的空間結(jié)構(gòu)，具有對紋理圖像光照變化不敏感的特點(diǎn)，且計算簡單易于實(shí)現(xiàn)。經(jīng)過改進(jìn)，變閾值局部二值式對于噪聲和光照變化相對于局部二值式更加魯棒，而且特征抽取的過程也能夠相對靈活。人臉檢測根據(jù)人臉圖像類型 、 背景以及圖像前景的不同，檢測所用到的技術(shù)也各不相同，圖 對涉及到的人臉檢測類別做了分類匯總。 9 一、基于特征的方法 基于特征方法主要是尋找能夠有效表示人臉的不變特征來用于人臉檢測，人臉特征不僅能反映隱含在人臉內(nèi)部的信息，也能表達(dá)出人臉的機(jī)構(gòu)關(guān)系。首先將將人臉圖像進(jìn)行正交變換，把人臉圖像降維到特征子空間，以消除原特征數(shù)據(jù)間的相關(guān)性，得到較小的特征數(shù)據(jù)集，用同樣的過程對非人臉訓(xùn)練數(shù)據(jù)進(jìn)行操作，然后將待檢測的人臉也投影到次特征子空間，通過跟人臉與非人臉訓(xùn)練特征數(shù)據(jù)進(jìn)行舉例比較，最終檢查出人臉，此方法被稱為 Distance from Face Space(DFFS)方法， DFFS 方法對檢查人臉正面圖像有橫好的效果，其缺點(diǎn)是計算量比較大。 Osuna 等人后來講支持向量機(jī)方法用在了人臉檢測領(lǐng)域，首先訓(xùn)練 SVM 分類器，用有限的人臉與非人臉數(shù)據(jù)樣本來進(jìn)行訓(xùn)練，講數(shù)據(jù)投影到較高的維 數(shù)空間，尋找最優(yōu)判斷分類面，最終得到 SVM 分類器，用在人臉檢測中。人臉識別可以分為下列幾種方法。隨后由 Sirovich 等人將 PCA 方法用在了人臉圖像分析區(qū)領(lǐng)域，并進(jìn)行人臉識別。將待檢測人臉圖像的彈性匹配圖與人臉庫中的人臉模板圖進(jìn)行匹配，找出最相似的模板圖，然后在對具體的圖頂點(diǎn)進(jìn)行匹配，這種匹配會產(chǎn)生一個變形圖，這也是為什么稱此方法為“彈性圖”的原因。 圖 I SOMAPA 降維方法實(shí)現(xiàn)人臉識別的流程 12 第三節(jié) 本章小結(jié) 本章簡單介紹了用在人臉檢測以及人臉識別中的常用方法和一些經(jīng)典方法。 LBP 算法一般定義為 3 3的窗口，以窗口中心點(diǎn)的灰度值為閾值對窗口內(nèi)其它像素作二值化處理，然后根據(jù)像素不同位置進(jìn)行加權(quán)求和得到該窗口的 LBP 值。我們以中心像素點(diǎn) (g??)的灰度值作為閾值 (thresholded value)，將 gc 周邊相鄰的 8 個像素點(diǎn)的灰度值與閾值進(jìn)行比較，如果某相鄰像素點(diǎn)的灰度值大于或等于該閾值，則令該像素點(diǎn)的賦值為 1；如果相鄰像素點(diǎn)的灰度值小于該閾值，則令該像素點(diǎn)的賦值為 0?，F(xiàn)舉例說明 LBP 算子基本方法的計算方式。 示例灰度值 閾化值 權(quán)重值 Pattern=11110001 LBP=1+16+32+64+128=241 圖 LBP 算子基本方法的簡單示例 通過以上的例子可以看出， LBP 算子的基本方法在理論上是十分易于理解的，并且由于參與運(yùn)算的值都是權(quán)值 2? “ (n=0， l，?， n)，因而此方法在計算上也十分簡便。此時就構(gòu)成了一個拓展的 LBP 算子所處理的局部區(qū)域，示例如圖 所示 (注： P 代表像素點(diǎn)的個數(shù)； R 代表以像素為單位的圓周半徑 )。另外，又由于 t(gc)所表示的是一幅圖像受到的整體光照度，這是與圖像的局部紋理特征無關(guān)的，并且 t(gc)中也不包含許多對圖像紋理分析有用的信息，因此我們可以將其忽略，這樣做仍舊可以在上述聯(lián)合分布中保留下原先紋理的大部分特征信息，由此得到如式 所示的表達(dá)式： T≈ t(g0gc，?， gp1gc) () 進(jìn)一步地，如果僅考慮 gpgc 的符號，則我們可以發(fā)現(xiàn)，由于用相鄰像素與中心像素的差值代替相鄰像素的像素值，可以實(shí)現(xiàn)旋轉(zhuǎn)不變性，而且它對局部紋理的描述具有對均勻亮度變化的不變性，因此上式可以表示為如式 所示： T≈ t(S(g0gc)，?， s(gp1gc)) () 其中 s(x)的計算如式 所示： () 16 最后，如果為每個 s(gp?gc)分配一個權(quán)值 2p，則可以得到一個唯一的 LBP 編碼，即得到一個唯一的 LBP 值。 以上內(nèi)容通過一系列推導(dǎo)給出了 LBP 的拓展定義，并得出了 LBP 對于灰度范圍的平移不變性的性質(zhì)。由于圖像紋理的旋轉(zhuǎn)變換所產(chǎn)生的結(jié)果是一串連鎖效應(yīng)，會使 LBP 算子所作用的各個像素點(diǎn)的 LBP 17 特征值受到影響，從而直接或間接地影響到 LBP 特征提取的環(huán)節(jié)，上述變化如圖 所示。最困難的地方在于，這種改變并不是同時發(fā)生在每一個像素點(diǎn)所在的局 部區(qū)域，也就是說可能有的像素點(diǎn)的 LBP 特征值會發(fā)生變化，而有的則不會，我們很難預(yù)期這種無規(guī)律變化的影響。鄰域像素的次序通常由中心像素正右方的像素開始，逆時針標(biāo)記。可以看出，通過引入旋轉(zhuǎn)不變的定義， LBP 對于圖像旋轉(zhuǎn)表現(xiàn)得更為魯棒。盡管 Uniform 模式僅僅是所有 LBP輸出中的小部分，但是實(shí)驗(yàn)結(jié)果已經(jīng)驗(yàn)證： Uniform 模式不僅可以描述絕大部分的紋理信息，且具有較強(qiáng)的分類能力。 數(shù)字圖像經(jīng)過上述 LBP 算子運(yùn)算后，就可以得到變換以后的圖像，再對變換以后的圖像進(jìn)行直方圖統(tǒng)計，就得到了 LBP 直方圖的表示形式，很顯然，不同的 LBP 算子得到直方圖向量的維數(shù)是不一樣的，以 P=8， R=1 為例，如果采用LBP8,1，則得到的直方圖向量的維數(shù)是 256 維，而如果采用 Uniform 模式，得到的直方圖向量則是 59 維。總結(jié)起來，基于 LBP 的方法所需要的計算操作僅僅是簡單的模板操作以及直方圖向量的生成，從 節(jié)的分析可以看出，相對于其它方法基于LBP 的方法所需要的計算量較少，從分類的角度來看，這種優(yōu)點(diǎn)帶來的是訓(xùn)代價的大幅降低和分類速度的提高。無疑，這些優(yōu) 點(diǎn)使得 LBP 特征具有很強(qiáng)的分類能力。鄰近區(qū)域的 LBP 碼并不是相互獨(dú)立的，而是與其鄰近點(diǎn) 相關(guān)的，因此 LBP 對噪聲敏感。 21 第四章 變閾值局部二值模式 第一節(jié) 變閾值局部二值式的定義與性質(zhì) 第二章分析了 LBP 方法中依然存在的不足，指出了單一的 LBP 特征表示并不適應(yīng)于特定的分類問題，它完全依賴 LBP 特征本身的分類能力，未能充分利用先驗(yàn)與樣本集知識，通常并不能夠達(dá)到最優(yōu)的分類性能 。其原理如下圖所以： 圖 變閾值特征變換圖 如圖 所示，應(yīng)用 LBP 的擴(kuò)展形式 變閾值局部二值式 ，只要調(diào)整了變閾值ε 的值，可以將特征空間由原來唯一的一種 (即 0LBP 情況 )擴(kuò)展為連續(xù)的空間組合。為改善這種情況 ，提出 變閾值局部二值式 定義，如式 ()所示： 變閾值局部二值模式 22