【正文】 () 在這里， f(xc,yc)表示經(jīng)過 變閾值局部二值式的 計算后得到的局部區(qū)域圖像， b 表示不同的 LBP 模式的數(shù)量，即直方圖的 bin 數(shù)。 第二節(jié) 實驗討論變閾值 ε的調整 由第 4 章的討論和分析中，我們可以看到，通過調變閾值 ε 的值，我們可以得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類的特征子空間。如圖 所，本文中的算法采用 matlab 編程，實驗在 Intel Core 2 E6550(2． 23GHz)微處理器和 lG 內存的計算機上進行。經(jīng)過統(tǒng)計發(fā)現(xiàn)，如果變閾值 ε 的 值大到一定的范圍 28 以后 (比如 20)，分類性能會下降，這主要是因為，變閾值 ε 的 值越大，所包含的紋理信息就越少，當少到一定程度時，就不足以進行分類。 I 的取值如式 ()： () 接著將所有區(qū)域的 變閾值局部二值式的 直方圖串接為一個直方圖序列，即得到所需的 變閾值局部二值式的 特征，并以此作為臉部圖像的特征向量。 我們通過比較變閾值二值模式和 LBP 的紋理特征來體現(xiàn)出 LBP 的不足之處，進而顯示出變閾值二值模式的優(yōu)于 LBP 之處。 24 第二節(jié) 基于變閾值局部二值模式的紋理特征提取 局部二元模式能夠有效地度量和提取圖像局部及全局紋理信息?？偟目磥?，隨著變閾值 ε 取值的增大， 變閾值二值式所 描述的圖像細節(jié)紋理信息被逐漸弱化，而邊緣等輪廓信息被逐漸增強由于 變閾值二值式 具有上述特性，在分類問題上我們至少可以從以下三個方面得益： 23 (1) 樣本經(jīng)過取不同的變閾值 ε 值進行相應的 變閾值二值式 特征變換以后，我們將會得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類的特征子空間。由定義不難看出： 變閾值二值式 用二進制串 1 描述圖像中那些灰度變化大于或等于變閾值 ε 的象素點，用二進制串 0 描述圖像中灰度變化小于變閾值 ε 的點。在經(jīng)過長時間的查詢資料和驗證，我認為可以提出了一種 LBP 的擴展形式，即變閾值局部二值模式。在 LBP 的分析中，我們可以看到 LBP特征的提取通常采用了同樣的方式，特征表示單一固定，顯然，這樣的特征表示并不一定有利于分類超平面的尋求。 算子不僅具有，即不受圖像旋轉和平移的影響，而且提取紋理特征具有良好的分類能力。比如，在圖 中 0旋轉不變模式可以檢測圖像中的亮點，而 8可以檢測暗點以及穩(wěn)定區(qū)域， 4則可以檢測邊緣。以 P=8， R=1 為例， LBR8,1 將會生成256 種輸出 (0～ 255)。 LBP 基本方法的適應性很強，對圖像紋理的分析也很有效，但是此方法也存在著一些問題。在不丟失信息的前提下，我們可以用圓周上像素點的灰度值 gp 減去中心像素點的灰度值 gc，這樣局部的紋理 T 就 可以看做是中心像素點灰度值和圓周上的像素點灰度值的聯(lián)合分布，其分布如式 所示： T=t(gc， g0gc，?， gp1gc) () 假定中心像素點 gc 的灰度值與紋理的變化無關， gc 與周邊像素點的差值獨立于中心像素點的值，則以上分布可以進一步化為式 所示的形式： T≈ t(gc)t(g0gc，?， gp1gc) () 事實上，這種獨立性并不總是成立，由于數(shù)字圖像中的灰度取值范圍有限，那些較大的或者較小的 gc 值分布會明顯降低差 值的取值范圍，因此這種獨立性的假設以及由之而來的推論有可能會帶來信息的丟失。在進行了閾值化之后，我們可以得到一個局部二進制的模式 — 11110001；與此同時，將權值2? “ (n=0， l?? 7)從 g0 點開始按照順時針順序依次賦予周邊的 8 個像素點，這些點的賦值依次是 g?=l， g?=2， g?=4， g?=8， g?=16， g?=32， g?=64， g?=128。 圖 標準的 LBP 算子 基本方法里所用的是經(jīng)過處理后所得到的灰度圖像，每一個像素點的灰度值是 0～ 255 中的一個值。 將 I SOMAP 應用在人臉識別領域的好處是這種非線性降維方法能夠更好的提取數(shù)據(jù)的本質結構，尤其是眼睛模型的特征。特征臉方法或者特征子臉方法都是選取合適的人臉空間基，將人臉圖像投影到人臉空間中，目的是對人臉圖像數(shù)據(jù)降維并描述不同人臉之間的變化，然后進行判別分析，最終識別出人臉圖像。而今年來提出來的支持向量機是將人臉模式投影到比較高的維數(shù)特征空間。本文是對灰度人臉圖像進行研究識別的，因此重點介紹針對灰度圖像人臉檢測的常用方法。本章提出了一種 LBP 的擴展形式，即變閾值局部二值式。 (2) 受不同年齡、種族、性別、頭發(fā)、飾物等的影響較大。高文和金輝 [20]等通過對若干類面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型，在他們的另一篇文獻中，在對動態(tài)表情圖像序列的時序分析的基礎上，提出了對混合表情的識別系統(tǒng)。他們在這個模型中通過反饋機制實現(xiàn)了計算機圖形學技術與計算機視覺技術的結合。 AAM 也是一種基于模型的 6 方法，它建立了一種對目標對象變化程度的參數(shù)化描述。在估計出參數(shù)后，他們通過規(guī)則判斷實現(xiàn)表情分類。早期面部表情識別的研究， Mase[15]使用了光流來估計面部肌肉的一個子集的活動。 (5)基于頻率域特征提取的方法。在某種程度上，奇異值具有代數(shù)和幾何上的 雙重穩(wěn)定性，還具有比例不變性 、 旋轉不變性等重要性質，因此將人臉特征矩陣進行奇異值分解可以很好的取出圖像的代數(shù)特征，然后進行匹配識別。他們使用整體 PCA 方法，即將 PCA 算法應用于整幅人臉圖像，進行了實驗，當取前 30 個主分量并使用歐氏距離時，達到了 4 最好的 ％的識別率。然后他們通過規(guī)則推理系統(tǒng)將這種面部幾何關系轉化為面部動作單元的活動，最終通過專家系統(tǒng)實現(xiàn)表情識別。 3 到現(xiàn)在為止，人臉表情識別已經(jīng)經(jīng)過了 40 年的發(fā)展。 國際上關于面部表情的分析與識別的研究工作可分為基于心理學和計算機兩類。 (4) 電腦游戲：這可能是臉部表示識別和制作最有應用價值的一個領域。所謂人臉表情識別就是利用計算機對人臉的表情信息進行特征提取并分類的過程，它使計算機能獲知人的表情信息，進而推斷人的心理狀態(tài)，從而實現(xiàn)人機之間的智能交互。經(jīng)過改進，變閾值局部二值模式對于噪聲和光照變化相對于 LBP更加魯棒，而且特征抽取的過程也能夠相對靈活。變閾值局部二值模式通過引入變閾值 ε 擴展了變換后的特征空間，并且可以通過調整變閾值ε 的值在特征空間基于改進 LBP 的人臉表情識別方法中尋找適合于特定分類問題的子空間。人臉表情識別技術隨著人們對表情信息的日益重視而受到關注，成為目前一個研究的熱點。在類似這種不能由他人監(jiān)控，而工作者的精神 2 狀態(tài)不佳又會產(chǎn)生嚴重后果的工作中，表情自動分析系統(tǒng)都可以得到應用。 總之，人臉表情識別技術作為一種高端生物特征識別技術，有 著極其廣闊的應用前景，將會涉及到人們日常生活的許多方面，對改善和提高人們的生活質量以及生活方式都有極其重要的作用和意義。直到 1981 年才有人用仿生學方法從肌肉角度的觀點為面部表情建立模型。 Pantie 等人 [89]進行面部特征檢測并確定面部幾何關系。 1999 年， Ginalueal[13]等在以前人臉識別算法的基礎上，將 PCA 算法應用到表情識別上。 (3) 基于奇異值分解的方法 奇異值特征是一種反映圖像本質屬性的代數(shù)特征。支持向量機用于分類，構造的復雜程度取決于支持向量的數(shù)目，而不是特征空間的維數(shù)，這就有效解決了機器學習中非線性與維數(shù)災難問題。它們通過參考中性臉分析各個面部特征區(qū)域內的形變或運動信息并以此構建特征向量進行表情識別。 Black 等人使用多項式構建局部參數(shù)模型并通過參數(shù)模型對圖像運動信息進行刻畫從而實現(xiàn)了面部非剛體運動的估計。 Huang 等采用 PDM 和嘴巴模板來提取人臉的表情特征， PDM 是利用六種表情訓練圖像中手工提取的 90 個特征點得到的。 HaiBo[19]等人建立了一個融入 面部形狀與面部表情先驗信息的運動模型。 最早進行計算機表情分析、編碼與識別研究的是哈爾濱工業(yè)大學高文教授領導的團隊。表情的表現(xiàn)有緩和的和激動的、細微的和強烈的、輕松的和緊張的等諸多形式，它的生理因素也是細微多變，所以非常復雜，現(xiàn)在的識別方法對比較夸張和明顯的表情能夠有較好的識別率，但是對變化不太明顯的表情識別 率是較低的。 LBP 方法的局限之處在于對所有問題都采用了單一的變換映射，沒有考慮待分類樣本的分布特征以及分類目標的差異性。 圖 人臉檢測的分類 由圖 我們知道根據(jù)圖像色彩的不同，分為對彩色圖像的人臉檢測與對灰度圖像的人臉檢測，其中對灰度圖像的研究是人臉檢測研究的重點。 二 、 基于支持向量機的方法 從人臉與非人臉圖像中提取的特征數(shù)據(jù)維數(shù)較高，將提取的特征數(shù)據(jù)也即建立的人臉模式投影到較低的維數(shù)空間，然后在人臉與非人臉數(shù)據(jù)中尋求最優(yōu)判別函數(shù)，是解決人臉檢測的一種典型方法。 一 、 基于特征臉的識別方法 特征臉方法以主成分分析 (PCA)方法為代表，屬于基于統(tǒng)計學習方法中的一種方法，也是現(xiàn)在人臉識別中的一種典型方法。 三 、 基于非線性數(shù)據(jù)降維的方法 典型的數(shù)據(jù)非線性降維方法又多維尺度分析 (MDS)，以及建立在 MDS 上的等距離映射算法（ I SOMAP）和局部線性嵌入算法 (LLE)等。 LBP 算子剛提出來的時候，基本的概念就是圖像紋理中某個指定的中心像素 點 (g?)及其周圍緊鄰的 8 個像素點 (g?g?)所組成的局部區(qū)域，如圖 所示。 14 如圖 所示，樣本的中心像素的灰度值為 6，以之作為閾值，同其周邊 8個像 素點的灰度值依次進行比較，此過程稱為閾值化 (thresholding)。 15 圖 幾種不同 P， R 值對應的圓形鄰域 由于隨著距離的增大，像素之間的相關性逐漸減小，因此，在較小的鄰域中即可獲得絕大部分紋理信息。下面將著重介紹 LBP 的另外一個重要性質 ?旋轉不變性以及在實際應用中所使用的 LBP 的具體形式。 考察 LBP 的定義，發(fā)現(xiàn) LBPP,R 可以產(chǎn)生 2p 種不同輸出，對應了局部近鄰集中 P 個像素形成的 2p 個不同的二進制模式。 18 圖 P=8 時 LBP 算子的 36 個旋轉不變模式，黑點白點分別代表 0,1 圖 旋轉不變性 LBP 示例 p=8 的領域在不同旋轉角度下的模式，下方括號內是其對應的 LBP 值 將圖像中的微小特征量化為單個的旋轉不變模式，因此這些旋轉不變模式通 19 常可以被認為是特征檢測器。前面已經(jīng)提到，由于 LBP 可以將圖像中的微小特征量化 為 LBP 表示的模式，因此直方圖統(tǒng)計的物理意義在于直方圖向量描述了圖像中各個微小特征分布情況，這在分類中是十分有意義的。 盡管 LBP 方法有著上述優(yōu)勢，但同時，從分類角度來看，它也存在一些不足： (1) 對所有問題采用單一的變換映射。解決該問題的一種方法是通過優(yōu)化或者擴展 LBP 的變換定義，達到提高分類性能的目的。顯然，當變閾值 ε 置為 0 時， 變閾值二值式 等價于 LBP。取值中問的 (c)和 (d)則描述了中間層次的紋理信息。 此外， 變閾值局部二值式 還具有一個優(yōu)點： 在實驗過程中，我們發(fā)現(xiàn)， 變閾值局部二值式 運 行結果所花費的時間與 LBP 相同的，僅僅在訓練過程中需要花費多一點的時間來尋求合適的特征子空間 (即尋找合適的變閾值 ε 值 )。 25 第三節(jié) 本章小結 本章以改進 LBP 分類性能的手段為出發(fā)點，通過簡單有效的對 LBP 定義的擴展，提出了 變閾值局部二值式 的定義并且分析了 變閾值局部二值式 的意義所在。 i 表示一個 LBP 模式，它決定于所使用的 LBP 算子，如采用 LBP8,1 算子，有 8 個樣點，它的取值為 0~255。為了獲得一個適合于具體問題 變閾值 ε，我們的做法是從給定的數(shù)據(jù)集中生成一個訓練集，然后在訓練集上來搜尋較優(yōu)的變閾值 ε 的 值，這樣得到的變閾值 ε 的 值將被用在分類中。 圖 JAFFE 人臉表情數(shù)據(jù)庫 實驗中，我們每次從每個表情