【正文】 的要求。 本文的后續(xù)章節(jié)會陸續(xù)分析這些問題，并相應(yīng)地提出一些有益的嘗試。 第三節(jié) 本章小結(jié) 本章首先介紹了 LBP 方法的推導過程，并由此給出了一系列有關(guān) LBP 的概念和定義以及 LBP 的兩個重要性質(zhì)：對于任意單調(diào)變換的不變性和旋轉(zhuǎn)不變性在深入分析 LBP 特性的基礎(chǔ)上，文章比較了 LBP 方法所具有的優(yōu)勢以及依然存在的不足，從而為后續(xù)工作的開展做好了鋪墊。 21 第四章 變閾值局部二值模式 第一節(jié) 變閾值局部二值式的定義與性質(zhì) 第二章分析了 LBP 方法中依然存在的不足，指出了單一的 LBP 特征表示并不適應(yīng)于特定的分類問題，它完全依賴 LBP 特征本身的分類能力，未能充分利用先驗與樣本集知識，通常并不能夠達到最優(yōu)的分類性能 。解決該問題的一種方法是通過優(yōu)化或者擴展 LBP 的變換定義，達到提高分類性能的目的。在經(jīng)過長時間的查詢資料和驗證，我認為可以提出了一種 LBP 的擴展形式，即變閾值局部二值模式。 變閾值局部二值模式 通過引入變閾值 ε 擴展了變換后的特征空間，并且可以通過調(diào)整 變閾值 的值在特征空間中尋找適合于特定分類問題的子空間。其原理如下圖所以： 圖 變閾值特征變換圖 如圖 所示，應(yīng)用 LBP 的擴展形式 變閾值局部二值式 ，只要調(diào)整了變閾值ε 的值，可以將特征空間由原來唯一的一種 (即 0LBP 情況 )擴展為連續(xù)的空間組合。那么我們在分類的時候，就可以充分利用原樣本空間中樣本本身的特點還有分布情況，尋找出最適合分類的特征子空間，避免了 LBP 在特征提取變換時的單一性，從而提高分類性能。下面將具體介紹 變閾值二值式 實現(xiàn)的細節(jié)以及它的一些性質(zhì)。 從 LBP 的推導中，我們可以發(fā)現(xiàn) LBP 算子突出了圖像中的紋理細節(jié)甚至一個微小的灰度變化，然而過多地描述這些細節(jié)信息有時候?qū)τ诜诸悂碇v有可能反而會導致信息冗余或者過擬合。為改善這種情況 ，提出 變閾值局部二值式 定義，如式 ()所示： 變閾值局部二值模式 22 ε LBPP,R= () 其中， 且 ε≥0 比較式 ()與式 ()，我們可以發(fā)現(xiàn)，變閾值 ε 的引入是定義中唯一的變化之處，該參數(shù)用來描述周邊像素點值與中間像素點值的差異，它作為周邊像素點值與中間像素點值比較的閾值，可以靈活地選取不同的值，達到我們想要的效果。顯然，當變閾值 ε 置為 0 時， 變閾值二值式 等價于 LBP。由定義不難看出： 變閾值二值式 用二進制串 1 描述圖像中那些灰度變化大于或等于變閾值 ε 的象素點，用二進制串 0 描述圖像中灰度變化小于變閾值 ε 的點。當變閾值 ε 的值較小時，描述出更多的微小和細節(jié)的紋理信息，而當變閾值 ε 的值較大時，它強調(diào)了周邊像素點值與中間像素點值的對比度，只有在灰度對比比較明顯的地方如圖 像中的邊緣、眼睛、眉毛、嘴巴等才會取二進制串 0，對于灰度變化比較平緩的區(qū)域則大多為二進制串 l，因此可以更多地描述了輪廓信息。人臉表情信息主要體現(xiàn)在眉毛、眼睛、嘴巴的變化上，其次是體現(xiàn)在這些變化之間的相互關(guān)系上，從圖像處理的角度上來看，這些改變主要由圖像邊緣的變化引起的，因此較大的變閾值ε 反而更能滿足分類識別的要求。圖 直觀地給出了解釋。 圖 不同的 ε 值對應(yīng)的值所描述出來的圖像 上圖中， (a)為原始圖像， (b)(c)(d)(e)分別為 ε 取值 0、 15 時對應(yīng)的 變閾值局部二值式 圖 像?？梢钥闯觯冮撝?ε 取值較小的 (b)圖描述出了相對更多的細節(jié)紋理信息。但隨機噪聲也比較大，而變閾值 ε 取值較大的 (e)圖則主要描述出了圖像中的輪廓邊緣信息，特別是眼睛、眉毛、嘴巴、鼻子等器官的邊緣，那些較小的紋理被過濾。取值中問的 (c)和 (d)則描述了中間層次的紋理信息?？偟目磥?，隨著變閾值 ε 取值的增大， 變閾值二值式所 描述的圖像細節(jié)紋理信息被逐漸弱化，而邊緣等輪廓信息被逐漸增強由于 變閾值二值式 具有上述特性，在分類問題上我們至少可以從以下三個方面得益： 23 (1) 樣本經(jīng)過取不同的變閾值 ε 值進行相應(yīng)的 變閾值二值式 特征變換以后，我們將會得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類的特征子空間。通過調(diào)整參數(shù) ε 的值，特征提取的過程能夠相對靈活，因為并非提供給分類器的描述特征越多，得到的分類效果就會越好，如圖 中所描述．圖(b)相對于圖 (e)其實描述了更多的紋理信息，但是我們的實驗結(jié)果卻表明使用圖 (e)的特征表示在分類中的效果要好于使用圖 (b)中的特征表示。綜上所述，特征提取的關(guān)鍵在于提取的特征是否適合于特定的分類。本章提出的 變閾值局部二值式由于特征抽取的靈活性，使用者可以根據(jù)情況在特征空間中搜尋到最 適合分類的特征子空間。 (2) 變閾值局部二值式 對于噪聲相對于 LBP 更加魯棒 直接在灰度圖上計算 LBP 特征會引入大量噪聲信息 (如圖 中 (b)所示 )，與原始的 LBP 特征相比， 變閾值局部二值式 特征對圖像噪聲的影響更加不敏感 (如圖 中 (c)、 (d)、 (e)所示 )，且能夠提取到圖像更加豐富的局部和全局信息，對人臉圖像具有更強的表示能力和判別能力，魯棒性更強，從而能夠提高人臉表情識別率。 (3) 變閾值局部二值式 對于光照變化相對于 LBP 更加魯棒 在面部表情識別中，光照變化也會對識別結(jié)果有影響。由于 LBP 對于任意單調(diào)的變換具有不變性，因此， 變閾值局部二值式 本身對于單調(diào)分布的光照具有很強的魯棒性，在現(xiàn)實世界中，光照變化極為復(fù)雜，比如，圖 (a)是非均勻光源的環(huán)境下采集的人臉表情照片，我們可以觀察到該照片臉頰區(qū)域很亮，而另外部分區(qū)域特別是嘴巴、眼睛等周圍較暗，對于這種情況的光照問題， LBP 往往無能為力，而使用 變閾值局部二值式 使得差異不再如此明顯，如圖 (e)所示。 此外， 變閾值局部二值式 還具有一個優(yōu)點： 在實驗過程中，我們發(fā)現(xiàn)， 變閾值局部二值式 運 行結(jié)果所花費的時間與 LBP 相同的，僅僅在訓練過程中需要花費多一點的時間來尋求合適的特征子空間 (即尋找合適的變閾值 ε 值 )。 24 第二節(jié) 基于變閾值局部二值模式的紋理特征提取 局部二元模式能夠有效地度量和提取圖像局部及全局紋理信息。變閾值局部二值模式算子是對 LBP 的改進，能更好的提取人臉圖像紋理特征。 在人臉識別中，通常是將 LBP 算子提取的直方圖向量作為人臉特征，具體的過程可以用圖 來表示： 圖 LBP 方法的人臉描述方式 由圖 可以看出， LBP 應(yīng)用在人臉識別方面的過程是：首先將人臉分成一些子區(qū)域，然后通過連接這些子區(qū)域的 LBP 直方圖最終獲得人臉特征向量。但是由此獲得的人臉特征向量維數(shù)會很高，尤其是當原圖像劃分的區(qū)域子塊較多的時候。鑒于上述情況，本研究采用 ISOMAP 對數(shù)據(jù)降維，由此來獲得數(shù)據(jù)在低維空間的本質(zhì)結(jié)構(gòu)，這樣偏于更好的隊數(shù)據(jù)進行研究處理。 雖然基于 LBP 的方法具有計算簡單 、 特征分類能力強等優(yōu)點。但是從分類識別角度來看，它也存在一些不足：缺少對像素先驗信息的利用， LBP 方法僅僅專注于特征提取，忽略了像素本身的信息，而這些信息對分類識別 的好壞有著顯著的影響。 25 第三節(jié) 本章小結(jié) 本章以改進 LBP 分類性能的手段為出發(fā)點，通過簡單有效的對 LBP 定義的擴展，提出了 變閾值局部二值式 的定義并且分析了 變閾值局部二值式 的意義所在。 我們通過比較變閾值二值模式和 LBP 的紋理特征來體現(xiàn)出 LBP 的不足之處，進而顯示出變閾值二值模式的優(yōu)于 LBP 之處。 26 第五章 基于變閾值局部二值式人臉表情識別的實現(xiàn)及實驗結(jié)果 第一節(jié) 基于 變閾值局部二值式 的人臉表情識別的實現(xiàn) 根據(jù)上一章對 變閾值局部二值式 的討論與分析，本文提出的基于 變閾值局部二值式 即的人臉表情識別的具體實現(xiàn)框圖如下圖所示： 圖 基于變閾值局部二值式的人臉表情識別實現(xiàn)框圖 從圖 ，不論是訓練樣本，還是測試樣本，我們都先要進行圖像區(qū)域劃分。這是因為本文要利用直方圖進行統(tǒng)計計算，但是全局的直方圖統(tǒng)計對面部局部變化不敏感，無法得到更多表情關(guān)鍵區(qū)域 (如眉毛、眼睛、嘴巴等 )的特征，從而丟失很多結(jié)構(gòu)上的細節(jié)。而基于區(qū)域的分析則可以很好的解決這一問題。因此，本文先將一幅人臉表情圖像劃分為互不重疊多個區(qū)域進行分析，然后選取不同的變閾值 ε 的 值，應(yīng)用 變閾值局部二值式 算子進行特征提取，計算各區(qū)域的 變閾值 27 局部二值式的 直方圖。一幅圖像 f(x， y)的局部區(qū)域 變閾值局部二值式的 直方圖可以表示為式 ()，顯然不同的局部區(qū)域得到的 變閾值局部二值式的 直方圖是不同的。 () 在這里， f(xc,yc)表示經(jīng)過 變閾值局部二值式的 計算后得到的局部區(qū)域圖像， b 表示不同的 LBP 模式的數(shù)量，即直方圖的 bin 數(shù)。 i 表示一個 LBP 模式，它決定于所使用的 LBP 算子，如采用 LBP8,1 算子，有 8 個樣點，它的取值為 0~255。 I 的取值如式 ()： () 接著將所有區(qū)域的 變閾值局部二值式的 直方圖串接為一個直方圖序列，即得到所需的 變閾值局部二值式的 特征，并以此作為臉部圖像的特征向量。一個完整的圖像 變閾值局部二值式的 特征表示如下： H={(H1， H2，?， Hnxn)} () 其 中，第 m塊區(qū)域的直方圖表示為 Hm(m=l， 2，?， n n)，其中 n n 表示臉部圖像分為 n n 塊。本文把臉部圖像分為 3 3 塊。最后選用最近鄰分類器進行特征分類，求出識別率，用 Chi平方統(tǒng)計，即 ? 2 度量兩幅圖像間的相似性。顯然， ? 2 描述了兩個樣本間的相似程度，方差越小，兩個樣本越相似。假設(shè)對于測試樣本集 Q中的樣本 S和訓練樣本集 P中的樣本 M，則二者的 ? 2 定義如下： () 因此按上式計算出測試樣本 變閾值局部二值式的 特征和所有訓練樣本 變閾值局部二值式的 特征之間的 ? 2 后，測試樣本應(yīng)歸為對應(yīng)方差值最小的那一類。 第二節(jié) 實驗討論變閾值 ε的調(diào)整 由第 4 章的討論和分析中，我們可以看到，通過調(diào)變閾值 ε 的值，我們可以得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類的特征子空間。為了獲得一個適合于具體問題 變閾值 ε，我們的做法是從給定的數(shù)據(jù)集中生成一個訓練集，然后在訓練集上來搜尋較優(yōu)的變閾值 ε 的 值，這樣得到的變閾值 ε 的 值將被用在分類中。經(jīng)過統(tǒng)計發(fā)現(xiàn)，如果變閾值 ε 的 值大到一定的范圍 28 以后 (比如 20)，分類性能會下降，這主要是因為，變閾值 ε 的 值越大，所包含的紋理信息就越少，當少到一定程度時，就不足以進行分類。根據(jù)這一結(jié)論，我們可以簡單地在 0～ 20 之間以 1 為步長搜尋最優(yōu)的變閾值 ε 的 值的區(qū)域。需要指出的是，盡管分類性能相同， 但是變閾值局部二值模式 是一個有指導監(jiān)督的過程，而 LBP 則相對單一與固定，同時是一個無監(jiān)督的過程。 第三節(jié) 實驗設(shè)計與結(jié)果分析 本文采用日本婦女表情數(shù)據(jù)庫 (JAFFE)進行試驗。該人臉表情數(shù)據(jù)庫由分辨率為 256 256 的 256 級灰度圖像構(gòu)成。該數(shù)據(jù)庫匯總包括 10 個人的 213 幅人臉圖像，平均每人 2l幅，并且其依據(jù) Ekman 的表情分類方法，將表情分為高興、悲傷、驚訝、恐懼、憤怒、厭惡及中性共 7 種表情，其中每人每個表情 2 至 4 幅圖像。如圖 所，本文中的算法采用 matlab 編程，實驗在 Intel Core 2 E6550(2． 23GHz)微處理器和 lG 內(nèi)存的計算機上進行。 圖 JAFFE 人臉表情數(shù)據(jù)庫 實驗中，我們每次從每個表情中