【正文】 ε LBPP,R= () 其中， 且 ε≥0 比較式 ()與式 ()，我們可以發(fā)現(xiàn)，變閾值 ε 的引入是定義中唯一的變化之處，該參數(shù)用來(lái)描述周邊像素點(diǎn)值與中間像素點(diǎn)值的差異，它作為周邊像素點(diǎn)值與中間像素點(diǎn)值比較的閾值，可以靈活地選取不同的值，達(dá)到我們想要的效果。人臉表情信息主要體現(xiàn)在眉毛、眼睛、嘴巴的變化上，其次是體現(xiàn)在這些變化之間的相互關(guān)系上，從圖像處理的角度上來(lái)看，這些改變主要由圖像邊緣的變化引起的，因此較大的變閾值ε 反而更能滿足分類識(shí)別的要求。但隨機(jī)噪聲也比較大，而變閾值 ε 取值較大的 (e)圖則主要描述出了圖像中的輪廓邊緣信息，特別是眼睛、眉毛、嘴巴、鼻子等器官的邊緣，那些較小的紋理被過(guò)濾。綜上所述，特征提取的關(guān)鍵在于提取的特征是否適合于特定的分類。由于 LBP 對(duì)于任意單調(diào)的變換具有不變性，因此， 變閾值局部二值式 本身對(duì)于單調(diào)分布的光照具有很強(qiáng)的魯棒性，在現(xiàn)實(shí)世界中，光照變化極為復(fù)雜，比如，圖 (a)是非均勻光源的環(huán)境下采集的人臉表情照片，我們可以觀察到該照片臉頰區(qū)域很亮，而另外部分區(qū)域特別是嘴巴、眼睛等周圍較暗，對(duì)于這種情況的光照問(wèn)題， LBP 往往無(wú)能為力，而使用 變閾值局部二值式 使得差異不再如此明顯，如圖 (e)所示。 在人臉識(shí)別中，通常是將 LBP 算子提取的直方圖向量作為人臉特征，具體的過(guò)程可以用圖 來(lái)表示： 圖 LBP 方法的人臉描述方式 由圖 可以看出， LBP 應(yīng)用在人臉識(shí)別方面的過(guò)程是：首先將人臉分成一些子區(qū)域，然后通過(guò)連接這些子區(qū)域的 LBP 直方圖最終獲得人臉特征向量。但是從分類識(shí)別角度來(lái)看，它也存在一些不足：缺少對(duì)像素先驗(yàn)信息的利用， LBP 方法僅僅專注于特征提取，忽略了像素本身的信息，而這些信息對(duì)分類識(shí)別 的好壞有著顯著的影響。這是因?yàn)楸疚囊弥狈綀D進(jìn)行統(tǒng)計(jì)計(jì)算，但是全局的直方圖統(tǒng)計(jì)對(duì)面部局部變化不敏感，無(wú)法得到更多表情關(guān)鍵區(qū)域 (如眉毛、眼睛、嘴巴等 )的特征，從而丟失很多結(jié)構(gòu)上的細(xì)節(jié)。 () 在這里， f(xc,yc)表示經(jīng)過(guò) 變閾值局部二值式的 計(jì)算后得到的局部區(qū)域圖像， b 表示不同的 LBP 模式的數(shù)量，即直方圖的 bin 數(shù)。本文把臉部圖像分為 3 3 塊。 第二節(jié) 實(shí)驗(yàn)討論變閾值 ε的調(diào)整 由第 4 章的討論和分析中，我們可以看到，通過(guò)調(diào)變閾值 ε 的值，我們可以得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類的特征子空間。需要指出的是，盡管分類性能相同， 但是變閾值局部二值模式 是一個(gè)有指導(dǎo)監(jiān)督的過(guò)程，而 LBP 則相對(duì)單一與固定，同時(shí)是一個(gè)無(wú)監(jiān)督的過(guò)程。如圖 所，本文中的算法采用 matlab 編程，實(shí)驗(yàn)在 Intel Core 2 E6550(2． 23GHz)微處理器和 lG 內(nèi)存的計(jì)算機(jī)上進(jìn)行。該人臉表情數(shù)據(jù)庫(kù)由分辨率為 256 256 的 256 級(jí)灰度圖像構(gòu)成。經(jīng)過(guò)統(tǒng)計(jì)發(fā)現(xiàn)，如果變閾值 ε 的 值大到一定的范圍 28 以后 (比如 20)，分類性能會(huì)下降，這主要是因?yàn)椋冮撝?ε 的 值越大，所包含的紋理信息就越少，當(dāng)少到一定程度時(shí)，就不足以進(jìn)行分類。顯然， ? 2 描述了兩個(gè)樣本間的相似程度，方差越小，兩個(gè)樣本越相似。 I 的取值如式 ()： () 接著將所有區(qū)域的 變閾值局部二值式的 直方圖串接為一個(gè)直方圖序列，即得到所需的 變閾值局部二值式的 特征，并以此作為臉部圖像的特征向量。因此，本文先將一幅人臉表情圖像劃分為互不重疊多個(gè)區(qū)域進(jìn)行分析，然后選取不同的變閾值 ε 的 值，應(yīng)用 變閾值局部二值式 算子進(jìn)行特征提取，計(jì)算各區(qū)域的 變閾值 27 局部二值式的 直方圖。 我們通過(guò)比較變閾值二值模式和 LBP 的紋理特征來(lái)體現(xiàn)出 LBP 的不足之處，進(jìn)而顯示出變閾值二值模式的優(yōu)于 LBP 之處。鑒于上述情況，本研究采用 ISOMAP 對(duì)數(shù)據(jù)降維，由此來(lái)獲得數(shù)據(jù)在低維空間的本質(zhì)結(jié)構(gòu)，這樣偏于更好的隊(duì)數(shù)據(jù)進(jìn)行研究處理。 24 第二節(jié) 基于變閾值局部二值模式的紋理特征提取 局部二元模式能夠有效地度量和提取圖像局部及全局紋理信息。 (2) 變閾值局部二值式 對(duì)于噪聲相對(duì)于 LBP 更加魯棒 直接在灰度圖上計(jì)算 LBP 特征會(huì)引入大量噪聲信息 (如圖 中 (b)所示 )，與原始的 LBP 特征相比， 變閾值局部二值式 特征對(duì)圖像噪聲的影響更加不敏感 (如圖 中 (c)、 (d)、 (e)所示 )，且能夠提取到圖像更加豐富的局部和全局信息，對(duì)人臉圖像具有更強(qiáng)的表示能力和判別能力，魯棒性更強(qiáng)，從而能夠提高人臉表情識(shí)別率。總的看來(lái)，隨著變閾值 ε 取值的增大， 變閾值二值式所 描述的圖像細(xì)節(jié)紋理信息被逐漸弱化，而邊緣等輪廓信息被逐漸增強(qiáng)由于 變閾值二值式 具有上述特性，在分類問(wèn)題上我們至少可以從以下三個(gè)方面得益： 23 (1) 樣本經(jīng)過(guò)取不同的變閾值 ε 值進(jìn)行相應(yīng)的 變閾值二值式 特征變換以后，我們將會(huì)得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類的特征子空間。 圖 不同的 ε 值對(duì)應(yīng)的值所描述出來(lái)的圖像 上圖中， (a)為原始圖像， (b)(c)(d)(e)分別為 ε 取值 0、 15 時(shí)對(duì)應(yīng)的 變閾值局部二值式 圖 像。由定義不難看出： 變閾值二值式 用二進(jìn)制串 1 描述圖像中那些灰度變化大于或等于變閾值 ε 的象素點(diǎn)，用二進(jìn)制串 0 描述圖像中灰度變化小于變閾值 ε 的點(diǎn)。下面將具體介紹 變閾值二值式 實(shí)現(xiàn)的細(xì)節(jié)以及它的一些性質(zhì)。在經(jīng)過(guò)長(zhǎng)時(shí)間的查詢資料和驗(yàn)證，我認(rèn)為可以提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值模式。 本文的后續(xù)章節(jié)會(huì)陸續(xù)分析這些問(wèn)題，并相應(yīng)地提出一些有益的嘗試。在 LBP 的分析中，我們可以看到 LBP特征的提取通常采用了同樣的方式，特征表示單一固定，顯然，這樣的特征表示并不一定有利于分類超平面的尋求。 LBP 不僅能夠描述出圖像中的一些微小特征，包括亮點(diǎn)、暗點(diǎn)、穩(wěn)定區(qū)域以及各方向邊緣等等，而且它能夠反映出這些特征的分布情況。 算子不僅具有，即不受圖像旋轉(zhuǎn)和平移的影響，而且提取紋理特征具有良好的分類能力?？梢娺@ 種統(tǒng)一模式可以有效地描述出圖像的大部分紋理特征，并明顯減少特征的數(shù)量，而且這種特征包含了圖像局部紋理的信息。比如，在圖 中 0旋轉(zhuǎn)不變模式可以檢測(cè)圖像中的亮點(diǎn)，而 8可以檢測(cè)暗點(diǎn)以及穩(wěn)定區(qū)域， 4則可以檢測(cè)邊緣。圖 給出了 P=8 時(shí)出現(xiàn)的 36 個(gè)旋轉(zhuǎn)不變的二進(jìn)制模式。以 P=8， R=1 為例， LBR8,1 將會(huì)生成256 種輸出 (0～ 255)。這樣所引發(fā)的結(jié)果就是在應(yīng)用 LBP 方法進(jìn)行像素點(diǎn)處理的時(shí)候，原本灰度大于等于中心像素點(diǎn)灰度值的那些位置上的新像素點(diǎn)的灰度值可能小于中心像素點(diǎn)的灰度值，簡(jiǎn)單地說(shuō)，即原本賦值為 1 的像素位置上在新的情況下其賦值有可能會(huì)變?yōu)?0；原本賦值為。 LBP 基本方法的適應(yīng)性很強(qiáng)，對(duì)圖像紋理的分析也很有效，但是此方法也存在著一些問(wèn)題。在計(jì)算此樣本的 LBP 特征向量分布 的時(shí)候，我們當(dāng)前通常只考慮像素點(diǎn)較為集中的那些部分，因?yàn)檫吘壍南袼攸c(diǎn)的分布情況對(duì)樣本整體的分布情況來(lái)說(shuō)并不是最主要的影響因素，然后就可以計(jì)算圖像紋理中這些像素點(diǎn)較為集中的部分內(nèi)每個(gè)像素點(diǎn)的 LBP值，并且用這些像素點(diǎn)的 LBP值的分布情況來(lái)作為整個(gè)圖像紋理的特征向量，這里用字母 S(即 sample)來(lái)表示： S≈ t(LBPP,R (x， y))) () 以上所說(shuō)的 LBP 拓展方法與最初的 LBP 方法在原理上是相似的：描述局部紋理模式的二值編碼都是通過(guò)將鄰域像素與中心像素的灰度 值比較得到。在不丟失信息的前提下，我們可以用圓周上像素點(diǎn)的灰度值 gp 減去中心像素點(diǎn)的灰度值 gc，這樣局部的紋理 T 就 可以看做是中心像素點(diǎn)灰度值和圓周上的像素點(diǎn)灰度值的聯(lián)合分布，其分布如式 所示： T=t(gc， g0gc，?， gp1gc) () 假定中心像素點(diǎn) gc 的灰度值與紋理的變化無(wú)關(guān)， gc 與周邊像素點(diǎn)的差值獨(dú)立于中心像素點(diǎn)的值，則以上分布可以進(jìn)一步化為式 所示的形式： T≈ t(gc)t(g0gc，?， gp1gc) () 事實(shí)上，這種獨(dú)立性并不總是成立，由于數(shù)字圖像中的灰度取值范圍有限，那些較大的或者較小的 gc 值分布會(huì)明顯降低差 值的取值范圍，因此這種獨(dú)立性的假設(shè)以及由之而來(lái)的推論有可能會(huì)帶來(lái)信息的丟失。首先設(shè)單色調(diào)圖像局部鄰域紋理特征為 T，用來(lái)指代灰度級(jí)為 P(P0)的圖像中所有像素的灰度聯(lián)合分布，如式 所示： T=t(gc， g?， … gp1 ) () 式中， gc 是局部鄰域的中心像素點(diǎn)的灰度值， gp(p=0，?， P1)是在半徑為R(R0)的圓形對(duì)稱區(qū)域內(nèi) P 個(gè)相等空間像素灰度值。在進(jìn)行了閾值化之后，我們可以得到一個(gè)局部二進(jìn)制的模式 — 11110001；與此同時(shí)，將權(quán)值2? “ (n=0， l?? 7)從 g0 點(diǎn)開始按照順時(shí)針順序依次賦予周邊的 8 個(gè)像素點(diǎn)，這些點(diǎn)的賦值依次是 g?=l， g?=2， g?=4， g?=8， g?=16， g?=32， g?=64， g?=128。接下來(lái)，從左上角的第一個(gè)像素點(diǎn) (g?)開始， 2n 將權(quán)值 (n=0， 1?? 7)按照順時(shí)針次序依次賦予周圍各個(gè)像素點(diǎn)，并與該像素點(diǎn)經(jīng)過(guò)閾值化之后所賦的二進(jìn)制值相乘。 圖 標(biāo)準(zhǔn)的 LBP 算子 基本方法里所用的是經(jīng)過(guò)處理后所得到的灰度圖像，每一個(gè)像素點(diǎn)的灰度值是 0～ 255 中的一個(gè)值。 13 第三章 局部二值模式（ LBP） 第一節(jié) 關(guān)于 LBP的介紹 LBP(即 Local Binary Pattern，局部二進(jìn)制模式的縮寫 )方法，最初是作為一種紋理算子來(lái)分析圖像紋理特征，由 Ojala[23]等人提出的。 將 I SOMAP 應(yīng)用在人臉識(shí)別領(lǐng)域的好處是這種非線性降維方法能夠更好的提取數(shù)據(jù)的本質(zhì)結(jié)構(gòu)，尤其是眼睛模型的特征。 二 、 彈性圖匹配方法 彈性匹配方法是由 Lades 等人提出來(lái)的一種人臉識(shí)別方法，實(shí)質(zhì)上是一種模板匹配方法，彈性圖匹配方法將動(dòng)態(tài)鏈接結(jié)構(gòu)用到了人臉識(shí)別中，此方法能夠克服光照的影響，同時(shí)對(duì)人臉圖像識(shí)別效果影響比較大的位移 、 旋轉(zhuǎn)和人臉尺度變化都不敏感，這點(diǎn)比起其它算法占據(jù)優(yōu)勢(shì)，但是，這種方法計(jì)算量較大，運(yùn)算識(shí)別速度較其他算法 比較慢。特征臉方法或者特征子臉方法都是選取合適的人臉空間基，將人臉圖像投影到人臉空間中，目的是對(duì)人臉圖像數(shù)據(jù)降維并描述不同人臉之間的變化，然后進(jìn)行判別分析，最終識(shí)別出人臉圖像。 10 第二節(jié) 人臉識(shí)別常用方法 人臉識(shí)別是在人臉檢測(cè)基礎(chǔ)上的進(jìn)一步的身份識(shí)別，根據(jù)圖像的不同可以分為對(duì)靜止圖像人臉識(shí)別和對(duì)視頻流中的人臉識(shí)別。而今年來(lái)提出來(lái)的支持向量機(jī)是將人臉模式投影到比較高的維數(shù)特征空間。人臉面部特征比較明顯，例如眉毛 、 眼睛 、 嘴巴和鼻子等。本文是對(duì)灰度人臉圖像進(jìn)行研究識(shí)別的，因此重點(diǎn)介紹針對(duì)灰度圖像人臉檢測(cè)的常用方法。 本文剩余章節(jié)安排如下：第二章介紹了局部二值式基本理論知識(shí)；第三章介紹了改進(jìn)的局部二值式，闡述改進(jìn)的局部二值式的基本理論；第四章為基于變閾值局部二值式的人臉表情識(shí)別的實(shí)現(xiàn)及實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析。本章提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值式。本文的主要工作集中于人臉表情特征的提取，即基于改進(jìn)的局部二值模式 (LBP， Local Binary Pettern)的面部表情特征提取。 (2) 受不同年齡、種族、性別、頭發(fā)、飾物等的影響較大。清華大學(xué)的王玉波等使用了 Adaboost 進(jìn)行實(shí)時(shí)的表情識(shí)別。高文和金輝 [20]等通過(guò)對(duì)若干類面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型，在他們的另一篇文獻(xiàn)中，在對(duì)動(dòng)態(tài)表情圖像序列的時(shí)序分析的基礎(chǔ)上，提出了對(duì)混合表情的識(shí)別系統(tǒng)。但他們的方法只能對(duì)非暫時(shí)性的特征進(jìn)行描述，忽視了其它的暫時(shí)性表情特征。他們?cè)谶@個(gè)模型中通過(guò)反饋機(jī)制實(shí)現(xiàn)了計(jì)算機(jī)圖形學(xué)技術(shù)與計(jì)算機(jī)視覺技術(shù)的結(jié)合。他們通過(guò)對(duì)視頻中的人臉信息進(jìn)行分析得到模型的形變估計(jì)并最終實(shí)現(xiàn)面部形態(tài)的合成與仿真。 AAM 也是一種基于模型的 6 方法，它建立了一種對(duì)目標(biāo)對(duì)象變化程度的參數(shù)化描述。 Cohen 等人采用Tao 等人提出的非剛體模型