【正文】 () 在這里， f(xc,yc)表示經(jīng)過(guò) 變閾值局部二值式的 計(jì)算后得到的局部區(qū)域圖像， b 表示不同的 LBP 模式的數(shù)量，即直方圖的 bin 數(shù)。 第二節(jié) 實(shí)驗(yàn)討論變閾值 ε的調(diào)整 由第 4 章的討論和分析中，我們可以看到，通過(guò)調(diào)變閾值 ε 的值，我們可以得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類(lèi)的特征子空間。如圖 所，本文中的算法采用 matlab 編程，實(shí)驗(yàn)在 Intel Core 2 E6550(2． 23GHz)微處理器和 lG 內(nèi)存的計(jì)算機(jī)上進(jìn)行。經(jīng)過(guò)統(tǒng)計(jì)發(fā)現(xiàn)，如果變閾值 ε 的 值大到一定的范圍 28 以后 (比如 20)，分類(lèi)性能會(huì)下降，這主要是因?yàn)?，變閾?ε 的 值越大，所包含的紋理信息就越少，當(dāng)少到一定程度時(shí)，就不足以進(jìn)行分類(lèi)。 I 的取值如式 ()： () 接著將所有區(qū)域的 變閾值局部二值式的 直方圖串接為一個(gè)直方圖序列，即得到所需的 變閾值局部二值式的 特征，并以此作為臉部圖像的特征向量。 我們通過(guò)比較變閾值二值模式和 LBP 的紋理特征來(lái)體現(xiàn)出 LBP 的不足之處，進(jìn)而顯示出變閾值二值模式的優(yōu)于 LBP 之處。 24 第二節(jié) 基于變閾值局部二值模式的紋理特征提取 局部二元模式能夠有效地度量和提取圖像局部及全局紋理信息。總的看來(lái)，隨著變閾值 ε 取值的增大， 變閾值二值式所 描述的圖像細(xì)節(jié)紋理信息被逐漸弱化，而邊緣等輪廓信息被逐漸增強(qiáng)由于 變閾值二值式 具有上述特性，在分類(lèi)問(wèn)題上我們至少可以從以下三個(gè)方面得益： 23 (1) 樣本經(jīng)過(guò)取不同的變閾值 ε 值進(jìn)行相應(yīng)的 變閾值二值式 特征變換以后，我們將會(huì)得到不同的子空間，在這些子空間中我們可以尋找到最適合于特定分類(lèi)的特征子空間。由定義不難看出： 變閾值二值式 用二進(jìn)制串 1 描述圖像中那些灰度變化大于或等于變閾值 ε 的象素點(diǎn)，用二進(jìn)制串 0 描述圖像中灰度變化小于變閾值 ε 的點(diǎn)。在經(jīng)過(guò)長(zhǎng)時(shí)間的查詢資料和驗(yàn)證，我認(rèn)為可以提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值模式。在 LBP 的分析中，我們可以看到 LBP特征的提取通常采用了同樣的方式，特征表示單一固定，顯然，這樣的特征表示并不一定有利于分類(lèi)超平面的尋求。 算子不僅具有，即不受圖像旋轉(zhuǎn)和平移的影響，而且提取紋理特征具有良好的分類(lèi)能力。比如，在圖 中 0旋轉(zhuǎn)不變模式可以檢測(cè)圖像中的亮點(diǎn)，而 8可以檢測(cè)暗點(diǎn)以及穩(wěn)定區(qū)域， 4則可以檢測(cè)邊緣。以 P=8， R=1 為例， LBR8,1 將會(huì)生成256 種輸出 (0～ 255)。 LBP 基本方法的適應(yīng)性很強(qiáng)，對(duì)圖像紋理的分析也很有效，但是此方法也存在著一些問(wèn)題。在不丟失信息的前提下，我們可以用圓周上像素點(diǎn)的灰度值 gp 減去中心像素點(diǎn)的灰度值 gc，這樣局部的紋理 T 就 可以看做是中心像素點(diǎn)灰度值和圓周上的像素點(diǎn)灰度值的聯(lián)合分布，其分布如式 所示： T=t(gc， g0gc，?， gp1gc) () 假定中心像素點(diǎn) gc 的灰度值與紋理的變化無(wú)關(guān)， gc 與周邊像素點(diǎn)的差值獨(dú)立于中心像素點(diǎn)的值，則以上分布可以進(jìn)一步化為式 所示的形式： T≈ t(gc)t(g0gc，?， gp1gc) () 事實(shí)上，這種獨(dú)立性并不總是成立，由于數(shù)字圖像中的灰度取值范圍有限，那些較大的或者較小的 gc 值分布會(huì)明顯降低差 值的取值范圍，因此這種獨(dú)立性的假設(shè)以及由之而來(lái)的推論有可能會(huì)帶來(lái)信息的丟失。在進(jìn)行了閾值化之后，我們可以得到一個(gè)局部二進(jìn)制的模式 — 11110001；與此同時(shí)，將權(quán)值2? “ (n=0， l?? 7)從 g0 點(diǎn)開(kāi)始按照順時(shí)針順序依次賦予周邊的 8 個(gè)像素點(diǎn)，這些點(diǎn)的賦值依次是 g?=l， g?=2， g?=4， g?=8， g?=16， g?=32， g?=64， g?=128。 圖 標(biāo)準(zhǔn)的 LBP 算子 基本方法里所用的是經(jīng)過(guò)處理后所得到的灰度圖像，每一個(gè)像素點(diǎn)的灰度值是 0～ 255 中的一個(gè)值。 將 I SOMAP 應(yīng)用在人臉識(shí)別領(lǐng)域的好處是這種非線性降維方法能夠更好的提取數(shù)據(jù)的本質(zhì)結(jié)構(gòu)，尤其是眼睛模型的特征。特征臉?lè)椒ɑ蛘咛卣髯幽樂(lè)椒ǘ际沁x取合適的人臉空間基，將人臉圖像投影到人臉空間中，目的是對(duì)人臉圖像數(shù)據(jù)降維并描述不同人臉之間的變化，然后進(jìn)行判別分析，最終識(shí)別出人臉圖像。而今年來(lái)提出來(lái)的支持向量機(jī)是將人臉模式投影到比較高的維數(shù)特征空間。本文是對(duì)灰度人臉圖像進(jìn)行研究識(shí)別的，因此重點(diǎn)介紹針對(duì)灰度圖像人臉檢測(cè)的常用方法。本章提出了一種 LBP 的擴(kuò)展形式，即變閾值局部二值式。 (2) 受不同年齡、種族、性別、頭發(fā)、飾物等的影響較大。高文和金輝 [20]等通過(guò)對(duì)若干類(lèi)面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型，在他們的另一篇文獻(xiàn)中，在對(duì)動(dòng)態(tài)表情圖像序列的時(shí)序分析的基礎(chǔ)上，提出了對(duì)混合表情的識(shí)別系統(tǒng)。他們?cè)谶@個(gè)模型中通過(guò)反饋機(jī)制實(shí)現(xiàn)了計(jì)算機(jī)圖形學(xué)技術(shù)與計(jì)算機(jī)視覺(jué)技術(shù)的結(jié)合。 AAM 也是一種基于模型的 6 方法，它建立了一種對(duì)目標(biāo)對(duì)象變化程度的參數(shù)化描述。在估計(jì)出參數(shù)后，他們通過(guò)規(guī)則判斷實(shí)現(xiàn)表情分類(lèi)。早期面部表情識(shí)別的研究， Mase[15]使用了光流來(lái)估計(jì)面部肌肉的一個(gè)子集的活動(dòng)。 (5)基于頻率域特征提取的方法。在某種程度上，奇異值具有代數(shù)和幾何上的 雙重穩(wěn)定性，還具有比例不變性 、 旋轉(zhuǎn)不變性等重要性質(zhì)，因此將人臉特征矩陣進(jìn)行奇異值分解可以很好的取出圖像的代數(shù)特征，然后進(jìn)行匹配識(shí)別。他們使用整體 PCA 方法，即將 PCA 算法應(yīng)用于整幅人臉圖像，進(jìn)行了實(shí)驗(yàn)，當(dāng)取前 30 個(gè)主分量并使用歐氏距離時(shí)，達(dá)到了 4 最好的 ％的識(shí)別率。然后他們通過(guò)規(guī)則推理系統(tǒng)將這種面部幾何關(guān)系轉(zhuǎn)化為面部動(dòng)作單元的活動(dòng)，最終通過(guò)專(zhuān)家系統(tǒng)實(shí)現(xiàn)表情識(shí)別。 3 到現(xiàn)在為止，人臉表情識(shí)別已經(jīng)經(jīng)過(guò)了 40 年的發(fā)展。 國(guó)際上關(guān)于面部表情的分析與識(shí)別的研究工作可分為基于心理學(xué)和計(jì)算機(jī)兩類(lèi)。 (4) 電腦游戲：這可能是臉部表示識(shí)別和制作最有應(yīng)用價(jià)值的一個(gè)領(lǐng)域。所謂人臉表情識(shí)別就是利用計(jì)算機(jī)對(duì)人臉的表情信息進(jìn)行特征提取并分類(lèi)的過(guò)程，它使計(jì)算機(jī)能獲知人的表情信息，進(jìn)而推斷人的心理狀態(tài)，從而實(shí)現(xiàn)人機(jī)之間的智能交互。經(jīng)過(guò)改進(jìn)，變閾值局部二值模式對(duì)于噪聲和光照變化相對(duì)于 LBP更加魯棒，而且特征抽取的過(guò)程也能夠相對(duì)靈活。變閾值局部二值模式通過(guò)引入變閾值 ε 擴(kuò)展了變換后的特征空間，并且可以通過(guò)調(diào)整變閾值ε 的值在特征空間基于改進(jìn) LBP 的人臉表情識(shí)別方法中尋找適合于特定分類(lèi)問(wèn)題的子空間。人臉表情識(shí)別技術(shù)隨著人們對(duì)表情信息的日益重視而受到關(guān)注，成為目前一個(gè)研究的熱點(diǎn)。在類(lèi)似這種不能由他人監(jiān)控，而工作者的精神 2 狀態(tài)不佳又會(huì)產(chǎn)生嚴(yán)重后果的工作中，表情自動(dòng)分析系統(tǒng)都可以得到應(yīng)用。 總之，人臉表情識(shí)別技術(shù)作為一種高端生物特征識(shí)別技術(shù)，有 著極其廣闊的應(yīng)用前景，將會(huì)涉及到人們?nèi)粘Ｉ畹脑S多方面，對(duì)改善和提高人們的生活質(zhì)量以及生活方式都有極其重要的作用和意義。直到 1981 年才有人用仿生學(xué)方法從肌肉角度的觀點(diǎn)為面部表情建立模型。 Pantie 等人 [89]進(jìn)行面部特征檢測(cè)并確定面部幾何關(guān)系。 1999 年， Ginalueal[13]等在以前人臉識(shí)別算法的基礎(chǔ)上，將 PCA 算法應(yīng)用到表情識(shí)別上。 (3) 基于奇異值分解的方法 奇異值特征是一種反映圖像本質(zhì)屬性的代數(shù)特征。支持向量機(jī)用于分類(lèi)，構(gòu)造的復(fù)雜程度取決于支持向量的數(shù)目，而不是特征空間的維數(shù)，這就有效解決了機(jī)器學(xué)習(xí)中非線性與維數(shù)災(zāi)難問(wèn)題。它們通過(guò)參考中性臉?lè)治龈鱾€(gè)面部特征區(qū)域內(nèi)的形變或運(yùn)動(dòng)信息并以此構(gòu)建特征向量進(jìn)行表情識(shí)別。 Black 等人使用多項(xiàng)式構(gòu)建局部參數(shù)模型并通過(guò)參數(shù)模型對(duì)圖像運(yùn)動(dòng)信息進(jìn)行刻畫(huà)從而實(shí)現(xiàn)了面部非剛體運(yùn)動(dòng)的估計(jì)。 Huang 等采用 PDM 和嘴巴模板來(lái)提取人臉的表情特征， PDM 是利用六種表情訓(xùn)練圖像中手工提取的 90 個(gè)特征點(diǎn)得到的。 HaiBo[19]等人建立了一個(gè)融入 面部形狀與面部表情先驗(yàn)信息的運(yùn)動(dòng)模型。 最早進(jìn)行計(jì)算機(jī)表情分析、編碼與識(shí)別研究的是哈爾濱工業(yè)大學(xué)高文教授領(lǐng)導(dǎo)的團(tuán)隊(duì)。表情的表現(xiàn)有緩和的和激動(dòng)的、細(xì)微的和強(qiáng)烈的、輕松的和緊張的等諸多形式，它的生理因素也是細(xì)微多變，所以非常復(fù)雜，現(xiàn)在的識(shí)別方法對(duì)比較夸張和明顯的表情能夠有較好的識(shí)別率，但是對(duì)變化不太明顯的表情識(shí)別 率是較低的。 LBP 方法的局限之處在于對(duì)所有問(wèn)題都采用了單一的變換映射，沒(méi)有考慮待分類(lèi)樣本的分布特征以及分類(lèi)目標(biāo)的差異性。 圖 人臉檢測(cè)的分類(lèi) 由圖 我們知道根據(jù)圖像色彩的不同，分為對(duì)彩色圖像的人臉檢測(cè)與對(duì)灰度圖像的人臉檢測(cè)，其中對(duì)灰度圖像的研究是人臉檢測(cè)研究的重點(diǎn)。 二 、 基于支持向量機(jī)的方法 從人臉與非人臉圖像中提取的特征數(shù)據(jù)維數(shù)較高，將提取的特征數(shù)據(jù)也即建立的人臉模式投影到較低的維數(shù)空間，然后在人臉與非人臉數(shù)據(jù)中尋求最優(yōu)判別函數(shù)，是解決人臉檢測(cè)的一種典型方法。 一 、 基于特征臉的識(shí)別方法 特征臉?lè)椒ㄒ灾鞒煞址治?(PCA)方法為代表，屬于基于統(tǒng)計(jì)學(xué)習(xí)方法中的一種方法，也是現(xiàn)在人臉識(shí)別中的一種典型方法。 三 、 基于非線性數(shù)據(jù)降維的方法 典型的數(shù)據(jù)非線性降維方法又多維尺度分析 (MDS)，以及建立在 MDS 上的等距離映射算法（ I SOMAP）和局部線性嵌入算法 (LLE)等。 LBP 算子剛提出來(lái)的時(shí)候，基本的概念就是圖像紋理中某個(gè)指定的中心像素 點(diǎn) (g?)及其周?chē)o鄰的 8 個(gè)像素點(diǎn) (g?g?)所組成的局部區(qū)域，如圖 所示。 14 如圖 所示，樣本的中心像素的灰度值為 6，以之作為閾值，同其周邊 8個(gè)像 素點(diǎn)的灰度值依次進(jìn)行比較，此過(guò)程稱為閾值化 (thresholding)。 15 圖 幾種不同 P， R 值對(duì)應(yīng)的圓形鄰域 由于隨著距離的增大，像素之間的相關(guān)性逐漸減小，因此，在較小的鄰域中即可獲得絕大部分紋理信息。下面將著重介紹 LBP 的另外一個(gè)重要性質(zhì) ?旋轉(zhuǎn)不變性以及在實(shí)際應(yīng)用中所使用的 LBP 的具體形式。 考察 LBP 的定義，發(fā)現(xiàn) LBPP,R 可以產(chǎn)生 2p 種不同輸出，對(duì)應(yīng)了局部近鄰集中 P 個(gè)像素形成的 2p 個(gè)不同的二進(jìn)制模式。 18 圖 P=8 時(shí) LBP 算子的 36 個(gè)旋轉(zhuǎn)不變模式，黑點(diǎn)白點(diǎn)分別代表 0,1 圖 旋轉(zhuǎn)不變性 LBP 示例 p=8 的領(lǐng)域在不同旋轉(zhuǎn)角度下的模式，下方括號(hào)內(nèi)是其對(duì)應(yīng)的 LBP 值 將圖像中的微小特征量化為單個(gè)的旋轉(zhuǎn)不變模式，因此這些旋轉(zhuǎn)不變模式通 19 常可以被認(rèn)為是特征檢測(cè)器。前面已經(jīng)提到，由于 LBP 可以將圖像中的微小特征量化 為 LBP 表示的模式，因此直方圖統(tǒng)計(jì)的物理意義在于直方圖向量描述了圖像中各個(gè)微小特征分布情況，這在分類(lèi)中是十分有意義的。 盡管 LBP 方法有著上述優(yōu)勢(shì)，但同時(shí)，從分類(lèi)角度來(lái)看，它也存在一些不足： (1) 對(duì)所有問(wèn)題采用單一的變換映射。解決該問(wèn)題的一種方法是通過(guò)優(yōu)化或者擴(kuò)展 LBP 的變換定義，達(dá)到提高分類(lèi)性能的目的。顯然，當(dāng)變閾值 ε 置為 0 時(shí)， 變閾值二值式 等價(jià)于 LBP。取值中問(wèn)的 (c)和 (d)則描述了中間層次的紋理信息。 此外， 變閾值局部二值式 還具有一個(gè)優(yōu)點(diǎn)： 在實(shí)驗(yàn)過(guò)程中，我們發(fā)現(xiàn)， 變閾值局部二值式 運(yùn) 行結(jié)果所花費(fèi)的時(shí)間與 LBP 相同的，僅僅在訓(xùn)練過(guò)程中需要花費(fèi)多一點(diǎn)的時(shí)間來(lái)尋求合適的特征子空間 (即尋找合適的變閾值 ε 值 )。 25 第三節(jié) 本章小結(jié) 本章以改進(jìn) LBP 分類(lèi)性能的手段為出發(fā)點(diǎn)，通過(guò)簡(jiǎn)單有效的對(duì) LBP 定義的擴(kuò)展，提出了 變閾值局部二值式 的定義并且分析了 變閾值局部二值式 的意義所在。 i 表示一個(gè) LBP 模式，它決定于所使用的 LBP 算子，如采用 LBP8,1 算子，有 8 個(gè)樣點(diǎn)，它的取值為 0~255。為了獲得一個(gè)適合于具體問(wèn)題 變閾值 ε，我們的做法是從給定的數(shù)據(jù)集中生成一個(gè)訓(xùn)練集，然后在訓(xùn)練集上來(lái)搜尋較優(yōu)的變閾值 ε 的 值，這樣得到的變閾值 ε 的 值將被用在分類(lèi)中。 圖 JAFFE 人臉表情數(shù)據(jù)庫(kù) 實(shí)驗(yàn)中，我們每次從每個(gè)表情