【正文】 庫中進行實驗，記錄實驗的結(jié)果以及中間結(jié)果進行記錄對比得出相應(yīng)的結(jié)論。⑤第五章：進行全文總結(jié)及展望。第2章 LBP 算子基本原理及應(yīng)用第一節(jié) LBP 算子概述 紋理概述 提起紋理，這個是在圖像中最常用的概念，在物體的表面上因為物理屬性的不同而造成某個特定表面特征的灰度以及顏色信息，這我們稱之為紋理。直觀的表現(xiàn)在圖像上就是亮度，顏色的變化，而從廣義上來說，基本上所有的圖像都是具有了紋理信息，與其他的圖像特征相比紋理特征反映的是灰度模式下的空間分布，其中包含了此圖像的表面信息以及周圍環(huán)境的關(guān)系，能夠更好的反映出圖像的信息以及結(jié)構(gòu)，所以目前，紋理分析在圖像分析中收到了格外的關(guān)注。在人眼里，通常能夠覺察出一幅圖像的紋理，判斷出紋理的存在，但是受到心理感受的影響，以及紋理的表征本來就是一個非常復(fù)雜的過程，所以我們即使能判斷出紋理的存在，但卻不能夠給出一個比較嚴格的定義。在目前為止，在計算機視覺研究中還沒有一個非常明確的定義，即使我們能夠明確的覺察出兩個不同的紋理，但我們卻不能夠準確的使用數(shù)學(xué)公式或者語言描述出兩者的差異，因此紋理分析是一個更為復(fù)雜并且具有挑戰(zhàn)性的問題。 LBP 算子 局部二值模式（LBP）這種紋理描述方式是基于灰度范圍的，一開始最初始的LBP算子被定義為一個類似于九宮格的3乘3的矩陣，位于九宮格中心的像素點作為閾值，而將另外的8個像素點的灰度值跟這個中心像素點進行比較，如果大于中心像素點則被標記為1，然后按照一個固定的位置求的一個整數(shù)，這個整數(shù)稱之為這個九宮格矩陣的LBP值，這個數(shù)值被用于反映這個窗口區(qū)域的紋理信息。 基本LBP定義，我們要計算的中間那個點的LBP。除了它此外的8個點依次與中間點比較，比它(也就是15)大的記成1，比它小的記成0，然后我們就得到右面的圖片。然后我們選定一個起始點這個圖片選的是左上角第一個點，然后按照順時針方向得到一個二進制串10011010，轉(zhuǎn)換為十進制則為154。到此，我們得到了中間點的LBP值154。對整個圖片的所有點都這樣處理，也就是以它為中心與附近的8個點相比較，這樣就得到整個圖所有點的LBP值。用比較正式的公式來定義的話：其中代表3x3鄰域的中心元素，它的像素值為，代表鄰域內(nèi)其他像素的值。s(x)是符號函數(shù)，定義如下：圓形LBP 算子最基本的LBP算子，存在著缺陷其中最大的就是他不能滿足不同情況下的需求，例如不同的尺寸，不同的頻率紋理的需求。所以為了滿足這些需求，產(chǎn)生了最初步的改進，Ojala把LBP算子從3*3區(qū)域更改到了任意的區(qū)域，即將正方形的矩形變成了圓形區(qū)域，而改進后LBP算子從8個領(lǐng)域像素點變?yōu)榭梢栽诎霃綖镽的圓形區(qū)域內(nèi)存在多個像素點了。如下圖定義的的5*5領(lǐng)域 5*5領(lǐng)域的圓形LBP算子，每個點可以各自計算出它的值：其中為鄰域中心點，為某個采樣點。通過上式可以計算任意個采樣點的坐標，但是計算得到的坐標未必完全是整數(shù)，所以可以通過雙線性插值來得到該采樣點的像素值：LBP 等價模式從LBP的基本算子可以看出，一個算子產(chǎn)生的二進制模式都是不一樣的，以R為半徑內(nèi)有P個點的LBP算子會產(chǎn)生種模式，而當(dāng)P的值也就是鄰域中的采樣點增加，這個模式也就會以指數(shù)增長，*5鄰域中有8個采樣點也就是有256種，但如果采用的是20個采樣點，那么就是有=1048576種模式，而這個數(shù)值會隨著P的繼續(xù)增大會越來越大，這么多的二值模式對于我們進行紋理提取或者識別，分類以及信息的存儲都是極為不利的。如，過多的模式種類會使得數(shù)據(jù)量過于巨大，所產(chǎn)生的直方圖會過于稀疏，對于我們進行分類，識別工作是不利的。所以我們需要進行降維。針對這個問題，Ojala提出了一種名為“等價模式”對LBP算子進行降維。Ojala認為，在圖像中，大部分的LBP模式是最多包含兩次從0到1或者1到0進行跳變，所以將此類LBP所對應(yīng)的二進制稱之為統(tǒng)一等價模式。如從基本的LBP算子的8bit數(shù)表示 00000000為0次跳變，00111111為1次跳變，00110000為2次跳變，以此類推這些都是等價模式。除了這些等價模式類，其他的模式都是歸于另一類，稱之為混合模式類。第2節(jié) LBP 的特點紋理同時具有隨機性和結(jié)構(gòu)性的特點，為了定量描述紋理，多年來人們建立了許多紋理算法以測量紋理特性。這些方法大體可以分為兩大類：統(tǒng)計分析法和結(jié)構(gòu)分析法。統(tǒng)計分析方法從圖像有關(guān)屬性的統(tǒng)計分析出發(fā)，主要是基于圖像像素的灰度值的分布與相互關(guān)系，找出反映這些關(guān)系的特征?；驹硎沁x擇不同的統(tǒng)計量對紋理圖像的統(tǒng)計特征進行提取。這類方法一般原理簡單，較易實現(xiàn)，但適用范圍受到限制，主要適合紋理圖像中那些沒有明顯規(guī)則性的結(jié)構(gòu)圖像，特別適合于具有隨機的、非均勻性的結(jié)構(gòu)。結(jié)構(gòu)分析方法是分析紋理圖像的結(jié)構(gòu)，從中獲取結(jié)構(gòu)特征。這類首先將紋理看成是有許多紋理基元按照一定的位置規(guī)則組成的，然后分提取紋理基元并推論紋理基元位置規(guī)律，也有直接去探求紋理構(gòu)成的結(jié)構(gòu)規(guī)律的。目前主要用數(shù)學(xué)形態(tài)學(xué)方法處理紋理圖像，適合于規(guī)則和周期性紋理。任何紋理圖像都包含了統(tǒng)計特征和規(guī)律特征兩種特征，因此，使用單一的統(tǒng)計分析方法或結(jié)構(gòu)分析方法都很難取得令人滿意的分類效果。LBP方法可以認為是隨機方法和統(tǒng)計方法的結(jié)合。LBP并不是試圖從單一的像素點來描述紋理，而是用一個局部區(qū)域的模式來描述紋理。每個像素點由一個與之最匹配的局部鄰域的原始紋理形成的碼值來標記。這樣，LBP模式可以被看作一種微觀結(jié)構(gòu)。將結(jié)構(gòu)方法和隨機方法相結(jié)合源于這樣一個事實，即分配的微觀結(jié)構(gòu)可以被看作是一種統(tǒng)計布局規(guī)則。LBP具有原始紋理和布局規(guī)則，因此，LBP分布具有結(jié)構(gòu)分析的特點；另一方面，這種分布又可以看做是圖像經(jīng)過一種非線性濾波后的統(tǒng)計，這明顯又具有統(tǒng)計分析方法的特點。LBP為同時分析隨機性紋理和周期的紋理開辟了一條有效的途徑，因此，LBP的方法能夠廣泛地應(yīng)用于各類紋理圖像的識別，并能充分克服傳統(tǒng)的單一采用統(tǒng)計或結(jié)構(gòu)方法的不足。第3節(jié) LBP 算子的發(fā)展和演化LBP 算子從提出至今，引起了許多學(xué)者的興趣和關(guān)注。在許多對比實驗中，LBP 算子在計算速度和鑒別力等方面都表現(xiàn)出優(yōu)異的成績。從某種意義上說，這種方法將統(tǒng)計分析和結(jié)構(gòu)紋理分析的方法結(jié)合起來，為同時分析隨機性紋理和周期的紋理開辟了一條有效的途徑。這似乎也符合神經(jīng)學(xué)家在人眼視覺方面的發(fā)現(xiàn)。LBP 算子具有旋轉(zhuǎn)不變和灰度不變等優(yōu)點，還支持多尺度分析。因此，LBP 算子在模式識別和紋理分析等方面得到了極大的推廣和發(fā)展，從而出現(xiàn)了更多新的基于改進LBP擴展算法。 LGBP在原始的LBP描述子的基礎(chǔ)上,張文超等人提出了 LGBP (Local Gabor Binary Pattern)描述子。該描述子的主要思想是:首先利用一組多尺度、多方向的Gabor濾波器對原始人臉圖像進行濾波,得到不同尺度和不同方向下的Gabor能量圖像,然后分別對這些圖像進行LBP直方圖特征的提取,最后連接這些LBP特征形成最終的人臉特征。LGBP方法對光照變化、表情變化都具有一定的魯棒性,并且有效地提高了人臉識別率。LGBP描述子的計算過程主要包括:Gabor濾波和基本LBP特征提取。二維Gabor濾波器在空間上由高斯窗函數(shù)和正弦平面波調(diào)制得到。根據(jù)設(shè)置不同的參數(shù),Gabor濾波器可以在不同尺度、不同方向上提取圖像局部特征。二維的Gabor濾波器可以表示為公式其中μ和γ為Gabor濾波器的方向和尺度, 。公式中ω表示頻域中濾波器之間的間距因子。當(dāng)選擇5個尺度和8個方向的Gabor濾波器的時候,將這40個濾波器與原圖像進行卷積計算會產(chǎn)生40幅Gabor能量圖像。對40幅Gabor能量圖像分別進行LBP特征的提取,最后將所有的LBP特征連接起來就得到最終的LGBP特征向量。 LTP根據(jù)LBP編碼公式中的。,我們可以看出LBP算子在灰度范圍內(nèi)是單調(diào)不變的,這使得它能適應(yīng)不同的光照變化,Tan等人將LBP模式在一次進行擴展,將LBP模式擴展為三值的編碼,提出了 LTP (Local Ternary Pattern局部三值模式)模式。LTP模式不僅延續(xù)了 LBP模式的主要優(yōu)點而且對于局部區(qū)域的噪聲更加的魯棒。LTP的計算方法是將與中心像素的像素差值在之內(nèi)的鄰域像素量化為0,除此之外大于amp。的量化為1,小于g。的量化為1,此時對X)被擴展成了三值形式,如公式所示:由此,二值的LBP算子由三值的LTP算子所代替,式中/是自定義的一個閾值。正是因為閾值的存在,使得LTP算子對于局部噪聲更加的魯棒,但是也使得LTP算子不再像LBP算子一樣具有嚴格的灰度不變性。,將閾值/設(shè)置為5: LTP算子的編碼過程雖然在使用LTP模式進行人臉識別時我們使用的是三值編碼,但是統(tǒng)一模式在此同樣適用。為了計算簡單并且運用現(xiàn)有LBP算子的一些研究成果,我們將LTP算子的分為正負兩個部分,將其看作兩個獨立通道的LBP算子對待,并且分別計算其分割后的灰度直方圖和相似度矩陣,最后才將這兩個部分結(jié)合在一起作為一個特征來對待。 LTP算子分解過程第4節(jié) 小結(jié) 本章首先從紋理分析的角度對基本的 LBP 算子做了簡要的介紹；其次，介紹了最開始的LBP改良 LBP 等價模式和圓形的LBP算子；最后介紹 LBP 近年來較新的兩種改良LGBP以及LTP算法。通過對 LBP 算子的產(chǎn)生和發(fā)展進行深入研究，我們對LBP的定義以及其特點有了一定的了解。第3章 LMCP方法第1節(jié) LBP方法的缺點LBP方法只考慮了中心像素點與鄰居像素點之間的大小關(guān)系，而沒有考慮到它們之間的對比度，因此會出現(xiàn)圖2 所示的情況。圖中左右兩幅圖片表示圖像局部區(qū)域像素值，它們得到的LBP 值完全相同，但是卻忽略掉了十分重要的對比度信息，而對比度的不同恰恰是這兩個局部區(qū)域紋理的最重要特征。 相同LBP值卻不同局部紋理第2節(jié) 獲取LMCP特征LBP 沒有考慮像素之間對比度的原因是：在光照變化較為強烈時，對比度值會產(chǎn)生嚴重的非線性扭曲，而像素值之間的大小關(guān)系是不容易受光照變化影響的。提出一種折中方案：將不同光照下的人臉圖片進行平滑操作，將光照變化對圖片的影響控制在一定的范圍之內(nèi)，然后將像素值之間的對比度值映射到某個層次上去，得到由多個二進制值決定的LMCP特征值，將此LMCP值作為人臉特征，可以得到非常好的識別效果。對局部區(qū)域像素值對比度分層的思想是：求得局部區(qū)域內(nèi)像素值對比度的最大值和最小值，將最大值和最小值之間的差值分成若干個等級，那么可以將中心像素與鄰居像素之間的對比度值對應(yīng)到某個等級上去，這個等級就是此對比度值對應(yīng)的層次。在半徑為R，點為P 的局部區(qū)域，每個鄰居點對應(yīng)的對比度層次由下式計算所得：式中，max C 、min C 分別代表鄰居點和中心點之間的對比度最大值和最小值，L 表示分層數(shù)量。針對每一個對比度層次，可以考察中心點周圍有多少個鄰居點的對比度值落入了該層次，以獲取每個層次的LMCP特征：將每個層次得到的 級聯(lián)在一起構(gòu)成了 ：通過示例詳細說明了L = 4 時，求得 的過程。 LMCP特征值的求取過程第3節(jié) 將LMCP特征用于人臉識別將特征用于人臉識別時，參照Ahenon[20]方法，將人臉區(qū)域劃分為N 個局部方塊區(qū)域，并在每個區(qū)域中對每個 使用下列公式求得直方圖：可將不同區(qū)域的聯(lián)合起來，得到描述全局人臉多對比度層次特征的直方圖：當(dāng)L = 4，P = 8，R = 1，N = 49 時，H 具有的特征維度高達*N*L = *49 *4 = 50176 ，顯然需要采取一定的措施進行降維處理。 有256 種取值可能，然而，經(jīng)過大量不同光照下人臉圖像的統(tǒng)計，發(fā)現(xiàn)占據(jù)90%出現(xiàn)次數(shù)以上的 值大概在40 個左右。如果將不屬于這些取值范圍的 全部歸為另一種取值，那么可以將特征維度大約降低為原來的1/6 。并且這種統(tǒng)計降維的方法可以在每個已有的訓(xùn)練樣本集上進行。此外，還應(yīng)該考慮到每個層次 特征對整體 特征的貢獻程度是不一樣的，對比度越大反映的細節(jié)特征越明顯，而人臉的本質(zhì)特征主要就蘊含在細節(jié)信息中。因此在測量特征距離時，層次越高的 特征之間的距離應(yīng)該被賦予更高的權(quán)重。這里采用的權(quán)重與層次相同，即： = i, i = 1，2，…，L 。使用下述公式計算兩幅人臉圖像的特征距離D ：其中d() 表示直方圖H 和H′ 在第i 層上的ChiSquare距離：第4節(jié) 圖像與處理對圖像進行光照歸一化預(yù)處理的目的是將光照變化對圖片的影響控制在一定的范圍之內(nèi)，這是非常重要的，否則在光照變化較為劇烈的情況下，對對比度值進行分層會受到光照的強烈干擾。本文采用了4個步驟進行光照歸一化操作：（1）使用公式，將圖像轉(zhuǎn)換到對數(shù)域；（2）利用差分高斯濾波器（ = ， = ），對圖像進行平滑；（3）使用下述3 個公式（α = ，τ = 10），對圖像進行全局對比度均衡化[26]：（4） 使用直方圖均衡化，以增強對比度。圖 經(jīng)過了預(yù)處理后得到的圖像第四章 實驗與結(jié)果分析第一節(jié) 引言本章節(jié)將會對上文所提出的基于LMCP的人臉識別算法進行實驗測試，目的在于證明此算法相對于原始LBP算法的性能提升。本文中的測試主要使用Yale人臉庫以及ORL人臉庫上進行。第2節(jié) 人臉庫隨著越來越多的人臉識別算法被人們提出,對人臉識別算法性能的評價與測試工作也逐漸成為了人們關(guān)注的重點。只有通過統(tǒng)一標準的評價與測試才能夠獲得人臉識別算法間的差距,為了解決這一問題,國內(nèi)外的很多著名的大學(xué),研究機構(gòu)相繼推出了各自的標準人臉數(shù)據(jù)庫,下面將進行簡單的介紹。①Yale人臉庫Yale人臉庫是由美國耶魯大學(xué)創(chuàng)立的。人臉庫中主要包含了 15個不同人的11幅不同光照,姿態(tài),表情的人臉圖片。11幅人臉圖片包含著顯著地光照變化與姿態(tài)變化(遮擋)。Yale人臉庫還包括Yale B人臉庫,在B庫中主要包含了5760張人臉圖片,分別為10個不同人臉在9中姿態(tài),64種不同外部條件下拍攝的。②FERET入臉庫FERET[^人臉庫是目前最大的人臉數(shù)據(jù)庫,是由美國國防部