【導(dǎo)讀】人臉識(shí)別具有重要的理論價(jià)值和廣泛的應(yīng)用前景。盡管近年來人臉識(shí)別。從某種意義上講，人臉識(shí)別問題的核心是人臉建模問題，而近年來，基。局部建模的方法更取得了較大的成功。本文在分析現(xiàn)有的產(chǎn)生式方法的基礎(chǔ)。到最終的圖像匹配相似度。本文對(duì)不同的圖像分塊策略（稠密和稀疏、分塊。表明融合部分稠密采樣的局部匹配方法可以取得更好的性能。LVP）的產(chǎn)生式模型，并用于人臉重建和識(shí)別中。建高維灰度人臉圖像。此外，本文還提出了基于LVP的。直方圖交計(jì)算相似度來實(shí)現(xiàn)人臉識(shí)別。在FERET人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表

　　

【正文】 最經(jīng)典的得到局部模型的方法就是對(duì)原始圖像進(jìn)行劃分，得到反映不同局 部特征的子圖像。但是現(xiàn)有的文獻(xiàn)中并沒有對(duì)不同的圖像分塊策略（稠密和稀 疏、分塊大小等）以及融合策略（全部融合和部分融合）等進(jìn)行系統(tǒng)的說明和 闡述。所以在本章中我們將通過大量的實(shí)驗(yàn)，對(duì)上述方面進(jìn)行了系統(tǒng)全面的研 究。 眾所周知，人臉圖像可能會(huì)由于大的姿態(tài)，光照，表情，環(huán)境變化，以及 由胡須和太陽(yáng)鏡形成的遮擋，而產(chǎn)生比較大的變化。這些因素使得類內(nèi)不變化 過于復(fù)雜。因此為了得到好的識(shí)別性能，傳統(tǒng)的歐式距離在有些情況下就不適 用了。如常用的圖 31所示歐式距離就不能把測(cè)試圖像歸到正確的類別之中。 圖 31 歐式距離引起的問題示例 Figure 31 An illustration of the problem caused by the Euclidean distance 15 哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 事實(shí)上，度量距離，例如歐式距離，是嚴(yán)格遵循度量公理的，即下面 4個(gè) 公式給出的非負(fù)性，自相似性，對(duì) 稱性和三角不等的性質(zhì)。 1. D(i1, i2 )?? 0 2. D(i1, i2 )?? 0 當(dāng)且僅當(dāng) i1?? i2 3. D(i1, i2 )?? D(i2 , i1 ) 4. D(i1, i3 )?? D(i1, i2 )?? D(i2 , i3 ) 非負(fù)性 自相似性 對(duì)稱性 三角不等性 但是很多研究表明這些公理對(duì)于人類的感知距離是無效的 [32][33]，因此對(duì)于 魯棒的人臉識(shí)別來說是不適用的 [34]。就如 Jacobs在 [34]中提到的，如果不對(duì)變 化豐富的人臉圖像之間 的距離進(jìn)行變形，它們就不能被投影到一個(gè)度量特征空 間中去。所以為了更好的達(dá)到識(shí)別的目的，我們應(yīng)該從人類感知的角度出發(fā)找 到一個(gè)更加有效的非度量距離度量方法。 圖 32給出了非常形象的圖示，很多觀察者都會(huì)覺得人和馬與第三幅人馬 座的圖像都很相似，但是卻相對(duì)很少關(guān)注他們不相似的部分。為什么呢？因?yàn)? 當(dāng)比較兩幅圖像的時(shí)候，人類通常會(huì) ―注意它們非常相似的部分而很少注意有 很大不同的部分 ‖[34]。換句話說與不相似的部分相比，相似的部分對(duì)于人類的 感知來說更加重要，它對(duì)圖像匹配的過程起著至關(guān)重要的作用。這樣的發(fā)現(xiàn)意 味著對(duì)于魯棒的圖像比較來說相似的部分可能會(huì)具有很重要的信息。所以提取 這樣的信息非常必要。此外，從圖 32我們還可以看出考慮圖像數(shù)據(jù)的空間結(jié) 構(gòu)也是很重要的。 圖 32 三幅圖像的視覺相似度可以顛覆三角不等性 Figure 32 Judgements of visual similarity between these three images may violate the triangle inequality 16 哈爾濱工業(yè)大學(xué)工學(xué)碩士 學(xué)位論文 非常明顯，這種人類視覺信息的處理機(jī)制對(duì)于人臉識(shí)別來說有本質(zhì)上的用 處，因?yàn)樗梢詼p少外界的變化對(duì)于同一人臉的影響，從而有易于識(shí)別同一人 在不同情況下的圖像。鑒于此在本章中我們做了大量相關(guān)的實(shí)驗(yàn)來驗(yàn)證：在只 取兩張人臉最相似的部分而丟棄它們那些非常不相似的特征，并通過融合相似 區(qū)域子圖像的匹配結(jié)果來得到最終的圖像匹配相似度時(shí)，識(shí)別性能比只取人臉 的整體特征是否會(huì)提高等。因?yàn)檫@種融合的策略得到的距離不滿足三角不等行 所以它屬于非度量距離。即本章是驗(yàn)證這種從人類視覺感知原理出發(fā)的非度量 距離能否可以 反應(yīng)出更加準(zhǔn)確的人臉之間的差別。 基于稠密局部匹配的人臉識(shí)別算法 在介紹基于稠密局部匹配（ Densely Local Matching，簡(jiǎn)寫為 DLM）的人 臉識(shí)別算法之前，首先介紹一下算法中用到的人臉庫(kù)集合。在人臉識(shí)別的算法 性能的測(cè)試中采用的人臉庫(kù)通常分為三個(gè)部分：訓(xùn)練集合（ Training Set）、原 型圖像集合（ Gallery）和測(cè)試集合（ Probe Sets）。考慮到算法泛化能力（也稱 推廣能力）的問題，嚴(yán)格的講，訓(xùn)練集合中的圖像與測(cè)試集合和原型集合中的 圖像乃至人物應(yīng)該是不能有重疊的 。在本算法中由于不存在訓(xùn)練所以并不需要 訓(xùn)練集合，簡(jiǎn)化了系統(tǒng)的設(shè)計(jì)。 算法中用到的重要參數(shù)的說明： m*m為子塊大小； L為采樣間隔； N為保 留子塊的數(shù)目。所以具體做法如下： 1. 不乏一般性首先我們對(duì) Probe中某一幅圖像 Ip密集采樣得到 m*m的子圖 像塊，采樣間隔為 L個(gè)象素（ L = m）。 i) ii) iii) iv) 對(duì) Gallery集合中的每一幅圖像進(jìn)行同樣的采樣工作； 對(duì)于每一個(gè)采樣位置，計(jì)算 Ip與每一幅 Gallery圖像中對(duì)應(yīng)子塊 的相似度，并對(duì)其進(jìn)行降序排序； 保留前 N個(gè)子塊（ 最相似的 N個(gè)子塊）采用他們的相似度之和作 為 lp與某一幅 Gallery中圖像的相似度，這里我們采用的是兩個(gè) 向量的相關(guān)性（ cos距離）作為相似度度量； 根據(jù)最近鄰原則，取與 Ip相似度最大的圖像作為識(shí)別結(jié)果。 2. 對(duì) Probe中每幅圖像都做步驟 1中的處理，最后得到相應(yīng)的識(shí)別率。 當(dāng)采樣間隔 L小于子塊邊長(zhǎng) m時(shí)，采樣得到的子塊之間必然存在重疊部分 即進(jìn)行稠密采樣。其稠密程度取決于相臨子塊之間重疊部分占整個(gè)子塊的比例 （即取決于 L和 m）。 17 哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 實(shí)驗(yàn)與分析 閾值選取 所謂 ―部分大于全部 ‖即上文所述的只取兩張人臉最相似的部分時(shí)的識(shí)別 性能要好于提取人臉的整體特征的性質(zhì)。下文第 4章 實(shí)際上就是這種思想的一種變形的實(shí)現(xiàn)。為了驗(yàn)證這樣的性質(zhì)，我們首先要得 到兩張圖像相似的部分，即選取一個(gè)合適的閾值。 在我們的實(shí)驗(yàn)中，取 FERER人臉庫(kù)中的四個(gè)測(cè)試集合 Fa, Fb, Dup I, Dup II 分別作為 Probe集合進(jìn)行測(cè)試。具體做法如 ：其中子塊大小為 5*5， （ m=5）；采樣間隔為 2個(gè)像素（ L=2），注意：此時(shí)因?yàn)?Lm所以為稠密采樣； 保留前 10個(gè)最近似子塊（ N=10）。 在此實(shí)驗(yàn)中我們只保留了 10個(gè)最相似的子塊的信息，為了得到更全面的結(jié) 果，即隨著保留的子塊數(shù)目的增加識(shí)別率的變化趨勢(shì)，在我們的實(shí)驗(yàn)中以 50個(gè) 子塊數(shù)量為步長(zhǎng)，每次增加 50個(gè)子塊重復(fù)以上的算法，直到取得所有子塊為 止。這樣就得到了圖 33所示的識(shí)別性能變化趨勢(shì)圖。 這種計(jì)算相似度的方法是一種非度量距離。因?yàn)樗鼭M足非負(fù)性和對(duì)稱性， 但是不能保證三角不等性和自相似性質(zhì)。這恰恰非常好的符合了人類視覺感知 的性質(zhì)。因?yàn)槿鐖D 32所示，不失一般性我們假設(shè)人和人馬的最相似部分的相 似度要大于馬和人馬圖像，則 d(人，人馬 )d(人，馬 )+d(馬，人馬 )，即不滿足 三角不等性。這里 d(A,B)表示圖像 A和圖像 B之間相似部分的相似度。在自相似 性方面由于存在兩個(gè)人的某些部分長(zhǎng)的非常相似的情況，此時(shí)如果只計(jì)算它們 最相似的部分，則它們之間的距離可能為 0，這就違背了 metric距離中的第 2條 性質(zhì) ——自相似性。然而這種完全相似的現(xiàn)象在實(shí)際的應(yīng)用中幾乎不可能遇 到，即使兩幅圖像取自于同一個(gè)人時(shí)，所以容許有微小變形的兩幅人臉圖像視 為來自同一人比 把兩幅距離為零的圖像歸為同一類更加合理。除此之外這種距 離度量方法對(duì)于同一人的人臉圖像因?yàn)橥饨缫蛩氐挠绊懀ɡ缯趽酰砬樽兓? 等）而有很大類內(nèi)變化的普遍現(xiàn)象有很好的魯棒性能。實(shí)驗(yàn)結(jié)果如圖 33所 示。 18 Recognition Rate 哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 fb fc Dup II Dup I 0 10 60 110 160 210 260 310 360 410 460 510 560 610 660 710 760 Block Num 圖 33 識(shí)別性能隨所取子塊數(shù)量變化趨勢(shì)圖 Figure 33 The trend chart of the variation of recognition performance along with the varying number of sub blocks 從圖中的實(shí)驗(yàn)結(jié)果我們可以看出：除了反映光照變化的 Fc數(shù)據(jù)庫(kù)以外，識(shí) 別性能在 Fb, Dup I, Dup II三個(gè)測(cè)試庫(kù)上都在取 460個(gè)塊的時(shí)候（圖中的藍(lán)色豎 線所示）達(dá)到了最大值。大概是 全部塊的 60%多。所以以后的實(shí)驗(yàn)中我們都取 黃金分割點(diǎn)作為閾值，即前 %的子塊的相似度之和作為比較基準(zhǔn)。在 Fc測(cè) 試庫(kù)中得到的曲線我們可以看出它并不遵循其他三個(gè)人臉庫(kù)的規(guī)律。這是因?yàn)? Fc庫(kù)中的圖像都是有較大的光照變化，這對(duì)于提取最相似部分的步驟帶來了不 利的影響。因?yàn)楹芸赡芪覀冋业降淖钕嗨频牟糠质怯捎诟吖猓蛘哧幱霸斐傻? 偽相似的部分，而不是真正相似的圖像塊。因此我們可以預(yù)測(cè)在以后的工作中 通過對(duì)輸入圖像進(jìn)行一定的預(yù)處理去除光照的不良影響之后， Fc的測(cè)試結(jié)果曲 線將遵循同樣的規(guī)律。 此外從曲線圖中， 可以觀察到在四個(gè) Probe庫(kù)上隨著所取子塊數(shù)量的增多， 識(shí)別性能都是先提高再下降的。這樣的結(jié)果說明了我們所要驗(yàn)證的 ―部分大于 全部 ‖，不難理解，從人類視覺感知的角度出發(fā)，最相似的部分帶有更多的信 息。例如如果兩個(gè)人的眼睛非常的相似，那么這樣的信息對(duì)于識(shí)別就很重要 了。但是如果取得的信息太少，即實(shí)驗(yàn)中當(dāng)取的子塊數(shù)過少的時(shí)候，由于信息 不夠充足或過于片面導(dǎo)致識(shí)別率不夠理想。但是當(dāng)取的子塊數(shù)過多的時(shí)候，由 19 哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 于引入了很不相似的子塊（大多 是由于外界影響，例如表情變化，眼鏡遮擋等 導(dǎo)致的），使類內(nèi)變化過大，即會(huì)產(chǎn)生如圖 31所示的現(xiàn)象：相同人的不同圖像 之間的距離增大。導(dǎo)致了后端識(shí)別性能的下降。所以取恰當(dāng)數(shù)目的子塊做識(shí)別 對(duì)于性能影響還是很大的。 總之通過這個(gè)實(shí)驗(yàn)說明了基于稠密采樣的人臉識(shí)別算法中 ―部分大于全 部 ‖的現(xiàn)象，為我們找到一個(gè)更好的相似性度量的思考方向，而且根據(jù)識(shí)別性 能選擇了黃金分割點(diǎn)作為度量相似的閾值。 采樣方法對(duì)識(shí)別性能的影響 這個(gè)實(shí)驗(yàn)的主要目的是驗(yàn)證密集采樣對(duì)識(shí)別率的影響?，F(xiàn)在在人臉識(shí)別領(lǐng) 域中有很多應(yīng)用分 塊采樣的算法，大部分是直接把圖像分成若干子塊再進(jìn)行下 面的操作。所以存在這樣的問題：是否有必要進(jìn)行稠密采樣？稠密采樣會(huì)產(chǎn)生 更多的子塊，是否會(huì)產(chǎn)生信息冗余，即對(duì)識(shí)別率有沒有提高？所以在本章中設(shè) 計(jì)了這樣的實(shí)驗(yàn)： 對(duì)于 FERET 人臉庫(kù)中的 4 個(gè)測(cè)試庫(kù)分別做了以下 4 種實(shí)驗(yàn)： i. 5*5塊 間隔 2采樣 整體 cos距離； (m=5。 L=2。 N=所有子塊數(shù) /圖 ) ii. 5*5塊 無重疊采樣 整體 cos距離； (m=5。 L=5。 N=所有子塊數(shù) /圖 ) iii. 間隔 2采樣 相似度為前 %的 塊 cos距離之和； (m=5。 L=2。 N=%*所有子塊 /圖 ) iv. 無重疊采樣 相似度為前 %的塊 cos距離之和。 (m=5。 L=5。 N=%*所有子塊 /圖 ) 其中實(shí)驗(yàn) i 和 ii 中 ―整體 cos 距離 ‖是這樣計(jì)算的：把采樣后的子圖像塊 的向量連接為一個(gè)大的向量，然后計(jì)算兩個(gè)大向量之間的相關(guān)性，即他們之間 夾角的余弦值。實(shí)驗(yàn) iii 和 iv 中則分別計(jì)算了每個(gè)子塊的相關(guān)性，降序排序后 取前 %的子塊的夾角余弦的總和作為兩幅圖像的相似度度量。 得到的識(shí)別率分別對(duì) 應(yīng)于表 31 中的 4 行數(shù)據(jù) 20 哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 表 31 FERET 人臉庫(kù)中 4 個(gè)測(cè)試庫(kù)上的 4 種實(shí)驗(yàn)得到的識(shí)別率 Table 31 The recognition rates of four test sets in FERET in four experiments respectively Fb Fc Dup I Dup II 實(shí)驗(yàn) 實(shí)驗(yàn) 實(shí)驗(yàn) 實(shí)驗(yàn) i ii iii iv 從實(shí)驗(yàn)結(jié)果中我們可以看出 4種實(shí)驗(yàn)在 FERET人臉庫(kù) 4個(gè)測(cè)試集合上的最好 識(shí)別率都在實(shí)驗(yàn) iii中得到。 實(shí)驗(yàn) iii比實(shí)驗(yàn) iv的識(shí)別性能有很明顯的提高，說明采用上述