【正文】 的核矩陣。K（3） 對(duì) 作特征值分解，得到 和 ，即特征值與相應(yīng)的單位特征Ki???1,?量，將特征值從大到小排列，取前 D 個(gè)特征向量，并令 ，記降維矩??1,???陣為 。在一定的距離測(cè)度下， 越大，i ， j 兩,ijS ,j個(gè)類具有越大的類間邊緣，兩個(gè)類具有越好的可分性。高維特征空間 H 上的訓(xùn)練樣本的類內(nèi)散布矩陣 ，類間散布wS?矩陣 和總體散布矩陣 分別定義為bStS安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）\* MERGEFORMAT (429)??1CTibiiNSm??????\* MERGEFORMAT (430)?i iwjijiijXm??\* MERGEFORMAT (431)tbwS???其中 。ji NNCi iji jij jim???特征空間 H 上最大間距準(zhǔn)則（MMC）函數(shù)為\* MERGEFORMAT (432)?1axdTjbwjjJWS?????其中 為特征空間內(nèi)的任意非零矢量，目的是基于準(zhǔn)??12,.,LdLdiWwRw??則式（432 ）最大的情形下，在特征空間 H 上尋找一組最優(yōu)鑒別矢量 ，并以12,.dw此構(gòu)成投影矩陣進(jìn)行鑒別特征提取。李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)類 2 類 1類 4類 3圖 41 二維空間中的四個(gè)類及其邊緣距離MMC 方法的求解MMC 特征提取中，我們希望尋找一組最佳投影方向 W，使得投影后的平均類間邊緣 最大，在投影后的低維空間，樣本具有更好的可分性，投影后的類間邊緣可表示D為\* MERGEFORMAT (427)??????t tBWBwBwtrSrSS??????最佳投影方向 可由下式給出MC\* MERGEFORMAT (428)argmxtC求解（428 ）式也就是求解 的特征值和特征向量， 是 的前 mBwSMCWBwS個(gè)特征值對(duì)應(yīng)的特征向量，這與 PCA 方法求解特征值和特征向量的方法相同。最大類間邊緣準(zhǔn)則是基于特征空間的類間散度與類內(nèi)散度的差的最大化，其目的是尋求一組最佳鑒別矢量為投影軸進(jìn)行投影變換，使得特征空間樣本的類間散度最大，類內(nèi)散度最小。KPCA 的實(shí)現(xiàn)對(duì)核空間中的總體樣本協(xié)方差陣 作特征值分解：tS?\* MERGEFORMAT (410)??w?式中的 N 是樣本容量。iix??????將核空間中的樣本中心化，即令 ，并記??iix???安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文），則核空間中的總體樣本協(xié)方差陣????12,.NXxx??????\* MERGEFORMAT (43)??????1 11NTTTt ii iii iS xX? ??????????核空間中的 PCA 通過(guò)最大化總體離散度 獲得最佳的投影方向 w，即最大化如下的準(zhǔn)tC?則函數(shù)：\* MERGEFORMAT (44)??TKPAtJwS?最大化準(zhǔn)則函數(shù) 需要對(duì) 作特征分解，但由于核空間的維數(shù)高，這個(gè)過(guò)??KPCAJt?程難以實(shí)現(xiàn)。這兩種方法最終都?xì)w結(jié)為求解廣義特征值問(wèn)題，但是它們都是非監(jiān)督學(xué)習(xí)，因此不利于模式分類。\* MERGEFORMAT (314)????2exp0?????????????ijjkijkjotherwisxNorxijS其中 t 是一個(gè)大于 0 的常量。 流行學(xué)習(xí)算法的幾個(gè)線性化算法上節(jié)中介紹的等度映射、局部線性嵌入和拉普拉斯映射在將數(shù)據(jù)可視化時(shí)，表現(xiàn)出了很多優(yōu)點(diǎn)。由此，我們就可以利用核函數(shù)構(gòu)造數(shù)據(jù)集在其特征空間的協(xié)方差矩陣，并求取出在映射空間的結(jié)構(gòu)。如果說(shuō)點(diǎn) i 和點(diǎn) j 是鄰域點(diǎn)，則兩點(diǎn)間的權(quán)值設(shè)為 1，否則設(shè)為 李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)0。拉普拉斯算子定義成為流形切空間上梯度向量之間的負(fù)散度函數(shù)，流形的最優(yōu)嵌套同時(shí)可通過(guò)求拉普拉斯算子的特征函數(shù)來(lái)實(shí)現(xiàn)。在發(fā)現(xiàn)人臉數(shù)據(jù)集和手勢(shì)數(shù)據(jù)集的內(nèi)在維數(shù)方面上，ISOMAP 算法均取得了一定的成果。圖 31 歐式距離（虛線） ，測(cè)地線距離和最短路徑距離比較算法分成以下兩種情況來(lái)處理：(l)當(dāng)兩個(gè)樣本點(diǎn)之間離得很近(k 近鄰或?yàn)?ε 鄰域 )時(shí)，直接用它們的歐氏距離近似測(cè)地距離。分類問(wèn)題可描述為：給定分別屬于 J 類的 n 個(gè)數(shù)據(jù)樣本 ， 表??12,.nXx?jC示第 j 類元素構(gòu)成的集合， 表示屬于 j 類的元素的個(gè)數(shù)，用 表示第 j 類jn ijjiCu??的均值， μ 表示整體樣本的均值。這樣就可以在盡可能少損失原有信息數(shù)據(jù)的基礎(chǔ)之上，降低數(shù)據(jù)的維度，提高運(yùn)算的效率。但是在實(shí)際應(yīng)用中遇到的往往又是高維非線性對(duì)象，比如人臉，因此尋找有效的非線性方法成了迫切的問(wèn)題，非線性方法的最大特點(diǎn)就是沒有顯式的降維變換。 本章小結(jié)本章對(duì)人臉識(shí)別技術(shù)作了簡(jiǎn)單的概述，分別從基于幾何特征的方法、基于彈性圖匹配的方法、基于神經(jīng)網(wǎng)絡(luò)的方法和基于子空間的方法四大類進(jìn)行了介紹，由于子空間算法的一些優(yōu)點(diǎn)，特別對(duì)基于核方法的人臉識(shí)別技術(shù)進(jìn)行詳細(xì)說(shuō)明。核方法的最主要思想就是利用一個(gè)非線性映射，把原來(lái)空間的數(shù)據(jù)映射到了一個(gè)隱性高維特征空間，然后在這個(gè)隱性高維特征空間中對(duì)數(shù)據(jù)進(jìn)行全面分析。正因?yàn)槿绱?，核方法常被認(rèn)為是一種非線性技巧，稱為“核技巧” 。Moghaddam 等提出了貝葉斯人臉識(shí)別方法，提出了一種基于概率的圖像相似度的度量方法，他們將人臉圖像之間的差異分成兩類：類間差異(就是不同人的人臉圖像之間的差異) 和類內(nèi)差異( 就是同一個(gè)人的不同人臉圖像之間的差異)。算法采用了具有 5 個(gè)狀??21態(tài)的左右型 HMM 模型。 基于模板匹配的方法Brunelli 采用了模板匹配的方法，實(shí)驗(yàn)結(jié)果表明在尺度、光照、旋轉(zhuǎn)角度等各種條件穩(wěn)定的情況下，模板匹配的效果優(yōu)于其它方法，但是由于它對(duì)光照、旋轉(zhuǎn)和表情變化比較敏感，這在一定程度上也就影響了它的性能和直接使用。神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別中存在一定的優(yōu)勢(shì)，因?yàn)閷?duì)人臉識(shí)別安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）的許多規(guī)律或規(guī)則進(jìn)行描述是比較困難的，而神經(jīng)網(wǎng)絡(luò)方法則可以通過(guò)反復(fù)學(xué)習(xí)的過(guò)程對(duì)這些規(guī)則進(jìn)行表達(dá)，它的使用性比較強(qiáng)，而且也比較容易實(shí)現(xiàn)。Buhmann ，Lades 等 針對(duì)畸變不變性的物體識(shí)別提出了動(dòng)態(tài)連接結(jié)構(gòu)模型??10??1(Dynamic Link Architecture，DLA) ，將物體的圖像用稀疏網(wǎng)格來(lái)表達(dá)，通過(guò)局部能量譜的多分辨率描述來(lái)標(biāo)注圖形上的一些節(jié)點(diǎn)，用幾何距離向量來(lái)標(biāo)注連線。Brunelli 等 利用改進(jìn)的積分投影法提取出用歐氏距離表示的 35 維人臉特征矢量??3來(lái)進(jìn)行人臉識(shí)別。具體章節(jié)安排如下：第 1 章：首先介紹了論文的研究背景 、國(guó)內(nèi)外研究現(xiàn)狀和論文的章節(jié)安排。其中有些是說(shuō)視覺直接感受到的自然特征，如區(qū)域的亮度、邊緣的輪廓、圖像的紋理等，有些則是需要通過(guò)變換或測(cè)量才能都得到的人為特征。同時(shí)由于人臉模式的多樣性和圖像獲取過(guò)程中的不確定性，比如人臉是一類具有相當(dāng)復(fù)雜的細(xì)節(jié)變化的自然結(jié)構(gòu)目標(biāo)，主要是：第一、人臉由于外貌、膚色、表情等方面不同，具有模式的可變性；第二、人臉可能存在眼鏡、胡須等附屬物；第三、作為三維物體的人臉的影像不可避免地受由光照產(chǎn)生的陰影的影響。使得對(duì)后續(xù)的工作有利。所以確切的來(lái)講，人臉識(shí)別至少要包括兩個(gè)方面的任務(wù)：復(fù)雜背景下人臉的定位和分割，以及人臉的鑒別。3．人臉鑒別：通過(guò)將待識(shí)別的人臉與數(shù)據(jù)庫(kù)中的己知人臉比較，得出比對(duì)信息。在這些條件約束下來(lái)獲取圖像，可簡(jiǎn)化人臉?lè)指詈妥R(shí)別算法。公安部門通常在檔案系統(tǒng)中存儲(chǔ)有嫌疑犯的照片，可以從數(shù)據(jù)庫(kù)里迅速查找確認(rèn)，這就大大提高了刑偵破案的準(zhǔn)確性和效率。3)動(dòng)態(tài)跟蹤人臉識(shí)別階段：這是人臉識(shí)別研究的實(shí)用化階段，從二十世紀(jì)九十年代末開始，特別是””事件促進(jìn)了動(dòng)態(tài)人臉跟蹤技術(shù)的快速發(fā)展，同時(shí)也促進(jìn)了其他生物特征識(shí)別技術(shù)的發(fā)展。與其它生物特征相比，人臉具有很強(qiáng)的自身穩(wěn)定性和個(gè)體差異性，人臉識(shí)別更為直接、友好、符合人類認(rèn)知習(xí)慣、容易被人接受，因此有著廣闊的應(yīng)用前景。目前尚沒有很好的描述人臉的三維模型。在公安部門、海關(guān)部門、視頻會(huì)議、小區(qū)和銀行監(jiān)控等領(lǐng)域有著很高的應(yīng)用價(jià)值。近幾年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)人臉識(shí)別技術(shù)做了大量研究。入口控制的范圍比較廣泛，它可能是設(shè)在需要的地方進(jìn)行安全檢查，也可能是計(jì)算機(jī)系統(tǒng)或情報(bào)系統(tǒng)的入口控制。這方面應(yīng)用的難點(diǎn)是需要實(shí)時(shí)處理。5．生理分類：通過(guò)分析待識(shí)別人臉的生理特征，得出其年齡、性別等相關(guān)信息。普通證件照片上的頭部占據(jù)了照片中央的大部分地方，定位也較容易。在人臉數(shù)據(jù)庫(kù)里預(yù)先存放了己知的人臉圖像或有關(guān)的特征值，決策分類的目的就是將待識(shí)別的圖像或特征與庫(kù)中的進(jìn)行匹配。但是人類視覺系統(tǒng)可以認(rèn)識(shí)的圖像如何能讓計(jì)算機(jī)系統(tǒng)也能識(shí)別呢? 其中的關(guān)鍵就在于找到目標(biāo)的特征。人臉識(shí)別在進(jìn)行人臉識(shí)別匹配時(shí)，不僅要考慮各種因素所導(dǎo)致的人臉微笑變形，而且在容忍變形的時(shí)候，同時(shí)還不能損害到人臉識(shí)別的有效性。第 4 章: 學(xué)習(xí)和研究了基于核間距最大準(zhǔn)則算法，分別從算法的思想和實(shí)驗(yàn)結(jié)果來(lái)進(jìn)行說(shuō)明。Yuile 和 Jain 等7利用可變形模板模型來(lái)提取眼睛和嘴巴的輪廓進(jìn)行人臉識(shí)別。他們采用每個(gè)基準(zhǔn)點(diǎn)存儲(chǔ)一串具有代表性的特征矢量，大大減少了系統(tǒng)的存儲(chǔ)量和計(jì)算量。然而這種網(wǎng)絡(luò)的識(shí)別效果并不是很理想。如果用彈性模板方法提取特征可以顯示出其獨(dú)到的優(yōu)越性。 基于貝葉斯網(wǎng)絡(luò)的人臉識(shí)別Moghaddam 等建立了一套完整的人臉統(tǒng)計(jì)模型，即建立出了兩種概率模型 ：??21在第一種模型中，所用的人臉圖像是在以特征臉為基的空間(為方便起見，簡(jiǎn)稱為人臉空間) 中的概率由一個(gè)高維高斯分布估計(jì)，而該人臉空間的補(bǔ)空間中說(shuō)的概率也由一個(gè)高維高斯分布估計(jì)，最終的概率是由以上兩個(gè)概率密度函數(shù)的乘積來(lái)確定。目前貝葉斯算法的主要問(wèn)題存在于類間差異的訓(xùn)練圖像較難選取和識(shí)別算法的效率不是很高，這在使用大型人臉圖像庫(kù)的時(shí)候就尤為突出。但是,PCA 法只考慮了圖像數(shù)據(jù)中的二階統(tǒng)計(jì)信息,未能利用數(shù)據(jù)中的高階統(tǒng)計(jì)信息,忽略了多個(gè)像素間的非線性相關(guān)性。安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）Yang 等人將 KPCA 和 Eigenface、ICA 進(jìn)行了比較，結(jié)果表明 KPCA 算法能更有地效描述人臉的復(fù)雜變化，具有一定的優(yōu)越性。降維就是將高維數(shù)據(jù) 根據(jù)一定的目標(biāo)和準(zhǔn)則尋找一個(gè)變換：??12,.DnXxR?? \* MERGEFORMAT (31):df?把原始數(shù)據(jù) X 變換為低維子空間 中的點(diǎn) y,其中 dD。本章主要對(duì)目前所存在的降維技術(shù)進(jìn)行簡(jiǎn)單介紹。丟掉那些方差較小的分量，就是要將原數(shù)據(jù)投影到由前 d 個(gè)最大的主成分張成的線性子空間上，從而來(lái)降低數(shù)據(jù)的維數(shù)。此時(shí)，F(xiàn)isher 準(zhǔn)則可修正為：\* MERGEFORMAT (37)??12argmx,.TBopt dwSW??其中，\* MERGEFORMAT (38)??1JTBjjnu???李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)\* MERGEFORMAT (39)??1ijJ TwijijjxCSuxn????這里 就是對(duì)應(yīng)于矩陣 的前 d 個(gè)最大特征值的特征向量，求解出??12,.dwwBS下面的特征值問(wèn)題就可以求出最優(yōu)投影方向 ：??12,.\* MERGEFORMAT (310)Biii?求出特征向量 之后，測(cè)試樣本在這些特征向量上的投影系數(shù)也就是??12,.d對(duì)測(cè)試樣本所提取出的特征向量，即低維嵌入坐標(biāo)。ISOMAP 算法的步驟如下：Step1：建立出加權(quán)鄰接圖 G 。但是在低維流形和光滑嵌入映射的局部線性性質(zhì)都只是一種假設(shè)，在大部分情況下都不能夠嚴(yán)格成立。算法共分三步，描述如下：12kY,.Step1：構(gòu)造出鄰域圖。然后通過(guò)求出這些特征值對(duì)應(yīng)的特征向量，再取這些特征向量的前 d 個(gè)分量作為嵌入低維空間上的流形映射。另外由于核的采用和對(duì)樣本的依賴性，KPCA 還可以研究數(shù)據(jù)集的高階相關(guān)性。本節(jié)主要對(duì) LPP 算法進(jìn)行詳細(xì)介紹，也為以后所提算法奠定了基礎(chǔ)。 本章小結(jié)本章對(duì)目前較著名的一些降維算法進(jìn)行了簡(jiǎn)單介紹，從線性算法和非線性算法兩方面出發(fā)，介紹了主成分分析、線性判別分析、等度映射、局部線性嵌入、拉普拉斯映射、核方法和局部保持算法。在本章中，考慮樣本的局部信息，同時(shí)考慮樣本的類別信息，運(yùn)用核技巧將算法非線性化，學(xué)習(xí)和研究基于核間距最大準(zhǔn)則算法，并在 ORL、Yale 人臉庫(kù)上驗(yàn)證了算法的性能。這樣，尋找最優(yōu)的投影方向 w 就轉(zhuǎn)化為??12,.TN??尋找最優(yōu)的線性組合系數(shù) 。由于1Tw?\* MERGEFORMAT (414)??TTX??所以組合系數(shù)應(yīng)滿足的條件為\* MERGEFORMAT (415)1???其中 是特征向量 所對(duì)應(yīng)的特征值。BSTS\* MERGEFORMAT (417)??1ic tWiiixDm????\* MERGEFORMAT (418)c tBiii\* MERGEFORMAT (419)??1NtTTkkSxuX??其中 c 為類別數(shù)目， 為第 i 類的樣本均值向量， 為第 i 類的樣本集合， 為其中imi iN的樣本數(shù)目，且有，m 為所有樣本的均值向量。 KMMC 算法核最大間距準(zhǔn)則 設(shè) C 為模式類別數(shù)， 表示原輸入空間的第 i 類的第 j 個(gè)訓(xùn)練樣本，其中injXR?， 表示第 i 類訓(xùn)練樣本的數(shù)目， 。如果設(shè)高維特征空間 H 中所有 N 個(gè)訓(xùn)練樣本表示為，根據(jù)再生核理論，式（432）的解矢量 w 一定位于高維特征????12,.NXX??空間 H 中的 N 個(gè)訓(xùn)練樣本矢量 所張成的空間內(nèi)，即????12,.NX??\* MERGEFO