【正文】 在高維特征空間 H 中尋找最優(yōu)鑒別矢量，需要得到i僅包含核函數(shù)的準(zhǔn)則函數(shù)形式。ji NNCi iji jij jim???特征空間 H 上最大間距準(zhǔn)則（MMC）函數(shù)為\* MERGEFORMAT (432)?1axdTjbwjjJWS?????其中 為特征空間內(nèi)的任意非零矢量，目的是基于準(zhǔn)??12,.,LdLdiWwRw??則式（432 ）最大的情形下，在特征空間 H 上尋找一組最優(yōu)鑒別矢量 ，并以12,.dw此構(gòu)成投影矩陣進(jìn)行鑒別特征提取。高維特征空間 H 上的訓(xùn)練樣本的類內(nèi)散布矩陣 ，類間散布wS?矩陣 和總體散布矩陣 分別定義為bStS安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）\* MERGEFORMAT (429)??1CTibiiNSm??????\* MERGEFORMAT (430)?i iwjijiijXm??\* MERGEFORMAT (431)tbwS???其中 。經(jīng)過,2.。在一些限制條件下，MMC 方法與 LDA 方法是相同的，可以由 MMC 方法推導(dǎo)出LDA 方法。李亞龍： 基于核化 MMC 的人臉識別系統(tǒng)類 2 類 1類 4類 3圖 41 二維空間中的四個類及其邊緣距離MMC 方法的求解MMC 特征提取中，我們希望尋找一組最佳投影方向 W，使得投影后的平均類間邊緣 最大，在投影后的低維空間，樣本具有更好的可分性，投影后的類間邊緣可表示D為\* MERGEFORMAT (427)??????t tBWBwBwtrSrSS??????最佳投影方向 可由下式給出MC\* MERGEFORMAT (428)argmxtC求解（428 ）式也就是求解 的特征值和特征向量， 是 的前 mBwSMCWBwS個特征值對應(yīng)的特征向量，這與 PCA 方法求解特征值和特征向量的方法相同。在一定的距離測度下， 越大，i ， j 兩,ijS ,j個類具有越大的類間邊緣，兩個類具有越好的可分性。定義兩類樣本 i， j 之間的邊緣距離為安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）\* MERGEFORMAT (420)????,ijdijmdij??其中 是兩類樣本均值之間的距離， ， 分別是 i， j 類內(nèi)樣本點(diǎn)到各自??,ijdm類內(nèi)中心的平均距離。給定 N 維空間 c 類訓(xùn)練樣本， ，樣本 X 的類內(nèi)散度矩陣 、類??12,.NXx? WS間散度矩陣 、總體散度矩陣 分別由式（417） （418） （419）給出。最大類間邊緣準(zhǔn)則是基于特征空間的類間散度與類內(nèi)散度的差的最大化，其目的是尋求一組最佳鑒別矢量為投影軸進(jìn)行投影變換，使得特征空間樣本的類間散度最大，類內(nèi)散度最小。K（3） 對 作特征值分解，得到 和 ，即特征值與相應(yīng)的單位特征Ki???1,?量，將特征值從大到小排列，取前 D 個特征向量，并令 ，記降維矩??1,???陣為 。??綜上所述，KPCA 的實(shí)施步驟可歸納如下：（1） 針對訓(xùn)練集 S，給定一個核函數(shù) k。?由于投影軸 w 主要用來表示投影方向，因此一般要求 。KPCA 的實(shí)現(xiàn)對核空間中的總體樣本協(xié)方差陣 作特征值分解：tS?\* MERGEFORMAT (410)??w?式中的 N 是樣本容量。其次，將式（46）代入準(zhǔn)則函數(shù)式（44）中，并結(jié)合式（43） ，有\(zhòng)* MERGEFORMAT (48)??????221T TT TKPCAt tJwSXSXKN???????????????其中 ??TTNNEE?????????\* MERGEFORMAT (49)NKK?K 為式（ 410）定義的核矩陣。首先將公司(46)代入降維變換式(41) 中，有??????TTT TNywxxxE???????????\* MERGEFORMAT (47),NkXEk????其中 ， 為元素 的 N 階矩陣。2. 核函數(shù)表示由于最大化 就是對 作特征值分解，w 就是 的特征向量，因此有??KPCAJtS? tS?\* MERGEFORMAT (45)????11NNTTt ii iii ixxw??????????????這說明，投影方向 w 是核空間中的中心化數(shù)據(jù)的線性組合，因此可令\* MERGEFORMAT (46)1NiiX????其中 是線性組合系數(shù)。iix??????將核空間中的樣本中心化，即令 ，并記??iix???安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文），則核空間中的總體樣本協(xié)方差陣????12,.NXxx??????\* MERGEFORMAT (43)??????1 11NTTTt ii iii iS xX? ??????????核空間中的 PCA 通過最大化總體離散度 獲得最佳的投影方向 w，即最大化如下的準(zhǔn)tC?則函數(shù)：\* MERGEFORMAT (44)??TKPAtJwS?最大化準(zhǔn)則函數(shù) 需要對 作特征分解，但由于核空間的維數(shù)高，這個過??KPCAJt?程難以實(shí)現(xiàn)。????1,n????????1212,.,.N nxXxx????????1. 核空間中的 PCA在核空間中作子空間降維變換，即\* MERGEFORMAT (41)Tyw降維變換也稱為投影變換，w 就是投影方向。 算法推導(dǎo) KPCA 算法現(xiàn)設(shè)有訓(xùn)練集 ，核映射 將它們映射到核空間 F 中，核空間中的12:,.NSxX??訓(xùn)練集為 。同時線性判別分析在實(shí)際操作中會遇到小樣本問題，即類內(nèi)矩陣往往是奇異的。這兩種方法最終都?xì)w結(jié)為求解廣義特征值問題，但是它們都是非監(jiān)督學(xué)習(xí)，因此不利于模式分類。為了解決這些問題，本章學(xué)習(xí)和研究基于核方法的最大間距準(zhǔn)則算法。根據(jù)相關(guān)的文獻(xiàn)，核方法具有很多優(yōu)點(diǎn)，接下去的一章針對 KPCA、MMC ，學(xué)習(xí)和研究了改進(jìn)算法 KMMC。由于算法本身并沒有考慮樣本類別信息，鑒于此許多學(xué)者通過增加樣本類別信息、正交化基向量以及加入核函數(shù)來改進(jìn) LPP 算法。\* MERGEFORMAT (314)????2exp0?????????????ijjkijkjotherwisxNorxijS其中 t 是一個大于 0 的常量。,12.,?TjjyWxl已知存在 l 個訓(xùn)練樣本 ,令 為 的 k 個近鄰點(diǎn)。LPP 是一種新的子空間分析方法，它是非線性方法 LE 的線性近似。為了解決這一問題，HE 等人提出了 LPP（locality preservingprojection）保局算法和 NPE（neighborhood preserving embedding）領(lǐng)域保持嵌入，其中 LPP 就是拉普拉斯映射的線性化版本，NPE 是局部線性嵌入的線性化版本。 流行學(xué)習(xí)算法的幾個線性化算法上節(jié)中介紹的等度映射、局部線性嵌入和拉普拉斯映射在將數(shù)據(jù)可視化時，表現(xiàn)出了很多優(yōu)點(diǎn)。核線性判別分析的思想同 KPCA，楊健等人已證明它是等同于在 KPCA 之后運(yùn)再用 LDA。從某種意義來看，這也使得我們有可能在數(shù)據(jù)集的觀測空間維數(shù)較低意義下，能夠獲得較高維淹沒子流形的特征分析。由于其運(yùn)用了非線性映射，且這種非線性映射通常非常復(fù)雜，從而大大增強(qiáng)了非線性數(shù)據(jù)處理能力。由此，我們就可以利用核函數(shù)構(gòu)造數(shù)據(jù)集在其特征空間的協(xié)方差矩陣，并求取出在映射空間的結(jié)構(gòu)。還要研究數(shù)據(jù)集在特征空間的性質(zhì)，一般都需要構(gòu)造映射函數(shù)。 基于核技巧的非線性降維算法借助于支持向量機(jī)理論，研究者們提出了通過核技巧，先將數(shù)據(jù)映射到了高維非線性數(shù)據(jù)，然后在該空間中進(jìn)行線性降維，具有代表性的算法是 KPCA 和 KLDA。由第二步所求得的權(quán)值矩陣 是一個 DD 維的矩陣，對于該矩陣所求特征值并且把求得的特征值升序排列。如果說點(diǎn) i 和點(diǎn) j 是鄰域點(diǎn)，則兩點(diǎn)間的權(quán)值設(shè)為 1，否則設(shè)為 李亞龍： 基于核化 MMC 的人臉識別系統(tǒng)0。仍然有兩種方法可以構(gòu)造權(quán)值矩陣：(1) 熱核法。如果說點(diǎn) i 和點(diǎn) j 是鄰域點(diǎn)則要將兩點(diǎn)連接，那么有兩種方法(ε 鄰域和 k 近鄰法)來尋找一個點(diǎn)的鄰域點(diǎn)。對于 D 維空間中所說的 k 個點(diǎn)所構(gòu)成的高維數(shù)據(jù)集 ，要想將其嵌入到12,.kXd 維空間中去，得到 d 維空間中的 k 個點(diǎn) 。拉普拉斯算子定義成為流形切空間上梯度向量之間的負(fù)散度函數(shù)，流形的最優(yōu)嵌套同時可通過求拉普拉斯算子的特征函數(shù)來實(shí)現(xiàn)。 拉普拉斯映射2022 年 Belkin 提出了拉普拉斯特征映射算法。另外加上數(shù)據(jù)中的噪音等，這種線性一般情況下都會有誤差。從而使得低維流形在觀測空間中的像在局部也就是線性的，觀測空間中的每個數(shù)據(jù)點(diǎn)都是可以用它的近鄰點(diǎn)來進(jìn)行線性表示，而且也具有與在低維流形上的原像點(diǎn)相同的線性結(jié)構(gòu)，即低維流形上的每個點(diǎn)都可以用其近鄰點(diǎn)線性表示的權(quán)重與它們在高維空間中的線性表示權(quán)重相同。在發(fā)現(xiàn)人臉數(shù)據(jù)集和手勢數(shù)據(jù)集的內(nèi)在維數(shù)方面上，ISOMAP 算法均取得了一定的成果。????,GDdij?安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）Step3：然后用 MDS 求低維嵌入坐標(biāo)，記\* MERGEFORMAT (311)????21,ijij ijijHSDN??????????則所求出的 d 維嵌入坐標(biāo)由 的最大的 d 個特征值所一一對應(yīng)的特征向量就給D?出了。主要有以下兩種方法確定鄰接圖的邊，ε 鄰域和k 近鄰，并且用以數(shù)據(jù)點(diǎn)間的歐氏距離作為邊上的權(quán)重。經(jīng)過數(shù)學(xué)的推導(dǎo)，算法將低維嵌入坐標(biāo)的求解轉(zhuǎn)化成為矩陣的特征值方面的問題。圖 31 歐式距離（虛線） ，測地線距離和最短路徑距離比較算法分成以下兩種情況來處理：(l)當(dāng)兩個樣本點(diǎn)之間離得很近(k 近鄰或?yàn)?ε 鄰域 )時，直接用它們的歐氏距離近似測地距離。 等度映射Tenenbaum 和 Silva 于 2022 年提出了等距映射(ISOMAP)算法。LDA 算法也就是求出一個線性子空間，使得所有樣本在這個子空間中，類內(nèi)樣本散度能夠最小，類間樣本的散度能夠最大，因此 LDA 降維后得到的低維嵌入坐標(biāo)非常有利于進(jìn)行樣本的分類。同時可將其推廣到多類問題上，此時希望找到的優(yōu)化投影方向就是使得在低維空間中同類數(shù)據(jù)能夠盡量靠近，不同的類數(shù)據(jù)要能夠盡量分離，從而保留下豐富的辨別信息，使投影后的數(shù)據(jù)能夠具有最大的可分性。分類問題可描述為：給定分別屬于 J 類的 n 個數(shù)據(jù)樣本 ， 表??12,.nXx?jC示第 j 類元素構(gòu)成的集合， 表示屬于 j 類的元素的個數(shù)，用 表示第 j 類jn ijjiCu??的均值， μ 表示整體樣本的均值。 線性判別分析PCA 就是無監(jiān)督的降維方法，所尋求的是在線性重構(gòu)誤差最小意義下計(jì)算的最優(yōu)子空間。即\* MERGEFORMAT (33)??TdY??其中 是矩陣 U 中對應(yīng)于 Λ 里最大 d 個特征值的特征向量，為低維空間?1,.TddUu?中的數(shù)據(jù)表達(dá)。主成分變1,.Ddiag?? ??安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）換為：\* MERGEFORMAT (32)??TYUX??得到了一個新的數(shù)據(jù)集 ，它的均值為 0，協(xié)方差矩陣即為對角陣 Λ 這樣就??1niy直接去除掉了原來變量間的相關(guān)性。這樣就可以在盡可能少損失原有信息數(shù)據(jù)的基礎(chǔ)之上，降低數(shù)據(jù)的維度，提高運(yùn)算的效率。PCA 的基本思想就是：將數(shù)量眾多的原始上的相關(guān)變量轉(zhuǎn)換為數(shù)量較少的不相關(guān)變量。 線性降維算法線性降維方法就是尋找高維數(shù)據(jù)中的線性變換，具有計(jì)算簡單，易理解，處理線性結(jié)構(gòu)的數(shù)據(jù)時非常有效。而局部算法只考慮某一領(lǐng)域內(nèi)數(shù)據(jù)之間的關(guān)系，具體可以通過 K 近鄰 KNN 和 ε 半圓法，大多數(shù)的流形算法都是局部算法，比如等度映射和局部線性嵌入算法。但是在實(shí)際應(yīng)用中遇到的往往又是高維非線性對象，比如人臉，因此尋找有效的非線性方法成了迫切的問題，非線性方法的最大特點(diǎn)就是沒有顯式的降維變換。而在有監(jiān)督學(xué)習(xí)中，輸入數(shù)據(jù)之外，還有一個類別信息，在降維時，利用提供出的類別信息，使得同類的樣本聚類地更加接近，而不同類的樣本分得越開， 如線性判別分析 LDA。可以從不同角度將降d維算法分類：有監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，線性和非線性算法，全局和局部算法。一方面它們能為人們提供出更完整的信息，另一方面它們會導(dǎo)致維數(shù)災(zāi)難問題，即所處理的樣本數(shù)要隨著維數(shù)的增加呈指數(shù)方式增長，這就給人們進(jìn)行數(shù)據(jù)處理帶來了很大困難，因此需要對原始數(shù)據(jù)進(jìn)行降維，提取有效特征。 本章小結(jié)本章對人臉識別技術(shù)作了簡單的概述，分別從基于幾何特征的方法、基于彈性圖匹配的方法、基于神經(jīng)網(wǎng)絡(luò)的方法和基于子空間的方法四大類進(jìn)行了介紹，由于子空間算法的一些優(yōu)點(diǎn)，特別對基于核方法的人臉識別技術(shù)進(jìn)行詳細(xì)說明。為了避免模式識別中的小樣本問題，Li 等人提出了一種基于最大間距準(zhǔn)則(maximum margin criterion, MMC)的特征抽取方法，并且用核方法拓廣到非線性情形。在人臉圖像識別領(lǐng)域存在著大量的典型的小樣本問題，在該類問題中，類內(nèi)散布矩陣通常是奇異的。目前己經(jīng)是成功應(yīng)用于人臉識別領(lǐng)域方面的有核主成分分析(KPCA)、核線性判別分析(KLDA) 等方法。核方法的最主要思想就是利用一個非線性映射，把原來空間的數(shù)據(jù)映射到了一個隱性高維特征空間，然后在這個隱性高維特征空間中對數(shù)據(jù)進(jìn)行全面分析。線性子空間方法實(shí)際上就是將這些非線性的變化進(jìn)行了線性簡化。研究表明,一幅圖像的高階統(tǒng)計(jì)往往包含了圖像邊緣或曲線的多個像素間的非線性關(guān)系。Turk 等人提出了經(jīng)典的特征臉,利用主元分析(PCA)進(jìn)行人臉特征提取,并取得了較好的效果。正因?yàn)槿绱?，核方法常被認(rèn)為是一種非線性技巧，稱為“核技巧” 。 20 世紀(jì) 90 年代中期，隨著支持向量機(jī)[Vapnik 1995]的提出