【正文】 ???11。對(duì)于一個(gè) c 類問題，顯然當(dāng)平均類間邊緣大時(shí)，c 類問題顯然具有更好的可分性，定義平均類間邊緣\* MERGEFORMAT (421)??21,cijijDNd??代入 ，整理得??,dij\* MERGEFORMAT (422)????2 21 1,c cijij ijij ijNdmidj? ???引入歐式距離\* MERGEFORMAT (423)?,tijiim\* MERGEFORMAT (424)?tdrS類間散布矩陣\* MERGEFORMAT (425)??21c tBijiiijSN???將（423 ） （424） （425）代入（422 ）式得????2 21 1c ctijii ijijij ijDNmNtrSt? ???\* MERGEFORMAT (426)??BwBWrStrS?圖 41 直觀上說(shuō)明了二維空間中的四類問題，假設(shè)四個(gè)類樣本個(gè)數(shù)相同，類內(nèi)均值分別為 ，類內(nèi)方差均為???1234,uuum?，則平均類間邊緣 ，如圖中虛線20,bwSSm?????????? ???21bwDtrS????所示。??12,.DQ??（4） 對(duì)于任一樣本向量 x，通過 KPCA 降維后的數(shù)據(jù)為\* MERGEFORMAT (416)??,TyQkXx? MMC 方法MMC 方法的提出LDA 方法應(yīng)用于人臉識(shí)別特征提取中存在小樣本問題，雖然解決小樣本問題的方法不斷提出，然而并沒有改變小樣本問題存在的根本，近年來(lái)，Li 等人提出了一種新的基于最大類間邊緣準(zhǔn)則的 MMC 方法，從根本上解決了 LDA 方法小樣本問題。這樣，準(zhǔn)則函數(shù)也可由核函數(shù)表示。降維后數(shù)據(jù)的總體離散度為\* MERGEFORMAT (42)????1 1NNT TTtii ii ti iCyxwS? ????????????? ???其中 是核空間中的樣本均值。 引言在第 3 章中，已經(jīng)詳細(xì)介紹了主成分分析、線性判別分析和保局算法等主要的數(shù)據(jù)降維算法，其中主成分分析通過最大化 n 維樣本的總體散布獲得由總體散布矩陣的前 l(l n)個(gè)最大特征值對(duì)應(yīng)的主元特征向量張成的低維線性子空間，保局算法通過保持投影前后樣本的相鄰關(guān)系獲得從 n 維圖像空間到 l 維特征空間的變換矩陣。變換矩陣 W??1??lmiXxR??kiNxi就可以通過最小化如下目標(biāo)函數(shù)來(lái)得到：\* MERGEFORMAT (313)2,in????????TijijjWS其中 S 是權(quán)值矩陣可采用 k 近鄰方法來(lái)確定。主要的算法步驟為：首先是通過一個(gè)非線性映射函數(shù) ，將原空:DRF?間 中每一個(gè)向量 x 映射到了一個(gè)高維特征空間 F 中(特征空間的維數(shù)可以是無(wú)窮大)，DR在特征空間中，向量 ，然后再在高維特征空間 F 中進(jìn)行線性 LDA，而相對(duì)???于原空間而言，就是進(jìn)行非線性的 LDA。核函數(shù)的優(yōu)點(diǎn)是，可以讓數(shù)據(jù)集在其特征空間的度量性質(zhì)在原來(lái)的空間中實(shí)現(xiàn)，同時(shí)又無(wú)需要顯式描述特征空間同時(shí)給出明確映射函數(shù)。該方法是在受到熱核理論的啟發(fā)而得出的，如果說(shuō)點(diǎn) i 和點(diǎn) j 是鄰域點(diǎn)，則兩點(diǎn)間的權(quán)值設(shè)為：\* MERGEFORMAT (312)2expijijWt????????(2)簡(jiǎn)單權(quán)值法。與 LLE 算法類似，該算法是假設(shè)在高維空間中離得很近的點(diǎn)投影到低維空間中的象也應(yīng)該離得很近，因此算法的求解就轉(zhuǎn)化為求解圖拉普拉斯算子的廣義特征值問題。ISOMAP 算法的一個(gè)優(yōu)點(diǎn)就是對(duì)于單一流形結(jié)構(gòu)來(lái)說(shuō)，與傳統(tǒng) MDS 一樣，可以使用距離來(lái)保持的程度用來(lái)判斷數(shù)據(jù)的內(nèi)在維數(shù)。算法是建立在了經(jīng)典的 MDS 算法基礎(chǔ)上，其目標(biāo)就是使降維后的數(shù)據(jù)能夠盡量保持在降維前的數(shù)據(jù)間的距離關(guān)系，如圖 31 所示。對(duì)于分類問題方面，我們希望找到某個(gè)投影方向，使得不同類的數(shù)據(jù)樣本能夠盡量分開,即 LDA。通常的做法就是將原始變量進(jìn)行線性組合使之成為若干綜合變量，同時(shí)這些綜合變量之間相互獨(dú)立，并且盡可能表示出原始變量包含的信息，選取其中最大的幾個(gè)主成分進(jìn)行分析。線性方法，指的是變換 f 是線性的，它假設(shè)數(shù)據(jù)分布在一個(gè)線性子空間中，通過訓(xùn)練可以得到該子空間的一組基向量，從而將數(shù)據(jù)投影到了低維子空間中。本文主要采用 KPCA 來(lái)提取人臉圖像的特征，然后基于這些特征通過利用 MMC方法來(lái)實(shí)現(xiàn)人臉的識(shí)別，并且取得了很好地效果。隨著非線性的核方法技術(shù)在支持向量機(jī)(Support Vector Machine, SVM) 上的廣泛和成功的應(yīng)用，非線性子空間方法便受到廣泛關(guān)注。核方法通過非線性嵌入映射，能將許多線性算法優(yōu)美地非線性泛化，從而能夠高效地分析圖像空間中的非線性關(guān)系，而這種高效率原先只有線性算法才能夠達(dá)到。在第二種模型中 ， 他 們 使 用 一 個(gè) 混 合 高 斯 分 布 模 型 (MixtureofGaussians) ， 并 使 用 EM(Expectation Maximazation)算法用來(lái)進(jìn)行參數(shù)估計(jì)，并取得了一定的效果。按照 HMM 的思想，用來(lái)表征人臉的特征量構(gòu)成了一個(gè)觀測(cè)序列，觀測(cè)序列被認(rèn)為是由若干個(gè)狀態(tài)產(chǎn)生的，狀態(tài)處于隱層，是不可觀測(cè)的 。Joo等 人提出了一種多步驟方法，首先通過主成分分析 (PCA)方法進(jìn)行降維，然后采用 ??20RBF 神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識(shí)別。 基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法就是利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和分類能力對(duì)人臉執(zhí)行特征提取、分類與識(shí)別。它是一種以識(shí)別目標(biāo)的局部特征點(diǎn)之間拓?fù)浣Y(jié)構(gòu)為對(duì)象的局部特征匹配方法。在這種基于幾何特征的識(shí)別中，識(shí)別算法總體歸為特征矢量之間的匹配問題，基于在歐氏距離的判決方法是最常用的識(shí)別方法。在這個(gè)基礎(chǔ)上，學(xué)習(xí)和研究了兩種算法：即基于路徑相似度的判別保局算法以及基于核判別保局最大化邊界算法。圖像特征就是指圖像的原始特征或?qū)傩?。人臉檢測(cè)作為人臉識(shí)別中的一項(xiàng)關(guān)鍵技術(shù)，近年來(lái)也成為模式識(shí)別與計(jì)算機(jī)視覺領(lǐng)域內(nèi)一項(xiàng)比較活躍的課題。比如對(duì)圖像進(jìn)行去噪工作，對(duì)圖像進(jìn)行增等等。而進(jìn)入實(shí)際應(yīng)用的人臉識(shí)別系統(tǒng)如：銀行的 ATM 自動(dòng)提款機(jī)，各種證件的檢驗(yàn)以及車場(chǎng)、倉(cāng)庫(kù)的管理等都上屬于受控背景的一類。通常的表示法主要有幾何特征(如歐氏距離、曲率、角度)、代數(shù)特征(如矩陣特征矢量)、固定特征模板、統(tǒng)計(jì)特征等。很顯然，在嫌疑犯照片的拍攝過程中，一般來(lái)說(shuō)可以控制照相的背景、光照的條件、攝像機(jī)的分辨率以及攝像機(jī)與被拍照人之間的距離、角度等等，獲得到多幅人臉正面圖像和側(cè)面圖像。安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文） 人臉識(shí)別的應(yīng)用隨著人臉識(shí)別技術(shù)的發(fā)展以及人臉識(shí)別技術(shù)應(yīng)用范圍空間的不斷拓寬，人臉識(shí)別技術(shù)在各個(gè)領(lǐng)域上的應(yīng)用空間己經(jīng)越來(lái)越廣泛，歸納起來(lái)，人臉識(shí)別技術(shù)的應(yīng)用大體上可以分為以下幾類:在許多場(chǎng)合，證件驗(yàn)證是檢驗(yàn)?zāi)硞€(gè)人身份的一種常用手段，而身份證、駕駛執(zhí)照以及其他很多證件上都有照片，那么這項(xiàng)工作就可以交給機(jī)器完成，用以實(shí)現(xiàn)自動(dòng)化智能管理。2)基于多姿態(tài)/表情的人臉識(shí)別階段：這是人臉識(shí)別研究的發(fā)展階段，它從二十世紀(jì)七十年代開始末，但到九十年代年代初才被人們真正關(guān)注并進(jìn)行專門研究，并得到較快發(fā)展。在這些基礎(chǔ)上，學(xué)習(xí)和研究了基于核化最大間距準(zhǔn)則算法，并通過實(shí)驗(yàn)仿真驗(yàn)證了算法的正確性和有效性，實(shí)驗(yàn)表明比經(jīng)典算法 PCA、KPCA 和 MMC 有更高的識(shí)別率。常用的生物特征有，DNA、虹膜、指紋、掌紋、語(yǔ)音、人臉等。諸多因素使得人臉識(shí)別成為計(jì)算機(jī)視覺領(lǐng)域一個(gè)富有挑戰(zhàn)性的課題。并且人臉識(shí)別是一項(xiàng)復(fù)雜的工作，涉及到模式識(shí)別、圖像處理、計(jì)算機(jī)視覺、認(rèn)知學(xué)等領(lǐng)域，因此對(duì)人臉識(shí)別的研究有助于其它領(lǐng)域的發(fā)展，具有重要的學(xué)術(shù)價(jià)值。在國(guó)際上，主要有北美的一些研究機(jī)構(gòu)、一些歐洲國(guó)家、日本等，著名的研究機(jī)構(gòu)有美國(guó) MIT 的多媒體實(shí)驗(yàn)室，人工智能實(shí)驗(yàn)室，CMU 的人機(jī)交互機(jī)構(gòu)，微軟研究遠(yuǎn)，英國(guó)劍橋大學(xué)的工程學(xué)院等。，人臉識(shí)別在醫(yī)學(xué)、人機(jī)交互系統(tǒng)等方面也具有巨大的應(yīng)用前景。 人臉識(shí)別的研究?jī)?nèi)容人臉識(shí)別的研究?jī)?nèi)容從廣義上來(lái)講大致上包括以下五個(gè)方面的內(nèi)容：1．人臉檢測(cè)：要從各種不同的場(chǎng)景中檢測(cè)出人臉的存在并確定其位置。圖像從來(lái)源上來(lái)說(shuō)分類包括靜態(tài)圖像和動(dòng)態(tài)圖像、單幀和多幀，以及受控背景和非受控背景等。但是在另一些情況下，人臉在圖像中的位置是事先未知的，因此檢測(cè)和定位存在一些困難。根據(jù)所輸入圖像的性質(zhì)，可將人臉識(shí)別分為靜態(tài)圖像的人臉識(shí)別和動(dòng)態(tài)圖像序列的人臉識(shí)別兩大類。人們必須尋找出算法，分析圖像的特征，然后將其特征用數(shù)學(xué)的辦法表示出來(lái)并且教會(huì)計(jì)算機(jī)也會(huì)懂得這些特征。另外，實(shí)用的識(shí)別系統(tǒng)還必須要考慮計(jì)算復(fù)雜度。李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)第 2 章 人臉識(shí)別概述計(jì)算機(jī)人臉識(shí)別的目的就是利用計(jì)算機(jī)來(lái)分析人臉圖像，從中提取出來(lái)有效的識(shí)別信息，用來(lái)辨別身份，因此特征提取是人臉識(shí)別中的關(guān)鍵。??8 基于彈性圖匹配的人臉識(shí)別彈性圖匹配(Elastic Graph Matching，EGM)的理論基礎(chǔ)是圖匹配理論。Wurtz 等 人只是使用正面人臉面部的特征，進(jìn)??13一步來(lái)消除結(jié)構(gòu)中的冗余信息和背景信息，同時(shí)使用一個(gè)多層的分級(jí)結(jié)構(gòu)來(lái)實(shí)現(xiàn)。Lawrence 等 人提出采用??18卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識(shí)別，因?yàn)樵摲椒ㄔ谝欢ǔ潭壬暇哂袑?duì)圖像平移、旋轉(zhuǎn)和局部變形的不變性，因此就可以得到比較好的識(shí)別性能和結(jié)果。彈性模板由一組根據(jù)一些先驗(yàn)知識(shí)調(diào)整了一些參數(shù) 。由于估計(jì)李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)人臉補(bǔ)空間中的參數(shù)是比較困難的，同時(shí)為了讓計(jì)算簡(jiǎn)便，他們就假設(shè)在該補(bǔ)空間中各個(gè)方向上的能量分布都是均勻的，同時(shí)給出了一個(gè)簡(jiǎn)單的概率計(jì)算公式，并求得了公式中參數(shù)的最優(yōu)理論解。 基于核方法的人臉識(shí)別 20 世紀(jì) 80 年代，模式分析領(lǐng)域幾乎同時(shí)引入了后向傳播多層神經(jīng)網(wǎng)絡(luò)算法和決策樹學(xué)習(xí)算法，第一次使得檢測(cè)非線性模式成為可能。研究表明,一幅圖像的高階統(tǒng)計(jì)往往包含了圖像邊緣或曲線的多個(gè)像素間的非線性關(guān)系。在人臉圖像識(shí)別領(lǐng)域存在著大量的典型的小樣本問題，在該類問題中，類內(nèi)散布矩陣通常是奇異的?？梢詮牟煌嵌葘⒔礵維算法分類：有監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，線性和非線性算法，全局和局部算法。 線性降維算法線性降維方法就是尋找高維數(shù)據(jù)中的線性變換，具有計(jì)算簡(jiǎn)單，易理解，處理線性結(jié)構(gòu)的數(shù)據(jù)時(shí)非常有效。即\* MERGEFORMAT (33)??TdY??其中 是矩陣 U 中對(duì)應(yīng)于 Λ 里最大 d 個(gè)特征值的特征向量，為低維空間?1,.TddUu?中的數(shù)據(jù)表達(dá)。LDA 算法也就是求出一個(gè)線性子空間，使得所有樣本在這個(gè)子空間中，類內(nèi)樣本散度能夠最小，類間樣本的散度能夠最大，因此 LDA 降維后得到的低維嵌入坐標(biāo)非常有利于進(jìn)行樣本的分類。主要有以下兩種方法確定鄰接圖的邊，ε 鄰域和k 近鄰，并且用以數(shù)據(jù)點(diǎn)間的歐氏距離作為邊上的權(quán)重。另外加上數(shù)據(jù)中的噪音等，這種線性一般情況下都會(huì)有誤差。如果說(shuō)點(diǎn) i 和點(diǎn) j 是鄰域點(diǎn)則要將兩點(diǎn)連接，那么有兩種方法(ε 鄰域和 k 近鄰法)來(lái)尋找一個(gè)點(diǎn)的鄰域點(diǎn)。 基于核技巧的非線性降維算法借助于支持向量機(jī)理論，研究者們提出了通過核技巧，先將數(shù)據(jù)映射到了高維非線性數(shù)據(jù)，然后在該空間中進(jìn)行線性降維，具有代表性的算法是 KPCA 和 KLDA。從某種意義來(lái)看，這也使得我們有可能在數(shù)據(jù)集的觀測(cè)空間維數(shù)較低意義下，能夠獲得較高維淹沒子流形的特征分析。LPP 是一種新的子空間分析方法，它是非線性方法 LE 的線性近似。根據(jù)相關(guān)的文獻(xiàn)，核方法具有很多優(yōu)點(diǎn)，接下去的一章針對(duì) KPCA、MMC ，學(xué)習(xí)和研究了改進(jìn)算法 KMMC。 算法推導(dǎo) KPCA 算法現(xiàn)設(shè)有訓(xùn)練集 ，核映射 將它們映射到核空間 F 中，核空間中的12:,.NSxX??訓(xùn)練集為 。首先將公司(46)代入降維變換式(41) 中，有??????TTT TNywxxxE???????????\* MERGEFORMAT (47),NkXEk????其中 ， 為元素 的 N 階矩陣。??綜上所述，KPCA 的實(shí)施步驟可歸納如下：（1） 針對(duì)訓(xùn)練集 S，給定一個(gè)核函數(shù) k。定義兩類樣本 i， j 之間的邊緣距離為安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）\* MERGEFORMAT (420)????,ijdijmdij??其中 是兩類樣本均值之間的距離， ， 分別是 i， j 類內(nèi)樣本點(diǎn)到各自??,ijdm類內(nèi)中心的平均距離。經(jīng)過,2.。在高維特征空間 H 中尋找最優(yōu)鑒別矢量，需要得到i僅包含核函數(shù)的準(zhǔn)則函數(shù)形式。在一些限制條件下，MMC 方法與 LDA 方法是相同的，可以由 MMC 方法推導(dǎo)出LDA 方法。給定 N 維空間 c 類訓(xùn)練樣本， ，樣本 X 的類內(nèi)散度矩陣 、類??12,.NXx? WS間散度矩陣 、總體散度矩陣 分別由式（417） （418） （419）給出。?由于投影軸 w 主要用來(lái)表示投影方向，因此一般要求 。2. 核函數(shù)表示由于最大化 就是對(duì) 作特征值分解，w 就是 的特征向量，因此有??KPCAJtS? tS?\* MERGEFORMAT (45)????11NNTTt ii iii ixxw??????????????這說(shuō)明，投影方向 w 是核空間中的中心化數(shù)據(jù)的線性組合，因此可令\* MERGEFORMAT (46)1NiiX????其中 是線性組合系數(shù)。同時(shí)線性判別分析在實(shí)際操作中會(huì)遇到小樣本問題，即類內(nèi)矩陣往往是奇異的。由于算法本身并沒有考慮樣本類別信息，鑒于此許多學(xué)者通過增加樣本類別信息、正交化基向量以及加入核函數(shù)來(lái)改進(jìn) LPP 算法。為了解決這一問題，HE 等人提出了 LPP（locality pre