【正文】 servingprojection）保局算法和 NPE（neighborhood preserving embedding）領(lǐng)域保持嵌入，其中 LPP 就是拉普拉斯映射的線性化版本，NPE 是局部線性嵌入的線性化版本。由于其運(yùn)用了非線性映射，且這種非線性映射通常非常復(fù)雜，從而大大增強(qiáng)了非線性數(shù)據(jù)處理能力。由第二步所求得的權(quán)值矩陣 是一個(gè) DD 維的矩陣，對(duì)于該矩陣所求特征值并且把求得的特征值升序排列。對(duì)于 D 維空間中所說(shuō)的 k 個(gè)點(diǎn)所構(gòu)成的高維數(shù)據(jù)集 ，要想將其嵌入到12,.kXd 維空間中去，得到 d 維空間中的 k 個(gè)點(diǎn) 。從而使得低維流形在觀測(cè)空間中的像在局部也就是線性的，觀測(cè)空間中的每個(gè)數(shù)據(jù)點(diǎn)都是可以用它的近鄰點(diǎn)來(lái)進(jìn)行線性表示，而且也具有與在低維流形上的原像點(diǎn)相同的線性結(jié)構(gòu)，即低維流形上的每個(gè)點(diǎn)都可以用其近鄰點(diǎn)線性表示的權(quán)重與它們?cè)诟呔S空間中的線性表示權(quán)重相同。經(jīng)過(guò)數(shù)學(xué)的推導(dǎo)，算法將低維嵌入坐標(biāo)的求解轉(zhuǎn)化成為矩陣的特征值方面的問(wèn)題。同時(shí)可將其推廣到多類(lèi)問(wèn)題上，此時(shí)希望找到的優(yōu)化投影方向就是使得在低維空間中同類(lèi)數(shù)據(jù)能夠盡量靠近，不同的類(lèi)數(shù)據(jù)要能夠盡量分離，從而保留下豐富的辨別信息，使投影后的數(shù)據(jù)能夠具有最大的可分性。主成分變1,.Ddiag?? ??安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）換為：\* MERGEFORMAT (32)??TYUX??得到了一個(gè)新的數(shù)據(jù)集 ，它的均值為 0，協(xié)方差矩陣即為對(duì)角陣 Λ 這樣就??1niy直接去除掉了原來(lái)變量間的相關(guān)性。而局部算法只考慮某一領(lǐng)域內(nèi)數(shù)據(jù)之間的關(guān)系，具體可以通過(guò) K 近鄰 KNN 和 ε 半圓法，大多數(shù)的流形算法都是局部算法，比如等度映射和局部線性嵌入算法。一方面它們能為人們提供出更完整的信息，另一方面它們會(huì)導(dǎo)致維數(shù)災(zāi)難問(wèn)題，即所處理的樣本數(shù)要隨著維數(shù)的增加呈指數(shù)方式增長(zhǎng)，這就給人們進(jìn)行數(shù)據(jù)處理帶來(lái)了很大困難，因此需要對(duì)原始數(shù)據(jù)進(jìn)行降維，提取有效特征。目前己經(jīng)是成功應(yīng)用于人臉識(shí)別領(lǐng)域方面的有核主成分分析(KPCA)、核線性判別分析(KLDA) 等方法。Turk 等人提出了經(jīng)典的特征臉,利用主元分析(PCA)進(jìn)行人臉特征提取,并取得了較好的效果。這種人臉識(shí)別方法目前在美國(guó) DAPAR 組織的 FERET 人臉測(cè)試中的效果是最好的。將單幅或多幅圖像進(jìn)行訓(xùn)練。傳統(tǒng)的邊緣描述算法通常很難獲得可靠度較高的連續(xù)邊緣，即便獲得了可靠度較高的邊緣，也很難從中自動(dòng)提出所需要的特征量。 Cottrell 和 Fleming??16提出了一個(gè)解決方案，采用兩個(gè)神經(jīng)網(wǎng)絡(luò)，第一個(gè)神經(jīng)網(wǎng)絡(luò)用來(lái)降維處理，第二個(gè)??17用來(lái)分類(lèi)和判別。Wiksott 等 將人臉特征上的一些特征點(diǎn)作為基準(zhǔn)點(diǎn)，強(qiáng)調(diào)了人臉特征點(diǎn)的??12重要性，這個(gè)結(jié)構(gòu)稱(chēng)為彈性圖。 Kass 等 和 Olstad 等 提??5??6出采用活動(dòng)輪廓模型來(lái)提取人臉眉毛和下巴的輪廓用于人臉識(shí)別。第 3 章: 對(duì)數(shù)據(jù)降維技術(shù)和特征提取技術(shù)進(jìn)行了闡述，特別針對(duì)核化算法，做出了詳細(xì)的闡述。因此如何提取出有效的特征，如何對(duì)這些特征進(jìn)行融合就成為今后的一個(gè)研究問(wèn)題。特征選擇與提取數(shù)字圖像分析是圖像處理中的高級(jí)階段，它所研究的方面是使用及其分析和識(shí)別周?chē)矬w的圖像，從而科得出結(jié)論性的判斷。最后一步就是決策分類(lèi)。即檢測(cè)圖像中有沒(méi)有人臉，并確定其在圖像中的位置。4．表情識(shí)別：通過(guò)對(duì)待識(shí)別人臉的表情或姿態(tài)信息進(jìn)行分析，并對(duì)其加以歸類(lèi)。通過(guò)攝像機(jī)得到的視頻圖像質(zhì)量一般都比較差，同時(shí)背景也比較雜亂，分割人臉也就相當(dāng)困難，但是可以利用運(yùn)動(dòng)圖像分析來(lái)分割運(yùn)動(dòng)者的人臉，也可以利用現(xiàn)有的人臉模型，在部分上重建人臉圖像，在某種程度上會(huì)比靜態(tài)匹配更方便容易解決。當(dāng)出現(xiàn)異常的時(shí)候需要對(duì)采集到的圖像進(jìn)行具體分析，就要用到人臉的檢測(cè)、跟蹤和識(shí)別技術(shù)。當(dāng)前，雖然人臉識(shí)別技術(shù)的應(yīng)用還沒(méi)有能夠做到“普及” ，但是不能否認(rèn)的是，它已經(jīng)在開(kāi)始影響著我們的生活。人臉識(shí)別作為一種非接觸、隱蔽性較好的生物特征識(shí)別技術(shù)而受到極大的關(guān)注。人臉識(shí)別的困難行表項(xiàng)在：人臉結(jié)構(gòu)大體相同，所不同的是一些細(xì)節(jié)上的差異；人臉不是純粹的剛體，具有復(fù)雜而豐富的表情（喜怒哀樂(lè)等） ；人臉隨著年齡增長(zhǎng)會(huì)呈現(xiàn)出很大的不同；由于外界環(huán)境的影響，例如眼鏡、光照條件、成像角度、以及成像距離等因素的影響，使得同一個(gè)人的人臉圖像在不同的條件下呈現(xiàn)出很大的差異。人臉識(shí)別是計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域中的一個(gè)難題，它涉及到信號(hào)處理、圖像處理、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、認(rèn)知科學(xué)、心理學(xué)和生理學(xué)等諸多學(xué)科，在過(guò)去的十多年中受到研究人員的廣泛重視，研究也越來(lái)越深入，但是由于人臉識(shí)不同于一般的目標(biāo)識(shí)別，其難度極大，人臉識(shí)別技術(shù)還不夠完善，應(yīng)用工作還處于嘗試階段。李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)第 1 章 緒論 人臉識(shí)別的研究意義近幾年來(lái)，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的高速發(fā)展和信息化進(jìn)程的日益加快，信息安全和公共安全越來(lái)越顯示出其前所未有的重要性，成為了許多信息系統(tǒng)要首先考慮的問(wèn)題。4)三維人臉識(shí)別階段：為了獲得更多的特征信息，直接就利用二維人臉圖像來(lái)合成三維人臉模型進(jìn)行識(shí)別，也成為該領(lǐng)域的一個(gè)主要研究方向，現(xiàn)有研究將兩維圖像重構(gòu)三維圖像，這也是一個(gè)研究方向。在許多銀行、公司、公共場(chǎng)所等處都裝有視頻監(jiān)視系統(tǒng)。公眾場(chǎng)合監(jiān)控也就是典型的動(dòng)態(tài)匹配應(yīng)用。此過(guò)程通常也被稱(chēng)為人臉識(shí)別。一個(gè)狹義的人臉自動(dòng)識(shí)別系統(tǒng)通常包括三個(gè)主要技術(shù)環(huán)節(jié)，如圖 所示：人臉檢測(cè)與定位 特征提取和選擇分類(lèi)器設(shè)計(jì)分類(lèi)決策對(duì)比圖 11 人臉自動(dòng)識(shí)別系統(tǒng)的主要技術(shù)環(huán)節(jié)首先是人臉的檢測(cè)以及定位。然后利用有效手段，提取出有效特征。因此，就需要找到解決這些問(wèn)題的方法，并且能使用高級(jí)手段對(duì)復(fù)雜背景下的圖像能檢測(cè)出人臉，并且進(jìn)行精確定位。圖像特征提取工作的結(jié)果就給出了某一具體的圖像中與其他圖像相區(qū)別的特征。第 2 章: 對(duì)目前存在的人臉識(shí)別技術(shù)進(jìn)行概述，主要從基于幾何特征的人臉識(shí)別，基于子空間的人臉識(shí)別，基于彈性圖匹配的人臉識(shí)別，基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別，基于模板匹配的人臉識(shí)別方法，基于隱馬爾可夫的人臉識(shí)別方法以及基于貝葉斯網(wǎng)路的人臉識(shí)別算法等方面出發(fā)。Roeder 等 對(duì)基于幾何特征人臉識(shí)別方法的準(zhǔn)確性和正確性進(jìn)行了??4研究，對(duì)人臉特征定義了 12 個(gè)測(cè)量值來(lái)進(jìn)行聚類(lèi)分析。目標(biāo)識(shí)別就是測(cè)試樣本與訓(xùn)練樣本的彈性匹配的過(guò)程，也就是通過(guò)匹配代價(jià)函數(shù)的隨機(jī)優(yōu)化過(guò)程來(lái)完成。最早將人工神經(jīng)網(wǎng)絡(luò)技術(shù)用于人臉識(shí)別的是 Kohenen ?？梢詫⑷四?lè)譃檠劬δ０?、嘴巴模板、鼻子模板以及眉毛、下巴模板等。HMM 的訓(xùn)練就是要為每一個(gè)人確定出一組經(jīng)過(guò)優(yōu)化了的 HMM 參數(shù)和模型。由于貝葉斯相似度的計(jì)算涉及到了復(fù)雜的非線性計(jì)算，Moghaddam 等人又提出了一種線性的快速計(jì)算方法。人臉識(shí)別作為模式識(shí)別的一個(gè)研究方向,因其在安全驗(yàn)證系統(tǒng)、智能人機(jī)接口、視頻會(huì)議等方面有著巨大的應(yīng)用前景成為當(dāng)前的一個(gè)研究熱點(diǎn)。在計(jì)算上并不需要明確計(jì)算此非線性變換，只需要通過(guò)一個(gè)內(nèi)積核函數(shù)用來(lái)計(jì)算在隱性特征空間中兩兩向量之間的內(nèi)積即可以了。李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)第 3 章 數(shù)據(jù)降維算法概述在當(dāng)今世界上，人們?cè)絹?lái)越多的接觸到高維數(shù)據(jù)，這些數(shù)據(jù)的特點(diǎn)是：高數(shù)據(jù)量、高維數(shù)、高數(shù)據(jù)增長(zhǎng)率和非結(jié)構(gòu)化。全局算法，指的是算法的考慮點(diǎn)要從全局出發(fā)，比如 PCA 和 LDA，它們所考慮的是所有數(shù)據(jù)點(diǎn)之間的關(guān)系?？?慮 數(shù) 據(jù) 空 間 中 的 樣 本 ，均值 ，協(xié) 方 差 矩 陣 為??1miXx?， ，通過(guò)特征值分解為 ，其中 U 是1nix????1TTxXn???T??正交矩陣； 是由∑的特征值構(gòu)成的對(duì)角陣， 。對(duì)于二類(lèi)問(wèn)題，希望投影后得到的 能夠使得如下 最大：Tywx???Jw\* MERGEFORMAT (36)??21mJ???其中 別是正、負(fù)類(lèi)樣本在投影方向的均值， 和 就是正負(fù)類(lèi)樣本在投影12,m12?方向上的方差。(2)當(dāng)兩個(gè)樣本點(diǎn)之間離得比較遠(yuǎn)時(shí)，用它們?cè)谟蓸颖军c(diǎn)形成的近鄰圖上的最短路徑來(lái)逼近測(cè)地距離。 局部線性嵌入2022 年 Roweis 在 Science 上提出了 LLE 算法，算法就是假定數(shù)據(jù)集所在的低維流形和從低維流形到高維觀測(cè)空間之間的光滑嵌入映射在局部都是線性的。算法實(shí)現(xiàn)中，流形結(jié)構(gòu)的描述由相鄰圖來(lái)近似。Step3：計(jì)算出 d 維嵌入。從具體操作過(guò)程來(lái)看，核方法首先是采用了非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到高維特征空間，然后再在特征空間中進(jìn)行了相應(yīng)的線性操作。但是在處理模式分類(lèi)等問(wèn)題時(shí)，由于算法只考慮訓(xùn)練樣本，沒(méi)有考慮測(cè)試樣本，因此會(huì)遇到樣本外問(wèn)題（out of sample problem） ，即不能處理測(cè)試樣本中的新數(shù)據(jù)。對(duì)式(313)進(jìn)行代數(shù)變換，如下： ??212?TijijijWxS??Tiji ijij ijDxWTX \* LMERGEFORMAT (315)是拉普拉斯矩陣，則上式就可轉(zhuǎn)化為特征求解問(wèn)題,ijijDSL???\* MERGEFORMAT (316)??TTDX由于基于子空間的 LPP 算法具有描述性強(qiáng)、計(jì)算代價(jià)小、易實(shí)現(xiàn)及可分性好等特點(diǎn)，成為計(jì)算機(jī)視覺(jué)、模式識(shí)別等領(lǐng)域的研究熱點(diǎn)。線性判別分析是以分類(lèi)為目的的線性特征提取算法，通過(guò)最大化樣本的類(lèi)間散布和類(lèi)內(nèi)散布的比率將樣本的類(lèi)別信息加入到特征提取的過(guò)程中，其目的是保留樣本的判別信息和整體的幾何結(jié)構(gòu)，然而，相關(guān)研究者指出保持樣本的局部信息對(duì)分類(lèi)問(wèn)題更有意義。不過(guò)下面將看到，核空間中的 PCA 所涉及的操作可由內(nèi)積表示，從而由核函數(shù)表示。將式（46）代入式（410） ，并兩邊同時(shí)左乘 ，有??TX??\* MERGEFORMAT (411)????T TtXNX???????根據(jù)式（48 ）和式（49 ） ，可將式（411）寫(xiě)為\* MERGEFORMAT (412)2K?李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)進(jìn)一步簡(jiǎn)化，得\* MERGEFORMAT (413)K???即最佳組合系數(shù) 就是矩陣 的最大特征值所對(duì)應(yīng)的特征向量。Zheng 等人提出了加權(quán)最大類(lèi)間邊緣準(zhǔn)則(weighted maximum margin criterion , WMMC)特征抽取方法，重新構(gòu)造 ，基于最大類(lèi)間邊緣準(zhǔn)則進(jìn)行特征提,BWS取。MMC 方法是一種最大化平均類(lèi)間邊緣的特征提取算法，在分類(lèi)識(shí)別方面它的性能高于 PCA 方法，與 LDA 方法近似，它有效克服了小樣本情況下 奇異的問(wèn)題，穩(wěn)定性與可靠性好。由于非線性映射 的形式上的未知，直接利用準(zhǔn)?則式（432 ）求解 是不可行的。1,.iijN?i ??非線性映射 變換后， 表示高維特征空?????????112,.,.,.CCNXX??間 H 上 N 個(gè)訓(xùn)練樣本。在數(shù)理統(tǒng)計(jì)中，用類(lèi)內(nèi)方差 來(lái)表示 ， ，,ijtrS??dij其中 分別是 i， j 類(lèi)的類(lèi)內(nèi)散度矩陣。（2） 由式（410）計(jì)算核矩陣 K，并由式（49）計(jì)算矩陣 ?？梢?jiàn)核空??12,.TkXxk?????1間中的降維變換可由核函數(shù)表示。記 。李亞龍： 基于核化 MMC 的人臉識(shí)別系統(tǒng)第 4 章 基于核方法的最大間距準(zhǔn)則算法在眾多算法中，線性判別分析 LDA、主成分分析 PCA 在實(shí)際應(yīng)用中經(jīng)常會(huì)遇到小樣本問(wèn)題，為了解決這一問(wèn)題，研究者提出了很多改進(jìn)算法，其中較著名的有MMC(Maximum Margin Criterion)算法，但是同 LDA 一樣，它是全局算法，沒(méi)有考慮局部信息，但是相關(guān)研究者指出局部信息在某些情況下起著非常重要的作用，比如在用最近鄰分類(lèi)器時(shí)。局部保局投影(LPP)通過(guò)一定的性能目標(biāo)來(lái)尋找線性變換 W ，以實(shí)現(xiàn)對(duì)高維數(shù)據(jù)的降維：安徽工程大學(xué)畢業(yè)設(shè)計(jì)（論文）。主要的算法步驟為：首先通過(guò)一個(gè)非線性映射函數(shù) ，將原來(lái)空間 中:DRF??DR每一個(gè)向量 x 映射到了一個(gè)高維的特征空間 F 中 (特征空間的維數(shù)可以是無(wú)窮大)，在特征空間之中，向量 ，然后再在高維特征空間 F 中進(jìn)行線性 PCA，而相對(duì)??x??于原來(lái)空間來(lái)說(shuō)，就是進(jìn)行非線性的 PCA。核主成分析就是說(shuō)利用積分算子核函數(shù)的特性來(lái)進(jìn)行分析觀測(cè)空間數(shù)據(jù)集的結(jié)構(gòu)。Step2：構(gòu)造出權(quán)值矩陣。在 LLE 算法中，也正是通過(guò)這樣最小化線性重構(gòu)誤差首先確定每個(gè)采樣點(diǎn)由近鄰重構(gòu)時(shí)的權(quán)重信息，然后通過(guò)在低維流形上保持對(duì)應(yīng)點(diǎn)的權(quán)重不變，再次通過(guò)最小化在低維流形上的重構(gòu)誤差用來(lái)求出來(lái)它們?cè)诘途S流形上的總體嵌入坐標(biāo)。Step2：同時(shí)利用圖論中的 Dijkstra 算法或 Floyd 算法計(jì)算出圖 G 中每?jī)牲c(diǎn)間的最短的路徑，記下得到的距離矩陣為 。 非線性降維算法現(xiàn)實(shí)生活中，人們遇到的數(shù)據(jù)往往是非線性的，因此如何能有效處理非線性數(shù)據(jù)給人們帶來(lái)了巨大的挑戰(zhàn)，本節(jié)對(duì)一些著名的非線性降維算法進(jìn)行介紹?；谠谔卣髦捣纸獾?PCA 的另外一個(gè)性質(zhì)就是數(shù)據(jù)總體方差等于協(xié)方差矩陣特征值的總和，即\* MERGEFORMAT (34)????11ddiiiVartrace?????\* MERGEFORMAT (35)it其中在（35 ）給出了前 d 個(gè)主成分中所包含的方差占據(jù)原始數(shù)據(jù)中所有方差總和的比例，通過(guò)繪制式（35）中計(jì)算的累計(jì)比例，就可以選擇適當(dāng)數(shù)目的主成分來(lái)保留出一定原始數(shù)據(jù)的總體方差信息數(shù)據(jù)。 主成分分析在信號(hào)處理中，所謂的 KL 變換實(shí)際上說(shuō)就是 PCA。非監(jiān)督學(xué)習(xí)輸入的只有數(shù)據(jù)，通過(guò)特定的準(zhǔn)則來(lái)實(shí)現(xiàn)數(shù)據(jù)降維，比如主成分分析 PCA 以最小化重建誤差為準(zhǔn)則。這是因?yàn)榇R(shí)別圖像矢