【文章內(nèi)容簡(jiǎn)介】 給定一個(gè)維隨機(jī)向量，可將其展開(kāi)成個(gè)維基向量的線(xiàn)性組合 (21)式中，為隨機(jī)系數(shù)向量。為維的矩陣，即 (22)這里，實(shí)際上定義了一個(gè)從到的線(xiàn)性變換。KT變換要求，變換后的隨機(jī)系數(shù)向量中的各個(gè)分量是相互正交的，由此可以確定的具體形式。按照以上要求，應(yīng)有 (23)即 (24)于是，若的自相關(guān)矩陣為已知的，則有 (25)若進(jìn)一步要求為歸一正交矩陣，即 (26)式中為單位陣，可以得到 (27)此即的特征方程，有 (28)其中，是的一個(gè)特征值，是對(duì)應(yīng)的特征向量。因此，變換矩陣可由的自相關(guān)矩陣的特征向量構(gòu)成。由于是實(shí)對(duì)稱(chēng)且非負(fù)定的矩陣，所以能夠滿(mǎn)足以上對(duì)的要求，且其所有的特征值都是非負(fù)的。由的歸一正交性容易得到以下KL變換式 (29)在KL變換中，用來(lái)產(chǎn)生特征向量集合的自相關(guān)矩陣稱(chēng)為生成矩陣，而確定變換性質(zhì)的矩陣稱(chēng)為變換矩陣。 特征壓縮以上關(guān)于基本變換的討論中，從到的變換過(guò)程中，向量的維數(shù)并沒(méi)有發(fā)生變化，下面考慮從的部分分量中重建的問(wèn)題。將式(21)重寫(xiě)為 (210)當(dāng)只取的前個(gè)分量，忽略后個(gè)分量時(shí)，的估計(jì)值為 (211)此時(shí)的誤差向量為 (212)均方誤差為 (213)可見(jiàn)，使均方誤差最小的選擇應(yīng)該是使忽略掉的分量對(duì)應(yīng)的特征值之和為最小。于是，可以選擇前個(gè)最大的特征值對(duì)應(yīng)的特征向量構(gòu)成的變換矩陣 (214)利用代替，按照式(29)進(jìn)行變換，則有 (215)得到的變換域維向量就是向量經(jīng)過(guò)壓縮之后的主成分。理論分析指出，為使均方誤差最小，應(yīng)該使變換前的隨機(jī)向量均值為零向量。 基于PCA算法的人臉特征提取對(duì)于計(jì)算機(jī)中的一幅圖像，用f(x,y)表示。這里x和y指空間的坐標(biāo)，點(diǎn)(x,y)上的f值正比于該點(diǎn)的亮度。一幅圖像被讀入計(jì)算機(jī)以后是用矩陣形式存放的，用B(i,j)表示。其行和列標(biāo)出了圖像上的一個(gè)點(diǎn)，而矩陣中的相應(yīng)元素的值則表示該點(diǎn)的灰度等級(jí)。這樣的數(shù)字陣列中的元素就叫做象素。一幅wh大小的人臉圖像按列相連而構(gòu)成一個(gè)x=w*h維矢量，它可被視為w*h維空間的一個(gè)點(diǎn)。由于人臉結(jié)構(gòu)的相似性，當(dāng)把很多這樣的人臉圖像歸一化（預(yù)處理）之后，這些圖像在這一超高維空間中不是隨機(jī)或散亂地分布，而是存在某種規(guī)律。因此，可以通過(guò)KL變換用一個(gè)低維子空間描述人臉圖像，同時(shí)又能保存所需要的識(shí)別信息。在人臉識(shí)別的實(shí)踐中，系統(tǒng)給定的是一系列的訓(xùn)練樣本，即人臉圖像集合。因此，在將KL變換的基本理論用于人臉識(shí)別時(shí)，還有一些具體問(wèn)題需要解決?；赑CA的人臉特征提取可以以訓(xùn)練樣本集的總體散度矩陣作為K一L變換的產(chǎn)生矩陣，也可以是訓(xùn)練樣本集的類(lèi)間散布矩陣，即可以采用同一人的數(shù)張圖像的平均來(lái)進(jìn)行訓(xùn)練，這樣可在一定程度上消除光線(xiàn)等的干擾，且計(jì)算量可以減少，同時(shí)識(shí)別率不會(huì)下降。 總體散布矩陣的形成對(duì)于的幅人臉圖像集，根據(jù)圖像在成像過(guò)程中的具體情況，通常需要首先進(jìn)行一定的預(yù)處理，這可能包括圖像平滑和灰度增強(qiáng)等圖像處理步驟。然后，一個(gè)必要的過(guò)程是將矩陣形式的圖像按照行或列展開(kāi)為維的向量，即 (216)為了使其均值為零，需要減去其均值向量，即 (217)式中叫做訓(xùn)練樣本矩陣。為的統(tǒng)計(jì)均值估計(jì)，即 (218)這時(shí)，KL變換中的自相關(guān)矩陣變成了協(xié)方差矩陣，可按下式求其最大似然估計(jì)（忽略了常數(shù)） (219)該估計(jì)又稱(chēng)為總體散布矩陣，這也就是KL變換的生成矩陣。 維數(shù)問(wèn)題當(dāng)將的人臉圖像表示為向量時(shí)，其維數(shù)為，由此得到總體散布矩陣的維數(shù)為。例如，若，則總體散布矩陣就是維的，而人臉數(shù)據(jù)庫(kù)中樣本的數(shù)目通常要小得多，例如幾千個(gè)左右，這就導(dǎo)致總體散布矩陣的秩是由決定的。從式(219)可以看出，在和式的項(xiàng)中，只有項(xiàng)是獨(dú)立的，因此，總體散布矩陣的秩通常為，這也是其非零特征值的個(gè)數(shù)，而零特征值對(duì)應(yīng)的特征向量在人臉圖像的表示中是沒(méi)有意義的。綜上所述，在人臉的PCA方法中，所選擇特征向量的數(shù)目的上限應(yīng)為。 變換矩陣的求解及變換的實(shí)現(xiàn)求解變換矩陣就是求生成矩陣的特征值和特征向量。按照(27)和(28)式，有 (220)或 (221)通常，該特征方程的求解有以下三種方式：直接求解方式直接求解(220)或(221)式中的代數(shù)方程。由于總體散布矩陣的維數(shù)通常非常高，所以這種求解方式耗時(shí)比較大。在MATLAB中可利用以下函數(shù) (222)以上MATLAB函數(shù)對(duì)得到的特征值不進(jìn)行排序。間接求解方式之一不同于直接求解方式，這里不是對(duì)直接求特征值和特征向量，而是通過(guò)求的特征值和特征向量得到所求。具體地，對(duì)求解特征值和特征向量，有如下特征方程 (223)上式兩邊左乘后，有 (224)比較(220)式可見(jiàn)。顯然，的維數(shù)是，通常比的維數(shù)要低得多。間接求解方式之二通過(guò)對(duì)訓(xùn)練樣本矩陣進(jìn)行奇異值分解（SVD），也可間接求解特征方程。的SVD可以表示為 (225)式中和都為正交矩陣，而為奇異值矩陣，于是，總體散布矩陣可寫(xiě)為 (226)進(jìn)一步整理后得到 (227)對(duì)比式(220)，有。在MATLAB中可利用以下函數(shù)進(jìn)行奇異值分解 (228)以上MATLAB函數(shù)對(duì)得到的奇異值將進(jìn)行排序。一旦求得了特征值和特征向量，就可以按照式(214)的方法，選取前個(gè)最大的非零特征值所對(duì)應(yīng)的特征向量構(gòu)成變換矩陣，并按照下式對(duì)所有人臉樣本進(jìn)行KL變換。 (229) 特征臉我們將特征值從大到小排序：，其對(duì)應(yīng)的特征向量為0, 1,... ，每一幅人臉都可以投影到由0, 1,... m張成的子空間中，因此每一幅人臉圖像對(duì)應(yīng)于子空間中的一個(gè)點(diǎn)。同樣，子空間中的一點(diǎn)也對(duì)應(yīng)于一幅圖像。當(dāng)特征向量0, 1,... m顯示為圖像時(shí)，這些圖像很像人臉，所以它們被稱(chēng)為“特征臉”。有了這樣一個(gè)由“特征臉”張成的特征子空間，任何一幅人臉圖像都可以向其作投影并獲得一組坐標(biāo)系數(shù)，這組系數(shù)表明了該圖像在子空間中的位置，從而可以作為人臉識(shí)別的依據(jù)。換句話(huà)說(shuō)，任何一幅人臉圖像都可以表示為這組“特征臉”的線(xiàn)性組合，其加權(quán)系數(shù)即是KL的展開(kāi)系數(shù)，也可以稱(chēng)為該圖像的代數(shù)特征。 ORL人臉庫(kù)的8個(gè)人的圖像 特征臉的顯示 PCA算法。PCA算法（Principal Component Analysis Algorithm）描述：基于PCA方法，求出圖像在特征空間的展開(kāi)系數(shù)（坐標(biāo)）輸入：人臉圖像訓(xùn)練集人臉圖像測(cè)試集輸出：訓(xùn)練集圖像，測(cè)試集圖像在特征空間的展開(kāi)系數(shù)步驟：聯(lián)立以下四式求出，求出的特征值和特征向量根據(jù)求出的特征值和特征向量對(duì)進(jìn)行排序取前個(gè)最大的特征值所對(duì)應(yīng)的特征向量對(duì)于圖像屬于訓(xùn)練集，已求出，由和 求得；若屬于測(cè)試集，由和求出返回、 PCA算法的詳細(xì)步驟流程 人臉識(shí)別的分類(lèi)準(zhǔn)則 相似性測(cè)度人臉樣本經(jīng)過(guò)特征提取過(guò)程，最終成為特征空間中的點(diǎn)。因此，樣本之間的相似性，通?？梢酝ㄟ^(guò)計(jì)算距離或角度實(shí)現(xiàn)。給定向量和，常用的相似性測(cè)度有歐氏距離 (230)街區(qū)距離 (231)馬氏距離（Mahalanobis） (232)式中為模式的協(xié)方差矩陣。有時(shí)也可采用以下簡(jiǎn)化形式 (233)其中是第個(gè)分量的方差。夾角余弦 (234)此外，也有人采用明氏距離（Minkowski Distance，歐氏距離和街區(qū)距離的一般化形式）、歐氏距離平方、均方誤差、相關(guān)系數(shù)以及加權(quán)的街區(qū)距離、加權(quán)的均方誤差和加權(quán)的夾角余弦等。 分類(lèi)器按照距離的分類(lèi)準(zhǔn)則主要有：最近鄰分類(lèi)器最近鄰（Minimum Distance）分類(lèi)器是最常用的距離分類(lèi)器之一，首先需要求己知樣本的類(lèi)中心（類(lèi)平均），把待識(shí)別樣本歸為與之距離最近的類(lèi)中心所在的類(lèi)。最近鄰分類(lèi)器最近鄰（Nearest Neighbor）分類(lèi)器也是最常用的距離分類(lèi)器之一，即把待識(shí)別樣本歸為與之距離最近的已知樣本所在的類(lèi)。K近鄰分類(lèi)器K近鄰（K Nearest Neighbor）分類(lèi)器，取待識(shí)別樣本的K個(gè)近鄰，這K個(gè)近鄰中屬于哪一類(lèi)的己知樣本多，則把待識(shí)別樣本歸為哪一類(lèi)。按照其他相似性測(cè)度分類(lèi)的規(guī)則與以上分類(lèi)規(guī)則相似。此外，利用樣本分布的統(tǒng)計(jì)特性的分類(lèi)器主要有：Bayes分類(lèi)器基于Bayes決策理論的分類(lèi)方法是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法，考慮到樣本特定概率分布的情況，利用這個(gè)方法進(jìn)行分類(lèi)時(shí)對(duì)模式類(lèi)別有兩個(gè)基本要求：一是各類(lèi)別總體的概率分布是己知的，二是待分類(lèi)的類(lèi)別數(shù)是一定的。采用最大后驗(yàn)概率的Bayes判決準(zhǔn)則為最小錯(cuò)誤概率準(zhǔn)則，考慮實(shí)際中判決錯(cuò)誤導(dǎo)致的結(jié)果后，該準(zhǔn)則可以改變?yōu)樽钚∑骄鶙l件風(fēng)險(xiǎn)判別準(zhǔn)則。隱馬爾可夫模型隱馬爾可夫模型（HMM）已經(jīng)成功地應(yīng)用于對(duì)語(yǔ)音、圖像和視頻中的時(shí)域信息進(jìn)行建模，因此，也在人臉識(shí)別中得到了應(yīng)用。將傳統(tǒng)的一維隱馬爾可夫鏈用于兩維的圖像信號(hào)時(shí)，需要首先將圖像變換為一維的觀察序列。高復(fù)雜度的兩維HMM包括偽兩維HMM、嵌入式HMM和嵌入式Bayes網(wǎng)絡(luò)。支持向量機(jī)分類(lèi)器支持向量機(jī)（SVM）是在結(jié)構(gòu)風(fēng)險(xiǎn)最小化基礎(chǔ)上，對(duì)兩種不同類(lèi)別的樣本數(shù)據(jù)找到一個(gè)最優(yōu)分類(lèi)界面的方法。在人臉識(shí)別中，SVM技術(shù)通常包括兩個(gè)方面：第一是采用核方法將樣本映射到高維空間，并在此空間中找到具有最大保護(hù)余量的分類(lèi)界面（超平面）；第二是由于SVM本來(lái)是解決兩類(lèi)模式的分類(lèi)問(wèn)題，因此需要推廣到多類(lèi)模式的分類(lèi)。神經(jīng)網(wǎng)絡(luò)分類(lèi)器神經(jīng)網(wǎng)絡(luò)在能夠?qū)崿F(xiàn)分類(lèi)的同時(shí)，還具有特征提取的能力。其中，人臉識(shí)別中最常用的神經(jīng)網(wǎng)絡(luò)是采用反向傳播（BP）算法的前饋網(wǎng)絡(luò)。 PCA的特點(diǎn)及存在問(wèn)題 特點(diǎn)PCA是人臉識(shí)別研究歷史上第一種基于人臉全局視覺(jué)特征或圖像特征的方法，其全新的研究思路使人臉識(shí)別的研究進(jìn)入了柳岸花明的境地。在成像條件受控的情況下，其識(shí)別性能良好，識(shí)別率可達(dá)到80%以上。該方法有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)，有很高的可操作性。因此，已經(jīng)成為繼續(xù)探索新的人臉識(shí)別方法的一個(gè)基石。在訓(xùn)練樣本的數(shù)目和多樣性足夠的情況下，其對(duì)光照和姿態(tài)等變化具有一定的魯棒性。PCA主要具有以下特點(diǎn):屬于測(cè)量空間的任一模式都有唯一的特征矢量與之對(duì)應(yīng)，這一特性說(shuō)明模式的變換沒(méi)有丟失分類(lèi)的主要信息。主元具有穩(wěn)定性。即當(dāng)輸入矢量有微小變化時(shí)，其對(duì)應(yīng)的主元變化將小于輸入模式的變化。這一特性說(shuō)明對(duì)圖像噪聲等因素引起的圖像灰度變化有不敏感性。經(jīng)過(guò)映射隨著