【正文】 應(yīng)于SNR最大值的一組基p，就是最優(yōu)的“主元”方向。2. 冗余在實(shí)驗(yàn)中，經(jīng)常會(huì)出現(xiàn)由于我們先驗(yàn)知識的不足而引入了一些不必要的變量。這樣可能會(huì)是兩種情況：1）該變量對結(jié)果沒有影響；2）該變量可以用其它變量表示，從而造成數(shù)據(jù)冗余。 (a) (b) (c)。r1和r2分別表示兩個(gè)不同的觀測變量。（比如例子中的xA，yB）。最佳擬合曲線r2=kr1用虛線表示。如圖表 3所示，它揭示了兩個(gè)觀測變量之間的關(guān)系。(a)圖所示的情況是低冗余的，從統(tǒng)計(jì)學(xué)上說，這兩個(gè)觀測變量是相互獨(dú)立的，它們之間的信息沒有冗余。（c），r1和r2高度相關(guān)，r2完全可以用r1表示。一般來說，這種情況發(fā)生可能是因?yàn)閿z像機(jī)A和攝像機(jī)B放置的位置太近或是數(shù)據(jù)被重復(fù)記錄了，也可能是由于實(shí)驗(yàn)設(shè)計(jì)的不合理所造成的。那么對于觀測者而言，這個(gè)變量的觀測數(shù)據(jù)就是完全冗余的，應(yīng)當(dāng)去除，只用一個(gè)變量就可以表示。這也就是PCA中“降維”思想的本源。3. 協(xié)方差矩陣對于上面的簡單情況，可以通過簡單的線性擬合的方法來判斷各觀測變量之間是否出現(xiàn)冗余的情況，而對于復(fù)雜的情況，需要借助協(xié)方差[13]來進(jìn)行衡量和判斷： （）A，B分別表示不同的觀測變量所記錄的一組值，在統(tǒng)計(jì)學(xué)中，由協(xié)方差的性質(zhì)可以得到：，且當(dāng)且僅當(dāng)觀測變量A，B相互獨(dú)立。，當(dāng)A=B等價(jià)的，將A,B寫成行向量的形式：，協(xié)方差可以表示為 （）那么，對于一組具有m個(gè)觀測變量,n個(gè)采樣時(shí)間點(diǎn)的采樣數(shù)據(jù)X，將每個(gè)觀測變量的值寫為行向量，可以得到一個(gè)m*n的矩陣： （）接下來定義協(xié)方差矩陣如下： （） （）容易發(fā)現(xiàn)協(xié)方差矩陣具有如下性質(zhì)：CX是一個(gè)m*m的平方對稱矩陣。 Cx對角線上的元素是對應(yīng)的觀測變量的方差。 非對角線上的元素是對應(yīng)的觀測變量之間的協(xié)方差。協(xié)方差矩陣CX包含了所有觀測變量之間的相關(guān)性度量。更重要的是，根據(jù)前兩部分的說明，這些相關(guān)性度量反映了數(shù)據(jù)的噪音和冗余的程度。在對角線上的元素越大，表明信號越強(qiáng)，變量的重要性越高；元素越小則表明可能是存在的噪音或是次要變量。在非對角線上的元素大小則對應(yīng)于相關(guān)觀測變量對之間冗余程度的大小。一般情況下，初始數(shù)據(jù)的協(xié)方差矩陣總是不太好的，表現(xiàn)為信噪比不高且變量間相關(guān)度大。PCA的目標(biāo)就是通過基變換對協(xié)方差矩陣進(jìn)行優(yōu)化，找到相關(guān)“主元”。那么，如何進(jìn)行優(yōu)化？矩陣的那些性質(zhì)是需要注意的呢？4. 協(xié)防差矩陣的對角化總結(jié)上面的部分可以發(fā)現(xiàn)主元分析以及協(xié)方差矩陣優(yōu)化的原則是：1）最小化變量冗余即對應(yīng)于協(xié)方差矩陣的非對角元素要盡量??；2）最大化信號即對應(yīng)于要使協(xié)方差矩陣的對角線上的元素盡可能的大。因?yàn)閰f(xié)方差矩陣的每一項(xiàng)都是正值，最小值為0，所以優(yōu)化的目標(biāo)矩陣CY的非對角元素應(yīng)該都是0，對應(yīng)于冗余最小。所以優(yōu)化的目標(biāo)矩陣CY應(yīng)該是一個(gè)對角陣。即只有對角線上的元素可能是非零值。同時(shí)，PCA假設(shè)P所對應(yīng)的一組變換基必須是標(biāo)準(zhǔn)正交的，而優(yōu)化矩陣CY對角線上的元素越大，就說明信號的成分越大，換句話就是對應(yīng)于越重要的“主元”。對于協(xié)方差矩陣進(jìn)行對角化的方法很多。根據(jù)上面的分析，最簡單最直接的算法就是在多維空間內(nèi)進(jìn)行搜索。(a)的例子中旋轉(zhuǎn)的方法類似：在m維空間中進(jìn)行遍歷，找到一個(gè)方差最大的向量，令作p1。在與p1垂直的向量空間中進(jìn)行遍歷，找出次大的方差對應(yīng)的向量記作p2對以上過程循環(huán)，直到找出全部m的向量。它們生成的順序也就是“主元”的排序。這個(gè)理論上成立的算法說明了PCA的主要思想和過程。在這中間，牽涉到兩個(gè)重要的特性：1)轉(zhuǎn)換基是一組標(biāo)準(zhǔn)正交基。這給PCA的求解帶來了很大的好處，它可以運(yùn)用線性代數(shù)的相關(guān)理論進(jìn)行快速有效的分解。這些方法將在后面提到。2）在PCA的過程中，可以同時(shí)得到新的基向量所對應(yīng)的“主元排序”，利用這個(gè)重要性排序可以方便的對數(shù)據(jù)進(jìn)行簡化處理或是壓縮。五、PCA求解：特征根分解在線形代數(shù)中，PCA問題可以描述成以下形式：尋找一組正交基組成的矩陣P，有Y=PX，使得是對角陣。則P的行向量（也就是一 組正交基），就是數(shù)據(jù)X的主元向量。對進(jìn)行推導(dǎo)： （） （）定義，則A是一個(gè)對稱陣。對A進(jìn)行對角化求取特征向量得： （）則D是一個(gè)對角陣而E則是對稱陣A的特征向量排成的矩陣。這里要提出的一點(diǎn)是，A是一個(gè)m*m的矩陣，而它將有p(p=m)個(gè)特征向量。其中p是矩陣A的的秩。如果p=m，則A即為退化陣。此時(shí)分解出的特征向量不能覆蓋整個(gè)m空間。此時(shí)只需要在保證基的正交性的前提下，在剩余的空間中任意取得mp維正交向量填充E的空格即可。它們將不對結(jié)果造成影響。因?yàn)榇藭r(shí)對應(yīng)于這些特征向量的特征值，也就是方差值為零求出特征向量矩陣后我們?nèi)?，則，由線形代數(shù)知識可知矩陣P有性質(zhì)，從而進(jìn)行如下計(jì)算： （） （）可知此時(shí)的P就是我們需要求得變換基。至此我們可以得到PCA的結(jié)果：X的主元即是的特征向量也就是矩陣P的行向量。矩陣對角線上第i個(gè)元素是數(shù)據(jù)X在方向的方差。我們可以得到PCA求解的一般步驟：采集數(shù)據(jù)形成m*n的矩陣。m為觀測變量個(gè)數(shù),n為采樣點(diǎn)個(gè)數(shù)。在每個(gè)觀測變量（矩陣行向量）上減去該觀測變量的平均值得到矩陣X。對進(jìn)行特征分解，求取特征向量以及所對應(yīng)的特征根。六、PCA的假設(shè)PCA的模型中存在諸多的假設(shè)條件，決定了它存在一定的限制，在有些場合可能會(huì)造成效果不好甚至失效。PCA的假設(shè)條件包括：1. 線形性假設(shè)如同本節(jié)開始的例子，PCA的內(nèi)部模型是線性的。這也就決定了它能進(jìn)行的主元分析之間的關(guān)系也是線性的。現(xiàn)在比較流行的kernelPCA的一類方法就是使用非線性的權(quán)值對原有PCA技術(shù)的拓展。2. 使用中值和方差進(jìn)行充分統(tǒng)計(jì)使用中值和方差進(jìn)行充分的概率分布描述的模型只限于指數(shù)型概率分布模型。（例如高斯分布），也就是說，如果我們考察的數(shù)據(jù)的概率分布并不滿足高斯分布或是指數(shù)型的概率分布，那么PCA將會(huì)失效。在這種模型下，不能使用方差和協(xié)方差來很好的描述噪音和冗余，對轉(zhuǎn)換之后的協(xié)方差矩陣并不能得到很合適的結(jié)果。不過，所幸的是，根據(jù)中央極限定理，現(xiàn)實(shí)生活中所遇到的大部分采樣數(shù)據(jù)的概率分布都是遵從高斯分布的。所以PCA仍然是一個(gè)使用于絕大部分領(lǐng)域的穩(wěn)定且有效的算法。3. 大方差向量具有較大重要性PCA方法隱含了這樣的假設(shè)：數(shù)據(jù)本身具有較高的信噪比，所以具有最高方差的一維向量就可以被看作是主元，而方差較小的變化則被認(rèn)為是噪音。這是由于低通濾波器的選擇決定的。4. 主元正交PCA方法假設(shè)主元向量之間都是正交的，從而可以利用線形代數(shù)的一系列有效的數(shù)學(xué)工具進(jìn)行求解，大大提高了效率和應(yīng)用的范圍。七、總結(jié)：PCA技術(shù)的一大好處是對數(shù)據(jù)進(jìn)行降維的處理。我們可以對新求出的“主元”向量的重要性進(jìn)行排序，根據(jù)需要取前面最重要的部分，將后面的維數(shù)省去，可以達(dá)到降維從而簡化模型或是對數(shù)據(jù)進(jìn)行壓縮的效果。同時(shí)最大程度的保持了原有數(shù)據(jù)的信息。在前文的例子中，經(jīng)過PCA處理后的數(shù)據(jù)只剩下了一維，也就是彈簧運(yùn)動(dòng)的那一維，從而去除了冗余的變量，揭示了實(shí)驗(yàn)數(shù)據(jù)背后的物理原理。PCA技術(shù)的一個(gè)很大的優(yōu)點(diǎn)是，它是完全無參數(shù)限制的。在PCA的計(jì)算過程中完全不需要人為的設(shè)定參數(shù)或是根據(jù)任何經(jīng)驗(yàn)?zāi)Ｐ蛯τ?jì)算進(jìn)行干預(yù)，最后的結(jié)果只與數(shù)據(jù)相關(guān)，與用戶是獨(dú)立的。但是，這一點(diǎn)同時(shí)也可以看作是缺點(diǎn)。如果用戶對觀測對象有一定的先驗(yàn)知識，掌握了數(shù)據(jù)的一些特征， 卻無法通過參數(shù)化等方法對處理過程進(jìn)行干預(yù)，可能會(huì)得不到預(yù)期的效果，效率也不高。 黑點(diǎn)表示采集數(shù)據(jù)，排列成轉(zhuǎn)盤的形狀。容易想象，該數(shù)據(jù)的主元是或是旋轉(zhuǎn)角。，PCA找出的主元將是。但是這顯然不是最優(yōu)和最簡化的主元。之間存在著非線性的關(guān)系。根據(jù)先驗(yàn)的知識可知旋轉(zhuǎn)角是最優(yōu)的主元。則在這種情況下，PCA就會(huì)失效。但是，如果加入先驗(yàn)的知識，對數(shù)據(jù)進(jìn)行某種劃歸，就可以將數(shù)據(jù)轉(zhuǎn)化為以為線性的空間中。這類根據(jù)先驗(yàn)知識對數(shù)據(jù)預(yù)先進(jìn)行非線性轉(zhuǎn)換的方法就成為kernelPCA，它擴(kuò)展了PCA能夠處理的問題的范圍，又可以結(jié)合一些先驗(yàn)約束，是比較流行的方法。有時(shí)數(shù)據(jù)的分布并不是滿足高斯分布。如圖表 5所示，在非高斯分布的情況下，PCA方法得出的主元可能并不是最優(yōu)的。在尋找主元時(shí)不能將方差作為衡量重要性的標(biāo)準(zhǔn)。要根據(jù)數(shù)據(jù)的分布情況選擇合適的描述完全分布的變量，然后根據(jù)概率分布式來計(jì)算兩個(gè)向量上數(shù)據(jù)分布的相關(guān)性。等價(jià)的，保持主元間的正交假設(shè)，尋找的主元同樣要使這一類方法被稱為獨(dú)立主元分解(ICA)。 數(shù)據(jù)的分布并不滿足高斯分布，呈現(xiàn)明顯的十字星狀。這種情況下，方差最大的方向并不最優(yōu)主元方向。PCA方法和線形代數(shù)中的奇異值分解(SVD)方法有內(nèi)在的聯(lián)系，一定意義上來說，PCA的解法是SVD的一種變形和弱化。對于m*n的矩陣X，通過奇異值分解可以直接得到如下形式： （）其中U是一個(gè)m*m的矩陣，V是一個(gè)n*n的矩陣，而是m*m的對角陣。形式如下： （）其中，是原矩陣的奇異值。由簡單推導(dǎo)可知，如果對奇異值分解加以約束:U的向量必須正交,則矩陣U即為PCA的特征值分解中的E，則說明PCA并不一定需要求取，也可以直接對原數(shù)據(jù)矩陣X進(jìn)行SVD奇異值分解即可得到特征向量矩陣，也就是主元向量。八、在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用PCA方法是一個(gè)具有很高普適性的方法，被廣泛應(yīng)用于多個(gè)領(lǐng)域。這里要特別介紹的是它在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用,包括如何對圖像進(jìn)行處理以及在人臉識別方面的特別作用。1. 數(shù)據(jù)表示如果要將PCA方法應(yīng)用于視覺領(lǐng)域，最基本的問題就是圖像的表達(dá)。如果是一幅N*N大小的圖像，它的數(shù)據(jù)將被表達(dá)為一個(gè)維的向量: （）在這里圖像的結(jié)構(gòu)將被打亂，每一個(gè)像素點(diǎn)被看作是一維，最直接的方法就是將圖像的像素一行行的頭尾相接成一個(gè)一維向量。還必須要注意的是，每一維上的數(shù)據(jù)對應(yīng)于對應(yīng)像素的亮度、灰度或是色彩值，但是需要?jiǎng)潥w到同一緯度上。2. 模式識別假設(shè)數(shù)據(jù)源是一系列的20幅圖像，每幅圖像都是大小N*N，那么它們都可以表示為一個(gè)維的向量。 將它們排成一個(gè)矩陣： （）然后對它們進(jìn)行PCA處理，找出主元。為什么這樣做呢？據(jù)人臉識別的例子來說，數(shù)據(jù)源是20幅不同的人臉圖像，PCA方法的實(shí)質(zhì)是尋找這些圖像中的相似的維度，因?yàn)槿四樀慕Y(jié)構(gòu)有極大的相似性（特別是同一個(gè)人的人臉圖像），則使用PCA方法就可以很容易的提取出人臉的內(nèi)在結(jié)構(gòu)，也就是所謂的“模式”，如果有新的圖像需要與原有圖像比較，就可以在變換后的主元維度上進(jìn)行比較，衡量新圖與原有數(shù)據(jù)集的相似度如何。對這樣的一組人臉圖像進(jìn)行處理，提取其中最重要的主元，可以大致描述人臉的結(jié)構(gòu)信息，稱作“特征臉”(EigenFace)。這就是人臉識別中的重要方法“特征臉方法”的理論根據(jù)。近些年來，基于對一般PCA 方法的改進(jìn)，結(jié)合ICA、kernelPCA等方法，在主元分析中加入關(guān)于人臉圖像的先驗(yàn)知識，則能得到更好的效果。3. 圖像信息壓縮使用PCA方法進(jìn)行圖像壓縮，又被稱為Hotelling算法，或者Karhunen and Leove(KL)變換。這是視覺領(lǐng)域內(nèi)圖像處理的經(jīng)典算法之一。具體算法與上述過程相同，使用PCA方法處理一個(gè)圖像序列，提取其中的主元。然后根據(jù)主元的排序去除其中次要的分量，然后變換回原空間，則圖像序列因?yàn)榫S數(shù)降低得到很大的壓縮。例如上例中取出次要的5個(gè)維度，則圖像就被壓縮了1/4。但是這種有損的壓縮方法同時(shí)又保持了其中最“重要”的信息,是一種非常重要且有效的算法。第二節(jié) 基于PCA人臉識別算法的實(shí)現(xiàn)主成分分析為一種統(tǒng)計(jì)學(xué)中特征提取方法，在實(shí)際中應(yīng)用的非常廣泛。PCA是通過提取原始數(shù)據(jù)的主元來減少數(shù)據(jù)的冗余，使數(shù)據(jù)在低維度的空間中被處理，同時(shí)它還能很好保持了原始數(shù)據(jù)的絕大部分信息，有效的解決了由于空間維數(shù)過高而導(dǎo)致的一系列問題。如下將詳細(xì)介紹如何使用PCA算法進(jìn)行人臉識別。 基于PCA的人臉識別算法實(shí)現(xiàn)原理圖一、創(chuàng)建數(shù)據(jù)庫在本環(huán)節(jié)中主要分為兩個(gè)階段，分別為：1. 讀入系統(tǒng)人臉數(shù)據(jù)庫，并將圖像變換為相應(yīng)的灰度圖像 (a) (b) (a)圖像為系統(tǒng)人臉數(shù)據(jù)庫中的原始人臉圖像，(b)圖像為經(jīng)過灰度轉(zhuǎn)換后的人臉圖像2. 同時(shí)將變換后的二維人臉灰度圖像變換為一維人臉向量矩陣一個(gè)大小為M*N的二維人臉圖像可以看成長度為MN的人臉圖像列向量。為了將二維人臉圖像變?yōu)橐詾榱邢蛄浚覀儾扇〉拇胧椋菏紫扔?jì)算出人臉圖像的大小，然后將人臉圖像經(jīng)行轉(zhuǎn)置，最后按列依次取出取出所有灰度值形成大小為MN的一維向量，其實(shí)整個(gè)階段的效果相當(dāng)于將圖像的灰度值按行取出依次連接成一維圖像向量。本環(huán)節(jié)完成后將會(huì)產(chǎn)生由一維圖像向量組成的矩陣T。二、計(jì)算特征臉本環(huán)節(jié)主要包括三個(gè)階段，分別為：1. 對圖像矩陣T進(jìn)行規(guī)范化首先計(jì)算出圖像矩陣中一維列向量的平均值m，然后對圖像矩陣的每一列都減去平均值形成規(guī)范化的圖像矩陣A。 (a) (b) 左圖為人臉原始圖像，右圖為人臉規(guī)范化后的圖像2. 計(jì)算特征臉人臉訓(xùn)練