【文章內(nèi)容簡介】 方法類似：（1）在維空間中進(jìn)行遍歷，搜索到一個向量，使得個觀測向量在方向上方差最大。（2）在與垂直的向量空間中進(jìn)行遍歷，找出次大的方差對應(yīng)的向量，記作。（3）對以上過程循環(huán)，直到找出全部的個向量。它們生成的順序也就是“主元”的排序。這個理論上成立的算法說明了PCA的主要思想和過程。在這中間，牽涉到兩個重要的特性：（1）轉(zhuǎn)換基是一組標(biāo)準(zhǔn)正交基。這給PCA的求解帶來了巨大的好處，它可以運用線性代數(shù)的相關(guān)理論進(jìn)行快速有效的分解。（2）在PCA的過程中，可以同時得到新的基向量所對應(yīng)的“主元排序”，利用這個重要性排序可以方便的對數(shù)據(jù)進(jìn)行取舍、簡化處理或壓縮?！CA的假設(shè)和局限性PCA模型中存在諸多的假設(shè)條件，決定了它存在一定的限制，在有些場合可能會不利或甚至失效。對于學(xué)習(xí)和掌握PCA來說，理解這些內(nèi)容是非常重要的，同時也有利于理解基于改進(jìn)這些限制條件的PCA的一些擴(kuò)展算法。PCA的假設(shè)條件包括：（1）線形性假設(shè)。如同彈簧運動的例子，PCA的內(nèi)部模型是連續(xù)的線性空間。這也就決定了它能進(jìn)行的主元分析之間的關(guān)系也是線性的?，F(xiàn)在比較流行的kernelPCA的一類方法就是使用非線性的權(quán)值對原有PCA技術(shù)的拓展。（2）使用均值和方差進(jìn)行充分統(tǒng)計。使用均值和方差二階統(tǒng)計量對概率分布模型進(jìn)行充分的描述只限于指數(shù)型概率分布模型（例如高斯分布），也就是說，如果我們考察的數(shù)據(jù)的概率分布并不滿足指數(shù)型概率分布，那么PCA將會失效。在這種模型下，不能使用方差和協(xié)方差來很好的描述噪音和冗余，對優(yōu)化之后的協(xié)方差矩陣并不能得到很合適的結(jié)果。事實上，去除冗余最基礎(chǔ)的方程是：，其中代表概率分布的密度函數(shù)?；谶@個方程進(jìn)行冗余去除的方法被稱作獨立分量分析方法(Independent Component Analysis，ICA)。不過，所幸的是，根據(jù)中央極限定理（大量起微小作用的任意分布的獨立隨機(jī)變量之和的分布近似高斯分布），現(xiàn)實生活中所遇到的大部分采樣數(shù)據(jù)的概率分布都是遵從高斯分布的。所以PCA仍然是一個使用于絕大部分領(lǐng)域的穩(wěn)定且有效的算法。（3）大方差向量具有較大重要性。PCA方法隱含了這樣的假設(shè)：數(shù)據(jù)本身具有較高的信噪比，所以具有最高方差的那個向量就可以被看作是主元，而方差較小的則被認(rèn)為是噪音。（4）主元正交。PCA方法假設(shè)主元向量之間都是正交的，從而可以利用線形代數(shù)的一系列有效的數(shù)學(xué)工具進(jìn)行求解，大大提高了效率和應(yīng)用的范圍?！CA求解（特征根分解）在線形代數(shù)中，PCA問題可以描述成以下形式：尋找一組正交基組成的矩陣，有，使得是對角陣。則P的行向量（也就是m個正交基）就是數(shù)據(jù)的主元向量。對進(jìn)行數(shù)學(xué)推導(dǎo)：　　　　?。?－10）定義，則是一個維的對稱方陣。任意一個實對稱陣都可以化成形式，其中是一個對角陣，而是個標(biāo)準(zhǔn)正交矩陣，并且是對稱陣的特征根所對應(yīng)的特征向量排成的矩陣（請注意：對角陣的第一個元素對應(yīng)特征矩陣的第一列，第二個對角元素對應(yīng)的特征向量構(gòu)成的第二列，依次排列下去）。對稱陣有個特征向量，其中是矩陣的秩。如果，則為退化陣。此時分解出的特征向量不能覆蓋整個維空間，只需要在保證基的正交性的前提下，在剩余的空間中任意取得維正交向量填充的空格即可。它們將不對結(jié)果造成影響。因為此時對應(yīng)于這些特征向量的特征值，也就是方差值為零。求出特征向量矩陣后我們?nèi)。瑒t，由線形代數(shù)可知標(biāo)準(zhǔn)正交矩陣有性質(zhì)，從而有　　?。?－11）可知此時的就是我們需要求得變換基，至此我們可以得到PCA的結(jié)果：（1）的主元即是的特征向量，也就是矩陣的行向量。（2）矩陣對角線上第i個元素是數(shù)據(jù)在方向的方差。我們可以得到PCA求解的一般步驟：（1）采集數(shù)據(jù)形成的矩陣。為觀測變量個數(shù)，為采樣點個數(shù)。（2）在每個觀測變量（矩陣行向量）上減去該觀測變量的平均值得到去均值的矩陣。（3）對進(jìn)行特征分解，求取特征向量以及所對應(yīng)的特征根并按其絕對值大到小排序。有了上述基礎(chǔ)，我們再簡約回顧一下前面的彈簧振子的實驗數(shù)據(jù)處理問題：在對66維矩陣對角化后，將會只有第一個特征根很大，其余特征根將很小或接近零（將6維降到1維，去除5個多余的冗余變量）。在這個由新的正交基張成的空間坐標(biāo)系中，最大特征根所對應(yīng)的特征向量（即的第一列）將朝向小球真實運動的方向（在這個方向上數(shù)據(jù)有最大的方差和SNR，去除了實驗噪聲和系統(tǒng)線性扭曲的影響）?！CA在計算機(jī)視覺領(lǐng)域的應(yīng)用PCA方法是一個具有很高普適性的方法，被廣泛應(yīng)用于多個領(lǐng)域。這里要特別介紹的是它在計算機(jī)視覺領(lǐng)域的應(yīng)用，包括如何對圖像進(jìn)行處理以及在人臉識別方面的特別作用。如果要將PCA方法應(yīng)用于視覺領(lǐng)域，最基本的問題就是圖像的表達(dá)。如果是一幅大小的圖像，它的數(shù)據(jù)將被表達(dá)為一個維的向量：，在這里圖像的結(jié)構(gòu)將被打亂，每一個像素點被看作是一維，最直接的方法就是將圖像的像素一行一行的從頭到尾相接成一個一維向量。假設(shè)數(shù)據(jù)源是20幅的圖像序列，每幅圖像都是大小，那么它們都可以表示為一個維的向量。將它們排成一個矩陣：　　　（3－12）然后對它們進(jìn)行PCA處理，找出主元。為什么這樣做呢？根據(jù)人臉識別的例子來說，數(shù)據(jù)源是20幅不同的人臉圖像，PCA方法的實質(zhì)是尋找這些圖像中的相似的維度，因為人臉的結(jié)構(gòu)有極大的相似性（特別是同一個人的人臉圖像），則使用PCA方法就可以很容易的提取出人臉的內(nèi)在結(jié)構(gòu)，也及時所謂“模式”，如果有新的圖像需要與原有圖像比較，就可以在變換后的主元維度上進(jìn)行比較，則可衡量新圖與原有數(shù)據(jù)集的相似度如何。對這樣的一組人臉圖像進(jìn)行處理，提取其中最重要的主元，即可大致描述人臉的結(jié)構(gòu)信息，稱作“特征臉”(EigenFace)。這就是人臉識別中的重要方法“特征臉方法”的理論根據(jù)。近些年來，基于對一般PCA方法的改進(jìn)，結(jié)合ICA、kernelPCA等方法，在主元分析中加入關(guān)于人臉圖像的先驗知識，則能得到更好的效果。使用PCA方法進(jìn)行圖像壓縮，又被稱為Hotelling算法，或者Karhunen and Leove(KL)變換。這是視覺領(lǐng)域內(nèi)圖像處理的經(jīng)典算法之一。具體算法與上述過程相同，使用PCA方法處理一個圖像序列，提取其中的主元。然后根據(jù)主元的排序去除其中次要的分量，然后變換回原空間，則圖像序列因為維數(shù)降低得到很大的壓縮。例如彈簧振子例中取出最主要的1個維度，則數(shù)據(jù)就壓縮了5/6。但是這種有損的壓縮方法同時又保持了其中最“重要”的信息，是一種非常重要且有效的算法。3基于PCA的人臉識別方法所有模式識別的問題都分為兩步：訓(xùn)練步（分類）和測試步（識別）。所謂訓(xùn)練就是從先驗的大量實驗數(shù)據(jù)中統(tǒng)計抽取出某類模式的特征，然后將該特征標(biāo)注為該模式類，測試就是在實踐中，已知一個樣本，用相同或不同于訓(xùn)練步的方法抽取它的特征，再將該特征與模式類進(jìn)行相似度度量并進(jìn)行識別。特征臉法是一種基于人臉全局特征的識別方法。所謂人臉全局特征是指所提取的特征與整幅人臉圖像甚至與整個訓(xùn)練樣本集相關(guān)，這種特征未必具有明確的物理意義，但卻適合于分類。在人臉識別中我們首先需要采集人臉樣本庫來訓(xùn)練得到人臉模式的特征，在獲得人臉圖像庫的前提下，我們可以進(jìn)行如下操作步驟。（1）將MN象素的人臉排成一列向量X：D＝MN, D行1列