【正文】 基下），因?yàn)橐话愕挠^測(cè)者都是習(xí)慣于取攝像機(jī)的屏幕坐標(biāo)，即向上和向右的方向作為觀測(cè)的基準(zhǔn)。在線形代數(shù)中，這組標(biāo)準(zhǔn)正交基表示為行列向量線形無(wú)關(guān)的單位矩陣。這是一個(gè)非常強(qiáng)的假設(shè)條件。這樣一來(lái)數(shù)據(jù)就可以被表示為各種基的線性組合。是一個(gè)的矩陣，它的每一個(gè)列向量都表示一個(gè)時(shí)間采樣點(diǎn)上的數(shù)據(jù)，在上面的例子中。是他們之間一個(gè)的線性轉(zhuǎn)換方陣。表示的列向量（或者）。公式(3－1)表示不同基之間的轉(zhuǎn)換，在線性代數(shù)中，它有如下的含義：（1）是從到的轉(zhuǎn)換矩陣，幾何上來(lái)說(shuō)，對(duì)進(jìn)行旋轉(zhuǎn)和拉伸得到；（2）的行向量Ｔ是一組新的基，而是原數(shù)據(jù)在這組新的基表示下得到的重新表示。它對(duì)原數(shù)據(jù)進(jìn)行重新表示。這是由于變換后的數(shù)據(jù)更能體現(xiàn)信號(hào)成分的原因。問(wèn)題轉(zhuǎn)化為如下的形式：（1）怎樣才能最好的表示原數(shù)據(jù)？（2）的基怎樣選擇才是最好的？解決問(wèn)題的關(guān)鍵是如何體現(xiàn)數(shù)據(jù)的特征。在線性系統(tǒng)中，所謂的“混亂數(shù)據(jù)”通常包含以下三種成分：噪聲、旋轉(zhuǎn)（線性失真或扭曲）以及冗余。噪聲對(duì)數(shù)據(jù)的影響是巨大的，如果不能對(duì)噪聲進(jìn)行區(qū)分，就不可能抽取數(shù)據(jù)中有用的信息。那么怎樣區(qū)分混雜數(shù)據(jù)中哪些是信號(hào)，哪些是噪音呢？這里假設(shè)真正的信號(hào)總是變化較大，而噪聲（由空氣、摩擦、攝像機(jī)的誤差以及非理想化的彈簧等引入的）的變化總是較小的。而變化的大小由方差來(lái)描述（這里的定義是個(gè)一致估計(jì)量）。顯然方差較大的方向，也就是較“寬”（“胖”）的分布，表示采樣點(diǎn)的主要分布趨勢(shì)，是主信號(hào)或主要分量（如圖3－4（a）中的長(zhǎng)實(shí)線方向）；而方差較小的分布則被認(rèn)為是噪聲或次要分量（如圖3－5（a）中的短實(shí)線方向）。圖3－5（a）中只是攝像機(jī)Ａ采集數(shù)據(jù)時(shí)的所參考的標(biāo)準(zhǔn)正交基，而采集數(shù)據(jù)的真正分布由于攝像機(jī)的擺放、攝像機(jī)的線性扭曲與拍攝時(shí)的抖動(dòng)等引起了旋轉(zhuǎn)。在二維空間中，變換矩陣只有兩個(gè)二維向量。在新的正交基Ｐ（如圖3－5（a）的長(zhǎng)短黑實(shí)線，假設(shè)為）下，則認(rèn)為采樣點(diǎn)云在長(zhǎng)線方向上分布的方差是，而在短線方向上分布的方差是，此時(shí)也達(dá)到最大。那么，最大限度的揭示原數(shù)據(jù)的結(jié)構(gòu)和關(guān)系，找出某條潛在的最優(yōu)的軸等價(jià)于尋找一個(gè)正交基P，使得信噪比盡可能最大。那么怎樣尋找這樣一組方向呢？直接的想法是對(duì)基向量進(jìn)行旋轉(zhuǎn)。對(duì)應(yīng)于最大值的一組基，就是最優(yōu)的“主元”方向。有時(shí)在實(shí)驗(yàn)中引入了一些不必要的變量。下面對(duì)這樣的冗余情況進(jìn)行分析和分類。(a)圖所示的情況是低冗余的，從統(tǒng)計(jì)學(xué)上說(shuō)，這兩個(gè)觀測(cè)變量是相互獨(dú)立的，它們之間的信息沒(méi)有冗余。一般來(lái)說(shuō)，這種情況發(fā)生可能是因?yàn)閿z像機(jī)A和攝像機(jī)B放置的位置太近或是數(shù)據(jù)被重復(fù)記錄了，也可能是由于實(shí)驗(yàn)設(shè)計(jì)的不合理所造成的。這也就是PCA中“降維”思想的本源。同理對(duì)三維變量，若記錄的數(shù)據(jù)均勻分布在一個(gè)球體內(nèi)，則也認(rèn)為三個(gè)變量是完全獨(dú)立的，若分布在一個(gè)曲面上，則有一個(gè)變量是冗余的（），若分布在一根直線上，則有兩個(gè)變量是多余的。在統(tǒng)計(jì)學(xué)中，由協(xié)方差的性質(zhì)可以得到：（1），且當(dāng)觀測(cè)變量，不相關(guān)時(shí)。協(xié)方差的向量表示：?！　　　　　　　　　　　　　。?－7）則互相關(guān)矩陣如下：（請(qǐng)注意，互相關(guān)與協(xié)方差之間只相差一個(gè)常數(shù)，兩者具有完全相同的物理意義：，協(xié)方差矩陣是除去均值的互相關(guān)矩陣，正因?yàn)槿绱?，所以下文將兩者的名字不加與區(qū)別）　　　　　　　　　　?。?－8）容易發(fā)現(xiàn)協(xié)方差矩陣性質(zhì)如下：（1）是一個(gè)的平方對(duì)稱矩陣。非對(duì)角線上的元素是對(duì)應(yīng)的觀測(cè)變量之間的協(xié)方差，反映了觀測(cè)變量間的冗余程度。一般情況下，初始數(shù)據(jù)的協(xié)方差矩陣總是不太好的，表現(xiàn)為信噪比不高（由于實(shí)驗(yàn)中引入了噪聲）且變量間相關(guān)度大（實(shí)驗(yàn)者對(duì)實(shí)際模型的未知性）。因?yàn)閰f(xié)方差矩陣的每一項(xiàng)都是正值，最小值為0，所以優(yōu)化的目標(biāo)矩陣的非對(duì)角元素應(yīng)該都是0，對(duì)應(yīng)于冗余最小，故目標(biāo)矩陣應(yīng)該是個(gè)對(duì)角陣，即只有對(duì)角線上的元素可能是非零值。對(duì)協(xié)方差矩陣進(jìn)行對(duì)角化的方法有很多。（2）在與垂直的向量空間中進(jìn)行遍歷，找出次大的方差對(duì)應(yīng)的向量，記作。它們生成的順序也就是“主元”的排序。在這中間，牽涉到兩個(gè)重要的特性：（1）轉(zhuǎn)換基是一組標(biāo)準(zhǔn)正交基。（2）在PCA的過(guò)程中，可以同時(shí)得到新的基向量所對(duì)應(yīng)的“主元排序”，利用這個(gè)重要性排序可以方便的對(duì)數(shù)據(jù)進(jìn)行取舍、簡(jiǎn)化處理或壓縮。對(duì)于學(xué)習(xí)和掌握PCA來(lái)說(shuō)，理解這些內(nèi)容是非常重要的，同時(shí)也有利于理解基于改進(jìn)這些限制條件的PCA的一些擴(kuò)展算法。如同彈簧運(yùn)動(dòng)的例子，PCA的內(nèi)部模型是連續(xù)的線性空間?，F(xiàn)在比較流行的kernelPCA的一類方法就是使用非線性的權(quán)值對(duì)原有PCA技術(shù)的拓展。使用均值和方差二階統(tǒng)計(jì)量對(duì)概率分布模型進(jìn)行充分的描述只限于指數(shù)型概率分布模型（例如高斯分布），也就是說(shuō)，如果我們考察的數(shù)據(jù)的概率分布并不滿足指數(shù)型概率分布，那么PCA將會(huì)失效。事實(shí)上，去除冗余最基礎(chǔ)的方程是：，其中代表概率分布的密度函數(shù)。不過(guò)，所幸的是，根據(jù)中央極限定理（大量起微小作用的任意分布的獨(dú)立隨機(jī)變量之和的分布近似高斯分布），現(xiàn)實(shí)生活中所遇到的大部分采樣數(shù)據(jù)的概率分布都是遵從高斯分布的。（3）大方差向量具有較大重要性。（4）主元正交?！CA求解（特征根分解）在線形代數(shù)中，PCA問(wèn)題可以描述成以下形式：尋找一組正交基組成的矩陣，有，使得是對(duì)角陣。對(duì)進(jìn)行數(shù)學(xué)推導(dǎo)：　　　　?。?－10）定義，則是一個(gè)維的對(duì)稱方陣。對(duì)稱陣有個(gè)特征向量，其中是矩陣的秩。此時(shí)分解出的特征向量不能覆蓋整個(gè)維空間，只需要在保證基的正交性的前提下，在剩余的空間中任意取得維正交向量填充的空格即可。因?yàn)榇藭r(shí)對(duì)應(yīng)于這些特征向量的特征值，也就是方差值為零。（2）矩陣對(duì)角線上第i個(gè)元素是數(shù)據(jù)在方向的方差。為觀測(cè)變量個(gè)數(shù)，為采樣點(diǎn)個(gè)數(shù)。（3）對(duì)進(jìn)行特征分解，求取特征向量以及所對(duì)應(yīng)的特征根并按其絕對(duì)值大到小排序。在這個(gè)由新的正交基張成的空間坐標(biāo)系中，最大特征根所對(duì)應(yīng)的特征向量（即的第一列）將朝向小球真實(shí)運(yùn)動(dòng)的方向（在這個(gè)方向上數(shù)據(jù)有最大的方差和SNR，去除了實(shí)驗(yàn)噪聲和系統(tǒng)線性扭曲的影響）。這里要特別介紹的是它在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用，包括如何對(duì)圖像進(jìn)行處理以及在人臉識(shí)別方面的特別作用。如果是一幅大小的圖像，它的數(shù)據(jù)將被表達(dá)為一個(gè)維的向量：，在這里圖像的結(jié)構(gòu)將被打亂，每一個(gè)像素點(diǎn)被看作是一維，最直接的方法就是將圖像的像素一行一行的從頭到尾相接成一個(gè)一維向量。將它們排成一個(gè)矩陣：　　?。?－12）然后對(duì)它們進(jìn)行PCA處理，找出主元。對(duì)這樣的一組人臉圖像進(jìn)行處理，提取其中最重要的主元，即可大致描述人臉的結(jié)構(gòu)信息，稱作“特征臉”(EigenFace)。近些年來(lái)，基于對(duì)一般PCA方法的改進(jìn)，結(jié)合ICA、kernelPCA等方法，在主元分析中加入關(guān)于人臉圖像的先驗(yàn)知識(shí)，則能得到更好的效果。這是視覺(jué)領(lǐng)域內(nèi)圖像處理的經(jīng)典算法之一。然后根據(jù)主元的排序去除其中次要的分量，然后變換回原空間，則圖像序列因?yàn)榫S數(shù)降低得到很大的壓縮。但是這種有損的壓縮方法同時(shí)又保持了其中最“重要”的信息，是一種非常重要且有效的算法。所謂訓(xùn)練就是從先驗(yàn)的大量實(shí)驗(yàn)數(shù)據(jù)中統(tǒng)計(jì)抽取出某類模式的特征，然后將該特征標(biāo)注為該模式類，測(cè)試就是在實(shí)踐中，已知一個(gè)樣本，用相同或不同于訓(xùn)練步的方法抽取它的特征，再將該特征與模式類進(jìn)行相似度度量并進(jìn)行識(shí)別。所謂人臉全局特征是指所提取的特征與整幅人臉圖像甚至與整個(gè)訓(xùn)練樣本集