【正文】 題的求解。隨后將揭示 PCA 與SVD(Singular Value Deposition)之間的聯(lián)系以及如何將之應用于真實世界。最后將分析 PCA理論模型的假設條件以及針對這些條件可能進行的改進。 二 、 例子 在實驗科學中 常 常遇到的情況是， 使用大量的變量代表可能變化的因素，例如光譜、電壓、速度等等。 在實際中， 由于實驗環(huán)境和觀測手段的限制，實驗數據往往變得極其的復雜 ， 混亂 ，而且數據存在很大的冗余 。如何對數據進行分析，取得隱藏在數據背后 變量 間的本質 關系，是一個很困難的問題。在神經科學、氣象學、畢業(yè)設計（論文） XXVI 海洋學等等學科實驗中，假設的變 量個數 往往 非常之多 ， 但是真正的影響因素以及它們之間的關系可 能又是非常之簡單的。 下面的 例子 取自一個 我們都非常熟悉的 物理學中的實驗。 這個實驗 看上去 似乎過于 簡單，但足以說明問題。如圖表 所示 ， 這是一個理想彈簧運動規(guī)律的測定實驗。假設球是連接在一個無質量無摩擦的彈簧之上，從平衡位置沿 x 軸拉開一定的距離然后釋放 。 圖 對于一個具有先驗知識的實驗者來說，這個實驗是非常容易的。球的運動只是在 x 軸向上發(fā)生，只需要記錄下 x 軸上的運動序列并加以分析即可。但是，在 實際中，對于第一次 做這個 實驗的 實驗 者來說（這也是實驗科學中最常遇到的一種情況），是 無 法 進行這樣的假設的。那么，一般來說，必須記錄下球的三維位置 (x0,y0,z0)。這一點可以通過在不同角度放置三個攝像機實現(xiàn)（如圖 ） ，假設以 200Hz 的頻率拍攝畫面 就可以得到球在空間中的運動序列。但是，由于實驗的限制，這三臺攝像機的角度可能比較任意，并不是正交的。事實上，在真實世界中也并沒有所謂的 x,y,z 軸，每個攝像機記錄下的都是一幅二維的圖像，有其自己的空間坐標系，球的空間位置是由一組二維坐標記錄的： [(xA,yA)(xB,yB)(xC,yC)]。經過實驗，系統(tǒng)的攝像機記錄 了 幾分鐘球的位置 序列。 怎樣從這些數據中得到球是沿著某個 x 軸運動的規(guī)律呢？怎樣將實驗數據中的冗余變量剔除，化歸到這個潛在的 x軸上呢？ 在 真實的實驗場景 中 ，數據的噪音是必須面對的因素。在這個實驗中噪音可能來自空氣、摩擦、攝像機的誤差以及非理想化的彈簧等等。噪音使數據變得混亂，掩蓋了變量間的 真實關系。如何去除噪音 是實驗者 每天 都要思考和解決的問題 。 上面提出的兩個問題就是 PCA 方法 要解決 的目標。 PCA 主成分 分析方法是解決此類問題的一個 非常有效的工具 。下文將結合以上的例子提出解決 方法 ，逐步敘述 PCA畢業(yè)設計（論文） XXVII 方法的思想和求解過程 。 三 、 基變換 從 線形代數的角度來看， PCA 的目標就是使用另一組基去重新描述得到的數據空間。而新的基要能盡量揭示原有的數據間的關系。在這個例子中，沿著某 x 軸上的運動是最重要的。這個維度即最重要的 “ 主元 ” 。 PCA 的目標就是找到這樣的 “ 主元 ” ，最大程度的去除冗余和噪音的干擾。 1. 標準正交基 為了 更有利于 推導， 將 對上述例子 的數據 作出定義為： 在實驗過程中，在每一個采樣時間點上， 每個攝像機記錄 一組二維坐標 為 (x,y)，綜合三臺攝像機數據，在每一個時間點上得到的位置數據對應于一個六維列向量。 X=AABBCCxyxyxy???????????????????? （ ） 如果以 200Hz 的頻率拍攝 10 分鐘，將得到 10*60*200=120210 個這樣的向量數據 。 抽象一點來說，每一個采樣點數據 X 都是在 m 維向量空間（此例 m=6）內的一個向量，這里的 m 是 涉及到的 變量個數。由線形代數 知識可以 知道，在 m 維向量空間中的每一個向量都是一組正交基的線形組合。最普通的一組正交基是標準正交基，實驗采樣的結果通?？梢钥醋魇窃跇藴收换卤硎镜?。舉例來說，上例 中每個攝像機記錄的數據坐標為 (x,y)，這樣的基便是 [(1,0),(0,1)]。那為什么不取2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???或是其他任意的基呢？原因是，這樣的標準正交基反映了數據的采集方式。假設采集數據點是 (2,2)，一般并不會 記錄 (2 2,0) 。 (在 2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???基下） ， 因為一般的觀測者都是習慣于取攝像機的屏幕坐標，即向上和向右的方向作為觀測的基準。也就是說，標準正交基表現(xiàn)了數據觀測的一般方式。 在線形代數中， 這組基表示為行列向量線形無關的單位矩陣。 畢業(yè)設計（論文） XXVIII 121 0 00 1 00 0 1mbbBIb?? ???? ????? ? ??? ???? ???? （ ） 2. 基變換 從更嚴格的數學定義上來說 ， PCA 回答的問題是：如何尋找到另一組正交基，它們是標準正交基的線性 組合，而且能夠最好的表示數據集？ 在 PCA 方法 中有 一 個很關鍵的假設：線性。 這是一個非常 好 的假設 ， 它使問題得到了很大程度的簡化 ，具體表現(xiàn)為 數據被限制在一個向量空間中，能被一組基表示 ，并且還 隱含的假設了數據間的連續(xù)性關系。 這樣一來數據就可以被表示為各種基的 線性組合 。 令 X 表示原數據集。 X是一個m*n 的矩陣，它的每一個列向量都表示一個時間采樣點上的數據 X ， 在上面的例子中 ， m=6,n=120210。 Y表示轉換以后的新的數據集表示 。 P是他們之間的線性轉換 。它們間的轉換關系為 PXY? （ ） 有如下定義： pi表示 P的行向量。 xi表示 X的 列向量 。 yi表示 Y的列向量。 上式（ 3） 在線性代數中，它有如下 的含義： P 是從 X 到 Y 的轉換矩陣。幾何上來說 ， P 對 X 進行旋轉和拉伸得到 Y。 P 的行向量， （ p1,p2,? ,pm） 是一組新的基，而 Y 是原數據 X 在這組新的基表示下得到的重新表示。 下面是對最后一個含義的說明： ? ?11 nmpP X x xp????? ?????? （ ） 畢業(yè)設計（論文） XXIX 1 1 11nm m np x p xYp x p x?????????? （ ） 注意到 Y的列向量： 1 iimipxypx??????????? （ ） 可見 yi表示的是 xi與 P 中對應列的點積，也就是相當于是在對應向量上的投影。所以， P 的行向量事實上就是一組新的基。它對原數據 X 進行重新表示。 3. 問題 在線性的假設條件下，問題轉化為尋找一組變換后的基，也就是 P 的行向量（ p1,p2,? ,pm） ，這些向量就是 PCA 中所謂的 “ 主元 ” 。問題轉化為如下的形式： 怎樣才能最好的表示原數據 X？ P的基怎樣選擇才是最好的 ? 解決問題的關鍵是如何體現(xiàn)數據的特征 。 那么，什么是數據的特征，如何體現(xiàn)呢 ？ 四 、 方差 “ 最好的表示 ” 是什么意思呢？下面 將給出一個較為直觀的解釋， 但同時會 增加一些額外的假設條件 。在線性系統(tǒng)中，所謂的“混亂數據”通常包含以下三種成分：噪音，旋轉以及冗余。 1. 噪音和旋轉 噪音對數據的影響是巨大的，如 果不能對噪音進行區(qū)分，就不可能抽取 到 數據中 有 用 的 信 息 。 噪 音 的 衡 量 有 多 種 方 式 ， 最 常 見 的 定 義 是 信 噪 比SNR(signaltonoise ratio)，或是方差比 2? ： 22signalnoiseSNR??? 畢業(yè)設計（論文） XXX （ ） 2 1 ()1n ii xxn? ? ?? ?? （ ） 比較大的信噪比表示數據的準確度高 ， 而信噪比低則說明數據中的噪音成分比較多 。 那么怎樣區(qū)分什么是 信號，什么是噪音呢？這里假設，變換較大的 信息被認為是信號，變換較小的則是噪音。事實上，這個假設等價于一個低通的濾波器，是一種標準的除 噪準則。而變換的大小則是由方差來描述的。 它表示了采樣點在平均值兩側的分布，對應于圖表 (a)就是采樣點云的 “ 胖瘦 ” 。顯然的，方差較大，也就是較 “ 寬 ” 較 “ 胖 ” 的分布，表示了采樣點的主要分布趨勢，是主信號或主要分量；而方差較小的分布則被認 為是噪音或次要分量。 (a) (b) 圖 (a)攝像機 A的采集數據。圖中黑色垂直直線表示一組正交基的方向。 2signal? 是采樣點云在長線方向上分布的 的方差 ，而 2noise? 是數據點在短線方向上分布的方差。 (b)對 P的基向量進行旋轉使 SNR和方差最大。 假設攝像機 A 拍攝到的數據如表 (a)所示，圓圈代表采樣點，因為運動理論上是只存在于一條直線上，所以偏離直線的分布都屬于噪音。此時 SNR 描述的就是采樣點云在某對垂直方向上的概率分布的比 值。那么，最大限度的揭示原數據的結構和關系，找出潛在的最優(yōu) 的 x 軸，事實上等價尋找一對空間內的垂直直線（ 圖中黑線表示，也對應于此空間的一組基 ）， 使得信噪比盡可能大的方向。容易看出，本畢業(yè)設計（論文） XXXI 例中潛在的 x 軸就是圖上的較長黑線方向 。 那么怎樣尋找這樣一組方向呢？直接的想法是對基向量進行旋轉。如圖表 （ b） 所示，隨著這對直線的 轉動 SNR 以及方差的變化情況。 對 應于 SNR最大值的一組基 p，就是最優(yōu)的 “ 主元 ” 方向。 2. 冗余 在實驗中 ，經常會出現(xiàn)由于我們先驗知識的不足而 引入了一些不必要的變量 。這樣可能會是 兩種情況： 1）該變量對結果沒有影響； 2）該變量可以用其它變量表示，從而造成數據冗余。 (a) (b) (c) 圖 。 r1和 r2分別表示兩個不同的觀測變量。（比如例子中的 xA，yB）。最佳擬合曲線 r2=kr1用虛線表示。 如圖表 3 所示，它揭示了兩個觀測變量之間的關系。 (a)圖所示的情況是低冗余的，從統(tǒng)計學上說，這兩個觀 測變量是相互獨立的 ， 它們之間的信息沒有冗余。而相反的極端情況 如 （ c） ， r1和 r2高度相關， r2完全可以用 r1表示。一般來說，這種情況發(fā)生可能是因為攝像機 A和攝像機 B放置的位置太近或是數據被重復記錄了，也可能是由于實驗設計的不合理所造成的。 那么對于觀測者而言，這個變量的觀測數據就是完全冗余的，應當去除 ， 只用一個變量就 可以表 示 。這也就是 PCA 中“ 降維 ” 思想的本源 。 3. 協(xié)方差矩陣 對于上面的簡單情況，可以通過簡單的線性擬合的方法來判斷各觀測變量之間是否出現(xiàn)冗余的情況，而對于復雜的情況，需要借助協(xié)方差 [13]來進行衡量和判斷： 2 1 ( ) ( )1n iiiABa a b bn? ? ??? ?? （ ） 畢業(yè)設計（論文） XXXII A， B 分別表示不同的觀測變量所 記錄的一組值，在統(tǒng)計學中，由協(xié)方差的性質可以得到： 2 0AB? ? ，且 2 0AB? ? 當且僅當觀測變量 A， B相互獨立 。 22AB B??? ，當 A=B 等價的，將A,B寫成行向量的形式 ： 12[ , ,..., ]nA a a a? ， 12[ , ,..., ]nB b b b? 協(xié)方差可以表示為 2 11 TAB ABn? ? ? （ ） 那么，對于一組具有 m 個觀測變量 ,n 個采樣時間點的采樣數據 X， 將每個觀測變量的值 寫為行向量，可以得到 一個 m*n的矩陣： 1mxXx??????????? （ ） 接下來定義協(xié)方差矩陣如下 ： 1 1 TXC XXn? ? （ ） 1 1 1 2 12 1 2 2 1122 2 22 2 22 2 2