【正文】 題的求解。隨后將揭示 PCA 與SVD(Singular Value Deposition)之間的聯(lián)系以及如何將之應(yīng)用于真實(shí)世界。最后將分析 PCA理論模型的假設(shè)條件以及針對(duì)這些條件可能進(jìn)行的改進(jìn)。 二 、 例子 在實(shí)驗(yàn)科學(xué)中 常 常遇到的情況是， 使用大量的變量代表可能變化的因素，例如光譜、電壓、速度等等。 在實(shí)際中， 由于實(shí)驗(yàn)環(huán)境和觀(guān)測(cè)手段的限制，實(shí)驗(yàn)數(shù)據(jù)往往變得極其的復(fù)雜 ， 混亂 ，而且數(shù)據(jù)存在很大的冗余 。如何對(duì)數(shù)據(jù)進(jìn)行分析，取得隱藏在數(shù)據(jù)背后 變量 間的本質(zhì) 關(guān)系，是一個(gè)很困難的問(wèn)題。在神經(jīng)科學(xué)、氣象學(xué)、畢業(yè)設(shè)計(jì)（論文） XXVI 海洋學(xué)等等學(xué)科實(shí)驗(yàn)中，假設(shè)的變 量個(gè)數(shù) 往往 非常之多 ， 但是真正的影響因素以及它們之間的關(guān)系可 能又是非常之簡(jiǎn)單的。 下面的 例子 取自一個(gè) 我們都非常熟悉的 物理學(xué)中的實(shí)驗(yàn)。 這個(gè)實(shí)驗(yàn) 看上去 似乎過(guò)于 簡(jiǎn)單，但足以說(shuō)明問(wèn)題。如圖表 所示 ， 這是一個(gè)理想彈簧運(yùn)動(dòng)規(guī)律的測(cè)定實(shí)驗(yàn)。假設(shè)球是連接在一個(gè)無(wú)質(zhì)量無(wú)摩擦的彈簧之上，從平衡位置沿 x 軸拉開(kāi)一定的距離然后釋放 。 圖 對(duì)于一個(gè)具有先驗(yàn)知識(shí)的實(shí)驗(yàn)者來(lái)說(shuō)，這個(gè)實(shí)驗(yàn)是非常容易的。球的運(yùn)動(dòng)只是在 x 軸向上發(fā)生，只需要記錄下 x 軸上的運(yùn)動(dòng)序列并加以分析即可。但是，在 實(shí)際中，對(duì)于第一次 做這個(gè) 實(shí)驗(yàn)的 實(shí)驗(yàn) 者來(lái)說(shuō)（這也是實(shí)驗(yàn)科學(xué)中最常遇到的一種情況），是 無(wú) 法 進(jìn)行這樣的假設(shè)的。那么，一般來(lái)說(shuō)，必須記錄下球的三維位置 (x0,y0,z0)。這一點(diǎn)可以通過(guò)在不同角度放置三個(gè)攝像機(jī)實(shí)現(xiàn)（如圖 ） ，假設(shè)以 200Hz 的頻率拍攝畫(huà)面 就可以得到球在空間中的運(yùn)動(dòng)序列。但是，由于實(shí)驗(yàn)的限制，這三臺(tái)攝像機(jī)的角度可能比較任意，并不是正交的。事實(shí)上，在真實(shí)世界中也并沒(méi)有所謂的 x,y,z 軸，每個(gè)攝像機(jī)記錄下的都是一幅二維的圖像，有其自己的空間坐標(biāo)系，球的空間位置是由一組二維坐標(biāo)記錄的： [(xA,yA)(xB,yB)(xC,yC)]。經(jīng)過(guò)實(shí)驗(yàn)，系統(tǒng)的攝像機(jī)記錄 了 幾分鐘球的位置 序列。 怎樣從這些數(shù)據(jù)中得到球是沿著某個(gè) x 軸運(yùn)動(dòng)的規(guī)律呢？怎樣將實(shí)驗(yàn)數(shù)據(jù)中的冗余變量剔除，化歸到這個(gè)潛在的 x軸上呢？ 在 真實(shí)的實(shí)驗(yàn)場(chǎng)景 中 ，數(shù)據(jù)的噪音是必須面對(duì)的因素。在這個(gè)實(shí)驗(yàn)中噪音可能來(lái)自空氣、摩擦、攝像機(jī)的誤差以及非理想化的彈簧等等。噪音使數(shù)據(jù)變得混亂，掩蓋了變量間的 真實(shí)關(guān)系。如何去除噪音 是實(shí)驗(yàn)者 每天 都要思考和解決的問(wèn)題 。 上面提出的兩個(gè)問(wèn)題就是 PCA 方法 要解決 的目標(biāo)。 PCA 主成分 分析方法是解決此類(lèi)問(wèn)題的一個(gè) 非常有效的工具 。下文將結(jié)合以上的例子提出解決 方法 ，逐步敘述 PCA畢業(yè)設(shè)計(jì)（論文） XXVII 方法的思想和求解過(guò)程 。 三 、 基變換 從 線(xiàn)形代數(shù)的角度來(lái)看， PCA 的目標(biāo)就是使用另一組基去重新描述得到的數(shù)據(jù)空間。而新的基要能盡量揭示原有的數(shù)據(jù)間的關(guān)系。在這個(gè)例子中，沿著某 x 軸上的運(yùn)動(dòng)是最重要的。這個(gè)維度即最重要的 “ 主元 ” 。 PCA 的目標(biāo)就是找到這樣的 “ 主元 ” ，最大程度的去除冗余和噪音的干擾。 1. 標(biāo)準(zhǔn)正交基 為了 更有利于 推導(dǎo)， 將 對(duì)上述例子 的數(shù)據(jù) 作出定義為： 在實(shí)驗(yàn)過(guò)程中，在每一個(gè)采樣時(shí)間點(diǎn)上， 每個(gè)攝像機(jī)記錄 一組二維坐標(biāo) 為 (x,y)，綜合三臺(tái)攝像機(jī)數(shù)據(jù)，在每一個(gè)時(shí)間點(diǎn)上得到的位置數(shù)據(jù)對(duì)應(yīng)于一個(gè)六維列向量。 X=AABBCCxyxyxy???????????????????? （ ） 如果以 200Hz 的頻率拍攝 10 分鐘，將得到 10*60*200=120210 個(gè)這樣的向量數(shù)據(jù) 。 抽象一點(diǎn)來(lái)說(shuō)，每一個(gè)采樣點(diǎn)數(shù)據(jù) X 都是在 m 維向量空間（此例 m=6）內(nèi)的一個(gè)向量，這里的 m 是 涉及到的 變量個(gè)數(shù)。由線(xiàn)形代數(shù) 知識(shí)可以 知道，在 m 維向量空間中的每一個(gè)向量都是一組正交基的線(xiàn)形組合。最普通的一組正交基是標(biāo)準(zhǔn)正交基，實(shí)驗(yàn)采樣的結(jié)果通?？梢钥醋魇窃跇?biāo)準(zhǔn)正交基下表示的。舉例來(lái)說(shuō)，上例 中每個(gè)攝像機(jī)記錄的數(shù)據(jù)坐標(biāo)為 (x,y)，這樣的基便是 [(1,0),(0,1)]。那為什么不取2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???或是其他任意的基呢？原因是，這樣的標(biāo)準(zhǔn)正交基反映了數(shù)據(jù)的采集方式。假設(shè)采集數(shù)據(jù)點(diǎn)是 (2,2)，一般并不會(huì) 記錄 (2 2,0) 。 (在 2 2 2 2, , ,2 2 2 2????? ? ? ?? ? ? ???? ? ? ???基下） ， 因?yàn)橐话愕挠^(guān)測(cè)者都是習(xí)慣于取攝像機(jī)的屏幕坐標(biāo)，即向上和向右的方向作為觀(guān)測(cè)的基準(zhǔn)。也就是說(shuō)，標(biāo)準(zhǔn)正交基表現(xiàn)了數(shù)據(jù)觀(guān)測(cè)的一般方式。 在線(xiàn)形代數(shù)中， 這組基表示為行列向量線(xiàn)形無(wú)關(guān)的單位矩陣。 畢業(yè)設(shè)計(jì)（論文） XXVIII 121 0 00 1 00 0 1mbbBIb?? ???? ????? ? ??? ???? ???? （ ） 2. 基變換 從更嚴(yán)格的數(shù)學(xué)定義上來(lái)說(shuō) ， PCA 回答的問(wèn)題是：如何尋找到另一組正交基，它們是標(biāo)準(zhǔn)正交基的線(xiàn)性 組合，而且能夠最好的表示數(shù)據(jù)集？ 在 PCA 方法 中有 一 個(gè)很關(guān)鍵的假設(shè)：線(xiàn)性。 這是一個(gè)非常 好 的假設(shè) ， 它使問(wèn)題得到了很大程度的簡(jiǎn)化 ，具體表現(xiàn)為 數(shù)據(jù)被限制在一個(gè)向量空間中，能被一組基表示 ，并且還 隱含的假設(shè)了數(shù)據(jù)間的連續(xù)性關(guān)系。 這樣一來(lái)數(shù)據(jù)就可以被表示為各種基的 線(xiàn)性組合 。 令 X 表示原數(shù)據(jù)集。 X是一個(gè)m*n 的矩陣，它的每一個(gè)列向量都表示一個(gè)時(shí)間采樣點(diǎn)上的數(shù)據(jù) X ， 在上面的例子中 ， m=6,n=120210。 Y表示轉(zhuǎn)換以后的新的數(shù)據(jù)集表示 。 P是他們之間的線(xiàn)性轉(zhuǎn)換 。它們間的轉(zhuǎn)換關(guān)系為 PXY? （ ） 有如下定義： pi表示 P的行向量。 xi表示 X的 列向量 。 yi表示 Y的列向量。 上式（ 3） 在線(xiàn)性代數(shù)中，它有如下 的含義： P 是從 X 到 Y 的轉(zhuǎn)換矩陣。幾何上來(lái)說(shuō) ， P 對(duì) X 進(jìn)行旋轉(zhuǎn)和拉伸得到 Y。 P 的行向量， （ p1,p2,? ,pm） 是一組新的基，而 Y 是原數(shù)據(jù) X 在這組新的基表示下得到的重新表示。 下面是對(duì)最后一個(gè)含義的說(shuō)明： ? ?11 nmpP X x xp????? ?????? （ ） 畢業(yè)設(shè)計(jì)（論文） XXIX 1 1 11nm m np x p xYp x p x?????????? （ ） 注意到 Y的列向量： 1 iimipxypx??????????? （ ） 可見(jiàn) yi表示的是 xi與 P 中對(duì)應(yīng)列的點(diǎn)積，也就是相當(dāng)于是在對(duì)應(yīng)向量上的投影。所以， P 的行向量事實(shí)上就是一組新的基。它對(duì)原數(shù)據(jù) X 進(jìn)行重新表示。 3. 問(wèn)題 在線(xiàn)性的假設(shè)條件下，問(wèn)題轉(zhuǎn)化為尋找一組變換后的基，也就是 P 的行向量（ p1,p2,? ,pm） ，這些向量就是 PCA 中所謂的 “ 主元 ” 。問(wèn)題轉(zhuǎn)化為如下的形式： 怎樣才能最好的表示原數(shù)據(jù) X？ P的基怎樣選擇才是最好的 ? 解決問(wèn)題的關(guān)鍵是如何體現(xiàn)數(shù)據(jù)的特征 。 那么，什么是數(shù)據(jù)的特征，如何體現(xiàn)呢 ？ 四 、 方差 “ 最好的表示 ” 是什么意思呢？下面 將給出一個(gè)較為直觀(guān)的解釋?zhuān)?但同時(shí)會(huì) 增加一些額外的假設(shè)條件 。在線(xiàn)性系統(tǒng)中，所謂的“混亂數(shù)據(jù)”通常包含以下三種成分：噪音，旋轉(zhuǎn)以及冗余。 1. 噪音和旋轉(zhuǎn) 噪音對(duì)數(shù)據(jù)的影響是巨大的，如 果不能對(duì)噪音進(jìn)行區(qū)分，就不可能抽取 到 數(shù)據(jù)中 有 用 的 信 息 。 噪 音 的 衡 量 有 多 種 方 式 ， 最 常 見(jiàn) 的 定 義 是 信 噪 比SNR(signaltonoise ratio)，或是方差比 2? ： 22signalnoiseSNR??? 畢業(yè)設(shè)計(jì)（論文） XXX （ ） 2 1 ()1n ii xxn? ? ?? ?? （ ） 比較大的信噪比表示數(shù)據(jù)的準(zhǔn)確度高 ， 而信噪比低則說(shuō)明數(shù)據(jù)中的噪音成分比較多 。 那么怎樣區(qū)分什么是 信號(hào)，什么是噪音呢？這里假設(shè)，變換較大的 信息被認(rèn)為是信號(hào)，變換較小的則是噪音。事實(shí)上，這個(gè)假設(shè)等價(jià)于一個(gè)低通的濾波器，是一種標(biāo)準(zhǔn)的除 噪準(zhǔn)則。而變換的大小則是由方差來(lái)描述的。 它表示了采樣點(diǎn)在平均值兩側(cè)的分布，對(duì)應(yīng)于圖表 (a)就是采樣點(diǎn)云的 “ 胖瘦 ” 。顯然的，方差較大，也就是較 “ 寬 ” 較 “ 胖 ” 的分布，表示了采樣點(diǎn)的主要分布趨勢(shì)，是主信號(hào)或主要分量；而方差較小的分布則被認(rèn) 為是噪音或次要分量。 (a) (b) 圖 (a)攝像機(jī) A的采集數(shù)據(jù)。圖中黑色垂直直線(xiàn)表示一組正交基的方向。 2signal? 是采樣點(diǎn)云在長(zhǎng)線(xiàn)方向上分布的 的方差 ，而 2noise? 是數(shù)據(jù)點(diǎn)在短線(xiàn)方向上分布的方差。 (b)對(duì) P的基向量進(jìn)行旋轉(zhuǎn)使 SNR和方差最大。 假設(shè)攝像機(jī) A 拍攝到的數(shù)據(jù)如表 (a)所示，圓圈代表采樣點(diǎn)，因?yàn)檫\(yùn)動(dòng)理論上是只存在于一條直線(xiàn)上，所以偏離直線(xiàn)的分布都屬于噪音。此時(shí) SNR 描述的就是采樣點(diǎn)云在某對(duì)垂直方向上的概率分布的比 值。那么，最大限度的揭示原數(shù)據(jù)的結(jié)構(gòu)和關(guān)系，找出潛在的最優(yōu) 的 x 軸，事實(shí)上等價(jià)尋找一對(duì)空間內(nèi)的垂直直線(xiàn)（ 圖中黑線(xiàn)表示，也對(duì)應(yīng)于此空間的一組基 ）， 使得信噪比盡可能大的方向。容易看出，本畢業(yè)設(shè)計(jì)（論文） XXXI 例中潛在的 x 軸就是圖上的較長(zhǎng)黑線(xiàn)方向 。 那么怎樣尋找這樣一組方向呢？直接的想法是對(duì)基向量進(jìn)行旋轉(zhuǎn)。如圖表 （ b） 所示，隨著這對(duì)直線(xiàn)的 轉(zhuǎn)動(dòng) SNR 以及方差的變化情況。 對(duì) 應(yīng)于 SNR最大值的一組基 p，就是最優(yōu)的 “ 主元 ” 方向。 2. 冗余 在實(shí)驗(yàn)中 ，經(jīng)常會(huì)出現(xiàn)由于我們先驗(yàn)知識(shí)的不足而 引入了一些不必要的變量 。這樣可能會(huì)是 兩種情況： 1）該變量對(duì)結(jié)果沒(méi)有影響； 2）該變量可以用其它變量表示，從而造成數(shù)據(jù)冗余。 (a) (b) (c) 圖 。 r1和 r2分別表示兩個(gè)不同的觀(guān)測(cè)變量。（比如例子中的 xA，yB）。最佳擬合曲線(xiàn) r2=kr1用虛線(xiàn)表示。 如圖表 3 所示，它揭示了兩個(gè)觀(guān)測(cè)變量之間的關(guān)系。 (a)圖所示的情況是低冗余的，從統(tǒng)計(jì)學(xué)上說(shuō)，這兩個(gè)觀(guān) 測(cè)變量是相互獨(dú)立的 ， 它們之間的信息沒(méi)有冗余。而相反的極端情況 如 （ c） ， r1和 r2高度相關(guān)， r2完全可以用 r1表示。一般來(lái)說(shuō)，這種情況發(fā)生可能是因?yàn)閿z像機(jī) A和攝像機(jī) B放置的位置太近或是數(shù)據(jù)被重復(fù)記錄了，也可能是由于實(shí)驗(yàn)設(shè)計(jì)的不合理所造成的。 那么對(duì)于觀(guān)測(cè)者而言，這個(gè)變量的觀(guān)測(cè)數(shù)據(jù)就是完全冗余的，應(yīng)當(dāng)去除 ， 只用一個(gè)變量就 可以表 示 。這也就是 PCA 中“ 降維 ” 思想的本源 。 3. 協(xié)方差矩陣 對(duì)于上面的簡(jiǎn)單情況，可以通過(guò)簡(jiǎn)單的線(xiàn)性擬合的方法來(lái)判斷各觀(guān)測(cè)變量之間是否出現(xiàn)冗余的情況，而對(duì)于復(fù)雜的情況，需要借助協(xié)方差 [13]來(lái)進(jìn)行衡量和判斷： 2 1 ( ) ( )1n iiiABa a b bn? ? ??? ?? （ ） 畢業(yè)設(shè)計(jì)（論文） XXXII A， B 分別表示不同的觀(guān)測(cè)變量所 記錄的一組值，在統(tǒng)計(jì)學(xué)中，由協(xié)方差的性質(zhì)可以得到： 2 0AB? ? ，且 2 0AB? ? 當(dāng)且僅當(dāng)觀(guān)測(cè)變量 A， B相互獨(dú)立 。 22AB B??? ，當(dāng) A=B 等價(jià)的，將A,B寫(xiě)成行向量的形式 ： 12[ , ,..., ]nA a a a? ， 12[ , ,..., ]nB b b b? 協(xié)方差可以表示為 2 11 TAB ABn? ? ? （ ） 那么，對(duì)于一組具有 m 個(gè)觀(guān)測(cè)變量 ,n 個(gè)采樣時(shí)間點(diǎn)的采樣數(shù)據(jù) X， 將每個(gè)觀(guān)測(cè)變量的值 寫(xiě)為行向量，可以得到 一個(gè) m*n的矩陣： 1mxXx??????????? （ ） 接下來(lái)定義協(xié)方差矩陣如下 ： 1 1 TXC XXn? ? （ ） 1 1 1 2 12 1 2 2 1122 2 22 2 22 2 2