【正文】 1 第十三章 主成分分析和因子分析 在建立多元回歸模型時 ， 為了更準確地反映事物的特征 ， 人們經(jīng)常會在模型中包含較多相關(guān)解釋變量 ， 這不僅使得問題分析變得復(fù)雜 ， 而且變量之間可能存在多重共線性 ， 使得數(shù)據(jù)提供的信息發(fā)生重疊 ， 甚至?xí)⑹挛锏恼嬲卣?。 為了解決這些問題 ， 需要采用降維的思想 ， 將所有指標的信息通過少數(shù)幾個指標來反映 ， 在低維空間將信息分解為互不相關(guān)的部分以獲得更有意義的解釋 。 本章介紹的主成分分析和因子分析可用于解決這類問題 。 2 主成分分析 （ principal ponents analysis， 簡稱PCA） 是由霍特林 （ Hotelling） 于 1933年首先提出的 。它通過投影的方法 ， 實現(xiàn)數(shù)據(jù)的降維 ， 在損失較少數(shù)據(jù)信息的基礎(chǔ)上把多個指標轉(zhuǎn)化為幾個有代表意義的綜合指標 。 主成分分析 3 主成分分析的基本思想 假如對某一問題的研究涉及 p 個指標，記為 X1， X2, …, Xp，由這 p 個隨機變量構(gòu)成的隨機向量為 X=(X1, X2, …, Xp)?，設(shè) X 的均值向量為 ?，協(xié)方差矩陣為 ?。設(shè) Y=(Y1, Y2 , … , Yp)?為對 X 進行線性變換得到的合成隨機向量，即 （ ） 設(shè) ?i=(?i1, ?i2 , …, ?ip)?， ( ), A=(?1 , ?2 ,…, ?p)?，則有 （ ） ???????????????????????????????????????????pppppppp XXXYYY?????????2121222211121121?????????AXY ? pi ,2,1 ??4 且 （ ） 由式（ ）和式（ ）可以看出，可以對原始變量進行任意的線性變換，不同線性變換得到的合成變量 Y的統(tǒng)計特征顯然是不一樣的。每個 Yi 應(yīng)盡可能多地反映 p 個原始變量的信息，通常用方差來度量“信息”， Yi 的方差越大表示它所包含的信息越多。由式（ ）可以看出將系數(shù)向量 ?i 擴大任意倍數(shù)會使 Yi 的方差無限增大，為了消除這種不確定性，增加約束條件： pjiYYpiYjijiii,2,1,),cov (,2,1)var(????????ΣααΣαα i1?? iaa i5 為了有效地反映原始變量的信息， Y的不同分量包含的信息不應(yīng)重疊。綜上所述，式（ ）的線性變換需要滿足下面的約束： (1) ，即 ， i =1, 2, …, p。 (2) Y1在滿足約束 (1) 即的情況下，方差最大； Y2是在滿足約束 (1) ，且與 Y1不相關(guān)的條件下，其方差達到最大； …… ；Yp是在滿足約束 (1) ，且與 Y1， Y2， … ， Y p1不相關(guān)的條件下，在各種線性組合中方差達到最大者。 滿足上述約束得到的合成變量 Y1, Y2, …, Yp分別稱為原始變量的第一主成分、第二主成分、 … 、第 p 主成分，而且各成分方差在總方差中占的比重依次遞減。在實際研究工作中，僅挑選前幾個方差較大的主成分，以達到簡化系統(tǒng)結(jié)構(gòu)的目的。 122221 ???? ipii aaa ?1?? iaa i6 總體主成分求解及其性質(zhì) 變量的方差大小及其對原始變量波動 (方差 )的貢獻大小，而對于原始隨機變量 X1， X2， … ， Xp，其協(xié)方差矩陣或相關(guān)矩陣正是對各變量離散程度和相關(guān)程度的度量。在實際求解主成分時，一般從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析出發(fā)。 7 1．從協(xié)方差矩陣出發(fā)求解主成分 設(shè) ?1是任意 p?1向量，求解主成份就是在約束條件 下，求 X 的線性函數(shù) 使其方差 達到最大，即達到最大，且 ，其中 ? 是隨機變量向量 X =(X1, X2, …, Xp)?的協(xié)方差矩陣。設(shè) ?1 ≥ ?2 ≥ … ≥ ?p ≥ 0 為 ? 的特征值， e1 , e2 ,…, ep為 ? 矩陣各特征值對應(yīng)的標準正交特征向量，則對于任意的 ei 和 ej，有 （ ） 且 （ ） Xa11 ??Y 1?? iaa i 111 )var( Σaa ??Y1?? iaa i ???????jijiji ,0,1ee,1????piiii eeΣ ?Iee i ????pii18 因此 （ ） 當(dāng) ?1 = e1 時有 （ ） 此時 達到最大值為 ?1。同理有 并且 （ ） 1111111111111 )()( ???? ?????????? ????IaaaeeaaeeaΣaapiiipiiii111111111 ??? ?????? eeeeΣee 111 )var( Σaa ??Y ii ??? )var( Xe pjijijjiji ,2,1,0),cov ( ?????????? eeΣeeXeXe ?9 由上述推導(dǎo)得 （ ） 可見 Y1, Y2, …, Yp 即為原始變量的 p 個主成份。因此，主成分的求解轉(zhuǎn)變?yōu)榍? X1, X2, …, Xp 協(xié)方差矩陣 ? 的特征值和特征向量的問題。 XeXeXe ppYYY ?????? , 2211 ?10 ２．主成份的性質(zhì) 性質(zhì) 1 Y的協(xié)方差矩陣為對角陣 ?，即 （ ） 性質(zhì) 2 設(shè) ?=(?ij)p p是隨機變量向量 X 的協(xié)方差矩陣，可得 即 ????????????p???????00)var(1ΛY?????piipii YX11)var()var(?????piipiii11??11 由此可見，主成分分析是把 p 個隨機變量的總方差分解為 p 個不相關(guān)隨機變量的方差之和 ?1 ＋ ?2 ＋ … ＋ ?P，則總方差中屬于第 i 個主成分（被第 i 個主成分所解釋）的比例為 （ ） 稱為第 i 個主成分的貢獻度。定義 （ ） 稱為前 m 個主成分的累積貢獻度，衡量了前 m 個主成份對原始變量的解釋程度。 pi????? ?21 pmpiimjj ????? 11??12 性質(zhì) 3 記第 k個主成分 Yk 與原始變量 Xi 的相關(guān)系數(shù)為r(Yk， Xi)，稱為因子載荷，或者因子負荷量，則有 （ ） pkieeXYXYXYriikkiiikkikikikik,2,1,)var()var(),cov (),(??????????13 3．從相關(guān)矩陣出發(fā)求解主成分 在實際應(yīng)用時，為了消除原始變量量綱的影響，通常將數(shù)據(jù)標準化?？紤]下面的標準化變化，令 （ ） 其中 ?i， ?ii 分別表示隨機變量 Xi 的期望與方差，則 piXZiiiii ,2,1, ??????1)var(,0)( ?? ii ZZE14 原始變量的相關(guān)矩陣就是原始變量標準化后的協(xié)方差矩陣，因此，由相關(guān)矩陣求主成分的過程與由協(xié)方差矩陣求主成分的過程是一致的。如果仍然采用（ λi ， ei）表示相關(guān)矩陣 R對應(yīng)的特征值和標準正交特征向量，根據(jù)式（ ）有： （ ） 由相關(guān)矩陣求得的主成分仍然滿足性質(zhì) 1～ 3。性質(zhì) 3可以進一步表示為： （ ） )()( 12/1 μXVeZe iii ????? ?Y pi ,2,1 ?? pkieZYrkkiik ,2,1,),( ??? ?15 樣本的主成分 1．樣本統(tǒng)計量 在實際工作中，我們通常無法獲得總體的協(xié)方差矩陣 ?和相關(guān)矩陣 R。因此，需要采用樣本數(shù)據(jù)來估計。設(shè)從均值向量為 ?，協(xié)方差矩陣為 ? 的 p 維總體中得到的 n 個樣本，且樣本數(shù)據(jù)矩陣為 （ ） ?????????????????npnnppnxxxxxxxxx???????21222211121121 ),( xxxx16 則樣本協(xié)方差矩陣為： （ ） 其中 : （ ） 樣本相關(guān)矩陣為： （ ） 樣本協(xié)方差矩陣 S 是總體協(xié)方差矩陣 ? 的無偏估計量，樣本相關(guān)矩陣 是總體相關(guān)矩陣 R 的估計量。 ppijnkkk sn ???????? ? )())((111xxxxS jkjnkikiijnkkiipxxxxnspixnxxxx????????????1121)((11,2,11),( ??x,)(? ppijr ??R jjiiijij sssr ?R?17 2．樣本主成份及其性質(zhì) 由于采用相關(guān)矩陣和協(xié)方差矩陣求解主成分的過程基本一致，因此本節(jié)僅介紹基于樣本相關(guān)矩陣求解主成分的過程。設(shè)樣本相關(guān)矩陣 的特征值為 ，且 與特征值相對應(yīng)的標準正交特征向量為 ，根據(jù)式（ ）第 i 個樣本主成分可表示為： （ ） 而且 （ ） （ ） R? p??? ?,?,? 21 ? 0??? 21 ???? p??? ?peee ?,?,? 21 ?pipii eee xxxxey ii ???? 2211 ?????? ?pi ,2,1 ?? pkikik ,2,1,0),cov ( ????yy i pii ,2,1,?)var( ??? ?iy18 且由式（ ）和性質(zhì) 2可得 （ ） 則第 i個樣本主成分的貢獻度為 ，前 m個樣本主成份的累計貢獻度為 另外 （ ） ??????piiipii sp11??iikkiik sexyr ???),( ?pi??pmii /?1?