【正文】 )′的協(xié)差陣為 1 2 0 2 5 0 0 0 2 Σ= 試求 X的主成分及其對變量 Xi的貢獻(xiàn)率υi(i=1,2,3). 解 Σ的特征值為 λ1=3+ 81/2, λ2=2, λ3=381/2. 由相應(yīng)標(biāo)準(zhǔn)化特征向量可得出主成分 : 北大 數(shù)學(xué)學(xué)院 35 第七章 167。 標(biāo)準(zhǔn)化變量的主成分及性質(zhì) 標(biāo)準(zhǔn)化后的隨機(jī)向量 X*=(X1*,X2*,… , Xp*)′ 的協(xié)差陣 Σ *就是原隨機(jī)向量 X的相關(guān)陣 R出發(fā)來求主成分 ,記為 Z *=(Z1*,… ,Zp*)′, 則 Z*與 Z具有相似的性質(zhì) . 把主成分 Zk*(k=1,… ,p)對變量 Xi*的因子負(fù)荷量 ρik=ρ (Zk*,Xi*)列成表 . 北大 數(shù)學(xué)學(xué)院 38 第七章 167。X/(n1) 仍記 R 陣的 p個(gè)主成分為 Z1,… ,Zp , λ 1≥ λ 2≥ … ≥ λ p≥0 為 R的特征根 , a1,a2, … ,ap為相應(yīng)的標(biāo)準(zhǔn)化特征向量 (記正交陣 A=(a1,… ,ap) ).顯然第 i個(gè)樣本主成分為 Zi=ai39。X(t) (i=1,… ,p). 記 Z(t) = (zt1, zt2 ,…, ztp)′ (t=1,…, n) = (a139。X(t) 稱 Z(t) 為 第 t個(gè)樣品的主成分得分向量 . 北大 數(shù)學(xué)學(xué)院 43 第七章 167。 ... Z(n) 39。A = X ? A = 或 X = ZA39。X(1) +A39。Z/(n1) 標(biāo)準(zhǔn)化變量的樣本協(xié)差陣就是樣本相關(guān)陣 R,且 R = X39。RA=diag(λ 1,λ 2 ,… ,λ p) 又知 Z=XA， 則 SZ = Z39。RA=diag(λ 1,λ 2 ,… ,λ p) =∧ ? Z39。zj=0 (當(dāng) i≠ j 時(shí) ) 上式說明樣本主成分得分的樣本均值為 0,樣本協(xié)差陣為對角陣 .當(dāng) i≠ j 時(shí)，第 i個(gè)主成分得分向量 zi與第 j個(gè)主成分得分 zj是相互正交的 . 北大 數(shù)學(xué)學(xué)院 48 第七章 167。(tr)39。 樣本的主成分 樣本主成分及其性質(zhì) ,11111111*??????????????????????npnpnmnmxxxxXzzzzZ??????????(n m) 記 (n p) 則多對多的回歸模型（ *）的矩陣形式為： X = Z* B39。 Z* )1 Z*39。X39。 * 北大 數(shù)學(xué)學(xué)院 54 第七章 167。 ② m個(gè)主成分又能對資料所具有的意義進(jìn)行解釋 . 北大 數(shù)學(xué)學(xué)院 56 第七章 167。 樣本的主成分 例 sas程序 Data d721。 proc prinp data=d721 prefix=z out=o721 。 北大 數(shù)學(xué)學(xué)院 59 第七章 167。 run。 proc print data=o721。*39。 例 PRINCOMP過程由相關(guān)陣出發(fā)進(jìn)行主成分分析.由輸出 ，第一主成分的貢獻(xiàn)率已高達(dá) %；且前二個(gè)主成分的累計(jì)貢獻(xiàn)率已達(dá) %.因此只須用兩個(gè)主成分就能很好地概括這組數(shù)據(jù) . 另由第三和四個(gè)特征值近似為 0，可以得出這4個(gè)標(biāo)準(zhǔn)化后的身體指標(biāo)變量 (Xi*,i=1,2,3,4)有近似的線性關(guān)系 (即所謂共線性 ), X1* X2* + X3* X4*≈c( 常數(shù) ). 北大 數(shù)學(xué)學(xué)院 63 第七章 167。 例 第二大特征值對應(yīng)的特征向量中第一 (即身高 X1的系數(shù) )和第四個(gè)分量 (即坐高 X4的系數(shù) )為負(fù)值 ,而第二 (即體重X2的系數(shù) )和第三個(gè)分量 (即胸圍 X3的系數(shù) )為正值 ,它反映學(xué)生的胖瘦情況 ,故稱第二主成分為胖瘦因子 . 北大 數(shù)學(xué)學(xué)院 66 第七章 167。 例 以上 輸出列表中把 30個(gè)觀測按第一主成分從小到大重新排序后的輸出結(jié)果 .從這里可以得到分為三組時(shí)各組學(xué)生的更多的信息如下 : G1={11,15,29,10,28,6,24,14,2,27,18} G2={4,30,22,1,16,26,23,21,8,9,7,17} G3={20,13,19,12,5,3,25} 若考慮用 Z1 ,Z2進(jìn)行聚類 ,這就是主成分聚類方法 . 北大 數(shù)學(xué)學(xué)院 70 北大 數(shù)學(xué)學(xué)院 71 第七章 167。 樣本主成分為 Zi=ai39。 利用樣本主成分的性質(zhì) (3),Xk由前 m個(gè)主成分 Z1 ,Z2 ,… ,Zm的最佳 (殘差平方和最小 )表示式為 ), .. . ,2,1(. ..2211 pkZaZaZaX mkmkkk ?+++?把 Z*(i )(i=1,2,…, n)代入上式 ,可得 ),.. .,2,1。 X=ZA39。 =X* + Z2 A239。t r ()39。t r [ ()]()39。1221?? 故因 ?? ?+?+? ??????????????????pmkkpmnipjijijnnRAAnxx112221 1*)1(00)1t r (]39。X=(X1,…, Xp ) 39。zi=(n1) λ i (i=1,2,…, p) zi39。 指標(biāo)（ 變量）分類 例子 例 服裝定型分類問題 為解決服裝定型分類問題，對 128個(gè)成年男子的身材進(jìn)行測量，每人各測得 16項(xiàng)指標(biāo)：身高 (X1)、坐高 (X2)、胸圍 (X3)、頭高 (X4)、褲長 (X5)、下檔 (X6)、手長 (X7)、領(lǐng)圍 (X8)、前胸 (X9)、后背 (X10)、肩厚 (X11)、肩寬 (X12)、袖長 (X13)、肋圍 (X14)、腰圍 (X15)和腿肚(X16).16項(xiàng)指標(biāo)的相關(guān)陣 R見表 (因相關(guān)陣為對稱陣 ,只給出相關(guān)陣的上三角部分 ).試從相關(guān)陣 R出發(fā)用 PRINCOMP過程進(jìn)行主成分分析 . 北大 數(shù)學(xué)學(xué)院 84 第七章 167。 _type_ = 39。 自動(dòng)變量 _name_規(guī)定變量名 X1X16 自動(dòng)變量 _type_的值指定 數(shù)據(jù)類型為 ′CORR′. 相關(guān)陣對稱 ,數(shù)據(jù)行只須 列出相關(guān)陣的上三角部分 北大 數(shù)學(xué)學(xué)院 86 第七章 167。 PROC PRINCOMP語句中，選項(xiàng) data=d731的括號里指出數(shù)據(jù)集 d731的類型是相關(guān)陣，在這里或在 DATA步中數(shù)據(jù)集選項(xiàng) type=corr必有一處是不可缺少的 .選項(xiàng)n=3規(guī)定只輸出 3個(gè)主成分的有關(guān)信息 .outstat=s731生成輸出統(tǒng)計(jì)量的數(shù)據(jù)集 S731是為下面繪制因子負(fù)荷 北大 數(shù)學(xué)學(xué)院 87 第七章 167。 set s731。 proc transpose data=t731 out=tt731 prefix=f。 主成分分析的應(yīng)用 指標(biāo)（ 變量）分類 例子 sas程序 data dt731。 Run。*39。 主成分分析的應(yīng)用 指標(biāo)（ 變量）分類 例子 北大 數(shù)學(xué)學(xué)院 90 第七章 167。 3. 由次大特征值對應(yīng)的特征向量 (即列標(biāo)題為 PRIN2的列 )可得出第二主成分 : PRINT2= + +…+ X16 北大 數(shù)學(xué)學(xué)院 92 第七章 167。 主成分分析的應(yīng)用 樣品 分類 對 p個(gè)變量 (指標(biāo) )觀測 n次 ,得 n個(gè)樣品 ,記 X(i) =(xi1, xi2 ,…, xip)′ 為第 i個(gè)樣品 ,看成 p維空間的點(diǎn) ,可按距離相近的程度進(jìn)行分類 (參見第六章聚類分析 ),即若 ‖ X(i) X(j)‖≈0,就把第 i個(gè)樣品和第 j個(gè)樣品歸為一類 . 因原始數(shù)據(jù)陣 X≈X*，故 ‖ X(i) X(j)‖≈ ‖ X*(i) X*(j)‖ 由 ()及 ()式中 x*ik的定義知 北大 數(shù)學(xué)學(xué)院 97 第七章 167。 主成分分析的應(yīng)用 樣品 分類 第一類共有 25個(gè)點(diǎn) ,聚集中心是 Z(25) 。 第五類有 12個(gè)點(diǎn) ,聚集中心是 Z(9) 。 主成分分析的應(yīng)用 對 p維總體 X的樣本進(jìn)行主成分分析往往不是最終的目的，而常常是完成某個(gè)實(shí)際問題的一種手段 .如例 30名中學(xué)生的身體魁梧程度進(jìn)行排序 . 在實(shí)際工作中常會(huì)遇到多指標(biāo)系統(tǒng)的排序評估問題 ,比如對某類企業(yè)的經(jīng)濟(jì)效益進(jìn)行評估比較 ,影響企業(yè)經(jīng)濟(jì)效益的指標(biāo)有很多 ,如何更科學(xué)、更客觀地將一個(gè)多指標(biāo)問題綜合為單個(gè)指數(shù)的形式 .主成分分析方法為樣品排序或多指標(biāo)系統(tǒng)評估提供可行的 方法 . 北大 數(shù)學(xué)學(xué)院 103 第七章 167。 主成分分析的應(yīng)用 主成分回歸 應(yīng)用例子 表 經(jīng)濟(jì)分析數(shù)據(jù) 北大 數(shù)學(xué)學(xué)院 107 第七章 167。 proc prinp data=do733 prefix=z out=o733 。 var z1 z2 y。 主成分分析的應(yīng)用 主成分回歸 例 由輸出結(jié)果可知相關(guān)陣的三個(gè)特征為λ 1=,λ 2=,λ 3=的累計(jì)貢獻(xiàn)率在 99%以上 . 取兩個(gè)主成分 (用 Xi*表示 Xi的標(biāo)準(zhǔn)化變量 )： Z1= X1*+ X2*+ X3* Z2= X1*+ X2* X3* 主成分分析的結(jié)果還給出 X1*、 X2*和 X3* 的一 Z3= X1* + X2* X3* ≈ C 北大 數(shù)學(xué)學(xué)院 110 第七章 167。 回歸過程得到的標(biāo)準(zhǔn)化回歸方程為 (Y*表示 Y的標(biāo)準(zhǔn)化變量 ) Y*= Z1+ Z2 = X1*+ X2*+ X3* Y=+++ X3 北大 數(shù)學(xué)學(xué)院 111 第七章 167。 proc print data=o733。 主成分分析的應(yīng)用 用 reg過程做主成分回歸 這個(gè)主成分回歸方程中回歸系數(shù)的符號都是有意義的；主成分回歸方程的均方根誤差 ( _RMSE_=)雖比普通回歸方程的均方根誤差(_RMSE_=)有所增大，但增加并不多 .