【文章內(nèi)容簡(jiǎn)介】 X39。XA /(n1) = A39。RA=diag(λ 1,λ 2 ,… ,λ p) =∧ ? Z39。Z= (n1)∧ 北大 數(shù)學(xué)學(xué)院 47 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) ? zi 39。zi=(n1) λ i (i=1,2,…, p) zi39。zj=0 (當(dāng) i≠ j 時(shí) ) 上式說(shuō)明樣本主成分得分的樣本均值為 0,樣本協(xié)差陣為對(duì)角陣 .當(dāng) i≠ j 時(shí)，第 i個(gè)主成分得分向量 zi與第 j個(gè)主成分得分 zj是相互正交的 . 北大 數(shù)學(xué)學(xué)院 48 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) 因 A39。RA=diag(λ 1,λ 2 ,… ,λ p) 稱(chēng) λk /p為樣本主成分 Zk的貢獻(xiàn)率 。 又稱(chēng) fm=[λ 1+… +λm]/p為樣本主成分Z1,… ,Zm (mp)的累計(jì)貢獻(xiàn)率 . pRR A ARAApii??????)(tr)39。(tr)39。(tr1?北大 數(shù)學(xué)學(xué)院 49 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) (3)樣本主成分具有使殘差平方和最小的優(yōu)良性 如果我們只取前 m個(gè)主成分 (mp),并考慮用前 m 個(gè)主成分 Z1,… , Zm的線(xiàn)性組合表示 Xj的回歸方程 : Xj=bj1Z1+… + bjmZm+? j (j=1,… ,p) （ *） 則當(dāng) bjk=ajk(k=1,… ,m)時(shí)，可使回歸方程的殘差平方和達(dá)最小值 .而且回歸方程的決定系數(shù)R2(j) =υj(m). 我們把 υj(m)稱(chēng)為 m個(gè)主成分對(duì)原變量 Xj的貢獻(xiàn)率 ,υj(m)的大小反映了 m個(gè)主成分能夠反映 Xj的變差的比例 . 北大 數(shù)學(xué)學(xué)院 50 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) 把表 m個(gè)主成分的得分?jǐn)?shù)據(jù)作為以上模型（ *）中因變量 X1,… ,X p和自變量 Z1,… ,Zm的觀測(cè)數(shù)據(jù) . 問(wèn)題化為：按最小二乘準(zhǔn)則求參數(shù)矩陣 B： ???????????pmpmbbbbB?????1111 ，使得殘差平方和 Q(B)達(dá)最小 . (p m) 北大 數(shù)學(xué)學(xué)院 51 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) ,11111111*??????????????????????npnpnmnmxxxxXzzzzZ??????????(n m) 記 (n p) 則多對(duì)多的回歸模型（ *）的矩陣形式為： X = Z* B39。 + E 由多因變量的回歸分析 (參見(jiàn)第四章 )的理論知 ： 參數(shù)矩陣 B的最小二乘估計(jì)為 北大 數(shù)學(xué)學(xué)院 52 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) B39。 = (Z*39。 Z* )1 Z*39。 X 記 A*= (a1,… ,am) , A2= (am+1,… ,aP)則由 Z = ( Z*|Z2 ) =XA=X (A*|A2 ) 可得 Z* =XA* 且因 A*39。RA*=diag(λ 1,λ 2 ,… ,λ m), 于是 Z*39。 Z* = A*39。X39。XA* =(n1)A*39。RA* =(n1)diag(λ 1,λ 2 ,… ,λ m) ^ 北大 數(shù)學(xué)學(xué)院 53 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) ^ * (A*)39。 * 北大 數(shù)學(xué)學(xué)院 54 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) 即 當(dāng) B=A* 或 bjk=ajk(j =1,2,… ,p。k=1,… ,m)時(shí)，可使回歸的殘差平方和達(dá)最小值 . 而 Xj 回歸方程的決定系數(shù) R2(j) =υj(m) (j=1,2,… ,p). (見(jiàn)習(xí)題 78) ^ 北大 數(shù)學(xué)學(xué)院 55 第七章 167。 主成分的個(gè)數(shù)及解釋 主成分分析的目的之一是 簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu) ,用盡可能少的主成分 Z1,… , Zm(mp)代替原來(lái)的 p個(gè)變量 ,這樣就把 p個(gè)變量的 n次觀測(cè)數(shù)據(jù)簡(jiǎn)化為 m個(gè)主成分的得分?jǐn)?shù)據(jù) . ① m個(gè)主成分所反映的信息與原來(lái)p個(gè)變量提供的信息差不多 。 ② m個(gè)主成分又能對(duì)資料所具有的意義進(jìn)行解釋 . 北大 數(shù)學(xué)學(xué)院 56 第七章 167。 主成分個(gè)數(shù)的確定 主成分的個(gè)數(shù) m如何選取是實(shí)際工作者關(guān)心的問(wèn)題 .關(guān)于主成分的個(gè)數(shù)如何確定 ,常用的標(biāo)準(zhǔn)有兩個(gè)： (1) 按累計(jì)貢獻(xiàn)率達(dá)到一定程度 (如 70%或80%以上 )來(lái)確定 m。 (2) 先計(jì)算 S或 R的 p個(gè)特征根的均值 λ ,取大于 λ 的特征根個(gè)數(shù) m. 當(dāng) p=20 時(shí) ,大量實(shí)踐表明 ,第一個(gè)標(biāo)準(zhǔn)容易取太多的主成分 ,而第二個(gè)標(biāo)準(zhǔn)容易取太少的主成分 ,故最好將兩者給合起來(lái)應(yīng)用 ,同時(shí)要考慮 m個(gè)主成分對(duì) Xi的貢獻(xiàn)率 υi(m). 北大 數(shù)學(xué)學(xué)院 57 第七章 167。 應(yīng)用例子 例 學(xué)生身體各指標(biāo)的主成分分析 . 隨機(jī)抽取 30名某年級(jí)中學(xué)生 ,測(cè)量其身高 (X1)、體重 (X2)、胸圍 (X3)和坐高 (X4),數(shù)據(jù)見(jiàn)書(shū)中P277表 (或以下 SAS程序的數(shù)據(jù)行 ). 試對(duì)中學(xué)生身體指標(biāo)數(shù)據(jù)做主成分分析 . 解 (1) 以下 SAS程序首先生成包括 30名學(xué)生身體指標(biāo)數(shù)據(jù)的 SAS數(shù)據(jù)集 d721(其中變量 NUMBER記錄識(shí)別學(xué)生的序號(hào) )，然后調(diào)用 SAS/STA軟件中的 PRINCOMP過(guò)程進(jìn)行主成分分析 . 北大 數(shù)學(xué)學(xué)院 58 第七章 167。 樣本的主成分 例 sas程序 Data d721。 input number x1x4 @@ 。 cards。 1 148 41 72 78 2 139 34 71 76 3 160 49 77 86 4 149 36 67 79 ………………………………... 27 144 36 68 76 28 141 30 67 76 29 139 32 68 73 30 148 38 70 78 。 proc prinp data=d721 prefix=z out=o721 。 var x1x4。 run。 該選項(xiàng)規(guī)定 主成分的前 綴名字為 z 生成包含主 分量得分的 輸出數(shù)據(jù)集 行指針控制符 指示讀完該行 數(shù)據(jù)行后再 跳到下一行。 北大 數(shù)學(xué)學(xué)院 59 第七章 167。 樣本的主成分 例 sas程序 proc plot data=o721。 plot z2*z1 $ number=39。*39。 run。 proc sort data=o721。 by z1。 run。 proc print data=o721。 var number z1 z2 x1x4。 run。 繪制前二個(gè)主成分得分的散點(diǎn)圖 .作圖符號(hào)為 39。*39。,并在每散點(diǎn)旁邊加上序號(hào) ,以便識(shí)別各個(gè)觀測(cè) . 把輸出集 o721按第一主成分 z1的得分值從小 到大排序 輸出排序后的數(shù)據(jù)集 o721 北大 數(shù)學(xué)學(xué)院 60 第七章 167。 例 學(xué)生身體指標(biāo)數(shù)據(jù)的描述統(tǒng)計(jì)量和相關(guān)陣 北大 數(shù)學(xué)學(xué)院 61 第七章 167。 例 輸出 相關(guān)陣的特征值和特征向量 北大 數(shù)學(xué)學(xué)院 62 第七章 167。 例 PRINCOMP過(guò)程由相關(guān)陣出發(fā)進(jìn)行主成分分析.由輸出 ，第一主成分的貢獻(xiàn)率已高達(dá) %；且前二個(gè)主成分的累計(jì)貢獻(xiàn)率已達(dá) %.因此只須用兩個(gè)主成分就能很好地概括這組數(shù)據(jù) . 另由第三和四個(gè)特征值近似為 0，可以得出這4個(gè)標(biāo)準(zhǔn)化后的身體指標(biāo)變量 (Xi*,i=1,2,3,4)有近似的線(xiàn)性關(guān)系 (即所謂共線(xiàn)性 ), X1* X2* + X3* X4*≈c( 常數(shù) ). 北大 數(shù)學(xué)學(xué)院 63 第七章 167。 例 由最大的兩個(gè)特征值對(duì)應(yīng)的特征向量可以寫(xiě)出第一和第二主成分 ： Z1= X1*+ X2* + X3* + X4* Z2= X1* + X2* + X3* X4* 第一和第二主成分都是標(biāo)準(zhǔn)化后變量 Xi* (i=1,2,3,4)的線(xiàn)性組合，且組合系數(shù)就是特征向量的分量 . 北大 數(shù)學(xué)學(xué)院 64 第七章 167。 例 利用特征向量各分量的值可以對(duì)各主成分進(jìn)行解釋 . 第一大特征值對(duì)應(yīng)的第一個(gè)特征向量的各個(gè)分量值均在 ,且都是正值 ,它反映學(xué)生身材的魁梧程度 .身體高大的學(xué)生 ,他的4個(gè)部位的尺寸都比較大 。而身體矮小的學(xué)生,他的 4個(gè)部位的尺寸都比較小 .因此我們稱(chēng)第一主成分為大小因子 . 北大 數(shù)學(xué)學(xué)院 65 第七章 167。 例 第二大特征值對(duì)應(yīng)的特征向量中第一 (即身高 X1的系數(shù) )和第四個(gè)分量 (即坐高 X4的系數(shù) )為負(fù)值 ,而第二 (即體重X2的系數(shù) )和第三個(gè)分量 (即胸圍 X3的系數(shù) )為正值 ,它反映學(xué)生的胖瘦情況 ,故稱(chēng)第二主成分為胖瘦因子 . 北大 數(shù)學(xué)學(xué)院 66 第七章 167。 例 輸出 第二主成分得分對(duì)第一主成分得分的散布圖 北大 數(shù)學(xué)學(xué)院 67 第七章 167。 例 輸出 PLOT過(guò)程產(chǎn)生的輸出圖形，從圖中可以直觀地看出，按學(xué)生的身體指標(biāo)尺寸，這 30名學(xué)生大約應(yīng)分成三組 (以第一主成分得分值為 1和 2為分界點(diǎn) ). 每一組包括哪幾名學(xué)生由每個(gè)散點(diǎn)旁邊的序號(hào)可以得知 .更詳細(xì)的信息可從 PRINT過(guò)程產(chǎn)生的輸出數(shù)據(jù)列表中得到 . 北大 數(shù)學(xué)學(xué)院 68 第七章 167。 例 按第一主成分得分排序后的主成分得分和原始數(shù)據(jù) 北大 數(shù)學(xué)學(xué)院 69 第七章 167。 例 以上 輸出列表中把 30個(gè)觀測(cè)按第一主成分從小到大重新排序后的輸出結(jié)果 .從這里可以得到分為三組時(shí)各組學(xué)生的更多的信息如下