【正文】 )=diag(λ1 , λ2 , … , λp )，即隨機(jī)向量Z ③ λ1≥λ2≥…≥ λp ≥0 . 北大 數(shù)學(xué)學(xué)院 24 第七章 167。X (i=1,2,… ,p) 總體主成分有如下性質(zhì) : 北大 數(shù)學(xué)學(xué)院 25 第七章 167。 主成分的性質(zhì) 即 p個(gè)原變量所提供的總信息 (總方差 )的絕大部分只須用前 m個(gè)主成分來(lái)代替。 主成分的性質(zhì) ),2,1,(),( pikaXZ iiikkik ??? ??? (3)主成分 Zk與原始變量 Xi的相關(guān)系數(shù) 證明 : Var(Xi) =σii Var(Zk) = λ k Cov( Xi ,Zk )=Cov(ei39。 X) = ei39。 (λ k ak ) = λ k aik (ei是第 i個(gè)元素為 1,其余為 0的單位向量 ) iiikkkiiikkik aaXZ ?????? ??),(北大 數(shù)學(xué)學(xué)院 28 第七章 167。 主成分的性質(zhì) ),2,1(1),()4(12 piXZpkik ??????, AAAA ????????? 因 Xi也可表成 Z1,… ,Zp的線性組合 ,且 Z1,… , Zp相互獨(dú)立，由回歸分析的知識(shí) , Xi 與 Z1,… ,Zp的全相關(guān)系數(shù)的平方和等于 1，即表 和均為 1. 事實(shí)上 ,由 故有 .1),(,),(12121211 ??????????????? ??????pk iiikkikpkpkikkipiipiiiaXZaaaaa????? 即??北大 數(shù)學(xué)學(xué)院 30 第七章 167。 主成分的貢獻(xiàn)率 主成分分析的目的是為了簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)（即減少變量的個(gè)數(shù)） ,故在實(shí)際應(yīng)用中一般不用 p個(gè)主成分 ,而選用前 m(mp)個(gè)主成分 .m取多大 ,這是一個(gè)很實(shí)際的問題 .為此 ,我們引進(jìn)貢獻(xiàn)率的概念 . 北大 數(shù)學(xué)學(xué)院 32 第七章 167。 又稱 fm= [λ1 +λ2 +... +λm]/ [λ1 +λ2 +... +λm +…+λ p] 為 主成分 Z1,… ,Zm(mp)的累計(jì)貢獻(xiàn)率 . 通常取 m,使累計(jì)貢獻(xiàn)率達(dá)到 70%或 80%以上 ,累計(jì)貢獻(xiàn)率的大小表達(dá) m個(gè)主成分提取了 X1,… ,Xp的多少信息 ,但它沒有表達(dá)某個(gè)變量被提取了多少信息 ,為此又引入另一個(gè)概念 . 北大 數(shù)學(xué)學(xué)院 33 第七章 167。 主成分的貢獻(xiàn)率 例子 例 設(shè)隨機(jī)向量 X=(X1,X2,X3)′的協(xié)差陣為 1 2 0 2 5 0 0 0 2 Σ= 試求 X的主成分及其對(duì)變量 Xi的貢獻(xiàn)率υi(i=1,2,3). 解 Σ的特征值為 λ1=3+ 81/2, λ2=2, λ3=381/2. 由相應(yīng)標(biāo)準(zhǔn)化特征向量可得出主成分 : 北大 數(shù)學(xué)學(xué)院 35 第七章 167。3,2,1(),(???kiaXZiiikkik ???北大 數(shù)學(xué)學(xué)院 36 第七章 167。 標(biāo)準(zhǔn)化變量的主成分及性質(zhì) 標(biāo)準(zhǔn)化后的隨機(jī)向量 X*=(X1*,X2*,… , Xp*)′ 的協(xié)差陣 Σ *就是原隨機(jī)向量 X的相關(guān)陣 R出發(fā)來(lái)求主成分 ,記為 Z *=(Z1*,… ,Zp*)′, 則 Z*與 Z具有相似的性質(zhì) . 把主成分 Zk*(k=1,… ,p)對(duì)變量 Xi*的因子負(fù)荷量 ρik=ρ (Zk*,Xi*)列成表 . 北大 數(shù)學(xué)學(xué)院 38 第七章 167。 樣本的主成分 在實(shí)際問題中 ,一般協(xié)差陣 Σ 未知 ,需要 通過(guò)樣本來(lái)估計(jì) .設(shè) X(t)=(xt1,…, xtp)′( t=1, … ,n)為來(lái)自總體 X的樣本 ,記樣本資料陣 x11,x12 ,…, x1p x21,x22 ,…, x2p ………………….. xn1,xn2 ,…, xnp X= 記樣本協(xié)差陣為 S,樣本相關(guān)陣為 R,并用 S作為 Σ 的估計(jì)或用 R作為總體相關(guān)陣的估計(jì) . 北大 數(shù)學(xué)學(xué)院 41 第 七章 167。X/(n1) 仍記 R 陣的 p個(gè)主成分為 Z1,… ,Zp , λ 1≥ λ 2≥ … ≥ λ p≥0 為 R的特征根 , a1,a2, … ,ap為相應(yīng)的標(biāo)準(zhǔn)化特征向量 (記正交陣 A=(a1,… ,ap) ).顯然第 i個(gè)樣本主成分為 Zi=ai39。 (i=1,… ,p). 北大 數(shù)學(xué)學(xué)院 42 第七章 167。X(t) (i=1,… ,p). 記 Z(t) = (zt1, zt2 ,…, ztp)′ (t=1,…, n) = (a139。X(t) ,…, ap39。X(t) 稱 Z(t) 為 第 t個(gè)樣品的主成分得分向量 . 北大 數(shù)學(xué)學(xué)院 43 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) 樣本主成分得分陣 Z和原始數(shù)據(jù)陣 X有如下關(guān)系 Z = Z(1) 39。 ... Z(n) 39。A X(2) 39。A = X ? A = 或 X = ZA39。X(t) ( t=1,2,…, n ) 樣本主成分得分具有如下一些性質(zhì) . (n p) (n p) (p p) 北大 數(shù)學(xué)學(xué)院 45 第七章 167。X(1) +A39。X(n) )/n=A39。Z/(n1) 標(biāo)準(zhǔn)化變量的樣本協(xié)差陣就是樣本相關(guān)陣 R,且 R = X39。 北大 數(shù)學(xué)學(xué)院 46 第七章 167。RA=diag(λ 1,λ 2 ,… ,λ p) 又知 Z=XA， 則 SZ = Z39。X39。RA=diag(λ 1,λ 2 ,… ,λ p) =∧ ? Z39。 樣本的主成分 樣本主成分及其性質(zhì) ? zi 39。zj=0 (當(dāng) i≠ j 時(shí) ) 上式說(shuō)明樣本主成分得分的樣本均值為 0,樣本協(xié)差陣為對(duì)角陣 .當(dāng) i≠ j 時(shí)，第 i個(gè)主成分得分向量 zi與第 j個(gè)主成分得分 zj是相互正交的 . 北大 數(shù)學(xué)學(xué)院 48 第七章 167。RA=diag(λ 1,λ 2 ,… ,λ p) 稱 λk /p為樣本主成分 Zk的貢獻(xiàn)率 。(tr)39。 樣本的主成分 樣本主成分及其性質(zhì) (3)樣本主成分具有使殘差平方和最小的優(yōu)良性 如果我們只取前 m個(gè)主成分 (mp),并考慮用前 m 個(gè)主成分 Z1,… , Zm的線性組合表示 Xj的回歸方程 : Xj=bj1Z1+… + bjmZm+? j (j=1,… ,p) （ *） 則當(dāng) bjk=ajk(k=1,… ,m)時(shí)，可使回歸方程的殘差平方和達(dá)最小值 .而且回歸方程的決定系數(shù)R2(j) =υj(m). 我們把 υj(m)稱為 m個(gè)主成分對(duì)原變量 Xj的貢獻(xiàn)率 ,υj(m)的大小反映了 m個(gè)主成分能夠反映 Xj的變差的比例 . 北大 數(shù)學(xué)學(xué)院 50 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) ,11111111*??????????????????????npnpnmnmxxxxXzzzzZ??????????(n m) 記 (n p) 則多對(duì)多的回歸模型（ *）的矩陣形式為： X = Z* B39。 樣本的主成分 樣本主成分及其性質(zhì) B39。 Z* )1 Z*39。RA*=diag(λ 1,λ 2 ,… ,λ m), 于是 Z*39。X39。RA* =(n1)diag(λ 1,λ 2 ,… ,λ m) ^ 北大 數(shù)學(xué)學(xué)院 53 第七章 167。 * 北大 數(shù)學(xué)學(xué)院 54 第七章 167。k=1,… ,m)時(shí)，可使回歸的殘差平方和達(dá)最小值 . 而 Xj 回歸方程的決定系數(shù) R2(j) =υj(m) (j=1,2,… ,p). (見習(xí)題 78) ^ 北大 數(shù)學(xué)學(xué)院 55 第七章 167。 ② m個(gè)主成分又能對(duì)資料所具有的意義進(jìn)行解釋 . 北大 數(shù)學(xué)學(xué)院 56 第七章 167。 (2) 先計(jì)算 S或 R的 p個(gè)特征根的均值 λ ,取大于 λ 的特征根個(gè)數(shù) m. 當(dāng) p=20 時(shí) ,大量實(shí)踐表明 ,第一個(gè)標(biāo)準(zhǔn)容易取太多的主成分 ,而第二個(gè)標(biāo)準(zhǔn)容易取太少的主成分 ,故最好將兩者給合起來(lái)應(yīng)用 ,同時(shí)要考慮 m個(gè)主成分對(duì) Xi的貢獻(xiàn)率 υi(m). 北大 數(shù)學(xué)學(xué)院 57 第七章 167。 樣本的主成分 例 sas程序 Data d721。 cards。 proc prinp data=d721 prefix=z out=o721 。 run。 北大 數(shù)學(xué)學(xué)院 59 第七章 167。 plot z2*z1 $ number=39。 run。 by z1。 proc print data=o721。 run。*39。 例 學(xué)生身體指標(biāo)數(shù)據(jù)的描述統(tǒng)計(jì)量和相關(guān)陣 北大 數(shù)學(xué)學(xué)院 61 第七章 167。 例 PRINCOMP過(guò)程由相關(guān)陣出發(fā)進(jìn)行主成分分析.由輸出 ，第一主成分的貢獻(xiàn)率已高達(dá) %；且前二個(gè)主成分的累計(jì)貢獻(xiàn)率已達(dá) %.因此只須用兩個(gè)主成分就能很好地概括這組數(shù)據(jù) . 另由第三和四個(gè)特征值近似為 0，可以得出這4個(gè)標(biāo)準(zhǔn)化后的身體指標(biāo)變量 (Xi*,i=1,2,3,4)有近似的線性關(guān)系 (即所謂共線性 ), X1* X2* + X3* X4*≈c( 常數(shù) ). 北大 數(shù)學(xué)學(xué)院 63 第七章 167。 例 利用特征向量各分量的值可以對(duì)各主成分進(jìn)行解釋 . 第一大特征值對(duì)應(yīng)的第一個(gè)特征向量的各個(gè)分量值均在 ,且都是正值 ,它反映學(xué)生身材的魁梧程度 .身體高大的學(xué)生 ,他的4個(gè)部位的尺寸都比較大 。 例 第二大特征值對(duì)應(yīng)的特征向量中第一 (即身高 X1的系數(shù) )和第四個(gè)分量 (即坐高 X4的系數(shù) )為負(fù)值 ,而第二 (即體重X2的系數(shù) )和第三個(gè)分量 (即胸圍 X3的系數(shù) )為正值 ,它反映學(xué)生的胖瘦情況 ,故稱第二主成分為胖瘦因子 . 北大 數(shù)學(xué)學(xué)院 66 第七章 167。 例 輸出 PLOT過(guò)