【正文】 proc print data=o733。 主成分分析的應(yīng)用 主成分回歸 例 由輸出結(jié)果可知相關(guān)陣的三個(gè)特征為λ 1=,λ 2=,λ 3=的累計(jì)貢獻(xiàn)率在 99%以上 . 取兩個(gè)主成分 (用 Xi*表示 Xi的標(biāo)準(zhǔn)化變量 )： Z1= X1*+ X2*+ X3* Z2= X1*+ X2* X3* 主成分分析的結(jié)果還給出 X1*、 X2*和 X3* 的一 Z3= X1* + X2* X3* ≈ C 北大 數(shù)學(xué)學(xué)院 110 第七章 167。 proc prinp data=do733 prefix=z out=o733 。 主成分分析的應(yīng)用 對(duì) p維總體 X的樣本進(jìn)行主成分分析往往不是最終的目的，而常常是完成某個(gè)實(shí)際問題的一種手段 .如例 30名中學(xué)生的身體魁梧程度進(jìn)行排序 . 在實(shí)際工作中常會(huì)遇到多指標(biāo)系統(tǒng)的排序評(píng)估問題 ,比如對(duì)某類企業(yè)的經(jīng)濟(jì)效益進(jìn)行評(píng)估比較 ,影響企業(yè)經(jīng)濟(jì)效益的指標(biāo)有很多 ,如何更科學(xué)、更客觀地將一個(gè)多指標(biāo)問題綜合為單個(gè)指數(shù)的形式 .主成分分析方法為樣品排序或多指標(biāo)系統(tǒng)評(píng)估提供可行的 方法 . 北大 數(shù)學(xué)學(xué)院 103 第七章 167。 主成分分析的應(yīng)用 樣品 分類 第一類共有 25個(gè)點(diǎn) ,聚集中心是 Z(25) 。 3. 由次大特征值對(duì)應(yīng)的特征向量 (即列標(biāo)題為 PRIN2的列 )可得出第二主成分 : PRINT2= + +…+ X16 北大 數(shù)學(xué)學(xué)院 92 第七章 167。*39。 主成分分析的應(yīng)用 指標(biāo)（ 變量）分類 例子 sas程序 data dt731。 set s731。 自動(dòng)變量 _name_規(guī)定變量名 X1X16 自動(dòng)變量 _type_的值指定 數(shù)據(jù)類型為 ′CORR′. 相關(guān)陣對(duì)稱 ,數(shù)據(jù)行只須 列出相關(guān)陣的上三角部分 北大 數(shù)學(xué)學(xué)院 86 第七章 167。 指標(biāo)（ 變量）分類 例子 例 服裝定型分類問題 為解決服裝定型分類問題，對(duì) 128個(gè)成年男子的身材進(jìn)行測(cè)量，每人各測(cè)得 16項(xiàng)指標(biāo)：身高 (X1)、坐高 (X2)、胸圍 (X3)、頭高 (X4)、褲長 (X5)、下檔 (X6)、手長 (X7)、領(lǐng)圍 (X8)、前胸 (X9)、后背 (X10)、肩厚 (X11)、肩寬 (X12)、袖長 (X13)、肋圍 (X14)、腰圍 (X15)和腿肚(X16).16項(xiàng)指標(biāo)的相關(guān)陣 R見表 (因相關(guān)陣為對(duì)稱陣 ,只給出相關(guān)陣的上三角部分 ).試從相關(guān)陣 R出發(fā)用 PRINCOMP過程進(jìn)行主成分分析 . 北大 數(shù)學(xué)學(xué)院 84 第七章 167。X=(X1,…, Xp ) 39。t r [ ()]()39。 =X* + Z2 A239。 利用樣本主成分的性質(zhì) (3),Xk由前 m個(gè)主成分 Z1 ,Z2 ,… ,Zm的最佳 (殘差平方和最小 )表示式為 ), .. . ,2,1(. ..2211 pkZaZaZaX mkmkkk ?+++?把 Z*(i )(i=1,2,…, n)代入上式 ,可得 ),.. .,2,1。 例 以上 輸出列表中把 30個(gè)觀測(cè)按第一主成分從小到大重新排序后的輸出結(jié)果 .從這里可以得到分為三組時(shí)各組學(xué)生的更多的信息如下 : G1={11,15,29,10,28,6,24,14,2,27,18} G2={4,30,22,1,16,26,23,21,8,9,7,17} G3={20,13,19,12,5,3,25} 若考慮用 Z1 ,Z2進(jìn)行聚類 ,這就是主成分聚類方法 . 北大 數(shù)學(xué)學(xué)院 70 北大 數(shù)學(xué)學(xué)院 71 第七章 167。 例 PRINCOMP過程由相關(guān)陣出發(fā)進(jìn)行主成分分析.由輸出 ，第一主成分的貢獻(xiàn)率已高達(dá) %；且前二個(gè)主成分的累計(jì)貢獻(xiàn)率已達(dá) %.因此只須用兩個(gè)主成分就能很好地概括這組數(shù)據(jù) . 另由第三和四個(gè)特征值近似為 0，可以得出這4個(gè)標(biāo)準(zhǔn)化后的身體指標(biāo)變量 (Xi*,i=1,2,3,4)有近似的線性關(guān)系 (即所謂共線性 ), X1* X2* + X3* X4*≈c( 常數(shù) ). 北大 數(shù)學(xué)學(xué)院 63 第七章 167。 proc print data=o721。 北大 數(shù)學(xué)學(xué)院 59 第七章 167。 樣本的主成分 例 sas程序 Data d721。 * 北大 數(shù)學(xué)學(xué)院 54 第七章 167。 Z* )1 Z*39。(tr)39。RA=diag(λ 1,λ 2 ,… ,λ p) =∧ ? Z39。Z/(n1) 標(biāo)準(zhǔn)化變量的樣本協(xié)差陣就是樣本相關(guān)陣 R,且 R = X39。A = X ? A = 或 X = ZA39。X(t) 稱 Z(t) 為 第 t個(gè)樣品的主成分得分向量 . 北大 數(shù)學(xué)學(xué)院 43 第七章 167。X/(n1) 仍記 R 陣的 p個(gè)主成分為 Z1,… ,Zp , λ 1≥ λ 2≥ … ≥ λ p≥0 為 R的特征根 , a1,a2, … ,ap為相應(yīng)的標(biāo)準(zhǔn)化特征向量 (記正交陣 A=(a1,… ,ap) ).顯然第 i個(gè)樣本主成分為 Zi=ai39。 主成分的貢獻(xiàn)率 例子 例 設(shè)隨機(jī)向量 X=(X1,X2,X3)′的協(xié)差陣為 1 2 0 2 5 0 0 0 2 Σ= 試求 X的主成分及其對(duì)變量 Xi的貢獻(xiàn)率υi(i=1,2,3). 解 Σ的特征值為 λ1=3+ 81/2, λ2=2, λ3=381/2. 由相應(yīng)標(biāo)準(zhǔn)化特征向量可得出主成分 : 北大 數(shù)學(xué)學(xué)院 35 第七章 167。 (λ k ak ) = λ k aik (ei是第 i個(gè)元素為 1,其余為 0的單位向量 ) iiikkkiiikkik aaXZ ?????? ??),(北大 數(shù)學(xué)學(xué)院 28 第七章 167。X (i=1,2,… ,p) 總體主成分有如下性質(zhì) : 北大 數(shù)學(xué)學(xué)院 25 第七章 167。 定理 raa aaaa??????? 0m ax 根據(jù)主成分的定義 ,Z1= a139。Σ a1λ (a139。 2. 各主成分的方差及其在總方差中所占的比例 (貢獻(xiàn)率 ) 。X). α 39。 第二主成分包含除第一主成分外剩余信息中盡可能多的信息 。a1 =1. 若存在滿足以上約束的 a1,使 Var(Z1)達(dá)最大 , Z1就稱為第一主成分 (或主分量 ). 北大 數(shù)學(xué)學(xué)院 7 第七章 167。 主成分分析的應(yīng)用 北大 數(shù)學(xué)學(xué)院 3 第七章 主成分分 析 多變量分析 (Multivariate Analysis)是處理多變量 (多指標(biāo) )的統(tǒng)計(jì)問題。 多個(gè)變量之間常存在相關(guān)性，人們希望用較少不相關(guān)的變量來代替原來較多且相關(guān)的變量。 什么是主成分 如果第一主成分不足以代表原來 p個(gè)變量的絕大部分信息 .考慮 X的第二個(gè)線性組合 Z2 . 為了有效地代表原變量組的信息 ,Z1已體現(xiàn) (反映 )的信息不希望在 Z2中出現(xiàn) ,用統(tǒng)計(jì)術(shù)語來講 ,就是要求 Cov(Z2,Z1)=a239。 其余主成分都有類似的性質(zhì) . 北大 數(shù)學(xué)學(xué)院 10 第七章 167。α =1,α 39。 3. 每個(gè)觀測(cè)在各個(gè)主成分下的得分值 。Ipa11), 由 () (見附錄 ()式 ) 北大 數(shù)學(xué)學(xué)院 17 第七章 167。 X為 X的第一主成分 . 對(duì) r=2,3,…, p,記 ￡ r＝￡ (ar,…, ap),利用附錄中的定理 (2)即得 ￡ r 且最大值在 a=ar時(shí)達(dá)到 . 北大 數(shù)學(xué)學(xué)院 22 第七章 167。 主成分的性質(zhì) ?????piipiii11?? (1) D(Z)=Λ ,即 p個(gè)主成分的方差為： Var(Zi)=λi ,且它們是互不相關(guān) (2) ??piii1?通常稱 為原總體 X的總方差 ,該性質(zhì)說明原總體 X的總方差可分解為不相關(guān)的主成分的方差和 . 北大 數(shù)學(xué)學(xué)院 26 第七章 167。 主成分的性質(zhì) 常把主成分 Zk與原始變量 Xi的相關(guān)系數(shù)稱為 因子負(fù)荷量 (或因子載荷量 ).利用因子載荷量 ,可對(duì)指標(biāo)分類 .如果把主成分與原始變量的相關(guān)系數(shù)列成表 ，則由相關(guān)系數(shù)的公式，還可得出性質(zhì) (4)和 (5). 表 北大 數(shù)學(xué)學(xué)院 29 第七章 167。 總體的主成分 主成分的貢獻(xiàn)率 例子 Z1= , Z2= X3 (X3本身就是一個(gè)主分量，它與 X1， X2不相關(guān) ), Z3=+ X2. 當(dāng)取 m=1或 m=2時(shí) ,主成分 對(duì) X的貢獻(xiàn)率可達(dá)%或 %.下表 列出 m個(gè)主分量對(duì)變量 Xi的貢獻(xiàn)率 )2,1。X39。 樣本主成分及其性質(zhì) 表 原始數(shù)據(jù)和樣本主成分得分 令 (z1,z2,…, zp) 樣本主成分 Z1 Z2 …… Zp 北大 數(shù)學(xué)學(xué)院 44 第七章 167。 , 其中 Z(t) =A39。X/(n1) R陣的 p個(gè)特征根 λ 1≥ λ 2 ≥ … ≥ λ p 相應(yīng)的標(biāo)準(zhǔn)化特征向量為 a1,a2, … ,ap 。Z= (n1)∧ 北大 數(shù)學(xué)學(xué)院 47 第七章 167。(tr1?北大 數(shù)學(xué)學(xué)院 49 第七章 167。 X 記 A*= (a1,… ,am) , A2= (am+1,… ,aP)則由 Z = ( Z*|Z2 ) =XA=X (A*|A2 ) 可得 Z* =XA* 且因 A*39。 樣本的主成分 樣本主成分及其性質(zhì) 即 當(dāng) B=A* 或 bjk=ajk(j =1,2,… ,p。 input number x1x4 。 樣本的主成分 例 sas程序 proc plot data=o721。 var number z1 z2 x1x4。 例 由最大的兩個(gè)特征值對(duì)應(yīng)的特征向量可以寫出第一和第二主成分 ： Z1= X1*+ X2* + X3* + X4* Z2= X1* + X2* + X3* X4* 第一和第二主成分都是標(biāo)準(zhǔn)化后變量 Xi* (i=1,2,3,4)的線性組合，且組合系數(shù)就是特征向量的