【正文】 ), . . . ,2,1。 設(shè) n次觀測數(shù)據(jù)陣 X已標(biāo)準(zhǔn)化 ,這時樣本協(xié)差陣就是樣本相關(guān)陣 R, R的特征值為 λ 1≥ λ 2 ≥ … ≥ λ p 相應(yīng)的標(biāo)準(zhǔn)化特征向量為 a1,a2, … ,ap 。 主成分分析方法把 p維數(shù)據(jù)簡化為 m(m?p)維數(shù)據(jù)后，進一步地可用于變量的分類，樣品的分類，對樣品進行排序或?qū)ο到y(tǒng)進行評估，以及主成分回歸，主成分聚類，多維正態(tài)數(shù)據(jù)的主成分檢驗等方面。 例 按第一主成分得分排序后的主成分得分和原始數(shù)據(jù) 北大 數(shù)學(xué)學(xué)院 69 第七章 167。 例 輸出 第二主成分得分對第一主成分得分的散布圖 北大 數(shù)學(xué)學(xué)院 67 第七章 167。而身體矮小的學(xué)生,他的 4個部位的尺寸都比較小 .因此我們稱第一主成分為大小因子 . 北大 數(shù)學(xué)學(xué)院 65 第七章 167。 例 由最大的兩個特征值對應(yīng)的特征向量可以寫出第一和第二主成分 ： Z1= X1*+ X2* + X3* + X4* Z2= X1* + X2* + X3* X4* 第一和第二主成分都是標(biāo)準(zhǔn)化后變量 Xi* (i=1,2,3,4)的線性組合，且組合系數(shù)就是特征向量的分量 . 北大 數(shù)學(xué)學(xué)院 64 第七章 167。 例 輸出 相關(guān)陣的特征值和特征向量 北大 數(shù)學(xué)學(xué)院 62 第七章 167。,并在每散點旁邊加上序號 ,以便識別各個觀測 . 把輸出集 o721按第一主成分 z1的得分值從小 到大排序 輸出排序后的數(shù)據(jù)集 o721 北大 數(shù)學(xué)學(xué)院 60 第七章 167。 繪制前二個主成分得分的散點圖 .作圖符號為 39。 var number z1 z2 x1x4。 run。 proc sort data=o721。*39。 樣本的主成分 例 sas程序 proc plot data=o721。 該選項規(guī)定 主成分的前 綴名字為 z 生成包含主 分量得分的 輸出數(shù)據(jù)集 行指針控制符 指示讀完該行 數(shù)據(jù)行后再 跳到下一行。 var x1x4。 1 148 41 72 78 2 139 34 71 76 3 160 49 77 86 4 149 36 67 79 ………………………………... 27 144 36 68 76 28 141 30 67 76 29 139 32 68 73 30 148 38 70 78 。 input number x1x4 。 應(yīng)用例子 例 學(xué)生身體各指標(biāo)的主成分分析 . 隨機抽取 30名某年級中學(xué)生 ,測量其身高 (X1)、體重 (X2)、胸圍 (X3)和坐高 (X4),數(shù)據(jù)見書中P277表 (或以下 SAS程序的數(shù)據(jù)行 ). 試對中學(xué)生身體指標(biāo)數(shù)據(jù)做主成分分析 . 解 (1) 以下 SAS程序首先生成包括 30名學(xué)生身體指標(biāo)數(shù)據(jù)的 SAS數(shù)據(jù)集 d721(其中變量 NUMBER記錄識別學(xué)生的序號 )，然后調(diào)用 SAS/STA軟件中的 PRINCOMP過程進行主成分分析 . 北大 數(shù)學(xué)學(xué)院 58 第七章 167。 主成分個數(shù)的確定 主成分的個數(shù) m如何選取是實際工作者關(guān)心的問題 .關(guān)于主成分的個數(shù)如何確定 ,常用的標(biāo)準(zhǔn)有兩個： (1) 按累計貢獻率達到一定程度 (如 70%或80%以上 )來確定 m。 主成分的個數(shù)及解釋 主成分分析的目的之一是 簡化數(shù)據(jù)結(jié)構(gòu) ,用盡可能少的主成分 Z1,… , Zm(mp)代替原來的 p個變量 ,這樣就把 p個變量的 n次觀測數(shù)據(jù)簡化為 m個主成分的得分?jǐn)?shù)據(jù) . ① m個主成分所反映的信息與原來p個變量提供的信息差不多 。 樣本的主成分 樣本主成分及其性質(zhì) 即 當(dāng) B=A* 或 bjk=ajk(j =1,2,… ,p。 樣本的主成分 樣本主成分及其性質(zhì) ^ * (A*)39。XA* =(n1)A*39。 Z* = A*39。 X 記 A*= (a1,… ,am) , A2= (am+1,… ,aP)則由 Z = ( Z*|Z2 ) =XA=X (A*|A2 ) 可得 Z* =XA* 且因 A*39。 = (Z*39。 + E 由多因變量的回歸分析 (參見第四章 )的理論知 ： 參數(shù)矩陣 B的最小二乘估計為 北大 數(shù)學(xué)學(xué)院 52 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) 把表 m個主成分的得分?jǐn)?shù)據(jù)作為以上模型（ *）中因變量 X1,… ,X p和自變量 Z1,… ,Zm的觀測數(shù)據(jù) . 問題化為：按最小二乘準(zhǔn)則求參數(shù)矩陣 B： ???????????pmpmbbbbB?????1111 ，使得殘差平方和 Q(B)達最小 . (p m) 北大 數(shù)學(xué)學(xué)院 51 第七章 167。(tr1?北大 數(shù)學(xué)學(xué)院 49 第七章 167。 又稱 fm=[λ 1+… +λm]/p為樣本主成分Z1,… ,Zm (mp)的累計貢獻率 . pRR A ARAApii??????)(tr)39。 樣本的主成分 樣本主成分及其性質(zhì) 因 A39。zi=(n1) λ i (i=1,2,…, p) zi39。Z= (n1)∧ 北大 數(shù)學(xué)學(xué)院 47 第七章 167。XA /(n1) = A39。Z/(n1)=A39。 樣本的主成分 樣本主成分及其性質(zhì) 記正交陣 A= (a1,… ,ap) .則有 A39。X/(n1) R陣的 p個特征根 λ 1≥ λ 2 ≥ … ≥ λ p 相應(yīng)的標(biāo)準(zhǔn)化特征向量為 a1,a2, … ,ap 。X=0, 以下由樣本主成分得分的協(xié)差陣來得出樣本主成分的性質(zhì) (1)的另一結(jié)論 . 樣本主成分得分的協(xié)差陣為 SZ = Z39。X(2) +…+ A39。 樣本的主成分 樣本主成分及其性質(zhì) (1) Z=(Z(1)+ Z(2)+…+ Z(n))/n =(A39。 , 其中 Z(t) =A39。A ... X(n) 39。 X(1) 39。 Z(2) 39。 樣本主成分及其性質(zhì) 表 原始數(shù)據(jù)和樣本主成分得分 令 (z1,z2,…, zp) 樣本主成分 Z1 Z2 …… Zp 北大 數(shù)學(xué)學(xué)院 44 第七章 167。X(t) ) ′ = A39。X(t) ,a239。 樣本主成分及其性質(zhì) 將第 t個樣品 X(t) =(xt1,… , xtp)′的值代入 Zi得 樣品 t的第 i個主成分得分 zti =ai39。X39。 樣本的主成分 樣本主成分及其性質(zhì) 假定每個變量的觀測數(shù)據(jù)都已標(biāo)準(zhǔn)化(X=0),這時樣本協(xié)差陣就是樣本相關(guān)陣 R, 且 R=S=離差陣 /(n1) =X39。 標(biāo)準(zhǔn)化變量的主成分及性質(zhì) 北大 數(shù)學(xué)學(xué)院 39 北大 數(shù)學(xué)學(xué)院 40 第七章 167。 標(biāo)準(zhǔn)化變量的主成分及性質(zhì) 在實際問題中 ,不同的變量往往有不同的量綱 ,而通過 Σ 來求主成分首先優(yōu)先照顧方差 (σii)大的變量 ,有時會造成很不合理的結(jié)果 ,為了消除由于量綱的不同可能帶來的一些不合理的影響 ,常采用將變量標(biāo)準(zhǔn)化的方法 . 即令 北大 數(shù)學(xué)學(xué)院 37 第七章 167。 總體的主成分 主成分的貢獻率 例子 Z1= , Z2= X3 (X3本身就是一個主分量，它與 X1， X2不相關(guān) ), Z3=+ X2. 當(dāng)取 m=1或 m=2時 ,主成分 對 X的貢獻率可達%或 %.下表 列出 m個主分量對變量 Xi的貢獻率 )2,1。 主成分的貢獻率 定義 前 m個主成分 Z1,… ,Zm 對原變量 Xi的貢獻率 υi(m) 定義為 Xi 與 Z1,… ,Zm 的相關(guān)關(guān)系數(shù)的平方 , ),(1212)(??????mkikmk iiikkmi XZa????北大 數(shù)學(xué)學(xué)院 34 第七章 167。 主成分的貢獻率 定義 稱 λk / [λ1 +... +λm +…+λ p] 為主成分 Zk的貢獻率 。 主成分的性質(zhì) 因 Zk可表成 X1,… ,Xp的線性組合 ,但X1,… ,Xp 一般有相關(guān)性，由 Zk與 Xi的相關(guān)系數(shù)的公式，可得出表 Zk對應(yīng)的每一列關(guān)于各變量方差的加權(quán)平方和為 λk (即 Var(Zk)=λk). 北大 數(shù)學(xué)學(xué)院 31 第七章 167。 主成分的性質(zhì) 常把主成分 Zk與原始變量 Xi的相關(guān)系數(shù)稱為 因子負(fù)荷量 (或因子載荷量 ).利用因子載荷量 ,可對指標(biāo)分類 .如果把主成分與原始變量的相關(guān)系數(shù)列成表 ，則由相關(guān)系數(shù)的公式，還可得出性質(zhì) (4)和 (5). 表 北大 數(shù)學(xué)學(xué)院 29 第七章 167。Σ ak = ei39。X, ak39。這說明若前幾個主成分集中了大部分信息，則后幾個主成分的方差都很小，包含的信息也很少 . 在實際應(yīng)用時就可用前面較少的幾個主成分來代替原 p個變量來描述數(shù)據(jù)的變化 . 且存在 ??????miipiiipm11, ??使北大 數(shù)學(xué)學(xué)院 27 第七章 167。 主成分的性質(zhì) ?????piipiii11?? (1) D(Z)=Λ ,即 p個主成分的方差為： Var(Zi)=λi ,且它們是互不相關(guān) (2) ??piii1?通常稱 為原總體 X的總方差 ,該性質(zhì)說明原總體 X的總方差可分解為不相關(guān)的主成分的方差和 . 北大 數(shù)學(xué)學(xué)院 26 第七章 167。 主成分的性質(zhì) 主成分 Zi就是以 Σ 的單位特征向量 ai為系數(shù)的線性組合 ,它們互不相關(guān) ,且方差 Var(Zi)= λ i . 記 Σ =(σij),Λ =diag(λ 1,λ 2,… ,λ p), 其中 λ 1≥ λ 2≥