【正文】 分量 . 北大 數(shù)學(xué)學(xué)院 64 第七章 167。 主成分分析方法把 p維數(shù)據(jù)簡(jiǎn)化為 m(m?p)維數(shù)據(jù)后，進(jìn)一步地可用于變量的分類，樣品的分類，對(duì)樣品進(jìn)行排序或?qū)ο到y(tǒng)進(jìn)行評(píng)估，以及主成分回歸，主成分聚類，多維正態(tài)數(shù)據(jù)的主成分檢驗(yàn)等方面。,.. .,2,1(...2211*pknizazazax imkmikikik??+++?北大 數(shù)學(xué)學(xué)院 75 第七章 167。 ])1(39。[(tr)(2222222222**21 1*RAnAXAXAZZAZAZXXXXxxnipjijij?????????? ?? ?北大 數(shù)學(xué)學(xué)院 77 第七章 167。(X1,…, Xp ), 故有 Xi 39。 指標(biāo)（ 變量）分類 例子 北大 數(shù)學(xué)學(xué)院 85 第七章 167。 主成分分析的應(yīng)用 指標(biāo)（ 變量）分類 例子 sas程序 proc prinp data=d731(type=corr) n=3 outstat=s731 。 if _type_=39。 set tt731。/vref=0 。 主成分分析的應(yīng)用 指標(biāo)（ 變量）分類 例子 各指標(biāo)的系數(shù)有正有負(fù) ,負(fù)系數(shù)對(duì)應(yīng)的變量 (X1,X2等 )都是反映人體高低的變量 。 第二類有 14個(gè)點(diǎn) ,聚集中心是 Z(114) 。 主成分分析的應(yīng)用 對(duì)多指標(biāo)系統(tǒng)進(jìn)行排序評(píng)估的主要方法是加權(quán)評(píng)估法 .比如專家評(píng)估方法，綜合評(píng)分法，層次分析法等 .隨著多元統(tǒng)計(jì)方法的普及與應(yīng)用 ,主成分分析方法也成為構(gòu)造系統(tǒng)排序評(píng)估指數(shù)的常用方法之一 . 設(shè) Z1是標(biāo)準(zhǔn)化隨機(jī)向量 X=(X1,… ,Xp)′的第一主成分 .由主成分的性質(zhì)可知 ,Z1與原始標(biāo)準(zhǔn)化變量 X1,X2,… ,Xp的綜合相關(guān)程度最強(qiáng) ， 北大 數(shù)學(xué)學(xué)院 104 第七章 167。 var x1 x2 x3。 主成分分析的應(yīng)用 主成分回歸及輸出結(jié)果 用主成分得分?jǐn)?shù)據(jù)完成主成分回歸 : proc reg data=o733 。 run。 run。 主成分分析的應(yīng)用 主成分回歸 例 北大 數(shù)學(xué)學(xué)院 109 第七章 167。 run。 主成分分析的應(yīng)用 樣品 分類 七個(gè)類的典型代表分別是第 25號(hào) ,114號(hào) ,89號(hào) ,112號(hào) ,9號(hào) ,47號(hào)和 118號(hào)樣品 ,以它們的服裝尺寸作為一個(gè)型號(hào)的標(biāo)準(zhǔn)尺寸 .如型號(hào) I(第一類)的標(biāo)準(zhǔn)尺寸就是第 25號(hào)樣品的尺寸等等 .各種型號(hào)服裝的生產(chǎn)數(shù)量也按 25:14:9:7:12:20:8這樣的比例來(lái)生產(chǎn) . 注意 :這七類并沒有把 128個(gè)點(diǎn)全部包括在內(nèi) ,還有 33個(gè)樣品不能歸入這七個(gè)類 ,可認(rèn)為是一些特殊體形的樣品 . 北大 數(shù)學(xué)學(xué)院 102 第七章 167。 主成分分析的應(yīng)用 樣品 分類 例 服裝定型分類問題 (續(xù)例 ) 利用 128人 16項(xiàng)指標(biāo)的觀測(cè)數(shù)據(jù) ,試對(duì) 128人的服裝尺寸進(jìn)行分類 (即樣品分類問題：把 128人分為幾類 ,每類找出典型代表 ,以該代表的服裝尺寸作為這一類的尺寸 ). 取 m=2,求出兩個(gè)主成分 ,并計(jì)算樣本主成分得分值 Z(i) =(zi1,zi2)′(i=1,2,…,128). 把這個(gè) 128個(gè)點(diǎn)點(diǎn)在平面上 ,利用平面散布圖 ,把 128個(gè)點(diǎn)分為七類 . 北大 數(shù)學(xué)學(xué)院 100 第七章 167。 2. 由最大特征值對(duì)應(yīng)的特征向量 (即列標(biāo)題為 PRIN1的列 )可得出第一主成分 : PRINT1=++…+ X16 各指標(biāo)的系數(shù)都為正 ,數(shù)值均在 .這個(gè)主成分一般稱為 魁梧因子 (或大小因子 )。 plot p2*p1 $ _name_=39。 北大 數(shù)學(xué)學(xué)院 88 第七章 167。 data t731。 x1 .. .. x2 . ….. x3 . . ….. ……………... x15 . . . . . . . . . . . . . . 1 .65 x16 . . . . . . . . . . . . . . . 1 。 指標(biāo)（ 變量）分類 考察 m維空間的 p個(gè)點(diǎn) Qi, Qi=(?i1 ,?i2 ,...,?im ) (i=1,2,… ,p) . 按距離最近準(zhǔn)則對(duì) p個(gè)點(diǎn)進(jìn)行分類 . 當(dāng) m=2時(shí) ,p個(gè)點(diǎn)可在平面上點(diǎn)出來(lái) ,利用散布圖可直觀地給出指標(biāo)的分類 . 北大 數(shù)學(xué)學(xué)院 83 第七章 167。 指標(biāo)（ 變量）分類 如果第 i個(gè)變量和第 j個(gè)變量的相關(guān)系數(shù)rij≈1,顯然這兩個(gè)變量應(yīng)歸為一 類 . 仍用 Xi和 Xj表示這兩個(gè)變量的 n次觀測(cè)向量 .考慮 n維空間中這兩點(diǎn)的距離 : 因 (n1)R=X 39。39。 + Z2 A239。 ), . . . ,(21*)(*)2(*)1(212221212111*mnnmmmnnzzzZZZzzzzzzzzzZm?????????????????????????????????個(gè)主成分的得分矩陣為北大 數(shù)學(xué)學(xué)院 74 第七章 167。 例 按第一主成分得分排序后的主成分得分和原始數(shù)據(jù) 北大 數(shù)學(xué)學(xué)院 69 第七章 167。 例 輸出 相關(guān)陣的特征值和特征向量 北大 數(shù)學(xué)學(xué)院 62 第七章 167。 run。 該選項(xiàng)規(guī)定 主成分的前 綴名字為 z 生成包含主 分量得分的 輸出數(shù)據(jù)集 行指針控制符 指示讀完該行 數(shù)據(jù)行后再 跳到下一行。 應(yīng)用例子 例 學(xué)生身體各指標(biāo)的主成分分析 . 隨機(jī)抽取 30名某年級(jí)中學(xué)生 ,測(cè)量其身高 (X1)、體重 (X2)、胸圍 (X3)和坐高 (X4),數(shù)據(jù)見書中P277表 (或以下 SAS程序的數(shù)據(jù)行 ). 試對(duì)中學(xué)生身體指標(biāo)數(shù)據(jù)做主成分分析 . 解 (1) 以下 SAS程序首先生成包括 30名學(xué)生身體指標(biāo)數(shù)據(jù)的 SAS數(shù)據(jù)集 d721(其中變量 NUMBER記錄識(shí)別學(xué)生的序號(hào) )，然后調(diào)用 SAS/STA軟件中的 PRINCOMP過程進(jìn)行主成分分析 . 北大 數(shù)學(xué)學(xué)院 58 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) ^ * (A*)39。 = (Z*39。 又稱 fm=[λ 1+… +λm]/p為樣本主成分Z1,… ,Zm (mp)的累計(jì)貢獻(xiàn)率 . pRR A ARAApii??????)(tr)39。XA /(n1) = A39。X=0, 以下由樣本主成分得分的協(xié)差陣來(lái)得出樣本主成分的性質(zhì) (1)的另一結(jié)論 . 樣本主成分得分的協(xié)差陣為 SZ = Z39。A ... X(n) 39。X(t) ) ′ = A39。 樣本的主成分 樣本主成分及其性質(zhì) 假定每個(gè)變量的觀測(cè)數(shù)據(jù)都已標(biāo)準(zhǔn)化(X=0),這時(shí)樣本協(xié)差陣就是樣本相關(guān)陣 R, 且 R=S=離差陣 /(n1) =X39。 主成分的貢獻(xiàn)率 定義 前 m個(gè)主成分 Z1,… ,Zm 對(duì)原變量 Xi的貢獻(xiàn)率 υi(m) 定義為 Xi 與 Z1,… ,Zm 的相關(guān)關(guān)系數(shù)的平方 , ),(1212)(??????mkikmk iiikkmi XZa????北大 數(shù)學(xué)學(xué)院 34 第七章 167。Σ ak = ei39。 主成分的性質(zhì) 主成分 Zi就是以 Σ 的單位特征向量 ai為系數(shù)的線性組合 ,它們互不相關(guān) ,且方差 Var(Zi)= λ i . 記 Σ =(σij),Λ =diag(λ 1,λ 2,… ,λ p), 其中 λ 1≥ λ 2≥ … ≥ λ p為 Σ 的特征值 , a1,a2,… ,ap是相應(yīng)的單位正交特征向量 . 主成分向量 Z = (Z1,… ,Zp)′, 其中 Zi=ai39。a1 =1的約束條件下 ,使得 11111 )(V a r)(V a r ??????? aaXaZ達(dá)極大值 . 北大 數(shù)學(xué)學(xué)院 21 第七章 167。a11) = a139。 主成分分析的內(nèi)容 主成分分析的計(jì)算一般是從原變量的協(xié)差陣或相關(guān)矩陣出發(fā)進(jìn)行 ,包含以下內(nèi)容： 1. 各主成分的構(gòu)成 。 ③ Var(Zi)= Max Var(α 39。 什么是主成分 或者說(shuō) ,若原變量包含有一定的信息 ,則全體主成分包含與原變量相同的信息 . 方差反映了變量取值的離散程度，方差大小表示了變量包含信息的多少 . 第一主成分包含了盡可能多的信息 , 不同的主成分包含的信息互不重復(fù) 。 什么是主成分 假如我們希望用 Z1來(lái)代替原來(lái)的 p個(gè)變量X1,… ,Xp ,這就要求 Z1盡可能多地反映原來(lái) p個(gè)變量的信息 ,這里所說(shuō)的 “ 信息 ” 用什么來(lái)表達(dá)呢 ?最經(jīng)典的方法是用 Z1的方差來(lái)表達(dá) . Var(Z1)越大 ,表示 Z1包含的信息越多 .由()式看出 ,對(duì) a1必須有某種限制 .否則可使Var(Z1)→∞. 常用的限制是 :a139。 167。 主成分就是要從原變量的各種線性組合中找出能集中反映原變量信息的綜合變量。Σa1=0. () 于是求 Z2時(shí) ,就是在約束 a239。 主成分的定義 定義 設(shè) X=(X1,… ,Xp)′ 為 p維隨機(jī)向量 .稱 Zi=ai39。Σaj =0(j=1,… ,i1) 北大 數(shù)學(xué)學(xué)院 11 第七章 167。 4. 各主成分與原變量的相關(guān)性 . 北大 數(shù)學(xué)學(xué)院 16 第七章 167。 主成分的求法 因 a1≠0, 故 |Σ λI|=0,求解 (),其實(shí)就是求 Σ