【正文】 從圖上可以看出二維平面上 n個(gè)點(diǎn)的波動(dòng)(用二個(gè)變量的方差和表示 )大部分可以歸結(jié)為在 Z1方向的波動(dòng) ,而在 Z2 方向上的波動(dòng)很小 ,可以忽略 .這樣一來(lái) ,二維問(wèn)題可以降為一維了 ,只取第一 個(gè)綜合變量 Z1即可 ,而 Z1是橢圓的長(zhǎng)軸 . 一般情況 ,p個(gè)變量組成 p維空間 ,n個(gè)樣品點(diǎn)就是 p維空間的 n個(gè)點(diǎn) .對(duì)于 p元正態(tài)分布變量來(lái)說(shuō) ,找主成分的問(wèn)題就是找 p維空間中橢球的主軸問(wèn)題 . 北大 數(shù)學(xué)學(xué)院 15 第七章 167。Σaj =0(j=1,… ,i1) 北大 數(shù)學(xué)學(xué)院 11 第七章 167。Σaj=0 ( j=1,… ,i1)。 主成分的定義 定義 設(shè) X=(X1,… ,Xp)′ 為 p維隨機(jī)向量 .稱(chēng) Zi=ai39。 3. 主成分以其方差減少次序排列 : 第一主成分具有最大方差 , 第二主成分是與第一主成分正交的原變量的線性組合中具有最大方差者 , 其余主成分都有類(lèi)似的性質(zhì) . 北大 數(shù)學(xué)學(xué)院 9 第七章 167。Σa1=0. () 于是求 Z2時(shí) ,就是在約束 a239。 什么是主成分 設(shè) X=(X1,… ,Xp)′ 是 p維隨機(jī)向量 ,均值向量E(X)=μ ,協(xié)差陣 D(X)=Σ .考慮它的線性變換 : 易見(jiàn) : () () 北大 數(shù)學(xué)學(xué)院 6 第七章 167。 主成分就是要從原變量的各種線性組合中找出能集中反映原變量信息的綜合變量。 167。 167。 北大 數(shù)學(xué)學(xué)院 4 第七章 167。 什么是主成分 假如我們希望用 Z1來(lái)代替原來(lái)的 p個(gè)變量X1,… ,Xp ,這就要求 Z1盡可能多地反映原來(lái) p個(gè)變量的信息 ,這里所說(shuō)的 “ 信息 ” 用什么來(lái)表達(dá)呢 ?最經(jīng)典的方法是用 Z1的方差來(lái)表達(dá) . Var(Z1)越大 ,表示 Z1包含的信息越多 .由()式看出 ,對(duì) a1必須有某種限制 .否則可使Var(Z1)→∞. 常用的限制是 :a139。a2=1和 ()下 ,求a2使 Var(Z2)達(dá)最大 ,所求之 Z2稱(chēng)為第二主成分 ,類(lèi)似地可求得第三主成分 ,第四主成分 ,… .,第 p主成分 . 北大 數(shù)學(xué)學(xué)院 8 第七章 167。 什么是主成分 或者說(shuō) ,若原變量包含有一定的信息 ,則全體主成分包含與原變量相同的信息 . 方差反映了變量取值的離散程度，方差大小表示了變量包含信息的多少 . 第一主成分包含了盡可能多的信息 , 不同的主成分包含的信息互不重復(fù) 。X 為 X的第 i 主成分(i=1,2,… ,p),如果 : ① ai39。 ③ Var(Zi)= Max Var(α 39。 主成分的幾何意義 從代數(shù)學(xué)觀點(diǎn)看主成分就是 p個(gè)變量的一些特殊的線性組合 ,而從幾何上看這些線性組合正是把 X1,… ,Xp構(gòu)成的坐標(biāo)系旋轉(zhuǎn)產(chǎn)生的新坐標(biāo)系 ,新坐標(biāo)軸使之通過(guò)樣本變差最大的方向 (或者說(shuō)具有最大的樣本方差 ). 設(shè)有 n個(gè)觀測(cè) ,每個(gè)觀測(cè)有 p個(gè)變量 X1,… ,Xp , 它們的綜合指標(biāo) (主成分 )記為 Z1,… ,Zp . 當(dāng) p=2時(shí)原變量為 X1, (X1, X2 )服從二元正態(tài)分布 ,則樣品點(diǎn) X(i) =(xi1, xi2 ) (i=1,2,… n)的散布圖 (見(jiàn)下面圖形 )在一個(gè)橢圓內(nèi)分布著 . 北大 數(shù)學(xué)學(xué)院 12 第七章 167。 主成分分析的內(nèi)容 主成分分析的計(jì)算一般是從原變量的協(xié)差陣或相關(guān)矩陣出發(fā)進(jìn)行 ,包含以下內(nèi)容： 1. 各主成分的構(gòu)成 。 主成分的求法 設(shè) p維隨機(jī)向量 X的均值 E(X)=0,協(xié)差陣D(X)=Σ ＞ ,求第一主成分 Z1= a139。a11) = a139。X (i=1,2,… ,p). 北大 數(shù)學(xué)學(xué)院 18 第七章 167。a1 =1的約束條件下 ,使得 11111 )(V a r)(V a r ??????? aaXaZ達(dá)極大值 . 北大 數(shù)學(xué)學(xué)院 21 第七章 167。ar =1的約束條件下 , ar 滿(mǎn)足 且使得 rrrrr aaXaZ ??????? )(V a r)(V a r達(dá)極大值 . 根據(jù)主成分的定義 ,Zr= ar39。 主成分的性質(zhì) 主成分 Zi就是以 Σ 的單位特征向量 ai為系數(shù)的線性組合 ,它們互不相關(guān) ,且方差 Var(Zi)= λ i . 記 Σ =(σij),Λ =diag(λ 1,λ 2,… ,λ p), 其中 λ 1≥ λ 2≥ … ≥ λ p為 Σ 的特征值 , a1,a2,… ,ap是相應(yīng)的單位正交特征向量 . 主成分向量 Z = (Z1,… ,Zp)′, 其中 Zi=ai39。這說(shuō)明若前幾個(gè)主成分集中了大部分信息，則后幾個(gè)主成分的方差都很小，包含的信息也很少 . 在實(shí)際應(yīng)用時(shí)就可用前面較少的幾個(gè)主成分來(lái)代替原 p個(gè)變量來(lái)描述數(shù)據(jù)的變化 . 且存在 ??????miipiiipm11, ??使北大 數(shù)學(xué)學(xué)院 27 第七章 167。Σ ak = ei39。 主成分的性質(zhì) 因 Zk可表成 X1,… ,Xp的線性組合 ,但X1,… ,Xp 一般有相關(guān)性，由 Zk與 Xi的相關(guān)系數(shù)的公式，可得出表 Zk對(duì)應(yīng)的每一列關(guān)于各變量方差的加權(quán)平方和為 λk (即 Var(Zk)=λk). 北大 數(shù)學(xué)學(xué)院 31 第七章 167。 主成分的貢獻(xiàn)率 定義 前 m個(gè)主成分 Z1,… ,Zm 對(duì)原變量 Xi的貢獻(xiàn)率 υi(m) 定義為 Xi 與 Z1,… ,Zm 的相關(guān)關(guān)系數(shù)的平方 , ),(1212)(??????mkikmk iiikkmi XZa????北大 數(shù)學(xué)學(xué)院 34 第七章 167。 標(biāo)準(zhǔn)化變量的主成分及性質(zhì) 在實(shí)際問(wèn)題中 ,不同的變量往往有不同的量綱 ,而通過(guò) Σ 來(lái)求主成分首先優(yōu)先照顧方差 (σii)大的變量 ,有時(shí)會(huì)造成很不合理的結(jié)果 ,為了消除由于量綱的不同可能帶來(lái)的一些不合理的影響 ,常采用將變量標(biāo)準(zhǔn)化的方法 . 即令 北大 數(shù)學(xué)學(xué)院 37 第七章 167。 樣本的主成分 樣本主成分及其性質(zhì) 假定每個(gè)變量的觀測(cè)數(shù)據(jù)都已標(biāo)準(zhǔn)化(X=0),這時(shí)樣本協(xié)差陣就是樣本相關(guān)陣 R, 且 R=S=離差陣 /(n1) =X39。 樣本主成分及其性質(zhì) 將第 t個(gè)樣品 X(t) =(xt1,… , xtp)′的值代入 Zi得 樣品 t的第 i個(gè)主成分得分 zti =ai39。X(t) ) ′ = A39。 Z(2) 39。A ... X(n) 39。 樣本的主成分 樣本主成分及其性質(zhì) (1) Z=(Z(1)+ Z(2)+…+ Z(n))/n =(A39。X=0, 以下由樣本主成分得分的協(xié)差陣來(lái)得出樣本主成分的性質(zhì) (1)的另一結(jié)論 . 樣本主成分得分的協(xié)差陣為 SZ = Z39。 樣本的主成分 樣本主成分及其性質(zhì) 記正交陣 A= (a1,… ,ap) .則有 A39。XA /(n1) = A39。zi=(n1) λ i (i=1,2,…, p) zi39。 又稱(chēng) fm=[λ 1+… +λm]/p為樣本主成分Z1,… ,Zm (mp)的累計(jì)貢獻(xiàn)率 . pRR A ARAApii??????)(tr)39。 樣本的主成分 樣本主成分及其性質(zhì) 把表 m個(gè)主成分的得分?jǐn)?shù)據(jù)作為以上模型（ *）中因變量 X1,… ,X p和自變量 Z1,… ,Zm的觀測(cè)數(shù)據(jù) . 問(wèn)題化為：按最小二乘準(zhǔn)則求參數(shù)矩陣 B： ???????????pmpmbbbbB?????1111 ，使得殘差平方和 Q(B)達(dá)最小 . (p m) 北大 數(shù)學(xué)學(xué)院 51 第七章 167。 = (Z*39。 Z* = A*39。 樣本的主成分 樣本主成分及其性質(zhì) ^ * (A*)39。 主成分的個(gè)數(shù)及解釋 主成分分析的目的之一是 簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu) ,用盡可能少的主成分 Z1,… , Zm(mp)代替原來(lái)的 p個(gè)變量 ,這樣就把 p個(gè)變量的 n次觀測(cè)數(shù)據(jù)簡(jiǎn)化為 m個(gè)主成分的得分?jǐn)?shù)據(jù) . ① m個(gè)主成分所反映的信息與原來(lái)p個(gè)變量提供的信息差不多 。 應(yīng)用例子 例 學(xué)生身體各指標(biāo)的主成分分析 . 隨機(jī)抽取 30名某年級(jí)中學(xué)生 ,測(cè)量其身高 (X1)、體重 (X2)、胸圍 (X3)和坐高 (X4),數(shù)據(jù)見(jiàn)書(shū)中P277表 (或以下 SAS程序的數(shù)據(jù)行 ). 試對(duì)中學(xué)生身體指標(biāo)數(shù)據(jù)做主成分分析 . 解 (1) 以下 SAS程序首先生成包括 30名學(xué)生身體指標(biāo)數(shù)據(jù)的 SAS數(shù)據(jù)集 d721(其中變量 NUMBER記錄識(shí)別學(xué)生的序號(hào) )，然后調(diào)用 SAS/STA軟件中的 PRINCOMP過(guò)程進(jìn)行主成分分析 . 北大 數(shù)學(xué)學(xué)院 58 第七章 167。 1 148 41 72 78 2 139 34 71 76 3 160 49 77 86 4 149 36 67 79 ………………………………... 27 144 36 68 76 28 141 30 67 76 29 139 32 68 73 30 148 38 70 78 。 該選項(xiàng)規(guī)定 主成分的前 綴名字為 z 生成包含主 分量得分的 輸出數(shù)據(jù)集 行指針控制符 指示讀完該行 數(shù)據(jù)行后再 跳到下一行。*39。 run。 繪制前二個(gè)主成分得分的散點(diǎn)圖 .作圖符號(hào)為 39。 例 輸出 相關(guān)陣的特征值和特征向量 北大 數(shù)學(xué)學(xué)院 62 第七章 167。而身體矮小的學(xué)生,他的 4個(gè)部位的尺寸都比較小 .因此我們稱(chēng)第一主成分為大小因子 . 北大 數(shù)學(xué)學(xué)院 65 第七章 167。 例 按第一主成分得分排序后的主成分得分和原始數(shù)據(jù) 北大 數(shù)學(xué)學(xué)院 69 第七章 167。 設(shè) n次觀測(cè)數(shù)據(jù)陣 X已標(biāo)準(zhǔn)化 ,這時(shí)樣本協(xié)差陣就是樣本相關(guān)陣 R, R的特征值為 λ 1≥ λ 2 ≥ … ≥ λ p 相應(yīng)的標(biāo)準(zhǔn)化特征向量為 a1,a2, … ,ap 。 ), . . . ,(21*)(*)2(*)1(212221212111*mnnmmm