【正文】 … ≥ λ p為 Σ 的特征值 , a1,a2,… ,ap是相應(yīng)的單位正交特征向量 . 主成分向量 Z = (Z1,… ,Zp)′, 其中 Zi=ai39。 定理 設(shè) Z=(Z1, Z2 ,…, Z p )′為 p維隨機(jī)向量，則其分量 Zi (i=1,2,…, p) 依次是 X的第 i主成分 ① Z=A39。ar =1的約束條件下 , ar 滿(mǎn)足 且使得 rrrrr aaXaZ ??????? )(V a r)(V a r達(dá)極大值 . 根據(jù)主成分的定義 ,Zr= ar39。 X為 X的第一主成分 . 對(duì) r=2,3,…, p,記 ￡ r＝￡ (ar,…, ap),利用附錄中的定理 (2)即得 ￡ r 且最大值在 a=ar時(shí)達(dá)到 . 北大 數(shù)學(xué)學(xué)院 22 第七章 167。a1 =1的約束條件下 ,使得 11111 )(V a r)(V a r ??????? aaXaZ達(dá)極大值 . 北大 數(shù)學(xué)學(xué)院 21 第七章 167。 回顧附錄中 定理 (2)記￡ 2=￡ (lr+1,…, lp ),即￡ 2是由 lr+1,…, lp 張成的空間 ,則 )(m a x 10+?????rxx xxBxx?￡2 且當(dāng) x=clr+1 時(shí)達(dá)到最大值，這里 c非零常數(shù) . 北大 數(shù)學(xué)學(xué)院 20 第七章 167。X (i=1,2,… ,p). 北大 數(shù)學(xué)學(xué)院 18 第七章 167。Ipa11), 由 () (見(jiàn)附錄 ()式 ) 北大 數(shù)學(xué)學(xué)院 17 第七章 167。a11) = a139。a1=1下 ,Var(Z1)達(dá)最大 . 這是條件極值問(wèn)題 ,用拉格朗日乘數(shù)法 . φ (a1)=Var(a139。 主成分的求法 設(shè) p維隨機(jī)向量 X的均值 E(X)=0,協(xié)差陣D(X)=Σ ＞ ,求第一主成分 Z1= a139。 3. 每個(gè)觀測(cè)在各個(gè)主成分下的得分值 。 主成分分析的內(nèi)容 主成分分析的計(jì)算一般是從原變量的協(xié)差陣或相關(guān)矩陣出發(fā)進(jìn)行 ,包含以下內(nèi)容： 1. 各主成分的構(gòu)成 。 主成分的幾何意義 對(duì)于二元正態(tài)隨機(jī)向量 ,n個(gè)點(diǎn)散布在一個(gè)橢圓內(nèi) (當(dāng) X1, X2相關(guān)性越強(qiáng) ,這個(gè)橢圓就越扁 ). 若取橢圓的長(zhǎng)軸為坐標(biāo)軸 Z1,橢圓的短軸為 Z2,這相當(dāng)于在平面上作一個(gè)坐標(biāo)變換 ,即按逆時(shí)針?lè)较蛐D(zhuǎn)一個(gè)角度 a, 根據(jù)旋轉(zhuǎn)變換公式 ,新老坐標(biāo)之間有關(guān)系 : Z1=Cos aX1+ Sin aX2 Z2= Sin aX1+ Cos aX2 Z1 Z2 是原變量 X1和 X2 的特殊線(xiàn)性組合 . 北大 數(shù)學(xué)學(xué)院 14 第七章 167。 主成分的幾何意義 從代數(shù)學(xué)觀點(diǎn)看主成分就是 p個(gè)變量的一些特殊的線(xiàn)性組合 ,而從幾何上看這些線(xiàn)性組合正是把 X1,… ,Xp構(gòu)成的坐標(biāo)系旋轉(zhuǎn)產(chǎn)生的新坐標(biāo)系 ,新坐標(biāo)軸使之通過(guò)樣本變差最大的方向 (或者說(shuō)具有最大的樣本方差 ). 設(shè)有 n個(gè)觀測(cè) ,每個(gè)觀測(cè)有 p個(gè)變量 X1,… ,Xp , 它們的綜合指標(biāo) (主成分 )記為 Z1,… ,Zp . 當(dāng) p=2時(shí)原變量為 X1, (X1, X2 )服從二元正態(tài)分布 ,則樣品點(diǎn) X(i) =(xi1, xi2 ) (i=1,2,… n)的散布圖 (見(jiàn)下面圖形 )在一個(gè)橢圓內(nèi)分布著 . 北大 數(shù)學(xué)學(xué)院 12 第七章 167。α =1,α 39。 ③ Var(Zi)= Max Var(α 39。 ② 當(dāng) i 1時(shí) ai39。X 為 X的第 i 主成分(i=1,2,… ,p),如果 : ① ai39。 其余主成分都有類(lèi)似的性質(zhì) . 北大 數(shù)學(xué)學(xué)院 10 第七章 167。 什么是主成分 或者說(shuō) ,若原變量包含有一定的信息 ,則全體主成分包含與原變量相同的信息 . 方差反映了變量取值的離散程度，方差大小表示了變量包含信息的多少 . 第一主成分包含了盡可能多的信息 , 不同的主成分包含的信息互不重復(fù) 。 2. 不同主成分間互不相關(guān)（互相正交） 。a2=1和 ()下 ,求a2使 Var(Z2)達(dá)最大 ,所求之 Z2稱(chēng)為第二主成分 ,類(lèi)似地可求得第三主成分 ,第四主成分 ,… .,第 p主成分 . 北大 數(shù)學(xué)學(xué)院 8 第七章 167。 什么是主成分 如果第一主成分不足以代表原來(lái) p個(gè)變量的絕大部分信息 .考慮 X的第二個(gè)線(xiàn)性組合 Z2 . 為了有效地代表原變量組的信息 ,Z1已體現(xiàn) (反映 )的信息不希望在 Z2中出現(xiàn) ,用統(tǒng)計(jì)術(shù)語(yǔ)來(lái)講 ,就是要求 Cov(Z2,Z1)=a239。 什么是主成分 假如我們希望用 Z1來(lái)代替原來(lái)的 p個(gè)變量X1,… ,Xp ,這就要求 Z1盡可能多地反映原來(lái) p個(gè)變量的信息 ,這里所說(shuō)的 “ 信息 ” 用什么來(lái)表達(dá)呢 ?最經(jīng)典的方法是用 Z1的方差來(lái)表達(dá) . Var(Z1)越大 ,表示 Z1包含的信息越多 .由()式看出 ,對(duì) a1必須有某種限制 .否則可使Var(Z1)→∞. 常用的限制是 :a139。而且這幾個(gè)綜合變量又能夠盡可能多地反映原來(lái)變量的信息 . 利用這種降維的思想 ,產(chǎn)生了主成分分析、因子分析、典型相關(guān)分析等統(tǒng)計(jì)方法 . 北大 數(shù)學(xué)學(xué)院 5 第七章 167。 北大 數(shù)學(xué)學(xué)院 4 第七章 167。 多個(gè)變量之間常存在相關(guān)性，人們希望用較少不相關(guān)的變量來(lái)代替原來(lái)較多且相關(guān)的變量。 167。北大 數(shù)學(xué)學(xué)院 1 應(yīng)用多元統(tǒng)計(jì)分析 第七章 主成分分 析 北大 數(shù)學(xué)學(xué)院 2 第七章 主成分分 析 目 錄 167。 167。 主成分分析的應(yīng)用 北大 數(shù)學(xué)學(xué)院 3 第七章 主成分分 析 多變量分析 (Multivariate Analysis)是處理多變量 (多指標(biāo) )的統(tǒng)計(jì)問(wèn)題。 主成分就是要從原變量的各種線(xiàn)性組合中找出能集中反映原變量信息的綜合變量。 總體的主成分 什么是主成分分 析 主成分分析是將多個(gè)指標(biāo)化為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法 . 在實(shí)際問(wèn)題中 ,研究多指標(biāo)的問(wèn)題是經(jīng)常遇到的問(wèn)題 .由于變量個(gè)數(shù)太多 ,并且彼此之間存在著一定的相關(guān)性 ,勢(shì)必增加分析問(wèn)題的復(fù)雜性 . 主成分分析就是設(shè)法把原來(lái)的多個(gè)指標(biāo)重新組合成較少幾個(gè)新的互不相關(guān)的綜合變量來(lái)代替原來(lái)的變量 。 什么是主成分 設(shè) X=(X1,… ,Xp)′ 是 p維隨機(jī)向量 ,均值向量E(X)=μ ,協(xié)差陣 D(X)=Σ .考慮它的線(xiàn)性變換 : 易見(jiàn) : () () 北大 數(shù)學(xué)學(xué)院 6 第七章 167。a1 =1. 若存在滿(mǎn)足以上約束的 a1,使 Var(Z1)達(dá)最大 , Z1就稱(chēng)為第一主成分 (或主分量 ). 北大 數(shù)學(xué)學(xué)院 7 第七章 167。Σa1=0. () 于是求 Z2時(shí) ,就是在約束 a239。 什么是主成分 換言之 ,若原數(shù)據(jù)有 p個(gè)變量，則恰好可得到 p個(gè)主成分 : 1. 每個(gè)主成分都是原變量的線(xiàn)性組合 。 3. 主成分以其方差減少次序排列 : 第一主成分具有最大方差 , 第二主成分是與第一主成分正交的原變量的線(xiàn)性組合中具有最大方差者 , 其余主成分都有類(lèi)似的性質(zhì) . 北大 數(shù)學(xué)學(xué)院 9 第七章 167。 第二主成分包含除第一主成分外剩余信息中盡可能多的信息 。 主成分的定義 定義 設(shè) X=(X1,… ,Xp)′ 為 p維隨機(jī)向量 .稱(chēng) Zi=ai39。ai=1 (i=1,2,… ,p)。Σaj=0 ( j=1,… ,i1)。X). α 39。Σaj =0(j=1,… ,i1) 北大 數(shù)學(xué)學(xué)院 11 第七章 167。 主成分的幾何意義 Z1 Z2 北大 數(shù)學(xué)學(xué)院 13 第七章 167。 主成分的幾何意義 從圖上可以看出二維平面上 n個(gè)點(diǎn)的波動(dòng)(用二個(gè)變量的方差和表示 )大部分可以歸結(jié)為在 Z1方向的波動(dòng) ,而在 Z2 方向上的波動(dòng)很小 ,可以忽略 .這樣一來(lái) ,二維問(wèn)題可以降為一維了 ,只取第一 個(gè)綜合變量 Z1即可 ,而 Z1是橢圓的長(zhǎng)軸 . 一般情況 ,p個(gè)變量組成 p維空間 ,n個(gè)樣品點(diǎn)就是 p維空間的 n個(gè)點(diǎn) .對(duì)于 p元正態(tài)分布變量來(lái)說(shuō) ,找主成分的問(wèn)題就是找 p維空間中橢球的主軸問(wèn)題 . 北大 數(shù)學(xué)學(xué)院 15 第七章 167。 2. 各主成分的方差及其在總方差中所占的比例 (貢獻(xiàn)率 ) 。 4. 各主成分與原變量的相關(guān)性 . 北大 數(shù)學(xué)學(xué)院 16 第七章 167。X的問(wèn)題就是求 a1=(a11,a21,… ,ap1)′, 使得在 a139。X)λ (a139。Σ a1λ (a139。 主成分的求法 因 a1≠0, 故 |Σ λI|=0,求解 (),其實(shí)就是求 Σ 的特征值和特征向量問(wèn)題 .設(shè) λ=λ1是 Σ 的最大特征值 ,則相應(yīng)的單位特征向量 a1即為所求. 一般地 ,求 X的第 i主成分就是求 Σ 的第 i大特征值對(duì)應(yīng)的單位特征向量 . 定理 設(shè) X=(X1,… ,Xp)′ 是 p維隨機(jī)向量 ,且 D(X)=Σ ,Σ 的特征值 λ 1≥ λ 2≥ … ≥ λ p ， a1,a2,… ,ap為相應(yīng)的單位正交特征向量 ,則 X的第 i Zi= ai39。 回顧附錄中 定理 定理 設(shè) B是 p階對(duì)稱(chēng)陣 ,λi=chi(B)是 B的第i大的特征值， li 是相應(yīng)于 λi的 B的標(biāo)準(zhǔn)化特征向量 (i＝ 1,…, p), x為任一非零 p維向量，那么有 )()1( 1?? ????xxBxxp右邊不等式的等號(hào)當(dāng) x=cl1時(shí)成立，左邊不等式的等號(hào)當(dāng) x=clp時(shí)成立，這里 c是非零常數(shù) . 北大 數(shù)學(xué)學(xué)院 19 第七章 167。 定理 1?? ?????aaaap定理 因 Σ為對(duì)稱(chēng)陣，利用附錄中定理 (1),可知對(duì)任意非零向量a有 且最大值在 a=a1時(shí)達(dá)到 .故在 a139。 定理 raa aaaa??????? 0m ax 根據(jù)主成分的定義 ,Z1= a139。 定理 故在 ar39。 X為 X的第r主成分 . (證畢 ) )1,1(0 ????????? rjaaaaaa jrjjjrjr ???北大 數(shù)學(xué)學(xué)院 23 第七章 167。X， A ② D(Z