【正文】 ??????????????? ??????令 ，則上面的方程變?yōu)椋? ,/ 111 ?? XZ222 /?XZ ?).1(2 22222121 ?? ???? dZZZZ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 19 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。?? PΛP ? ?? ? 39。X)μX(Σ)39。(39。139。 222111?????? ??222211)39。(1 XX ???? ??222121??YY ?? 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 20 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。因?yàn)? 所以， 就是原始變量 的兩個(gè)主成分，它們的方差分別為 ，在 方向上集中了原始變量 的變差，在 方向上集中了原始變量 的變差，經(jīng)常有 遠(yuǎn)大于 ，這樣，我們就可以只研究原始數(shù)據(jù)在 方向上的變化而不致于損失過多信息，而 就是橢圓在原始坐標(biāo)系中的主軸方向，也是坐標(biāo)軸轉(zhuǎn)換的系數(shù)向量。 21,YY21,YY ,X39。γ 22 ?Y 21,YY 21,XX21,?? 1Y 1? 2Y2? 1? 2?1Y21,γγ 這樣，我們就對(duì)主成分分析的幾何意義有了一個(gè)充分的了解。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 21 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。本節(jié)先從總體出發(fā)，介紹求解主成分的一般方法及主成分的性質(zhì)，然后介紹樣本主成分的導(dǎo)出。 總體主成分 主成分分析的基本思想就是在保留原始變量盡可能多的信息的前提下達(dá)到降維的目的，從而簡(jiǎn)化問題的復(fù)雜性并抓住問題的主要矛盾。我們所說的保留原始變量盡可能多的信息，也就是指的生成的較少的綜合變量（主成分）的方差和盡可能接近原始變量方差的總和。一般地說，從原始變量的協(xié)方差矩陣出發(fā)求得的主成分與從原始變量的相關(guān)矩陣出發(fā)求得的主成分是不同的。 PXXX , 21 ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 23 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 An??? ， ???21n??? ??? ?21 pγγγ ， ???21 A1m a x ??? xx39。0x n??? xx39。0xm in（ ） 證明：對(duì) 與單位陣 進(jìn)行譜分解，可以寫成下面的式子： A I39。1???niiiγγI而對(duì)任意向量 ，有 ，于是有 x ??? niiia1γx ?????niiniiiaa1212?xx39。2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 24 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。Axx39。0xinki????? xx39。0γx39。Axx39。Axx39。 總體主成分 證明：由引論知，對(duì)于任意常向量 ，有： 又 為標(biāo)準(zhǔn)正交特征向量，于是： u139。uu0uiγ????0139。, . . .,( 21 pXXX?XΣ p??? ?????? 21Σnγγγ ， ???21 Appiiii XXXY γγγ ?????? 2211 ),...,2,1( p?039。)v a r ( ，為 ， 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 26 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。39。 γγγγγγ令 ，則有 ii γu ? )v a r (39。39。m a x 111111 Y?????? γγγγuuuu0u ?類似的，有 )v a r (39。39。m a x111111,...,2,1?????????????? kkkkkkkiYγγ γγuu uu0γu39。39。),c o v (1ijipkjkkikjiji YY ??? γγγγγγ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 27 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 的分量 依次是 的第一主成分、第二主成分、 … 、第 主成分的充分必要條件是： pXXX ， ....21 Σpγγγ ， ???21021 ??????? p???XγXγXγ 39。39。 IuuXuY ?? 39。 ， u pYY p2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 28 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。u39。uX39。39。（ ） 注：無論 的各特征根是否存在相等的情況，對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量 總是存在的，我們總可以找到對(duì)應(yīng)各特征根的彼此正交的特征向量。 pγγγ ， ???21Σ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 29 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 這一性質(zhì)可由上述結(jié)論容易得到，證明略。PΣ ??? ? ?? ????????pipiiii trtrtrtr1 1)()()39。PP2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 30 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 pkk????????? ?21 pk ,2,1 ?? k kY????piimii11??mYYY , 21 ? 由此進(jìn)一步可知，主成分分析是把個(gè) 隨機(jī)變量的總方差 分解為 個(gè)不相關(guān)的隨機(jī)變量的方差之和，使第一主成分的方差達(dá)到最大，第一主成分是以變化最大的方向向量各分量為系數(shù)的原始變量的線性函數(shù)，最大方差為 。這個(gè)值越大，表明 這個(gè)新變量綜合 信息的能力越強(qiáng)，也即由 的差異來解釋隨機(jī)向量 的差異的能力越強(qiáng)。11 ?Y pXXX ， ....21Xu39。 總體主成分 正因如此，才把 稱為 的主成分。 Xu 39。另外，選取主成分還可根據(jù)特征值的變化來確定。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 32 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。這種方法確定的主成分個(gè)數(shù)與按累積貢獻(xiàn)率確定的主成分個(gè)數(shù)往往是一致的。在大多數(shù)情況下，當(dāng) 時(shí)即可使所選主成分保持信息總量的比重達(dá)到85％以上。 總體主成分 定義 第 個(gè)主成分 與原始變量 的相關(guān)系數(shù) 稱做因子負(fù)荷量。在下一章因子分析中還將要對(duì)因子負(fù)荷量的統(tǒng)計(jì)意義給出更詳細(xì)的解釋。 k kY iX ), ik XY（? iikkiik uXY ??? /), ?（ pik ,2,1, ?? 性質(zhì) 3 （ ） 證明： kkY ??)v a r( iiiX ??)v a r ( 令： 為單位向量。0,0,1,0,0( ???ie Xe 39。kkY ?又 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 34 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。e,39。? ??? kikkikki u?? ueue 39。iikkiikikikuXYXYXY??? ??)v a r ()v a r (),c o v (),（于是 由性質(zhì) 3知因子負(fù)荷量 與向量系數(shù) 成正比，與 的標(biāo)準(zhǔn)差成反比關(guān)系，因此，絕不能將因子負(fù)荷量與向量系數(shù)混為一談。 ), ik XY（? kiu iXi kkY iXkiu2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 35 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。由回歸分析知識(shí)知， 與 的全相關(guān)系數(shù)的平方和等于 1，而因?yàn)? 之間互不相關(guān)，所以 與 的全相關(guān)系數(shù)的平方和也就是 ，因此，性質(zhì) 5成立。 總體主成分 定義 與前 個(gè)主成分 的全相關(guān)系數(shù)平方和稱為 對(duì)原始變量 的方差貢獻(xiàn)率 ，即 iX m mYYY , 21 ?mYYY , 21 ? iviX???mkkikiii uv121 ?? pi ,2,1 ?? （ ） 這一定義說明了前 個(gè)主成分提取了原始變量 中 的信息，由此我們可以判斷我們提取的主成分說明原始的能力。 總體主成分 （三）從相關(guān)陣出發(fā)求解主成分 考慮如下的數(shù)學(xué)變換： iiiiiXZ???? pi ,2,1 ??令： 其中， 與 分別表示變量 的期望與方差。 總體主成分 經(jīng)過上述標(biāo)準(zhǔn)化后，顯然有 0Z ?)(E? ? ? ??? 12/112/1 )()()c o v ( Z Rpppp??????????????????????11121212112?????? 由于上面的變換過程，原始變量 的相關(guān)陣實(shí)際上就是對(duì)原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣，因此，由相關(guān)矩陣求主成分的過程與主成分個(gè)數(shù)的確定準(zhǔn)則實(shí)際上是與由協(xié)方差矩陣出發(fā)求主成分的過程與主成分個(gè)數(shù)的確定準(zhǔn)則是相一致的，在此不再贅述。γZγ 12/1? ??? ?iii 39。 總體主成分 （四）由相關(guān)陣求主成分時(shí)主成分性質(zhì)的簡(jiǎn)單形式 由相關(guān)陣出發(fā)所求得主成分依然具有上面所述的各種性質(zhì)，不同的是在形式上要簡(jiǎn)單，這是由相關(guān)陣 的特性決定的。kkiik uZY ??? ),(.42022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 40 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。雖然主成分的性質(zhì)在這里有更簡(jiǎn)單的形式，但應(yīng)注意其實(shí)質(zhì)與前面的結(jié)論并沒有區(qū)別；需要注意的一點(diǎn)是判斷主成分的成因或是原始變量（這里原始變量指的是標(biāo)準(zhǔn)化以后的隨機(jī)向量 ）對(duì)主成分的重要性有更簡(jiǎn)單的方法，因?yàn)橛缮厦娴?4條知這里因子負(fù)荷量?jī)H依賴于由 到 的轉(zhuǎn)換向量系數(shù) （因?yàn)閷?duì)不同的 ，因子負(fù)荷量表達(dá)式的后半部分 是固定的）。 樣本主成分的導(dǎo)出 記 11 ( ) ( ) 39。設(shè)有 個(gè)樣品，每個(gè)樣品有 個(gè)指標(biāo)，這樣共得到 個(gè)數(shù)據(jù)，原始資料矩陣如下： Σ Rnp np???????????????npnnppxxxxxxxxx??????212222111211X 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 42 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。由前面的討論知，若原始資料 陣是經(jīng)過標(biāo)準(zhǔn)化處理的，則由矩陣 求得的協(xié)方差陣就是相關(guān)矩陣，即 與 完全相同。 根據(jù)總體主成分的定義，主成分 的協(xié)方差是： S Σ RX XS RRY,Λ39。u)Yc o v ( ???? 其中 為對(duì)角陣 Λ?????????????????p????????????000000000000321Λ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 43 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。39。39。 樣本主成分的導(dǎo)出