【正文】 量 . 021 ?? ?? Σ 21,?? 則 為正交陣， 有： ),(21 ???P P ,00Λ21 ???????????39。?? PΛP ? ?? ? 39。PP Λ, 11因此有： XΣ39。X)μX(Σ)39。μX( 112 ?? ????d )0μ( ?XPP ΛX )39。(39。 1?? XX )39。139。1(39。 222111?????? ??222211)39。(1)39。(1 XX ???? ??222121??YY ?? 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 20 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析的幾何意義 與上面一樣，這也是一個(gè)橢圓方程，且在 構(gòu)成的坐標(biāo)系中，其主軸的方向恰恰正是 坐標(biāo)軸的方向。因?yàn)? 所以， 就是原始變量 的兩個(gè)主成分，它們的方差分別為 ，在 方向上集中了原始變量 的變差，在 方向上集中了原始變量 的變差，經(jīng)常有 遠(yuǎn)大于 ，這樣，我們就可以只研究原始數(shù)據(jù)在 方向上的變化而不致于損失過多信息，而 就是橢圓在原始坐標(biāo)系中的主軸方向，也是坐標(biāo)軸轉(zhuǎn)換的系數(shù)向量。對(duì)于多維的情況，上面的結(jié)論依然成立。 21,YY21,YY ,X39。γ11 ?Y,X39。γ 22 ?Y 21,YY 21,XX21,?? 1Y 1? 2Y2? 1? 2?1Y21,γγ 這樣，我們就對(duì)主成分分析的幾何意義有了一個(gè)充分的了解。主成分分析的過程無非就是坐標(biāo)系旋轉(zhuǎn)的過程，各主成分表達(dá)式就是新坐標(biāo)系與原坐標(biāo)系的轉(zhuǎn)換關(guān)系，在新坐標(biāo)系中，各坐標(biāo)軸的方向就是原始數(shù)據(jù)變差最大的方向。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 21 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分及其性質(zhì) 由上面的討論可知，求解主成分的過程就是求滿足三條原則的原始變量 的線性組合的過程。本節(jié)先從總體出發(fā)，介紹求解主成分的一般方法及主成分的性質(zhì)，然后介紹樣本主成分的導(dǎo)出。 PXXX , 21 ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 22 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 主成分分析的基本思想就是在保留原始變量盡可能多的信息的前提下達(dá)到降維的目的，從而簡(jiǎn)化問題的復(fù)雜性并抓住問題的主要矛盾。而這里對(duì)于隨機(jī)變量 而言，其協(xié)方差矩陣或相關(guān)矩陣正是對(duì)各變量離散程度與變量之間的相關(guān)程度的信息的反應(yīng)，而相關(guān)矩陣不過是將原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣。我們所說的保留原始變量盡可能多的信息，也就是指的生成的較少的綜合變量（主成分）的方差和盡可能接近原始變量方差的總和。因此在實(shí)際求解主成分的時(shí)候，總是從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析入手。一般地說，從原始變量的協(xié)方差矩陣出發(fā)求得的主成分與從原始變量的相關(guān)矩陣出發(fā)求得的主成分是不同的。下面我們分別就協(xié)方差矩陣與相關(guān)矩陣進(jìn)行討論。 PXXX , 21 ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 23 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 (1)從協(xié)方差矩陣出發(fā)求解主成分 引論：設(shè)矩陣 ，將 的特征值 依大小順序排列，不妨設(shè) ， 為 矩陣各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)任意向量，有： AA ?39。 An??? ，， ???21n??? ??? ?21 pγγγ ，， ???21 A1m a x ??? xx39。Axx39。0x n??? xx39。Axx39。0xm in（ ） 證明：對(duì) 與單位陣 進(jìn)行譜分解，可以寫成下面的式子： A I39。1???niiii γγA ? 39。1???niiiγγI而對(duì)任意向量 ，有 ，于是有 x ??? niiia1γx ?????niiniiiaa1212?xx39。Axx39。2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 24 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 類似的，我們可以得出： 1,...2,1m a x ????? kki?xx39。Axx39。0γx39。0xinki????? xx39。Axx39。0γx39。0xi ,...2,1m in于是，自然有 1121211212m a xm a x ???????????????? niiniiniiniiiaaaa0x0x xx39。Axx39。nniiniinniiniiixaaaa????????????????121212120m i nm i nxx39。Axx39。0x 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 25 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 證明：由引論知，對(duì)于任意常向量 ，有： 又 為標(biāo)準(zhǔn)正交特征向量，于是： u139。m a x ???? uu39。uu0uiγ????0139。ji γγ jiji??證明：由引論知，對(duì)于任意常向量 ，有：又 為標(biāo)準(zhǔn)正交特征向量，于是： 此時(shí)： （ ） 結(jié)論： 設(shè)隨機(jī)向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則第 i個(gè)主成分為： )39。, . . .,( 21 pXXX?XΣ p??? ?????? 21Σnγγγ ，， ???21 Appiiii XXXY γγγ ?????? 2211 ),...,2,1( p?039。),c o v ( ??? jiji YY γγ )( ji?iiiiY ???? γγ 39。)v a r ( ，為 ，， 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 26 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 且： ? ? ???ipkikkikii ??139。39。39。 γγγγγγ令 ，則有 ii γu ? )v a r (39。39。39。39。m a x 111111 Y?????? γγγγuuuu0u ?類似的，有 )v a r (39。39。39。39。m a x111111,...,2,1?????????????? kkkkkkkiYγγ γγuu uu0γu39。0ui?? ? ?????039。39。39。),c o v (1ijipkjkkikjiji YY ??? γγγγγγ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 27 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 由以上結(jié)論，我們把 的協(xié)方差矩陣 的非零特征值 對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量 分別作為系數(shù)向量， 分別稱為隨機(jī)向量 的第一主成分、第二主成分、 … 、第 主成分。 的分量 依次是 的第一主成分、第二主成分、 … 、第 主成分的充分必要條件是： pXXX ，， ....21 Σpγγγ ，， ???21021 ??????? p???XγXγXγ 39。39。39。 2211 ppYYY ?????? ，，X p YPYYY , 21 ? pX（ 1） ，即 為 階正交陣； （ 2） 的分量之間互不相關(guān)； （ 3） 的 個(gè)分量是按方差由大到小排列。 IuuXuY ?? 39。39。 ， u pYY p2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 28 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 于是隨機(jī)向量 與隨機(jī)向量 之間存在下面的關(guān)系式： X YX39。u39。u39。uX39。uY21?????????????????p??????????????????????????????pppppppXXXuuuuuuuuu???????21212222111211????????????????????????????????pp XXX??212139。39。39。（ ） 注：無論 的各特征根是否存在相等的情況，對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量 總是存在的，我們總可以找到對(duì)應(yīng)各特征根的彼此正交的特征向量。這樣，求主成分的問題就變成了求特征根與特征向量的問題。 pγγγ ，， ???21Σ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 29 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 （二）主成分的性質(zhì) 性質(zhì) 1 的協(xié)方差陣為對(duì)角陣 。 這一性質(zhì)可由上述結(jié)論容易得到，證明略。 Y Λ性質(zhì) 2 記 ，有 ppij ?? )(?Σ ?? ?? ?pi iipi i 11?? 證明： 記 則有 于是 ),(21 pγγγP ?? P39。PΣ ??? ? ?? ????????pipiiii trtrtrtr1 1)()()39。()( ?? ΛPP39。PP2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 30 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 定義 稱 為第 個(gè)主成分 的方 差貢獻(xiàn)率，稱 為主成分 的累積貢獻(xiàn)率。 pkk????????? ?21 pk ,2,1 ?? k kY????piimii11??mYYY , 21 ? 由此進(jìn)一步可知，主成分分析是把個(gè) 隨機(jī)變量的總方差 分解為 個(gè)不相關(guān)的隨機(jī)變量的方差之和，使第一主成分的方差達(dá)到最大，第一主成分是以變化最大的方向向量各分量為系數(shù)的原始變量的線性函數(shù)，最大方差為 。 表明了 的方差在全部方差中的比值，稱 為第一主成分的貢獻(xiàn)率。這個(gè)值越大，表明 這個(gè)新變量綜合 信息的能力越強(qiáng)，也即由 的差異來解釋隨機(jī)向量 的差異的能力越強(qiáng)。 pp??pi ii1?1? ?? i??? 11 1?1?Xu 39。11 ?Y pXXX ，， ....21Xu39。1 X2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 31