【正文】 1 ?? IR ? 即 對于 可以得到完全類似的方程，于是，所求的新的綜合變量（主成分）的方差 （ ）是 的 個根，為相關(guān)矩陣的特征值，相應(yīng)的各個 是其特征向量的分量。?即： ????????????????????????????ppppppppppppuuuuuuuuurrrrrrrrr????????????212222111211312222111211????????????????????????????????pppppppuuuuuuuuu0021212222111211???????2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 44 目錄 上頁 下頁 返回 結(jié)束 167。u ΛuRu 39。 樣本主成分的導(dǎo)出 用 左乘上式，得 假定資料矩陣 為已標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣，則可由相關(guān)矩陣代替協(xié)方差矩陣，于是上式可表示為： XΛuR u ?39。uuu)Xc o v (39。因為由協(xié)方差矩陣求解主成分的過程與同相關(guān)矩陣出發(fā)求解主成分的過程是一致的，下面我們僅介紹由相關(guān)陣 出發(fā)求解主成分。 樣本主成分的導(dǎo)出 為樣本協(xié)方差矩陣，作為總體協(xié)方差陣 的無偏估計， 是樣本相關(guān)矩陣，為總體相關(guān)矩陣的估計。1nk i i k i ik x X x Xn ?? ? ?? ?S ???nk kiixnX11 pi ,2,1 ??ppijr ?? )(Rjjiiijij SSSr ? 在實際研究工作中，總體協(xié)方差陣 與相關(guān)陣 通常是未知的，于是需要通過樣本數(shù)據(jù)來估計。 1)var( ?iZ ptr ?)(RZkYZ kiuiZ k?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 41 目錄 上頁 下頁 返回 結(jié)束 167。 總體主成分 注意到 ，且 ，結(jié)合前面從協(xié)方差矩陣出發(fā)求主成分部分對主成分性質(zhì)的說明，可以很容易的得出上述性質(zhì)。我們將由相關(guān)陣得到的主成分的性質(zhì)總結(jié)如下： ρ1． 的協(xié)方差矩陣為對角陣 ； Y Λ???????? piipii ZptrtrY11)v a r ()ρ()Λ()v a r (.23．第 個主成分的方差占總方差的比例，即第 個主成分的方差貢獻率為 ，前 個主成分的累積方差貢獻率 為 ； k kpkk /?? ? mpmi i/1???。Y pi ,2,1 ?? （ ） 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 39 目錄 上頁 下頁 返回 結(jié)束 167。仍用 分別表示相關(guān)陣 的特征值與對應(yīng)的標(biāo)準(zhǔn)正交特征向量，此時，求得的主成分與原始變量的關(guān)系式為： pXXX ， ....21ii ??, R),μX()(39。于是有 i? ii? iX0)( ?iZE 1)va r( ?iZ????????????????pp?????????00000022112/1令： 于是，對原始變量 進行標(biāo)準(zhǔn)化： X ? ?? ? )()( 12/1 μXZ2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 38 目錄 上頁 下頁 返回 結(jié)束 167。 m iX iv2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 37 目錄 上頁 下頁 返回 結(jié)束 167。 Y XiXpYYY , 21 ? iXpYYY , 21 ? pYYY , 21 ?iX pYYY , 21 ?21( , )p kikYX???2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 36 目錄 上頁 下頁 返回 結(jié)束 167。 總體主成分 性質(zhì) 4 ???pikiiik XY12 ),( ??? （ ） 證明：由性質(zhì) 3有 ? ? ?? ? ????pipipi kkikkikiiikuuXY1 1 1222 ),( ????? （ ） 性質(zhì) 5 22111( , ) 1ppk i k k ikk iiY X u?? ???????證明：因為 向量是隨機向量 的線性組合，因此 也可以精確表示成 的線性組合。在解釋主成分的成因或是第 個變量對第 個主成分的重要性時，應(yīng)當(dāng)根據(jù)因子負荷量而不能僅僅根據(jù) 與 的變換系數(shù) 。39。uc o v (),c o v ( XXXY ikik ki D uXe )(39。 總體主成分 于是 ?? )39。iiX ?Xu 39。則 )39。由下面的性質(zhì)我們可以看到因子負荷量與系數(shù)向量成正比。 因子負荷量是主成分解釋中非常重要的解釋依據(jù)，因子負荷量的絕對值大小刻畫了該主成分的主要意義及其成因。 3?m2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 33 目錄 上頁 下頁 返回 結(jié)束 167。在實際應(yīng)用中有些研究工作者習(xí)慣于保留特征值大于 1的那些主成分，但這種方法缺乏完善的理論支持。 總體主成分 圖 52 由圖 52可知，第二個及第三個特征值變化的趨勢已經(jīng)開始趨于平穩(wěn)，所以，取前兩個或是前三個主成分是比較合適的。圖 52為 SPSS統(tǒng)計軟件生成的碎石圖。11 ?Y Xp??? ， ?21 進行主成分分析的目的之一是為了減少變量的個數(shù)，所以一般不會取 個主成分，而是取 個主成分， 取多少比較合適，這是一個很實際的問題，通常以所取 使得累積貢獻率達到 85％以上為宜，即 p pm? mm%8511 ?????piimii??() 這樣，既能使損失信息不太多，又達到減少變量，簡化問題的目的。進而我們就更清楚為什么主成分的名次是按特征根 取值的大小排序的。1 X2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 31 目錄 上頁 下頁 返回 結(jié)束 167。 pp??pi ii1?1? ?? i??? 11 1?1?Xu 39。 表明了 的方差在全部方差中的比值，稱 為第一主成分的貢獻率。 總體主成分 定義 稱 為第 個主成分 的方 差貢獻率，稱 為主成分 的累積貢獻率。()( ?? ΛPP39。 Y Λ性質(zhì) 2 記 ，有 ppij ?? )(?Σ ?? ?? ?pi iipi i 11?? 證明： 記 則有 于是 ),(21 pγγγP ?? P39。 總體主成分 （二）主成分的性質(zhì) 性質(zhì) 1 的協(xié)方差陣為對角陣 。這樣，求主成分的問題就變成了求特征根與特征向量的問題。39。uY21?????????????????p??????????????????????????????pppppppXXXuuuuuuuuu???????21212222111211????????????????????????????????pp XXX??212139。u39。 總體主成分 于是隨機向量 與隨機向量 之間存在下面的關(guān)系式： X YX39。39。 2211 ppYYY ?????? ，X p YPYYY , 21 ? pX（ 1） ，即 為 階正交陣； （ 2） 的分量之間互不相關(guān)； （ 3） 的 個分量是按方差由大到小排列。39。 總體主成分 由以上結(jié)論，我們把 的協(xié)方差矩陣 的非零特征值 對應(yīng)的標(biāo)準(zhǔn)化特征向量 分別作為系數(shù)向量， 分別稱為隨機向量 的第一主成分、第二主成分、 … 、第 主成分。39。0ui?? ? ?????039。39。39。39。39。39。 總體主成分 且： ? ? ???ipkikkikii ??139。),c o v ( ??? jiji YY γγ )( ji?iiiiY ???? γγ 39。ji γγ jiji??證明：由引論知，對于任意常向量 ，有：又 為標(biāo)準(zhǔn)正交特征向量，于是： 此時： （ ） 結(jié)論： 設(shè)隨機向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對應(yīng)的標(biāo)準(zhǔn)正交特征向量，則第 i個主成分為： )39。m a x ???? uu39。0x 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 25 目錄 上頁 下頁 返回 結(jié)束 167。nniiniinniiniiixaaaa????????????????121212120m i nm i nxx39。0xi ,...2,1m in于是，自然有 1121211212m a xm a x ???????????????? niiniiniiniiiaaaa0x0x xx39。Axx39。0γx39。 總體主成分 類似的，我們可以得出： 1,...2,1m a x ????? kki?xx39。Axx39。1???niiii γγA ? 39。Axx39。Axx39。 總體主成分 (1)從協(xié)方差矩陣出發(fā)求解主成分 引論：設(shè)矩陣 ，將 的特征值 依大小順序排列，不妨設(shè) ， 為 矩陣各特征值對應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對任意向量，有： AA ?39。下面我們分別就協(xié)方差矩陣與相關(guān)矩陣進行討論。因此在實際求解主成分的時候，總是從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析入手。而這里對于隨機變量 而言，其協(xié)方差矩陣或相關(guān)矩陣正是對各變量離散程度與變量之間的相關(guān)程度的信息的反應(yīng)，而相關(guān)矩陣不過是將原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣。 PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 22 目錄 上頁 下頁 返回 結(jié)束 167。 總體主成分及其性質(zhì) 由上面的討論可知，求解主成分的過程就是求滿足三條原則的原始變量 的線性組合的過程。主成分分析的過程無非就是坐標(biāo)系旋轉(zhuǎn)的過程，各主成分表達式就是新坐標(biāo)系與原坐標(biāo)系的轉(zhuǎn)換關(guān)系，在新坐標(biāo)系中，各坐標(biāo)軸的方向就是原始數(shù)據(jù)變差最大的方向。γ11 ?Y,X39。對于多維的情況，上面的結(jié)論依然成立。 主成分分析的幾何意義 與上面一樣，這也是一個橢圓方程，且在 構(gòu)成的坐標(biāo)系中，其主軸的方向恰恰正是