【正文】 ???11121212112?????? 由于上面的變換過程，原始變量 的相關(guān)陣實(shí)際上就是對(duì)原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣，因此，由相關(guān)矩陣求主成分的過程與主成分個(gè)數(shù)的確定準(zhǔn)則實(shí)際上是與由協(xié)方差矩陣出發(fā)求主成分的過程與主成分個(gè)數(shù)的確定準(zhǔn)則是相一致的，在此不再贅述。 ), ik XY（? kiu iXi kkY iXkiu2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 35 目錄 上頁 下頁 返回 結(jié)束 167。kkY ?又 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 34 目錄 上頁 下頁 返回 結(jié)束 167。 總體主成分 定義 第 個(gè)主成分 與原始變量 的相關(guān)系數(shù) 稱做因子負(fù)荷量。另外，選取主成分還可根據(jù)特征值的變化來確定。這個(gè)值越大，表明 這個(gè)新變量綜合 信息的能力越強(qiáng)，也即由 的差異來解釋隨機(jī)向量 的差異的能力越強(qiáng)。 這一性質(zhì)可由上述結(jié)論容易得到，證明略。uX39。39。m a x111111,...,2,1?????????????? kkkkkkkiYγγ γγuu uu0γu39。 γγγγγγ令 ，則有 ii γu ? )v a r (39。uu0uiγ????0139。0γx39。1???niiiγγI而對(duì)任意向量 ，有 ，于是有 x ??? niiia1γx ?????niiniiiaa1212?xx39。 PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 23 目錄 上頁 下頁 返回 結(jié)束 167。本節(jié)先從總體出發(fā)，介紹求解主成分的一般方法及主成分的性質(zhì)，然后介紹樣本主成分的導(dǎo)出。因?yàn)? 所以， 就是原始變量 的兩個(gè)主成分，它們的方差分別為 ，在 方向上集中了原始變量 的變差，在 方向上集中了原始變量 的變差，經(jīng)常有 遠(yuǎn)大于 ，這樣，我們就可以只研究原始數(shù)據(jù)在 方向上的變化而不致于損失過多信息，而 就是橢圓在原始坐標(biāo)系中的主軸方向，也是坐標(biāo)軸轉(zhuǎn)換的系數(shù)向量。(39。 主成分分析的幾何意義 )()39。 主成分分析的幾何意義 經(jīng)過這樣的旋轉(zhuǎn)之后， 個(gè)樣品點(diǎn)在 軸上的離散程度最大，變量 代表了原始數(shù)據(jù)絕大部分信息，這樣，有時(shí)在研究實(shí)際問題時(shí)，即使不考慮變量 也無損大局。 主成分分析的幾何意義 設(shè)有 個(gè)樣品，每個(gè)樣品有兩個(gè)觀測變量 ，這樣，在由變量 組成的坐標(biāo)空間中， 個(gè)樣品點(diǎn)散布的情況如帶狀，見圖 51。 1Y1Y2Y PXXX , 21 ?121 , ?PYYY ?pY PXXX , 21 ?PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 11 目錄 上頁 下頁 返回 結(jié)束 167。u 2c ii u39。 p PXXX , 21 ?p p )39。主成分分析正是研究如何通過原來變量的少數(shù)幾個(gè)線性組合來解釋原來變量絕大多數(shù)信息的一種多元統(tǒng)計(jì)方法。本章主要介紹主成分分析的基本理論和方法、主成分分析的計(jì)算步驟及主成分分析的上機(jī)實(shí)現(xiàn)。 總體主成分及其性質(zhì) ?167。 樣本主成分的導(dǎo)出 ?167。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 4 目錄 上頁 下頁 返回 結(jié)束 167。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 6 目錄 上頁 下頁 返回 結(jié)束 167。,( 21 pXXX ??XX μ Σ 對(duì) 進(jìn)行線性變換，可以形成新的綜合變量，用 表示，也就是說，新的綜合變量可以由原來的變量線性表示，即滿足下式： X Y???????????????????????????????pppppppppXuXuXuXuXuXuYXuXuXuY2211p2222121212121111Y??? () 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 9 目錄 上頁 下頁 返回 結(jié)束 167。u ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 10 目錄 上頁 下頁 返回 結(jié)束 167。 主成分分析的基本理論 基于以上三條原則決定的綜合變量 分別稱為原始變量的第一、第二、 … 、第 個(gè)主成分。 N 21,XX21,XX N圖 51 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 14 目錄 上頁 下頁 返回 結(jié)束 167。因此，經(jīng)過上述旋轉(zhuǎn)變換就可以把原始數(shù)據(jù)的信息集中到 軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮的作用。(2/12/1211||21),( μXΣμXΣ??? ?? eXXf?考慮 （ 為常數(shù)），為方便，不妨設(shè) 21 )()39。 1?? XX )39。對(duì)于多維的情況，上面的結(jié)論依然成立。 PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 22 目錄 上頁 下頁 返回 結(jié)束 167。 總體主成分 (1)從協(xié)方差矩陣出發(fā)求解主成分 引論：設(shè)矩陣 ，將 的特征值 依大小順序排列，不妨設(shè) ， 為 矩陣各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)任意向量，有： AA ?39。Axx39。0xi ,...2,1m in于是，自然有 1121211212m a xm a x ???????????????? niiniiniiniiiaaaa0x0x xx39。ji γγ jiji??證明：由引論知，對(duì)于任意常向量 ，有：又 為標(biāo)準(zhǔn)正交特征向量，于是： 此時(shí)： （ ） 結(jié)論： 設(shè)隨機(jī)向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則第 i個(gè)主成分為： )39。39。0ui?? ? ?????039。 2211 ppYYY ?????? ，X p YPYYY , 21 ? pX（ 1） ，即 為 階正交陣； （ 2） 的分量之間互不相關(guān)； （ 3） 的 個(gè)分量是按方差由大到小排列。uY21?????????????????p??????????????????????????????pppppppXXXuuuuuuuuu???????21212222111211????????????????????????????????pp XXX??212139。 Y Λ性質(zhì) 2 記 ，有 ppij ?? )(?Σ ?? ?? ?pi iipi i 11?? 證明： 記 則有 于是 ),(21 pγγγP ?? P39。 pp??pi ii1?1? ?? i??? 11 1?1?Xu 39。圖 52為 SPSS統(tǒng)計(jì)軟件生成的碎石圖。 因子負(fù)荷量是主成分解釋中非常重要的解釋依據(jù)，因子負(fù)荷量的絕對(duì)值大小刻畫了該主成分的主要意義及其成因。 總體主成分 于是 ?? )39。 總體主成分 性質(zhì) 4 ???pikiiik XY12 ),( ??? （ ） 證明：由性質(zhì) 3有 ? ? ?? ? ????pipipi kkikkikiiikuuXY1 1 1222 ),( ????? （ ） 性質(zhì) 5 22111( , ) 1ppk i k k ikk iiY X u?? ???????證明：因?yàn)? 向量是隨機(jī)向量 的線性組合，因此 也可以精確表示成 的線性組合。仍用 分別表示相關(guān)陣 的特征值與對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，此時(shí)，求得的主成分與原始變量的關(guān)系式為： pXXX ， ....21ii ??, R),μX()(39。 1)var( ?iZ ptr ?)(RZkYZ kiuiZ k?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 41 目錄 上頁 下頁 返回 結(jié)束 167。uuu)Xc o v (39。 樣本主成分的導(dǎo)出 為了得到上面齊次方程的非零解，根據(jù)線性方程組的理論知，要求系數(shù)矩陣行列式為 0，即 0121212221112111???????pppppprrrrrrrrr??????01 ?? IR ? 即 對(duì)于 可以得到完全類似的方程，于是，所求的新的綜合變量（主成分）的方差 （ ）是 的 個(gè)根，為相關(guān)矩陣的特征值，相應(yīng)的各個(gè) 是其特征向量的分量。γγ(39。 pYYY , 21 ?iY i? XγXγXγ 39。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 由前面的討論可知求解主成分的過程實(shí)際就是對(duì)矩陣結(jié)構(gòu)進(jìn)行分析的過程，也就是求解特征值的過程。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 因此，所得的主成分的表達(dá)式為： )(0 2 )(9 9 )(9 9 )(0 2 2211222111XXXXYXXXXY????????其中，第一主成分保留了原始變量 %的信息，我們?cè)诜治鲋芯涂梢园训诙鞒煞稚岬?，這樣達(dá)到簡化問題的目的。正因有此差別，所以在處理實(shí)際問題時(shí)就面臨著選取由協(xié)方差矩陣出發(fā)求解主成分還是由相關(guān)陣出發(fā)求解主成分的問題，為了更好的理解這種差別，我們對(duì)原始變量轉(zhuǎn)換成同一度量單位再求主成分。由上面的例子我們看到，對(duì)于取值范圍相差不大或是度量相同的指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理后，其主成分分析的結(jié)果仍與由協(xié)方差陣出發(fā)求得的結(jié)果有較大區(qū)別。也就是說，與很多多元統(tǒng)計(jì)方法不同，主成分分析不要求數(shù)據(jù)來自于正態(tài)總體。 很多研究工作者在運(yùn)用主成分分析方法時(shí)，都或多或少存在著對(duì)主成分分析去除原始變量重疊信息的期望，這樣，在實(shí)際工作中初始就可以把與某一研究問題相關(guān)而可能得到的變量（指標(biāo)）都納入分析過程，再用少數(shù)幾個(gè)主成分濃縮這些有用信息（假定已剔除了重疊信息），然后對(duì)主成分進(jìn)行深入分析。 )1()1( ??? pp 1Σ1Σ1Σ pp??? ??? ?2211112211 ???????? pp?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 65 目錄 上頁 下頁 返回 結(jié)束 167。 如果所得到的樣本協(xié)方差矩陣（或是相關(guān)陣）最小的特征值接近于 0，那么就有 0)39。 主成分分析步驟 由上面討論大體上已經(jīng)可以明了進(jìn)行主成分分析的步驟，對(duì)此進(jìn)行歸納如下： ； 陣求主成分； ； ，若存在，則回到第一步； ，選取主成分； 。 進(jìn)入 SPSS軟件，打開數(shù)據(jù)集 Employee 。 其中 Communalities給出了該次分析從每個(gè)原始變量中提取的信息，表格下面的注示表明，該次分析是用 Factor analysis模塊默認(rèn)的信息提取方法即主成分分析完成的。 Total Variance Expl