【正文】 Component Matrix表中給出了標(biāo)準(zhǔn)化原始變量用求得的主成分線性表示的近似表達(dá)式，我們以表中Current Salary一行為例，不妨用 來(lái)表示各個(gè)主成分，則由 Component Matrix表可以得到： 、1prin 。 Total Variance Explained表則顯示了各主成分解釋原始變量總方差的情況， SPSS默認(rèn)保留特征根大于 1的主成分，在本例中看到當(dāng)保留 3個(gè)主成分為宜，這 3個(gè)主成分集中了原始 5個(gè)變量信息的 %，可見(jiàn)效果是比較好的。 其中 Communalities給出了該次分析從每個(gè)原始變量中提取的信息，表格下面的注示表明，該次分析是用 Factor analysis模塊默認(rèn)的信息提取方法即主成分分析完成的。 T o t a l V a r i a n c e E x p l a i n e d2 . 4 7 7 4 9 . 5 4 1 4 9 . 5 4 1 2 . 4 7 7 4 9 . 5 4 1 4 9 . 5 4 11 . 0 5 2 2 1 . 0 4 6 7 0 . 5 8 7 1 . 0 5 2 2 1 . 0 4 6 7 0 . 5 8 71 . 0 0 3 2 0 . 0 7 0 9 0 . 6 5 6 1 . 0 0 3 2 0 . 0 7 0 9 0 . 6 5 6.365 7 . 2 9 9 9 7 . 9 5 5.102 2 . 0 4 5 1 0 0 . 0 0 0C o m p o n e n t12345T o t a l % o f V a r i a n c e C u m u l a t i v e % T o t a l % o f V a r i a n c e C u m u l a t i v e %I n i t i a l E i g e n v a l u e s E x t r a c t i o n S u m s o f S q u a r e d L o a d i n g sE x t r a c t i o n M e t h o d : P r i n c i p a l C o m p o n e n t A n a l y s i s .輸出結(jié)果 51（ 2） C o m m u n a l i t i e s1 . 0 0 0 .7541 . 0 0 0 .8961 . 0 0 0 .9161 . 0 0 0 .9991 . 0 0 0 .968E d u c a t i o n a l L e v e l( y e a r s )C u r r e n t S a l a r yB e g i n n i n g S a l a r yM o n t h s s i n c e H i r eP r e v i o u s E x p e r i e n c e( m o n t h s )I n i t i a l E x t r a c t i o nE x t r a c t i o n M e t h o d : P r i n c i p a l C o m p o n e n t A n a l y s i s .輸出結(jié)果 51（ 1） 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 73 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。點(diǎn)擊右側(cè)的 OK按鈕，即可得到如下輸出結(jié)果 51。（在 SPSS軟件中，主成分分析與因子分析均在 Factor Analysis模塊中完成。 進(jìn)入 SPSS軟件，打開(kāi)數(shù)據(jù)集 Employee 。下面先以SPSS軟件包自帶的數(shù)據(jù) Employee 析的上機(jī)實(shí)現(xiàn)方法，在 SPSS軟件的安裝目錄下可以找到該數(shù)據(jù)集；然后，我們舉一個(gè)實(shí)際的例子介紹主成分分析的具體應(yīng)用。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 70 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析的邏輯框圖 特征值 標(biāo)準(zhǔn)正交特征向量 是否有接近 0的情況 是 其他處理 否 主成分 對(duì)主成分進(jìn)行分析 深入分析 選擇初始變量 度量或取值范圍相同 ？ 是 否 （ 否 ） 對(duì)比 分析相關(guān)陣 分析協(xié)方差陣 主成分分析的邏輯框圖見(jiàn) 圖 53： 【 例 】 數(shù)據(jù)集 Employee data為 Midwestern銀行在 19691971年之間雇員情況的數(shù)據(jù)，共包括 474條觀測(cè)及如下 10個(gè)變量： Id（觀測(cè)號(hào)）、 Gender（性別）、 Bdate（出生日期）、Educ（受教育程度（年數(shù)））、 Jobcat（工作種類）、 Salary（目前年薪）、 Salbegin（開(kāi)始受聘時(shí)的年薪）、 Jobtime（受雇時(shí)間（月））、 Prevexp（受雇以前的工作時(shí)間（月））、 Minority（是否少數(shù)民族）。 主成分分析步驟 由上面討論大體上已經(jīng)可以明了進(jìn)行主成分分析的步驟，對(duì)此進(jìn)行歸納如下： ； 陣求主成分； ； ，若存在，則回到第一步； ，選取主成分； 。 主成分分析步驟 167。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 67 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。( ??p?μX （ ） 這就意味著，中心化以后的原始變量之間存在著多重共線性，即原始變量存在著不可忽視的重疊信息。 如果所得到的樣本協(xié)方差矩陣（或是相關(guān)陣）最小的特征值接近于 0，那么就有 0)39。應(yīng)該考慮所選取的初始變量是否合適，是否真實(shí)地反映了事物的本來(lái)面目，如果是出于避免遺漏某些信息而特意選取了過(guò)多的存在重疊信息的變量時(shí)，就要特別注意應(yīng)用主成分分析所得到的結(jié)果。對(duì)此文獻(xiàn) [4]舉例進(jìn)行了說(shuō)明。也就是說(shuō)，由于對(duì)第一個(gè)指標(biāo)羅列了兩次，其在生成的主成分構(gòu)成中也起到了加倍的作用。 )1()1( ??? pp 1Σ1Σ1Σ pp??? ??? ?2211112211 ???????? pp?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 65 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 1 1 1 1 1 2 11 1 1 1 1 2 12 1 2 1 2 2 211 1 2pppp p p p p? ? ? ?? ? ? ?? ? ? ?? ? ? ???????????此時(shí)進(jìn)行主成分分析的時(shí)候?qū)嶋H上是由 維矩陣 進(jìn)行。 對(duì)于 維指標(biāo)的情況，我們得到其協(xié)方差矩陣如下： p????????????????pppppp???????????????212222111211現(xiàn)在考慮一種極端情況，即有兩個(gè)指標(biāo)完全相關(guān)，不妨設(shè)第一個(gè)指標(biāo)在進(jìn)行主成分分析時(shí)考慮了兩次。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 63 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 很多研究工作者在運(yùn)用主成分分析方法時(shí)，都或多或少存在著對(duì)主成分分析去除原始變量重疊信息的期望，這樣，在實(shí)際工作中初始就可以把與某一研究問(wèn)題相關(guān)而可能得到的變量（指標(biāo)）都納入分析過(guò)程，再用少數(shù)幾個(gè)主成分濃縮這些有用信息（假定已剔除了重疊信息），然后對(duì)主成分進(jìn)行深入分析。 首先應(yīng)當(dāng)認(rèn)識(shí)到主成分分析方法適用于變量之間存在較強(qiáng)相關(guān)性的數(shù)據(jù)，如果原始數(shù)據(jù)相關(guān)性較弱，運(yùn)用主成分分析后不能起到很好的降維作用，即所得的各個(gè)主成分濃縮原始變量信息的能力差別不大。 主成分分析的這一特性大大擴(kuò)展了其應(yīng)用范圍，對(duì)多維數(shù)據(jù)，只要是涉及降維的處理，我們都可以嘗試用主成分分析，而不用花太多精力考慮其分布情況。我們知道，對(duì)多元隨機(jī)變量而言，其協(xié)方差矩陣或是其相關(guān)矩陣均是非負(fù)定的，這樣，我們就可以按照求解主成分的步驟求出其特征值、標(biāo)準(zhǔn)正交特征向量，進(jìn)而求出主成分，達(dá)到縮減數(shù)據(jù)維數(shù)的目的。也就是說(shuō)，與很多多元統(tǒng)計(jì)方法不同，主成分分析不要求數(shù)據(jù)來(lái)自于正態(tài)總體。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 61 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 對(duì)于從什么出發(fā)求解主成分，現(xiàn)在還沒(méi)有一個(gè)定論，但是我們應(yīng)該看到，不考慮實(shí)際情況就對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理或者直接從原始變量的相關(guān)矩陣出發(fā)求解主成分是有其不足之處的，這一點(diǎn)一定要引起注意。由此看來(lái)，對(duì)同度量或是取值范圍在同量級(jí)的數(shù)據(jù)，還是直接從協(xié)方差矩陣求解主成分為宜。由上面的例子我們看到，對(duì)于取值范圍相差不大或是度量相同的指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理后，其主成分分析的結(jié)果仍與由協(xié)方差陣出發(fā)求得的結(jié)果有較大區(qū)別。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 59 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 一般而言，對(duì)于度量單位不同的指標(biāo)或是取值范圍彼此差異非常大的指標(biāo)，我們不直接由其協(xié)方差矩陣出發(fā)進(jìn)行主成分分析，而應(yīng)該考慮將數(shù)據(jù)標(biāo)準(zhǔn)化。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 由此協(xié)方差矩陣出發(fā)重新求主成分，結(jié)果見(jiàn)表 55： 表 55 對(duì)應(yīng)兩特征值的標(biāo)準(zhǔn)正交特征向量 見(jiàn)表 56 ： 表 56 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 57 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。正因有此差別，所以在處理實(shí)際問(wèn)題時(shí)就面臨著選取由協(xié)方差矩陣出發(fā)求解主成分還是由相關(guān)陣出發(fā)求解主成分的問(wèn)題，為了更好的理解這種差別，我們對(duì)原始變量轉(zhuǎn)換成同一度量單位再求主成分。 )( ??即2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 55 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 此時(shí)，所得主成分的表達(dá)式為： ???????? ?????????? ????2211211XXXXZZY???????? ?????????? ????2211212XXXXZZY由從相關(guān)矩陣出發(fā)求解主成分的結(jié)果可知，第一主成分保留了原始變量 %的信息，且產(chǎn)值指標(biāo)與利稅指標(biāo)對(duì)第一主成分的貢獻(xiàn)是相同的。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 53 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 因此，所得的主成分的表達(dá)式為： )(0 2 )(9 9 )(9 9 )(0 2 2211222111XXXXYXXXXY????????其中，第一主成分保留了原始變量 %的信息，我們?cè)诜治鲋芯涂梢园训诙鞒煞稚岬簦@樣達(dá)到簡(jiǎn)化問(wèn)題的目的。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 ?????????????????6671875424X可以得到，原始變量的協(xié)方差陣與相關(guān)陣分別為： ? ????????? 9 2 4 2 4 ????????? 由協(xié)方差陣出發(fā)求解主成分，得到結(jié)果見(jiàn)表 51： 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 51 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 【 例 】 假定我們研究某一經(jīng)濟(jì)問(wèn)題共涉及兩個(gè)指標(biāo)：產(chǎn)值和利稅。但是，從協(xié)方差陣出發(fā)和從相關(guān)陣出發(fā)所求得的主成分一般來(lái)說(shuō)是有差別的，而且這種差別有時(shí)候還很大。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 由前面的討論可知求解主成分的過(guò)程實(shí)際就是對(duì)矩陣結(jié)構(gòu)進(jìn)行分析的過(guò)程，也就是求解特征值的過(guò)程。 主成分分析不要求數(shù)據(jù)來(lái)自于正態(tài)總體 167。 有關(guān)問(wèn)題的討論 167。,39。 pYYY , 21 ?iY i? XγXγXγ 39。 由上述求主成分的過(guò)程可知 ， 主成分在幾何圖形中的方向?qū)嶋H上就是 的特征向量的方向 ， 關(guān)于主成分分析的幾何意義我們還要在下一節(jié)詳細(xì)討論；主成分的方差貢獻(xiàn)就等于 的相應(yīng)特征值 。 樣本主成分的導(dǎo)出 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 47 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。γ)(γ39。γγ(39。,39。39。v a r ()v a r ( ??? XγY同理有 iiiY ??? )39。 樣本主成分的導(dǎo)出 為了得到上面齊次方程的非零解，根據(jù)線性方程組的理論知，要求系數(shù)矩陣行列式為 0，即 0121212221112111???????pppppprrrrrrrrr??????0