【正文】 N 1X 2X1X 2X1X 2X1X 2X1Y 2Y?1Y 2Y????????????c o ss ins inc o s212211XXYXXY2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 15 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。為方便，我們以二元正態(tài)分布為例。?? PΛP ? ?? ? 39。 222111?????? ??222211)39。γ 22 ?Y 21,YY 21,XX21,?? 1Y 1? 2Y2? 1? 2?1Y21,γγ 這樣，我們就對(duì)主成分分析的幾何意義有了一個(gè)充分的了解。我們所說(shuō)的保留原始變量盡可能多的信息，也就是指的生成的較少的綜合變量（主成分）的方差和盡可能接近原始變量方差的總和。0x n??? xx39。Axx39。Axx39。)v a r ( ，為 ， 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 26 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。m a x 111111 Y?????? γγγγuuuu0u ?類似的，有 )v a r (39。),c o v (1ijipkjkkikjiji YY ??? γγγγγγ2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 27 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 ， u pYY p2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 28 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。（ ） 注：無(wú)論 的各特征根是否存在相等的情況，對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量 總是存在的，我們總可以找到對(duì)應(yīng)各特征根的彼此正交的特征向量。PP2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 30 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 總體主成分 正因如此，才把 稱為 的主成分。這種方法確定的主成分個(gè)數(shù)與按累積貢獻(xiàn)率確定的主成分個(gè)數(shù)往往是一致的。 k kY iX ), ik XY（? iikkiik uXY ??? /), ?（ pik ,2,1, ?? 性質(zhì) 3 （ ） 證明： kkY ??)v a r( iiiX ??)v a r ( 令： 為單位向量。? ??? kikkikki u?? ueue 39。 總體主成分 定義 與前 個(gè)主成分 的全相關(guān)系數(shù)平方和稱為 對(duì)原始變量 的方差貢獻(xiàn)率 ，即 iX m mYYY , 21 ?mYYY , 21 ? iviX???mkkikiii uv121 ?? pi ,2,1 ?? （ ） 這一定義說(shuō)明了前 個(gè)主成分提取了原始變量 中 的信息，由此我們可以判斷我們提取的主成分說(shuō)明原始的能力。 總體主成分 （四）由相關(guān)陣求主成分時(shí)主成分性質(zhì)的簡(jiǎn)單形式 由相關(guān)陣出發(fā)所求得主成分依然具有上面所述的各種性質(zhì)，不同的是在形式上要簡(jiǎn)單，這是由相關(guān)陣 的特性決定的。設(shè)有 個(gè)樣品，每個(gè)樣品有 個(gè)指標(biāo)，這樣共得到 個(gè)數(shù)據(jù)，原始資料矩陣如下： Σ Rnp np???????????????npnnppxxxxxxxxx??????212222111211X 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 42 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。39。v a r ()v a r ( Xγ即對(duì)于 有最大方差， 有次大方差， …… ，并且，協(xié)方差為 ： 1Y 2Y39。γ( )( ji?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 46 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 2211 ppYYY ??? ?pRR2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 48 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。下面我們舉例說(shuō)明這個(gè)問(wèn)題，為了敘述方便，我們以二維數(shù)據(jù)為例。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 由相關(guān)矩陣求解主成分的結(jié)果見(jiàn)表 53： 表 53 對(duì)應(yīng)兩特征值的標(biāo)準(zhǔn)正交特征向量為： 表 54 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 54 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 此時(shí)所得主成分的表達(dá)式為： )(9 9 90 2 )(0 4 40 6 )(0 4 40 6 )(9 9 90 2 2211222111XXXXYXXXXY????????其中，第一主成分保留了原始變量 %的信息，第一主成分 與原始變量的因子負(fù)荷量分別為： 9 9 9 9 5 5 8 9 5 0/5 6 0 0 2 ),( 1111111 ???????? XY3 3 0 4 ),( 2211221 ?????????? XY由此可知，第一主成分保留原始變量的信息與主成分與原始變量的關(guān)系式均與上兩種情況有很大差別，那么，究竟哪種方法得到的結(jié)果更為可信呢，在實(shí)際研究中我們應(yīng)該作何選擇呢？ 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 58 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 60 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。同時(shí)，由主成分分析的幾何意義可以看到，對(duì)來(lái)自多元正態(tài)總體的數(shù)據(jù)，我們得到了合理的幾何解釋，即主成分就是按數(shù)據(jù)離散程度最大的方向進(jìn)行坐標(biāo)軸旋轉(zhuǎn)。 為說(shuō)明這個(gè)問(wèn)題，我們有必要再回顧一下主成分的求解過(guò)程，我們僅就從協(xié)方差矩陣出發(fā)求主成分的過(guò)程予以說(shuō)明，對(duì)相關(guān)陣有類似的情況。這一點(diǎn)是尤其應(yīng)該引起注意的，這意味著主成分分析對(duì)重疊信息的剔除是無(wú)能為力的，同時(shí)主成分分析還損失了一部分信息。因此，在進(jìn)行主成分分析得出協(xié)方差陣或是相關(guān)陣發(fā)現(xiàn)最小特征根接近于零時(shí)，應(yīng)該注意對(duì)主成分的解釋，或者考慮對(duì)最初納入分析的指標(biāo)進(jìn)行篩選，由此可以看出，雖然主成分分析不能有效地剔除重疊信息，但它至少可以發(fā)現(xiàn)原始變量是否存在著重疊信息，這對(duì)我們減少分析中的失誤是有幫助的。下面我們用主成分分析方法處理該數(shù)據(jù)，以期用少數(shù)變量來(lái)描述該地區(qū)居民的雇傭情況。此時(shí)，數(shù)據(jù)集 Employee 中，依次選中變量 educ、 salary、 salbegin、 jobtime、prevexp并點(diǎn)向右的箭頭按鈕，這五個(gè)變量便進(jìn)入 variables窗口（此時(shí)若選中 variables窗口中的變量，則窗口左側(cè)的箭頭按鈕即轉(zhuǎn)向左側(cè)，點(diǎn)此按鈕即可剔除所選中變量）。實(shí)際上，主成分解釋總方差的百分比也可以由 Communalities表中計(jì)算得出，即 （ ++++） /5=%。 輸出結(jié)果 51（ 3） C o m p o n e n t M a t r i xa.846 . 1 9 4 . 0 1 4.940 .104 .029.917 .264 . 0 7 7.068 . 0 5 2 .996 . 1 7 8 .965 .069E d u c a t i o n a l L e v e l( y e a r s )C u r r e n t S a l a r yB e g i n n i n g S a l a r yM o n t h s s i n c e H i r eP r e v i o u s E x p e r i e n c e( m o n t h s )1 2 3C o m p o n e n tE x t r a c t i o n M e t h o d : P r i n c i p a l C o m p o n e n t A n a l y s i s .3 c o m p o n e n t s e x t r a c t e d .a. 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 74 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 71 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析的邏輯框圖 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 68 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 66 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 的行列式的值為零但仍滿足非負(fù)定，只不過(guò)其最小的特征值為 0，由 出發(fā)求解主成分，其方差總和不再是 而是變?yōu)? ，也就是說(shuō)，第一個(gè)指標(biāo)在分析過(guò)程中起到了加倍的作用，其重疊信息完全象其他指標(biāo)提供的信息一樣在起作用。一般認(rèn)為當(dāng)原始數(shù)據(jù)大部分變量的相關(guān)系數(shù)都小于 ，運(yùn)用主成分分析不會(huì)取得很好的效果。 主成分分析不要求數(shù)據(jù)來(lái)自于正態(tài)總體 由上面的討論可知，無(wú)論是從原始變量協(xié)方差矩陣出發(fā)求解主成分，還是從相關(guān)矩陣出發(fā)求解主成分，均沒(méi)有涉及到總體分布的問(wèn)題。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 但是，對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后傾向于各個(gè)指標(biāo)的作用在主成分的構(gòu)成中相等。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 由此可以看出，由協(xié)方差陣出發(fā)求解主成分所得的結(jié)果及由相關(guān)陣出發(fā)求解主成分所得的結(jié)果有很大不同，所得主成分解釋原始變量方差比例與主成分表達(dá)式均有顯著差別，且兩者之間不存在簡(jiǎn)單的線性關(guān)系。 關(guān)于由協(xié)方差矩陣或相關(guān)矩陣出發(fā)求解主成分 表 51 對(duì)應(yīng)兩特征值的標(biāo)準(zhǔn)正交特征向量為： 表 52 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 52 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析與重疊信息 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 49 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 這樣 ， 我們?cè)诶脴颖緮?shù)據(jù)求解主成分的過(guò)程實(shí)際上就轉(zhuǎn)化為求相關(guān)陣或協(xié)方差陣的特征值和特征向量的過(guò)程 。c o v (),c o v ( jijiji YY R γγXγXγ ??????????pji1γ)39。 樣本主成分的導(dǎo)出 把上式全部展開(kāi)得到 個(gè)方程，這里只考慮在矩陣乘積中由第一列得出的 個(gè)方程： 2pp???????????????????11112211111212122211211111112121111 ???ppppppppppuurururuurururuururur??????整理得到： ??????????????????????0)( 0)(0)(111221111212122112111121211111pppppppppururururururururur?????????2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 45 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 根據(jù)總體主成分的定義，主成分 的協(xié)方差是： S Σ RX XS RRY,Λ39。雖然主成分的性質(zhì)在這里有更簡(jiǎn)單的形式，但應(yīng)注意其實(shí)質(zhì)與前面的結(jié)論并沒(méi)有區(qū)別；需要注意的一點(diǎn)是判斷主成分的成因或是原始變量（這里原始變量指的是標(biāo)準(zhǔn)化以后的隨機(jī)向量 ）對(duì)主成分的重要性有更簡(jiǎn)單的方法，因?yàn)橛缮厦娴?4條知這里因子負(fù)荷量?jī)H依賴于由 到 的轉(zhuǎn)換向量系數(shù) （因?yàn)閷?duì)不同的 ，因子負(fù)荷量表達(dá)式的后半部分 是固定的）。 總體主成分 經(jīng)過(guò)上述標(biāo)準(zhǔn)化后，顯然有 0Z ?)(E? ? ? ??? 12/112/1 )()()c o v ( Z Rpppp???????????????????