【正文】 坐標軸的方向。(1)39。1(39。 1?? XX )39。μX( 112 ?? ????d )0μ( ?XPP ΛX )39。PP Λ, 11因此有： XΣ39。 主成分分析的幾何意義 這是一個橢圓的方程，長短軸分別為： ??12d又令 為 的特征值， 為相應的標準正交特征向量 . 021 ?? ?? Σ 21,?? 則 為正交陣， 有： ),(21 ???P P ,00Λ21 ???????????39。(2/12/1211||21),( μXΣμXΣ??? ?? eXXf?考慮 （ 為常數(shù)），為方便，不妨設 21 )()39。 主成分分析的幾何意義 設變量 遵從二元正態(tài)分布，分布密度為 : 21 XX、]})())((2)[()1(21e x p {121),(2222122112221222112222122121??????????????????????????XXXXXXf 令 為變量 的協(xié)方差矩陣，其形式如下： ? 21 XX、? ????????? 22212121?????????????????21XXX ?????????21??μ 令 則上述二元正態(tài)分布的密度函數(shù)有如下矩陣形式 ： 2022/3/13 中國人民大學六西格瑪質量管理研究中心 18 目錄 上頁 下頁 返回 結束 167。對于多元正態(tài)總體的情況，有類似的結論。下面我們用遵從正態(tài)分布的變量進行分析，以使主成分分析的幾何意義更為明顯。因此，經(jīng)過上述旋轉變換就可以把原始數(shù)據(jù)的信息集中到 軸上，對數(shù)據(jù)中包含的信息起到了濃縮的作用。 2022/3/13 中國人民大學六西格瑪質量管理研究中心 16 目錄 上頁 下頁 返回 結束 167。 主成分分析的幾何意義 其矩陣形式為： 1122c o s s ins in c o sYX ????? ? ? ???? ? ?? ? ? ??????? ? ? ? UX其中， 為旋轉變換矩陣，由上式可知它是正交陣，即滿足 U,U39。我們的目的是考慮 和 的線性組合，使得原始樣品數(shù)據(jù)可以由新的變量 和 來刻畫。 N 21,XX21,XX N圖 51 2022/3/13 中國人民大學六西格瑪質量管理研究中心 14 目錄 上頁 下頁 返回 結束 167。,( 21 pXXX ??X XPYYY , 21 ?2022/3/13 中國人民大學六西格瑪質量管理研究中心 13 目錄 上頁 下頁 返回 結束 167。這一節(jié)，我們著重討論主成分分析的幾何意義，為了方便，我們僅在二維空間中討論主成分的幾何意義，所得結論可以很容易地擴展到多維的情況。 PYYY , 21 ?p2022/3/13 中國人民大學六西格瑪質量管理研究中心 12 目錄 上頁 下頁 返回 結束 167。 主成分分析的基本理論 基于以上三條原則決定的綜合變量 分別稱為原始變量的第一、第二、 … 、第 個主成分。),....2,1, pji ? 3. 是 的一切滿足原則 1的線性組合中方差最大者； 是與 不相關的 所有線性組合中方差最大者； … , 是與 都不相關的 的所有線性組合中方差最大者。),....2,1( pi ?1． ，即： 2． 與iY 相互無關jY 。我們將線性變換約束在下面的原則之下： iu )var( iY139。u ?2022/3/13 中國人民大學六西格瑪質量管理研究中心 10 目錄 上頁 下頁 返回 結束 167。u ic ??? cc ii u39。u i?iY ii u39。因此為了取得較好的效果，我們總是希望 的方差盡可能大且各 之間互相獨立，由于 YX39。,( 21 pXXX ??XX μ Σ 對 進行線性變換，可以形成新的綜合變量，用 表示，也就是說，新的綜合變量可以由原來的變量線性表示，即滿足下式： X Y???????????????????????????????pppppppppXuXuXuXuXuXuYXuXuXuY2211p2222121212121111Y??? () 2022/3/13 中國人民大學六西格瑪質量管理研究中心 9 目錄 上頁 下頁 返回 結束 167。設隨機向量 的均值為 ，協(xié)方差矩陣為 。 2022/3/13 中國人民大學六西格瑪質量管理研究中心 8 目錄 上頁 下頁 返回 結束 167。一般地說，利用主成分分析得到的主成分與原始變量之間有如下基本關系： ； 2022/3/13 中國人民大學六西格瑪質量管理研究中心 7 目錄 上頁 下頁 返回 結束 167。 2022/3/13 中國人民大學六西格瑪質量管理研究中心 6 目錄 上頁 下頁 返回 結束 167?；谏鲜鰡栴}，人們就希望在定量研究中涉及的變量較少，而得到的信息量又較多。 主成分分析的基本思想 在對某一事物進行實證研究中，為了更全面、準確地反映出事物的特征及其發(fā)展規(guī)律，人們往往要考慮與其有關系的多個指標，這些指標在多元統(tǒng)計中也稱為變量。 主成分分析的基本思想 167。 2022/3/13 中國人民大學六西格瑪質量管理研究中心 4 目錄 上頁 下頁 返回 結束 167。這樣在研究復雜問題時就可以只考慮少數(shù)幾個主成分而不至于損失太多信息，從而更容易抓住主要矛盾，揭示事物內(nèi)部變量之間的規(guī)律性，同時使問題得到簡化，提高分析效率。主成分分析是利用降維的思想，在損失很少信息的前提下把多個指標轉化為幾個綜合指標的多元統(tǒng)計方法。 主成分分析步驟及框圖 ?167。 樣本主成分的導出 ?167。 主成分分析的幾何意義 ?167。2022/3/13 中國人民大學六西格瑪質量管理研究中心 1 多元統(tǒng)計分析 何曉群 中國人民大學出版社 2022/3/13 中國人民大學六西格瑪質量管理研究中心 2 第五章 主成分分析 目錄 上頁 下頁 返回 結束 ?167。 主成分分析的基本思想與理論 ?167。 總體主成分及其性質 ?167。 有關問題的討論 ?167。 主成分分析的上機實現(xiàn) 2022/3/13 中國人民大學六西格瑪質量管理研究中心 3 第五章 主成分分析 目錄 上頁 下頁 返回 結束 主成分分析 （ principal ponents analysis）也稱主分量分析，是由霍特林（ Hotelling） 于 1933年首先提出的。通常把轉化生成的綜合指標稱之為主成分，其中每個主成分都是原始變量的線性組合，且各個主成分之間互不相關，這就使得主成分比原始變量具有某些更優(yōu)越的性能。本章主要介紹主成分分析的基本理論和方法、主成分分析的計算步驟及主成分分析的上機實現(xiàn)。 主成分分析的基本思想與理論 167。 主成分分析的基本理論 2022/3/13 中國人民大學六西格瑪質量管理研究中心 5 目錄 上頁 下頁 返回 結束 167。這樣就產(chǎn)生了如下問題：一方面人們?yōu)榱吮苊膺z漏重要的信息而考慮盡可能多的指標，而另一方面隨著考慮指標的增多增加了問題的復雜性，同時由于各指標均是對同一事物的反映，不可避免地造成信息的大量重疊，這種信息的重疊有時甚至會抹殺事物的真正特征與內(nèi)在規(guī)律。主成分分析正是研究如何通過原來變量的少數(shù)幾個線性組合來解釋原來變量絕大多數(shù)信息的一種多元統(tǒng)計方法。 主成分分析的基本思想 既然研究某一問題涉及的眾多變量之間有一定的相關性，就必然存在著起支配作用的共同因素，根據(jù)這一點，通過對原始變量相關矩陣或協(xié)方差矩陣內(nèi)部結構關系的研究，利用原始變量的線性組合形成幾個綜合指標（主成分），在保留原始變量主要信息的前提下起到降維與簡化問題的作用，使得在研究復雜問題時更容易抓住主要矛盾。 主成分分析的基本思想 通過主成分分析，可以從事物之間錯綜復雜的關系中找出一些主要成分，從而能有效利用大量統(tǒng)計數(shù)據(jù)進行定量分析，揭示變量之間的內(nèi)在關系，得到對事物特征及其發(fā)展規(guī)律的一些深層次的啟發(fā)，把研究工作引向深入。 主成分分析的基本理論 設對某一事物的研究涉及個 指標，分別用 表示，這個 指標構成的 維隨機向量為 。 p PXXX , 21 ?p p )39。 主成分分析的基本理論 由于可以任意地對原始變量進行上述線性變換，由不同的線性變換得到的綜合變量 的統(tǒng)計特性也不盡相同。u i?iY iY )v a r ()v a r ( X39。?= 而對任給的常數(shù) ，有 c)va r( X39。u 2c ii u39。 主成分分析的基本理論 因此對 不加限制時，可使 任意增大，問題將變得沒有意義。 ?ii uu 122221 ??????? ipii uuu 。( ji ? 。 1Y1Y2Y PXXX , 21 ?121 , ?PYYY ?pY PXXX , 21 ?PXXX , 21 ?2022/3/13 中國人民大學六西格瑪質量管理研究中心 11 目錄 上頁 下頁 返回 結束 167。其中，各綜合變量在總方差中占的比重依次遞減，在實際研究工作中，通常只挑選前幾個方差最大的主成分，從而達到簡化系統(tǒng)結構，抓住問題實質的目的。 主成分分析的幾何意義 由第一節(jié)的介紹我們知道，在處理涉及多個指標問題的時候，為了提高分析的效率，可以不直接對 個指標構成的 維隨機向量 進行分析，而是先對向量 進行線性變換，形成少數(shù)幾個新的綜合變量 ，使得各綜合變量之間相互獨立且能解釋原始變量盡可能多的信息，這樣，在以損失很少部分信息為代價的前提下，達到簡化數(shù)據(jù)結構，提高分析效率的目的。 p p)39。 主成分分析的幾何意義 設有 個樣品，每個樣品有兩個觀測變量 ，這樣，在由變量 組成的坐標空間中， 個樣品點散布的情況如帶狀，見圖 51。 主成分分析的幾何意義 由圖可以看出這 個樣品無論沿 軸方向還是沿 軸方向均有較大的離散性，其離散程度可以分別用觀測變量 的方差和 的方差定量地表示，顯然，若只考慮 和 中的任何一個，原始數(shù)據(jù)中的信息均會有較大的損失。 在幾何上表示就是將坐標軸按逆時針方向旋轉 角度，得到新坐標軸 和 ，坐標旋轉公式如下： N 1X 2X1X 2X1X 2X1X 2X1Y 2Y?1Y 2Y????????????c o ss ins inc o s212211XXYXXY2022/3/13 中國人民大學六西格瑪質量管理研究中心 15 目錄 上頁 下頁 返回 結束 167。U 1?? IUU ??39。 主成分分析的幾何意義 經(jīng)過這樣的旋轉之后， 個樣品點在 軸上的離散程度最大，變量 代表了原始數(shù)據(jù)絕大部分信息，這樣，有時在研究實際問題時，即使不考慮變量 也無損大局。進行主成分分析的目的就是找出轉換矩陣 ，而進行主成分分析的作用與幾何意義也就很明了了。為方便，我們以二元正態(tài)分布為例。 N 1Y1Y2Y1YU2022/3/13 中國人民大學六西格瑪質量管理研究中心 17 目錄 上頁 下頁 返回 結束 167。 主成分分析的幾何意義 )()39。( d??? ? μXΣμX d0μ? 上式有如下展開形式： 222222112112 211 dXXXX ?????????????????????????????