【正文】 m a x 111111 Y?????? γγγγuuuu0u ?類似的，有 )v a r (39。 γγγγγγ令 ，則有 ii γu ? )v a r (39。)v a r ( ，為 ， 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 26 目錄 上頁 下頁 返回 結(jié)束 167。uu0uiγ????0139。Axx39。0γx39。Axx39。1???niiiγγI而對任意向量 ，有 ，于是有 x ??? niiia1γx ?????niiniiiaa1212?xx39。0x n??? xx39。 PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 23 目錄 上頁 下頁 返回 結(jié)束 167。我們所說的保留原始變量盡可能多的信息，也就是指的生成的較少的綜合變量（主成分）的方差和盡可能接近原始變量方差的總和。本節(jié)先從總體出發(fā)，介紹求解主成分的一般方法及主成分的性質(zhì)，然后介紹樣本主成分的導(dǎo)出。γ 22 ?Y 21,YY 21,XX21,?? 1Y 1? 2Y2? 1? 2?1Y21,γγ 這樣，我們就對主成分分析的幾何意義有了一個充分的了解。因為 所以， 就是原始變量 的兩個主成分，它們的方差分別為 ，在 方向上集中了原始變量 的變差，在 方向上集中了原始變量 的變差，經(jīng)常有 遠大于 ，這樣，我們就可以只研究原始數(shù)據(jù)在 方向上的變化而不致于損失過多信息，而 就是橢圓在原始坐標系中的主軸方向，也是坐標軸轉(zhuǎn)換的系數(shù)向量。 222111?????? ??222211)39。(39。?? PΛP ? ?? ? 39。 主成分分析的幾何意義 )()39。為方便，我們以二元正態(tài)分布為例。 主成分分析的幾何意義 經(jīng)過這樣的旋轉(zhuǎn)之后， 個樣品點在 軸上的離散程度最大，變量 代表了原始數(shù)據(jù)絕大部分信息，這樣，有時在研究實際問題時，即使不考慮變量 也無損大局。 在幾何上表示就是將坐標軸按逆時針方向旋轉(zhuǎn) 角度，得到新坐標軸 和 ，坐標旋轉(zhuǎn)公式如下： N 1X 2X1X 2X1X 2X1X 2X1Y 2Y?1Y 2Y????????????c o ss ins inc o s212211XXYXXY2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 15 目錄 上頁 下頁 返回 結(jié)束 167。 主成分分析的幾何意義 設(shè)有 個樣品，每個樣品有兩個觀測變量 ，這樣，在由變量 組成的坐標空間中， 個樣品點散布的情況如帶狀，見圖 51。 主成分分析的幾何意義 由第一節(jié)的介紹我們知道，在處理涉及多個指標問題的時候，為了提高分析的效率，可以不直接對 個指標構(gòu)成的 維隨機向量 進行分析，而是先對向量 進行線性變換，形成少數(shù)幾個新的綜合變量 ，使得各綜合變量之間相互獨立且能解釋原始變量盡可能多的信息，這樣，在以損失很少部分信息為代價的前提下，達到簡化數(shù)據(jù)結(jié)構(gòu)，提高分析效率的目的。 1Y1Y2Y PXXX , 21 ?121 , ?PYYY ?pY PXXX , 21 ?PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 11 目錄 上頁 下頁 返回 結(jié)束 167。 ?ii uu 122221 ??????? ipii uuu 。u 2c ii u39。u i?iY iY )v a r ()v a r ( X39。 p PXXX , 21 ?p p )39。 主成分分析的基本思想 通過主成分分析，可以從事物之間錯綜復(fù)雜的關(guān)系中找出一些主要成分，從而能有效利用大量統(tǒng)計數(shù)據(jù)進行定量分析，揭示變量之間的內(nèi)在關(guān)系，得到對事物特征及其發(fā)展規(guī)律的一些深層次的啟發(fā)，把研究工作引向深入。主成分分析正是研究如何通過原來變量的少數(shù)幾個線性組合來解釋原來變量絕大多數(shù)信息的一種多元統(tǒng)計方法。 主成分分析的基本理論 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 5 目錄 上頁 下頁 返回 結(jié)束 167。本章主要介紹主成分分析的基本理論和方法、主成分分析的計算步驟及主成分分析的上機實現(xiàn)。 主成分分析的上機實現(xiàn) 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 3 第五章 主成分分析 目錄 上頁 下頁 返回 結(jié)束 主成分分析 （ principal ponents analysis）也稱主分量分析，是由霍特林（ Hotelling） 于 1933年首先提出的。 總體主成分及其性質(zhì) ?167。2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 1 多元統(tǒng)計分析 何曉群 中國人民大學(xué)出版社 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 2 第五章 主成分分析 目錄 上頁 下頁 返回 結(jié)束 ?167。 樣本主成分的導(dǎo)出 ?167。主成分分析是利用降維的思想，在損失很少信息的前提下把多個指標轉(zhuǎn)化為幾個綜合指標的多元統(tǒng)計方法。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 4 目錄 上頁 下頁 返回 結(jié)束 167。 主成分分析的基本思想 在對某一事物進行實證研究中，為了更全面、準確地反映出事物的特征及其發(fā)展規(guī)律，人們往往要考慮與其有關(guān)系的多個指標，這些指標在多元統(tǒng)計中也稱為變量。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 6 目錄 上頁 下頁 返回 結(jié)束 167。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 8 目錄 上頁 下頁 返回 結(jié)束 167。,( 21 pXXX ??XX μ Σ 對 進行線性變換，可以形成新的綜合變量，用 表示，也就是說，新的綜合變量可以由原來的變量線性表示，即滿足下式： X Y???????????????????????????????pppppppppXuXuXuXuXuXuYXuXuXuY2211p2222121212121111Y??? () 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 9 目錄 上頁 下頁 返回 結(jié)束 167。u i?iY ii u39。u ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 10 目錄 上頁 下頁 返回 結(jié)束 167。),....2,1( pi ?1． ，即： 2． 與iY 相互無關(guān)jY 。 主成分分析的基本理論 基于以上三條原則決定的綜合變量 分別稱為原始變量的第一、第二、 … 、第 個主成分。這一節(jié)，我們著重討論主成分分析的幾何意義，為了方便，我們僅在二維空間中討論主成分的幾何意義，所得結(jié)論可以很容易地擴展到多維的情況。 N 21,XX21,XX N圖 51 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 14 目錄 上頁 下頁 返回 結(jié)束 167。 主成分分析的幾何意義 其矩陣形式為： 1122c o s s ins in c o sYX ????? ? ? ???? ? ?? ? ? ??????? ? ? ? UX其中， 為旋轉(zhuǎn)變換矩陣，由上式可知它是正交陣，即滿足 U,U39。因此，經(jīng)過上述旋轉(zhuǎn)變換就可以把原始數(shù)據(jù)的信息集中到 軸上，對數(shù)據(jù)中包含的信息起到了濃縮的作用。對于多元正態(tài)總體的情況，有類似的結(jié)論。(2/12/1211||21),( μXΣμXΣ??? ?? eXXf?考慮 （ 為常數(shù)），為方便，不妨設(shè) 21 )()39。PP Λ, 11因此有： XΣ39。 1?? XX )39。(1)39。對于多維的情況，上面的結(jié)論依然成立。主成分分析的過程無非就是坐標系旋轉(zhuǎn)的過程，各主成分表達式就是新坐標系與原坐標系的轉(zhuǎn)換關(guān)系，在新坐標系中，各坐標軸的方向就是原始數(shù)據(jù)變差最大的方向。 PXXX , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 22 目錄 上頁 下頁 返回 結(jié)束 167。因此在實際求解主成分的時候，總是從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析入手。 總體主成分 (1)從協(xié)方差矩陣出發(fā)求解主成分 引論：設(shè)矩陣 ，將 的特征值 依大小順序排列，不妨設(shè) ， 為 矩陣各特征值對應(yīng)的標準正交特征向量，則對任意向量，有： AA ?39。Axx39。Axx39。0γx39。0xi ,...2,1m in于是，自然有 1121211212m a xm a x ???????????????? niiniiniiniiiaaaa0x0x xx39。0x 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 25 目錄 上頁 下頁 返回 結(jié)束 167。ji γγ jiji??證明：由引論知，對于任意常向量 ，有：又 為標準正交特征向量，于是： 此時： （ ） 結(jié)論： 設(shè)隨機向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對應(yīng)的標準正交特征向量，則第 i個主成分為： )39。 總體主成分 且： ? ? ???ipkikkikii ??139。39。39。0ui?? ? ?????039。 總體主成分 由以上結(jié)論，我們把 的協(xié)方差矩陣 的非零特征值 對應(yīng)的標準化特征向量 分別作為系數(shù)向量， 分別稱為隨機向量 的第一主成分、第二主成分、 … 、第 主成分。 2211 ppYYY ?????? ，X p YPYYY , 21 ? pX（ 1） ，即 為 階正交陣； （ 2） 的分量之間互不相關(guān)； （ 3） 的 個分量是按方差由大到小排列。 總體主成分 于是隨機向量 與隨機向量 之間存在下面的關(guān)系式： X YX39。uY21?????????????????p??????????????????????????????pppppppXXXuuuuuuuuu???????21212222111211????????????????????????????????pp XXX??212139。這樣，求主成分的問題就變成了求特征根與特征向量的問題。 Y Λ性質(zhì) 2 記 ，有 ppij ?? )(?Σ ?? ?? ?pi iipi i 11?? 證明： 記 則有 于是 ),(21 pγγγP ?? P39。 總體主成分 定義 稱