【正文】 m a x 111111 Y?????? γγγγuuuu0u ?類似的，有 )v a r (39。 γγγγγγ令 ，則有 ii γu ? )v a r (39。)v a r ( ，為 ， 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 26 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。uu0uiγ????0139。Axx39。0γx39。Axx39。1???niiiγγI而對(duì)任意向量 ，有 ，于是有 x ??? niiia1γx ?????niiniiiaa1212?xx39。0x n??? xx39。 PXXX , 21 ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 23 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。我們所說(shuō)的保留原始變量盡可能多的信息，也就是指的生成的較少的綜合變量（主成分）的方差和盡可能接近原始變量方差的總和。本節(jié)先從總體出發(fā)，介紹求解主成分的一般方法及主成分的性質(zhì)，然后介紹樣本主成分的導(dǎo)出。γ 22 ?Y 21,YY 21,XX21,?? 1Y 1? 2Y2? 1? 2?1Y21,γγ 這樣，我們就對(duì)主成分分析的幾何意義有了一個(gè)充分的了解。因?yàn)? 所以， 就是原始變量 的兩個(gè)主成分，它們的方差分別為 ，在 方向上集中了原始變量 的變差，在 方向上集中了原始變量 的變差，經(jīng)常有 遠(yuǎn)大于 ，這樣，我們就可以只研究原始數(shù)據(jù)在 方向上的變化而不致于損失過(guò)多信息，而 就是橢圓在原始坐標(biāo)系中的主軸方向，也是坐標(biāo)軸轉(zhuǎn)換的系數(shù)向量。 222111?????? ??222211)39。(39。?? PΛP ? ?? ? 39。 主成分分析的幾何意義 )()39。為方便，我們以二元正態(tài)分布為例。 主成分分析的幾何意義 經(jīng)過(guò)這樣的旋轉(zhuǎn)之后， 個(gè)樣品點(diǎn)在 軸上的離散程度最大，變量 代表了原始數(shù)據(jù)絕大部分信息，這樣，有時(shí)在研究實(shí)際問(wèn)題時(shí)，即使不考慮變量 也無(wú)損大局。 在幾何上表示就是將坐標(biāo)軸按逆時(shí)針?lè)较蛐D(zhuǎn) 角度，得到新坐標(biāo)軸 和 ，坐標(biāo)旋轉(zhuǎn)公式如下： N 1X 2X1X 2X1X 2X1X 2X1Y 2Y?1Y 2Y????????????c o ss ins inc o s212211XXYXXY2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 15 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析的幾何意義 設(shè)有 個(gè)樣品，每個(gè)樣品有兩個(gè)觀測(cè)變量 ，這樣，在由變量 組成的坐標(biāo)空間中， 個(gè)樣品點(diǎn)散布的情況如帶狀，見(jiàn)圖 51。 主成分分析的幾何意義 由第一節(jié)的介紹我們知道，在處理涉及多個(gè)指標(biāo)問(wèn)題的時(shí)候，為了提高分析的效率，可以不直接對(duì) 個(gè)指標(biāo)構(gòu)成的 維隨機(jī)向量 進(jìn)行分析，而是先對(duì)向量 進(jìn)行線性變換，形成少數(shù)幾個(gè)新的綜合變量 ，使得各綜合變量之間相互獨(dú)立且能解釋原始變量盡可能多的信息，這樣，在以損失很少部分信息為代價(jià)的前提下，達(dá)到簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)，提高分析效率的目的。 1Y1Y2Y PXXX , 21 ?121 , ?PYYY ?pY PXXX , 21 ?PXXX , 21 ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 11 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 ?ii uu 122221 ??????? ipii uuu 。u 2c ii u39。u i?iY iY )v a r ()v a r ( X39。 p PXXX , 21 ?p p )39。 主成分分析的基本思想 通過(guò)主成分分析，可以從事物之間錯(cuò)綜復(fù)雜的關(guān)系中找出一些主要成分，從而能有效利用大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行定量分析，揭示變量之間的內(nèi)在關(guān)系，得到對(duì)事物特征及其發(fā)展規(guī)律的一些深層次的啟發(fā)，把研究工作引向深入。主成分分析正是研究如何通過(guò)原來(lái)變量的少數(shù)幾個(gè)線性組合來(lái)解釋原來(lái)變量絕大多數(shù)信息的一種多元統(tǒng)計(jì)方法。 主成分分析的基本理論 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 5 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。本章主要介紹主成分分析的基本理論和方法、主成分分析的計(jì)算步驟及主成分分析的上機(jī)實(shí)現(xiàn)。 主成分分析的上機(jī)實(shí)現(xiàn) 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 3 第五章 主成分分析 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 主成分分析 （ principal ponents analysis）也稱主分量分析，是由霍特林（ Hotelling） 于 1933年首先提出的。 總體主成分及其性質(zhì) ?167。2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 1 多元統(tǒng)計(jì)分析 何曉群 中國(guó)人民大學(xué)出版社 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 2 第五章 主成分分析 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 ?167。 樣本主成分的導(dǎo)出 ?167。主成分分析是利用降維的思想，在損失很少信息的前提下把多個(gè)指標(biāo)轉(zhuǎn)化為幾個(gè)綜合指標(biāo)的多元統(tǒng)計(jì)方法。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 4 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析的基本思想 在對(duì)某一事物進(jìn)行實(shí)證研究中，為了更全面、準(zhǔn)確地反映出事物的特征及其發(fā)展規(guī)律，人們往往要考慮與其有關(guān)系的多個(gè)指標(biāo)，這些指標(biāo)在多元統(tǒng)計(jì)中也稱為變量。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 6 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 8 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。,( 21 pXXX ??XX μ Σ 對(duì) 進(jìn)行線性變換，可以形成新的綜合變量，用 表示，也就是說(shuō)，新的綜合變量可以由原來(lái)的變量線性表示，即滿足下式： X Y???????????????????????????????pppppppppXuXuXuXuXuXuYXuXuXuY2211p2222121212121111Y??? () 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 9 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。u i?iY ii u39。u ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 10 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。),....2,1( pi ?1． ，即： 2． 與iY 相互無(wú)關(guān)jY 。 主成分分析的基本理論 基于以上三條原則決定的綜合變量 分別稱為原始變量的第一、第二、 … 、第 個(gè)主成分。這一節(jié)，我們著重討論主成分分析的幾何意義，為了方便，我們僅在二維空間中討論主成分的幾何意義，所得結(jié)論可以很容易地?cái)U(kuò)展到多維的情況。 N 21,XX21,XX N圖 51 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 14 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。 主成分分析的幾何意義 其矩陣形式為： 1122c o s s ins in c o sYX ????? ? ? ???? ? ?? ? ? ??????? ? ? ? UX其中， 為旋轉(zhuǎn)變換矩陣，由上式可知它是正交陣，即滿足 U,U39。因此，經(jīng)過(guò)上述旋轉(zhuǎn)變換就可以把原始數(shù)據(jù)的信息集中到 軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮的作用。對(duì)于多元正態(tài)總體的情況，有類似的結(jié)論。(2/12/1211||21),( μXΣμXΣ??? ?? eXXf?考慮 （ 為常數(shù)），為方便，不妨設(shè) 21 )()39。PP Λ, 11因此有： XΣ39。 1?? XX )39。(1)39。對(duì)于多維的情況，上面的結(jié)論依然成立。主成分分析的過(guò)程無(wú)非就是坐標(biāo)系旋轉(zhuǎn)的過(guò)程，各主成分表達(dá)式就是新坐標(biāo)系與原坐標(biāo)系的轉(zhuǎn)換關(guān)系，在新坐標(biāo)系中，各坐標(biāo)軸的方向就是原始數(shù)據(jù)變差最大的方向。 PXXX , 21 ?2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 22 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。因此在實(shí)際求解主成分的時(shí)候，總是從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析入手。 總體主成分 (1)從協(xié)方差矩陣出發(fā)求解主成分 引論：設(shè)矩陣 ，將 的特征值 依大小順序排列，不妨設(shè) ， 為 矩陣各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)任意向量，有： AA ?39。Axx39。Axx39。0γx39。0xi ,...2,1m in于是，自然有 1121211212m a xm a x ???????????????? niiniiniiniiiaaaa0x0x xx39。0x 2022/3/13 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 25 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 167。ji γγ jiji??證明：由引論知，對(duì)于任意常向量 ，有：又 為標(biāo)準(zhǔn)正交特征向量，于是： 此時(shí)： （ ） 結(jié)論： 設(shè)隨機(jī)向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則第 i個(gè)主成分為： )39。 總體主成分 且： ? ? ???ipkikkikii ??139。39。39。0ui?? ? ?????039。 總體主成分 由以上結(jié)論，我們把 的協(xié)方差矩陣 的非零特征值 對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量 分別作為系數(shù)向量， 分別稱為隨機(jī)向量 的第一主成分、第二主成分、 … 、第 主成分。 2211 ppYYY ?????? ，X p YPYYY , 21 ? pX（ 1） ，即 為 階正交陣； （ 2） 的分量之間互不相關(guān)； （ 3） 的 個(gè)分量是按方差由大到小排列。 總體主成分 于是隨機(jī)向量 與隨機(jī)向量 之間存在下面的關(guān)系式： X YX39。uY21?????????????????p??????????????????????????????pppppppXXXuuuuuuuuu???????21212222111211????????????????????????????????pp XXX??212139。這樣，求主成分的問(wèn)題就變成了求特征根與特征向量的問(wèn)題。 Y Λ性質(zhì) 2 記 ，有 ppij ?? )(?Σ ?? ?? ?pi iipi i 11?? 證明： 記 則有 于是 ),(21 pγγγP ?? P39。 總體主成分 定義 稱