【正文】 第八章 多元數據分析 主成分分析的概念 主成分分析方法 主成分分析的概念 ? 多變量大樣本為科學研究提供豐富的信息，但也在一定程度上增加了數據采集的工作量，更重要的是在大多數情況下，許多變量之間可能存在相關性而增加了問題分析的復雜性，同時對分析帶來不便。 主成分分析的概念 ? 如果分別分析每個指標，分析又可能是孤立的，而不是綜合的。 ? 盲目減少指標會損失很多信息，容易產生錯誤的結論。 ? 因此需要找到一個合理的方法，減少分析指標的同時，盡量減少原指標包含信息的損失，對所收集的資料作全面的分析。 主成分分析的概念 ? 由于各變量間存在一定的相關關系，因此有可能用較少的綜合指標分別綜合存在于各變量中的各類信息。主成分分析就是這樣一種降維的方法。 ? 主成分分析就是將多個實測變量轉換為少數幾個不相關的綜合指標的多元統(tǒng)計分析方法 主成分分析的概念 ? 綜合指標之間彼此不相關，即各指標代表的信息不重疊。綜合指標稱為因子或主成分，一般有兩種方法： ?特征值 1 ?累計貢獻率 例：成績數據 ? 100個學生的數學 、 物理 、 化學 、 語文 、歷史 、 英語的成績如下表 （ 部分 ） 。 從本例可能提出的問題 ? 能不能將 6個變量用一兩個綜合變量來表示呢 ？ ? 這一兩個綜合變量包含有多少原來的信息呢 ？ ? 能不能利用找到的綜合變量來對學生排序呢 ？ 這一類數據所涉及的問題可以推廣到對企業(yè) ， 對學校進行分析 、 排序 、 判別和分類等問題 。 ? 本例中的數據點是六維的；即每個觀測點是 6維空間中的一個點 。 我們希望把 6維空間用低維空間表示 。 ? 先假定只有二維 ， 即只有兩個變量 ， 它們由橫坐標和縱坐標所代表；因此每個觀測值都有相應于這兩個坐標軸的兩個坐標值；如果這些數據形成一個橢圓形狀的點陣 ? 這個橢圓有一個長軸和一個短軸 。 在短軸方向上 ， 數據變化很少；在極端的情況 ， 短軸如果退化成一點 ， 那只有在長軸的方向才能夠解釋這些點的變化了；這樣 ， 由二維降到了一維 。 ? 當坐標軸和橢圓的長短軸平行 ， 代表長軸的變量就描述了數據的主要變化 ， 而代表短軸的變量就描述了數據的次要變化 。 ? 但坐標軸通常并不和橢圓的長短軸平行 。 因此 ，需要尋找橢圓的長短軸 ， 并進行變換 ， 使得新變量和橢圓的長短軸平行 。 ? 如果長軸變量代表了數據包含的大部分信息 ， 就用該變量代替原先的兩個變量 （ 舍去次要的一維 ） ， 降維就完成了 。 ? 橢圓 （ 球 ） 的長短軸相差得越大 ， 降維也越有道理 。 4 2 0 2 442024? 對于多維變量的情況和二維類似 ， 也有高維的橢球 。 ? 首先把高維橢球的主軸找出來 ， 再用代表大多數數據信息的最長的幾個軸作為新變量；這樣 ， 主成分分析就基本完成了 。 ? 注意： 和二維情況類似 ， 高維橢球的主軸也是互相垂直的 。 這些互相正交的新變量是原先變量的線性組合 ， 叫做主成分 (principal ponent)。 ? 正如二維橢圓有兩個主軸 ， 三維橢球有三個主軸一樣 ， 有幾個變量 ， 就有幾個主成分 。 ? 選擇越少的主成分 ， 降維就越好 。 什么是標準呢 ？ ? 那就是這些被選的主成分所代表主軸的長度之和占了主軸長度總和的大部分 。 ? 所選的主軸總長度占所有主軸長度之和的大約85%即可 。 ? 這里的 Initial Eigenvalues就是這里的六個主軸長度 ， 又稱特征值 （ 數據相關陣的特征值 ） 。 頭兩個成分特征值累積占了總方差的%。 后面的特征值的貢獻越來越少 。 T o t a l V a r i a n c e E x p l a i n e d3 . 7 3 5 6 2 . 2 5 4 6 2 . 2 5 4 3 . 7 3 5 6 2 . 2 5 4 6 2 . 2 5 41 . 1 3 3 1 8 . 8 8 7 8 1 . 1 4 2 1 . 1 3 3 1 8 . 8 8 7 8 1 . 1 4 2. 4 5 7 7 . 6 1 9 8 8 . 7 6 1. 3 2 3 5 . 3 7 6 9 4 . 1 3 7. 1 9 9 3 . 3 2 0 9 7 . 4 5 7. 1 5 3 2 . 5 4 3 1 0 0 . 0 0 0C o m p o n e n t123456T o t a l % o f V a r i a n c e C u m u l a t i v e % T o t a l % o f V a r i a n c e C u m u l a t i v e %I n i t i a l E i g e n v a l u e s E x t r a c t i o n S u m s o f S q u a r e d L o a d i n g sE x t r a c t i o n M e t h o d : P r i n c i p a l C o m p o n e n t A n a l y s i s .? 怎么解釋這兩個主成分？前面說過主成分是原始六個變量的線性組合。是怎么樣的組合呢？ C o m p o n e n t M a t r i xa . 8 0 6 . 3 5 3 . 0 4 0 . 4 6 8 . 0 2 1 . 0 6 8 . 6 7 4 . 5 3 1 . 4 5 4 . 2 4 0 . 0 0 1 . 0 0 6 . 6 7 5 . 5 1 3 . 4 9 9 . 1 8 1 . 0 0 2 . 0 0 3. 8 9 3 . 3 0 6 . 0 0 4 . 0 3 7 . 0 7 7 . 3 2 0. 8 2 5 . 4 3 5 . 0 0 2 . 0 7 9 . 3 4 2 . 0 8 3. 8 3 6 . 4 2 5 . 0 0 0 . 0 7 4 . 2 7 6 . 1 9 7M A T HP H Y SC H E ML I T E R A TH I S T O R YE N G L I S H1 2 3 4 5 6C o m p o n e n tE x t r a c t i o n M e t h o d : P r i n c i p a l C o m p o n e n t A n a l y s i s .6 c o m p o n e n t s e x t r a c t e d .a . ? 這里每一列代表一個主成分作為原來變量線性組合的系數 （ 比例 ） 。 比如第一主成分作為數學 、物理 、 化學 、 語文 、 歷史 、 英語這六個原先變量的線性組合 ， 系數 （ 比例 ） 為 , , , , , 。 ? 如用 x1,x2,x3,x4,x5,x6分別表示原先的六個變量 ， 而用 y1,y2,y3,y4,y5,y6表示新的主成分 ， 那么 ， 原先六個變量 x1,x2,x3,x4,x5,x6與第一和第二主成分 y1,y2的關系為： x1= + x2= + x3= + x4= + x5= + x6= + ? 這些系數稱為主成分載荷 （ loading） ， 它表示主成分和相應的原先變量的相關系數 。 ? 比如 x1表示式中 y1的系數為 ， 這就是說第一主成分和數學變量的相關系數為 。 ? 相關系數 (絕對值 ） 越大 ， 主成分對該變量的代表性也越大 。 ? 第一主成分對各個變量解釋得都很充分 。 而最后的幾個主成分和原先的變量就不那么相關了 。 ?可以把第一和第二主成分的載荷點出一個二維圖以直觀地顯示它們如何解釋原來的變量的。這個圖叫做載荷圖。 C o m p o n e n t P l o tC o m p o n e n t 11 . . 0 . 5 1 . 0Component 21 . 0.50 . 0 . 5 1 . 0e n g l i s hh i s t o r yl i t e r a tc h e mp h y sm a t h左面三個點是數學、物理、化學三科，右邊三個點是語文、歷史、外語三科。 A typical data analysis situation ? 12 Jams samples were made from berries plucked in various cultivars and seasonal times. ? Several parameters (sensory measurements) were measured on each sample. Data set Raspberry Jams What samples are similar/dissimilar to each other? Sample parison according to 1 variable: Redness What about the 11 other parameters? Sample parison according to 2 variables: Redness and colour What about the 10 other parameters? 456784 5 6 7 8 9 ( R E D N E S S , C O L O U R )C 1 _ H 1C 2 _ H 1C 3 _ H 1C 4 _ H 1C 1 _ H 3C 2 _ H 3C 3 _ H 3C 4 _ H 3C 1 _ H 2C 2 _ H 2C 3 _ H 2C 4 _ H 2E le m e n t s :S l o p e :O f f s e t :C o r r e la t io n :R M S E D :S E D :B i a s : 1 20 . 7 8 6 6 9 21 . 5 6 9 4 0 90 . 9 8 2 5 1 50 . 5 3 0 9 0 70 . 3 9 2 5 4 40 . 3 7 4 9 8 3Sample parison accordi