【正文】 SAS SAS軟件與統(tǒng)計應用教程 第六章 主成分分析與因子分析 ? 主成分分析 ? 因子分析 SAS SAS軟件與統(tǒng)計應用教程 ? 主成分分析 ? 主成分分析的概念與步驟 ? 使用 INSIGHT模塊作主成分分析 ? 使用“分析家”作主成分分析 ? 使用 PRINCOMP過程進行主成分分析 SAS SAS軟件與統(tǒng)計應用教程 主成分分析的概念與步驟 1. 主成分分析基本思想 主成分分析是數(shù)學上對數(shù)據(jù)降維的一種方法 。 其基本思想是設法將原來眾多的具有一定相關性的指標 （ 比如p個指標 ） ， 重新組合成一組新的互不相關的綜合指標來代替原來指標 。 通常數(shù)學上的處理就是將原來 p個指標作線性組合 ， 作為新的綜合指標 。 但是這種線性組合 ，如果不加限制 ， 則可以有很多 ， 應該如何去選取呢 ？ SAS SAS軟件與統(tǒng)計應用教程 在所有的線性組合中所選取的 F1應該是方差最大的 ，故稱 F1為第一主成分 。 如果第一主成分不足以代表原來p個指標的信息 ， 再考慮選取 F2即選第二個線性組合 。為了有效地反映原有信息 ， F1已有的信息就不需要再出現(xiàn)在 F2中 ， 用數(shù)學語言表達就是要求 Cov(F1， F2)＝ 0。稱 F2為第二主成分 ， 依此類推可以構造出第三 、 第四 、 … 、 第 p個主成分 。 SAS SAS軟件與統(tǒng)計應用教程 2. 主成分分析的數(shù)學模型 設有 n個樣品 （ 多元觀測值 ） ， 每個樣品觀測 p項指標（ 變量 ） ： X1， X2， … ， Xp， 得到原始數(shù)據(jù)資料陣： 其中 Xi = (x1i， x2i， … ， xni)39。， i = 1， 2， … ， p。 ),...,(.........21212222111211pnpnnppXXXxxxxxxxxxX ??????????????????SAS SAS軟件與統(tǒng)計應用教程 用數(shù)據(jù)矩陣 X的 p個列向量 （ 即 p個指標向量 ） X1，X2， … ， Xp作線性組合 ， 得綜合指標向量： 簡寫成： Fi = a1iX1 + a2iX2 +…+ apiXp i = 1， 2， … ， p ???????????????????ppppppppppXaXaXaFXaXaXaFXaXaXaF...............22112222112212211111SAS SAS軟件與統(tǒng)計應用教程 為了加以限制 ， 對組合系數(shù) ai39。 = (a1i， a2i， … ， api)作如下要求： 即： ai為單位向量： ai39。ai = 1， 且由下列原則決定： 1) Fi與 Fj（ i≠j, i, j = 1, … , p） 互不相關 ， 即 Cov(Fi，F(xiàn)j) = ai39。?ai = 0， 其中 Σ是 X的協(xié)方差陣 。 2) F1是 X1， X2， … ， Xp的一切線性組合 （ 系數(shù)滿足上述要求 ） 中方差最大的 ， 即 ， 其中 c = (c1， c2， … ， cp)39。 F2是與 F1不相關的 X1， X2， … ， Xp一切線性組合中方差最大的 ， … ， Fp是與 F1， F2， … ， Fp1都不相關的 X1，X2， … ， Xp的一切線性組合中方差最大的 。 piaaa piii ,1,122221 ?? ?????)(m a x)(1139。1 ????piiicc XcV a rFV a rSAS SAS軟件與統(tǒng)計應用教程 滿足上述要求的綜合指標向量 F1， F2， … ， Fp就是主成分 ， 這 p個主成分從原始指標所提供的信息總量中所提取的信息量依次遞減 ， 每一個主成分所提取的信息量用方差來度量 ， 主成分方差的貢獻就等于原指標相關系數(shù)矩陣相應的特征值 ?i， 每一個主成分的組合系數(shù) ai39。 = (a1i， a2i， … ， api) 就是相應特征值 ?i所對應的單位特征向量 ti。 方差的貢獻率為 ， ?i越大 ， 說明相應的主成分反映綜合信息的能力越強 。 1/pi i ii? ? ??? ?SAS SAS軟件與統(tǒng)計應用教程 3. 主成分分析的步驟 (1) 計算協(xié)方差矩陣 計算樣品數(shù)據(jù)的協(xié)方差矩陣： Σ = (sij)p?p， 其中 i， j = 1， 2， … ， p (2) 求出 Σ的特征值及相應的特征向量 求出協(xié)方差矩陣 Σ的特征值 ?1??2?… ?p0及相應的正交化單位特征向量： 則 X的第 i個主成分為 Fi = ai39。X i = 1， 2， … ， p。 ??????nkjkjikiij xxxxns1))((11?????????????????????????????????????????????ppppppp aaaaaaaaaaaa???21222122121111 ...,SAS SAS軟件與統(tǒng)計應用教程 (3) 選擇主成分 在已確定的全部 p個主成分中合理選擇 m個來實現(xiàn)最終的評價分析 。 一般用方差貢獻率 解釋主成分 Fi所反映的信息量的大小 ， m的確定以累計貢獻率 達到足夠大 （ 一般在 85%以上 ） 為原則 。 ???pkkii1/ ????????pkkmiimG11/)( ??SAS SAS軟件與統(tǒng)計應用教程 (4) 計算主成分得分 計算 n個樣品在 m個主成分上的得分： i = 1， 2， … ， m (5) 標準化 實際應用時 ， 指標的量綱往往不同 ， 所以在主成分計算之前應先消除量綱的影響 。 消除數(shù)據(jù)的量綱有很多方法 ， 常用方法是將原始數(shù)據(jù)標準化 ， 即做如下數(shù)據(jù)變換： 其中 ， ， j = 1， 2， … ， p。標準化后的數(shù)據(jù)陣記為 X*， 其中每個列向量 （ 標準化變量 ） 的均值為 0， 標準差為 1， 數(shù)據(jù)無量綱 。 ppiiii XaXaXaF ???? ...2211pjnis xxxjjijij ,...,2,1。,...,2,1* ???????niijj xnx11 ?????nijijj xxns122 )(11SAS SAS軟件與統(tǒng)計應用教程 標準化后變量的協(xié)方差矩陣 （ Covariance Matrix） Σ = (sij)p?p ， 即原變量的相關系數(shù)矩陣 （ Correlation Matrix） R= (rij)p?p： i， j = 1， 2， … ， p 此時 n個樣品在 m個主成分上的得分應為： Fj = a1jX1* + a2jX2* +...+ apjXp* j = 1， 2， … ， m ijntjtjntitinkjkjikinkntjtjjkjntitiikinkkjkiij rxxxxxxxxnxxxxnxxxxnxxns ??????????????????????????????12121112121**)()())((1)(1)(1111SAS SAS軟件與統(tǒng)計應用教程 使用 INSIGHT模塊作主成分分析 【 例 61】 全國沿海 10個省市經(jīng)濟指標的主成分分析 表 61 全國沿海 10個省市經(jīng)濟綜合指標 假設表 61中數(shù)據(jù)已經(jīng)存放在數(shù)據(jù)集 ， 試對各地區(qū)的經(jīng)濟發(fā)展水平進行主成分分析 。 地區(qū) GDPx1 人均GDPx2 工業(yè)增加值 x3 第三產(chǎn)業(yè)增加值 x4 固定資產(chǎn)投資 x5 基本建設投資 x6 社會消費品零售總額 x7 海關出口總額 x8 地方財政收入 x9 遼寧 13000 529 山東 10550 11643 3851 河北 9047 天津 22068 960 江蘇 14397 2320 上海 40627 709 浙江 7670 16570 3065 福建 4682 13510 1859 廣東 15030 廣西 5062 367 SAS SAS軟件與統(tǒng)計應用教程 1. 使用 INSIGHT模塊做主成分分析的步驟 使用 INSIGHT模塊做主成分分析的步驟如下： 1) 在 INSIGHT模塊中打開數(shù)據(jù)集 ；選擇菜單 “ Analyze”?“Multivariate(Y X)（ 多元分析 ） ” ， 打開 “ Multivariate(Y X)”對話框； 2) 將做主成分分析的變量 x1～ x9選為 Y變量 ， 將變量diqu選為 Label變量 ， 如圖所示 。 SAS SAS軟件與統(tǒng)計應用教程 圖 61 多元分析對話框 3) 單擊 “ Method”按鈕 ， 在打開的對話框中可以選擇計算協(xié)方差矩陣的特征值或是計算相關系數(shù)矩陣的特征值 。 系統(tǒng)默認計算相關系數(shù)矩陣的特征值和特征向量 ，單擊 “ OK”按鈕返回 。 SAS SAS軟件與統(tǒng)計應用教程 4) 單擊 “ Output”按鈕 ， 在打開的對話框 （ 圖左 ） 中包括 “ Descriptive Statistics”選項 、 “ Bivariate Plots”選項以及各種多元分析的選項 。 選中 “ Principal Component Analysis”復選框 ， 單擊下面的 “ Principal Component Options” 按鈕 ， 打開 “ Principal Component Options”對話框 ， 選中 “ Eigenvectors”復選框 ， 取消 “ Correlations(Structure)”復選框 ， 如圖右所示 。 SAS SAS軟件與統(tǒng)計應用教程 2. 主成分的結果分析 輸出的數(shù)字分析結果有 4個部分：簡單統(tǒng)計量 、 相關系數(shù)矩陣 、 相關系數(shù)矩陣的特征值以及相關系數(shù)矩陣的特征向量 。 SAS SAS軟件與統(tǒng)計應用教程 3) 圖 65給出相關系數(shù)矩陣的特征值 （ Eige