【正文】 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 第六章 主成分分析與因子分析 ? 主成分分析 ? 因子分析 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 ? 主成分分析 ? 主成分分析的概念與步驟 ? 使用 INSIGHT模塊作主成分分析 ? 使用“分析家”作主成分分析 ? 使用 PRINCOMP過程進(jìn)行主成分分析 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 主成分分析的概念與步驟 1. 主成分分析基本思想 主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法 。 其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo) （ 比如p個(gè)指標(biāo) ） ， 重新組合成一組新的互不相關(guān)的綜合指標(biāo)來代替原來指標(biāo) 。 通常數(shù)學(xué)上的處理就是將原來 p個(gè)指標(biāo)作線性組合 ， 作為新的綜合指標(biāo) 。 但是這種線性組合 ，如果不加限制 ， 則可以有很多 ， 應(yīng)該如何去選取呢 ？ SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 在所有的線性組合中所選取的 F1應(yīng)該是方差最大的 ，故稱 F1為第一主成分 。 如果第一主成分不足以代表原來p個(gè)指標(biāo)的信息 ， 再考慮選取 F2即選第二個(gè)線性組合 。為了有效地反映原有信息 ， F1已有的信息就不需要再出現(xiàn)在 F2中 ， 用數(shù)學(xué)語言表達(dá)就是要求 Cov(F1， F2)＝ 0。稱 F2為第二主成分 ， 依此類推可以構(gòu)造出第三 、 第四 、 … 、 第 p個(gè)主成分 。 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 2. 主成分分析的數(shù)學(xué)模型 設(shè)有 n個(gè)樣品 （ 多元觀測(cè)值 ） ， 每個(gè)樣品觀測(cè) p項(xiàng)指標(biāo)（ 變量 ） ： X1， X2， … ， Xp， 得到原始數(shù)據(jù)資料陣： 其中 Xi = (x1i， x2i， … ， xni)39。， i = 1， 2， … ， p。 ),...,(.........21212222111211pnpnnppXXXxxxxxxxxxX ??????????????????SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 用數(shù)據(jù)矩陣 X的 p個(gè)列向量 （ 即 p個(gè)指標(biāo)向量 ） X1，X2， … ， Xp作線性組合 ， 得綜合指標(biāo)向量： 簡(jiǎn)寫成： Fi = a1iX1 + a2iX2 +…+ apiXp i = 1， 2， … ， p ???????????????????ppppppppppXaXaXaFXaXaXaFXaXaXaF...............22112222112212211111SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 為了加以限制 ， 對(duì)組合系數(shù) ai39。 = (a1i， a2i， … ， api)作如下要求： 即： ai為單位向量： ai39。ai = 1， 且由下列原則決定： 1) Fi與 Fj（ i≠j, i, j = 1, … , p） 互不相關(guān) ， 即 Cov(Fi，F(xiàn)j) = ai39。?ai = 0， 其中 Σ是 X的協(xié)方差陣 。 2) F1是 X1， X2， … ， Xp的一切線性組合 （ 系數(shù)滿足上述要求 ） 中方差最大的 ， 即 ， 其中 c = (c1， c2， … ， cp)39。 F2是與 F1不相關(guān)的 X1， X2， … ， Xp一切線性組合中方差最大的 ， … ， Fp是與 F1， F2， … ， Fp1都不相關(guān)的 X1，X2， … ， Xp的一切線性組合中方差最大的 。 piaaa piii ,1,122221 ?? ?????)(m a x)(1139。1 ????piiicc XcV a rFV a rSAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 滿足上述要求的綜合指標(biāo)向量 F1， F2， … ， Fp就是主成分 ， 這 p個(gè)主成分從原始指標(biāo)所提供的信息總量中所提取的信息量依次遞減 ， 每一個(gè)主成分所提取的信息量用方差來度量 ， 主成分方差的貢獻(xiàn)就等于原指標(biāo)相關(guān)系數(shù)矩陣相應(yīng)的特征值 ?i， 每一個(gè)主成分的組合系數(shù) ai39。 = (a1i， a2i， … ， api) 就是相應(yīng)特征值 ?i所對(duì)應(yīng)的單位特征向量 ti。 方差的貢獻(xiàn)率為 ， ?i越大 ， 說明相應(yīng)的主成分反映綜合信息的能力越強(qiáng) 。 1/pi i ii? ? ??? ?SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 3. 主成分分析的步驟 (1) 計(jì)算協(xié)方差矩陣 計(jì)算樣品數(shù)據(jù)的協(xié)方差矩陣： Σ = (sij)p?p， 其中 i， j = 1， 2， … ， p (2) 求出 Σ的特征值及相應(yīng)的特征向量 求出協(xié)方差矩陣 Σ的特征值 ?1??2?… ?p0及相應(yīng)的正交化單位特征向量： 則 X的第 i個(gè)主成分為 Fi = ai39。X i = 1， 2， … ， p。 ??????nkjkjikiij xxxxns1))((11?????????????????????????????????????????????ppppppp aaaaaaaaaaaa???21222122121111 ...,SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 (3) 選擇主成分 在已確定的全部 p個(gè)主成分中合理選擇 m個(gè)來實(shí)現(xiàn)最終的評(píng)價(jià)分析 。 一般用方差貢獻(xiàn)率 解釋主成分 Fi所反映的信息量的大小 ， m的確定以累計(jì)貢獻(xiàn)率 達(dá)到足夠大 （ 一般在 85%以上 ） 為原則 。 ???pkkii1/ ????????pkkmiimG11/)( ??SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 (4) 計(jì)算主成分得分 計(jì)算 n個(gè)樣品在 m個(gè)主成分上的得分： i = 1， 2， … ， m (5) 標(biāo)準(zhǔn)化 實(shí)際應(yīng)用時(shí) ， 指標(biāo)的量綱往往不同 ， 所以在主成分計(jì)算之前應(yīng)先消除量綱的影響 。 消除數(shù)據(jù)的量綱有很多方法 ， 常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化 ， 即做如下數(shù)據(jù)變換： 其中 ， ， j = 1， 2， … ， p。標(biāo)準(zhǔn)化后的數(shù)據(jù)陣記為 X*， 其中每個(gè)列向量 （ 標(biāo)準(zhǔn)化變量 ） 的均值為 0， 標(biāo)準(zhǔn)差為 1， 數(shù)據(jù)無量綱 。 ppiiii XaXaXaF ???? ...2211pjnis xxxjjijij ,...,2,1。,...,2,1* ???????niijj xnx11 ?????nijijj xxns122 )(11SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 標(biāo)準(zhǔn)化后變量的協(xié)方差矩陣 （ Covariance Matrix） Σ = (sij)p?p ， 即原變量的相關(guān)系數(shù)矩陣 （ Correlation Matrix） R= (rij)p?p： i， j = 1， 2， … ， p 此時(shí) n個(gè)樣品在 m個(gè)主成分上的得分應(yīng)為： Fj = a1jX1* + a2jX2* +...+ apjXp* j = 1， 2， … ， m ijntjtjntitinkjkjikinkntjtjjkjntitiikinkkjkiij rxxxxxxxxnxxxxnxxxxnxxns ??????????????????????????????12121112121**)()())((1)(1)(1111SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 使用 INSIGHT模塊作主成分分析 【 例 61】 全國(guó)沿海 10個(gè)省市經(jīng)濟(jì)指標(biāo)的主成分分析 表 61 全國(guó)沿海 10個(gè)省市經(jīng)濟(jì)綜合指標(biāo) 假設(shè)表 61中數(shù)據(jù)已經(jīng)存放在數(shù)據(jù)集 ， 試對(duì)各地區(qū)的經(jīng)濟(jì)發(fā)展水平進(jìn)行主成分分析 。 地區(qū) GDPx1 人均GDPx2 工業(yè)增加值 x3 第三產(chǎn)業(yè)增加值 x4 固定資產(chǎn)投資 x5 基本建設(shè)投資 x6 社會(huì)消費(fèi)品零售總額 x7 海關(guān)出口總額 x8 地方財(cái)政收入 x9 遼寧 13000 529 山東 10550 11643 3851 河北 9047 天津 22068 960 江蘇 14397 2320 上海 40627 709 浙江 7670 16570 3065 福建 4682 13510 1859 廣東 15030 廣西 5062 367 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 1. 使用 INSIGHT模塊做主成分分析的步驟 使用 INSIGHT模塊做主成分分析的步驟如下： 1) 在 INSIGHT模塊中打開數(shù)據(jù)集 ；選擇菜單 “ Analyze”?“Multivariate(Y X)（ 多元分析 ） ” ， 打開 “ Multivariate(Y X)”對(duì)話框； 2) 將做主成分分析的變量 x1～ x9選為 Y變量 ， 將變量diqu選為 Label變量 ， 如圖所示 。 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 圖 61 多元分析對(duì)話框 3) 單擊 “ Method”按鈕 ， 在打開的對(duì)話框中可以選擇計(jì)算協(xié)方差矩陣的特征值或是計(jì)算相關(guān)系數(shù)矩陣的特征值 。 系統(tǒng)默認(rèn)計(jì)算相關(guān)系數(shù)矩陣的特征值和特征向量 ，單擊 “ OK”按鈕返回 。 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 4) 單擊 “ Output”按鈕 ， 在打開的對(duì)話框 （ 圖左 ） 中包括 “ Descriptive Statistics”選項(xiàng) 、 “ Bivariate Plots”選項(xiàng)以及各種多元分析的選項(xiàng) 。 選中 “ Principal Component Analysis”復(fù)選框 ， 單擊下面的 “ Principal Component Options” 按鈕 ， 打開 “ Principal Component Options”對(duì)話框 ， 選中 “ Eigenvectors”復(fù)選框 ， 取消 “ Correlations(Structure)”復(fù)選框 ， 如圖右所示 。 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 2. 主成分的結(jié)果分析 輸出的數(shù)字分析結(jié)果有 4個(gè)部分：簡(jiǎn)單統(tǒng)計(jì)量 、 相關(guān)系數(shù)矩陣 、 相關(guān)系數(shù)矩陣的特征值以及相關(guān)系數(shù)矩陣的特征向量 。 SAS SAS軟件與統(tǒng)計(jì)應(yīng)用教程 3) 圖 65給出相關(guān)系數(shù)矩陣的特征值 （ Eige