【正文】 、旋轉(zhuǎn)坐標(biāo)軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Yl， Y2除了可以對(duì)包含在 Xl， X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。變量 Yl代表了原始數(shù)據(jù)的絕大 部分信息，在研究某經(jīng)濟(jì)或管理問(wèn)題時(shí)，即使不考慮變量 Y2也無(wú)損大局。 Yl和 Y2是兩個(gè)新變量。顯然，如果只考慮 Xl和 X2 中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。 設(shè)有 n個(gè)樣品，每個(gè)樣品有兩個(gè)觀測(cè)變量Xl和 X2，在由變量 Xl和 X2 所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。 然后，從 Y1, Y2, …, Yk中選出對(duì)方差貢獻(xiàn)最大的部分指標(biāo)作為主成分。 Y的方差盡可能大（即，對(duì) n個(gè)對(duì)象的分辨率盡可能強(qiáng)，或者說(shuō)信息損失盡可能少）。 例如 對(duì)于二維數(shù)據(jù) ?????? 975 32121xx由極大似然法估計(jì)的協(xié)方差矩陣為 ???????844231)( XC o v而由矩估計(jì)得到的協(xié)方差矩陣就是將上面矩陣中將系數(shù)換成 1/2后的矩陣 [1]。 ?????????????kXXX?21X設(shè) 是隨機(jī)向量。 一般地，利用主成分分析得到的主成分與原始變量之間有下列關(guān)系： ?每一個(gè)主成分都是原始變量的線性組合 ?主成分的數(shù)目大大少于原始變量的數(shù)目 ?主成分保留了原始變量絕大多數(shù)信息 ?各主成分之間互不相關(guān) 數(shù)學(xué)描述 隨機(jī)向量的方差 協(xié)方差矩陣 所謂隨機(jī)向量是指其各分量中至少有一個(gè)是隨機(jī)變量的向量。對(duì)所導(dǎo)出幾個(gè)主成分（綜合指標(biāo)），要求盡可能多地保留原始變量的信息，且彼此間不相關(guān)。 在社會(huì)經(jīng)濟(jì)的研究中 ， 為了全面系統(tǒng)地分析和研究問(wèn)題 ， 必須考慮許多經(jīng)濟(jì)指標(biāo) ， 這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征 ， 但在某種程度上存在信息的重疊 ， 具有一定的相關(guān)性 。 更有意思的是 ，這三個(gè)變量其實(shí)都是可以直接測(cè)量的 。 在進(jìn)行主成分分析后 ， 竟以 ％ 的精度 ， 用三新變量就取代了原 17個(gè)變量 。 引例 一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(Stone)在 1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究 。 ? 主成分分析就是設(shè)法將原來(lái)指標(biāo)重新組合成一組新的互不相關(guān)的幾個(gè)綜合指標(biāo)來(lái)代替原來(lái)指標(biāo)。 ? 在多數(shù)實(shí)際問(wèn)題評(píng)估中，不同指標(biāo)之間是有一定相關(guān)性。第 11章 主成分分析與因子分析 《 管理統(tǒng)計(jì)學(xué) 》 謝湘生 廣東工業(yè)大學(xué)管理學(xué)院 主成分分析 ? 主成分概念首先由 Karl Pearson在 1901年引進(jìn)，當(dāng)時(shí)只對(duì)非隨機(jī)變量來(lái)討論的。 1933年Hotelling將這個(gè)概念推廣到隨機(jī)變量。由于指標(biāo)較多及指標(biāo)間有一定的相關(guān)性，勢(shì)必增加分析問(wèn)題的復(fù)雜性。同時(shí)根據(jù)實(shí)際需要從中可取幾個(gè)較少的綜合指標(biāo)盡可能多地反映原來(lái)的指標(biāo)的 信息 。 他曾利用美國(guó) 1929一 1938年各年的數(shù)據(jù) ， 得到了 17個(gè)反映國(guó)民收入與支出的變量要素 ， 例如雇主補(bǔ)貼 、 消費(fèi)資料和生產(chǎn)資料 、 純公共支出 、 凈增庫(kù)存 、 股息 、 利息外貿(mào)平衡等等 。 根據(jù)經(jīng)濟(jì)學(xué)知識(shí) ， 斯通給這三個(gè)新變量分別命名為總收入 F 總收入變化率 F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì) F3。 斯通將他得到的主成分與實(shí)際測(cè)量的總收入 i、 總收入變化率?i以及時(shí)間 t因素做相關(guān)分析 ， 得到下表： F1 F2 F3 i △ i t F1 1 F2 0 1 F3 0 0 1 i l Δ i l t 1 主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡(jiǎn)化分析的方法 。 主成分分析是考察多個(gè)數(shù)值變量間相關(guān)性的一種多元統(tǒng)計(jì)方法。它是研究如何通過(guò)少數(shù)幾個(gè)主成分來(lái)解釋多變量的方差 — 協(xié)方差結(jié)構(gòu)。由于在計(jì)量經(jīng)濟(jì)分析中不可避免地會(huì)涉及隨機(jī)向量，因此下面簡(jiǎn)單介紹隨機(jī)向量的特征。則它的期望值為 ?????????????)()()()(21kXEXEXEE?XX的方差（方差 — 協(xié)方差矩陣）為 ? ??????????????????????????????????????????????????)(),(),(),()(),(),(),()()()()()()()(]))() ) (([()(212212121122112211kkkkkkkkkTXV a rXXC o vXXC o vXXC o vXV a rXXC o vXXC o vXXC o vXV a rXEXXEXXEXXEXXEXXEXEEEEV a r?????????XXXXX由于通過(guò)這一表達(dá)式計(jì)算得到的矩陣不僅包括方差也包括協(xié)方差，所以常稱(chēng)它為方差 — 協(xié)方差矩陣，記為VarCov(X)（在不引起混淆的情況下也稱(chēng)為方差矩陣或協(xié)方差矩陣，記為 Var(X) 或 Cov(X)). 樣本描述 調(diào)查 n個(gè)個(gè)體（樣本）在這 k (k n)個(gè)指標(biāo)下的數(shù)值（或者用這 k個(gè)指標(biāo)來(lái)評(píng)價(jià) n個(gè)對(duì)象），就可得到數(shù)據(jù)矩陣 Xk?n: ????????????knkknnkxxxxxxxxxXXXn????????21222211121121...21對(duì)象：對(duì)樣本也可計(jì)算相應(yīng)的協(xié)方差矩陣為 ?????????????knkknnCCCCCCCCCC o v???????212222111211)( X其中 ?????nsjjsiisij xxxxnC1.).) ((1是 Cov(Xi, Xj)=E[(Xi – E(Xi))(Xj – E(Xj))]的 極大似然估計(jì)量 ，也可使用 矩估計(jì)量 ，只需將上面的表達(dá)式中的系數(shù)由 1/n換成 1/(n – 1)即可。 協(xié)方差矩陣的意義在于它刻畫(huà)了變量之間的相關(guān)性 主成分分析的目標(biāo) 就是求原來(lái)變量的線性組合 Yi： kkkkkkkkkkXuXaXaYXaXaXaYXaXaXaY?????????????????22112222112212211111寫(xiě)成矩陣形式就是 ?????????????????????????????????????kkkkkkkk XXXaaaaaaaaaYYY?????????2121222211121121或 AXY ?而且使得 滿(mǎn)足 ? ?TkYYY ?21?YY的協(xié)方差矩陣 Cov(Y)為對(duì)角矩陣，即諸 Yi互不相關(guān)。比如使trCov(Y)=trCov(X)，就沒(méi)有“辨識(shí)能力”方面的損失。 幾何解釋示例 ? 2X1X? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 為了方便，我們?cè)诙S空間中討論主成分的幾何意義。 由圖可以看出這 n個(gè) 樣本點(diǎn)無(wú)論是沿著 Xl 軸方向或 X2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量 Xl 的方差和 X2 的方差定量地表示。 如果我們將 Xl 軸和 X2軸先平移，再同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn) ?角度，得到新坐標(biāo)軸 Yl和 Y2。 ????????????cossi nsi ncos211211xxyxxyxU ??????????????????????2121cossi nsi ncosxxyy????正交矩陣，即有為旋轉(zhuǎn)變換矩陣，它是U ?IUUUU ???? ? ,1