【正文】 對樣本也可計(jì)算相應(yīng)的協(xié)方差矩陣為 ?????????????knkknnCCCCCCCCCC o v???????212222111211)( X其中 ?????nsjjsiisij xxxxnC1.).) ((1是 Cov(Xi, Xj)=E[(Xi – E(Xi))(Xj – E(Xj))]的 極大似然估計(jì)量 ，也可使用 矩估計(jì)量 ，只需將上面的表達(dá)式中的系數(shù)由 1/n換成 1/(n – 1)即可。 斯通將他得到的主成分與實(shí)際測量的總收入 i、 總收入變化率?i以及時(shí)間 t因素做相關(guān)分析 ， 得到下表： F1 F2 F3 i △ i t F1 1 F2 0 1 F3 0 0 1 i l Δ i l t 1 主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡化分析的方法 。由于指標(biāo)較多及指標(biāo)間有一定的相關(guān)性，勢必增加分析問題的復(fù)雜性。 ? 主成分分析就是設(shè)法將原來指標(biāo)重新組合成一組新的互不相關(guān)的幾個(gè)綜合指標(biāo)來代替原來指標(biāo)。 在社會經(jīng)濟(jì)的研究中 ， 為了全面系統(tǒng)地分析和研究問題 ， 必須考慮許多經(jīng)濟(jì)指標(biāo) ， 這些指標(biāo)能從不同的側(cè)面反映我們所研究的對象的特征 ， 但在某種程度上存在信息的重疊 ， 具有一定的相關(guān)性 。 例如 對于二維數(shù)據(jù) ?????? 975 32121xx由極大似然法估計(jì)的協(xié)方差矩陣為 ???????844231)( XC o v而由矩估計(jì)得到的協(xié)方差矩陣就是將上面矩陣中將系數(shù)換成 1/2后的矩陣 [1]。顯然，如果只考慮 Xl和 X2 中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會有較大的損失。 Yl和 Y2稱為原始變量 X1和 X2的綜合變量。 如果第一主成分的信息不夠，則需要尋找第二主成分。 ????kiisii11?? 我們進(jìn)行主成分分析的目的之一是希望用盡可能少的主成分 Y1， Y2， … ， Ys（ s≤k） 代替原來的 k個(gè)指標(biāo) 。它通過研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量來表示其基本的數(shù)據(jù)結(jié)構(gòu)。 321 FFF 、i?因子分析的主要作用： （ 1） 尋求基本結(jié)構(gòu) 在多元統(tǒng)計(jì)分析中我們經(jīng)常遇到諸多變量之間存在強(qiáng)相關(guān)的問題。 因子分析最初由英國心理學(xué)家 C. Spearman提出。 jmimjijiij aaaaaar ???? ?2211（ 3） xi的方差為： 1)()(2 ??? iii eV a rhxV a r其中 22 2212 imiii aaah ???? ? （即負(fù)載矩陣第 i行元素的平方和）稱為 公因子方差 (Communality)， 又稱為 公共度 或 公共方差 ，代表了xi的方差中由公共因子決定的部分。所以 在進(jìn)行因子分析之前，必須先檢驗(yàn) X1, X2, …, Xk之間的相關(guān)性 。 因此 KMO越接近 1，越適合于公共因子分析。 可以證明： ??? εAAX ()( C O VC O V T由于 ε已知，所以 已知，記 ?? εX ()( C O VC O V???? εXAAX ()()(* C O VC O VR T現(xiàn)在的任務(wù)是 由已知的 R*(X)來求（ k?m階）矩陣 A。若 111 ba ??TR 11)( aaX ?接近對角矩陣，則說明剩下的主要是特殊因子的影響了，計(jì)算停止。 ?碎石準(zhǔn)則 (Scree Test Criterion)：把特征值從大到小，繪在坐標(biāo)圖上（橫坐標(biāo)是特征值從大到小的編號，縱坐標(biāo)是特征根的值），把特征根減小速度變緩的特征根都去掉。 這表明 AT也是負(fù)載矩陣。 ?方差最大法 (Varimax)：使每個(gè)因子上的負(fù)載盡可能向 ?1的方向，或 0的方向靠近。但一般而言，對公共因子的合理解釋建立在對實(shí)際問題的深刻理解與把握的基礎(chǔ)之上，是 實(shí)踐性很強(qiáng)的藝術(shù) 。而目的往往是利用得到的公共因子作進(jìn)一步的分析。同理可說明 右端的矩陣 xTx恰好是 x的相關(guān)系數(shù)矩陣 R。 在表達(dá)式 fj = xβj 兩端左乘 xT, 得 xTfj = xTxβj , 即 ?????????????????????????????????????????????????????????????????kjjjnknnkknkkknnnjjjnkkknnxxxxxxxxxxxxxxxxxxfffxxxxxxxxx??????????????????????????2121222211121121222121211121212221212111上式左端的 第 i個(gè)分量 可以寫成（注意 fj與 xi是經(jīng)過了標(biāo)準(zhǔn)化的，因此均值為零，標(biāo)準(zhǔn)差為 1）： ?????????ntjtnttinttjtinttjti fxfxfx121211即 恰好是兩個(gè)向量 fj與 xi的相關(guān)系數(shù)，也就是第 i個(gè)變量在第 j個(gè)公共因子的負(fù)載 aij。第二個(gè)公共因子 f2對雞肉、魚肉影響大，可以解釋為營養(yǎng)雖好，但制作不便，或食用相對較麻煩。 對公共因子實(shí)際意義的解釋 在旋轉(zhuǎn)完成后，按照負(fù)載絕對值的大小，對公共因子的實(shí)際含義進(jìn)行解釋。 坐標(biāo)軸的旋轉(zhuǎn)，有兩種基本方式： 正交旋轉(zhuǎn) （保持因子之間的正交性）與 斜交旋轉(zhuǎn) （旋轉(zhuǎn)后因子之間不再保持正交）。由于 Ak?m是負(fù)載矩陣，因此AAT=R*(X)。 確定因子個(gè)數(shù)的方法。 （ 2） 若 ε未知 ，求負(fù)載矩陣 A的方法（事實(shí)上通常都未知 ε） 現(xiàn) ε未知，先 用 X的相關(guān)系數(shù)矩陣 R(X)代替上面的R*(X)。 KMO的值 在 ， 非常適合 KMO的值 在 ~， 很適合 KMO的值 在 ~， 適合 KMO的值 在 ~， 不很適合 KMO的值 在 ~， 很勉強(qiáng) KMO的值 在 ， 不適合 注： 此外還有經(jīng)驗(yàn)方法，如果相關(guān)系數(shù)矩陣中大部分相關(guān)系數(shù)都小于 ，那么這些變量就不適合做因子分析。 相關(guān)系數(shù)實(shí)際上反映的是公共因子起的作用。 如果用大寫字母表示相應(yīng)的隨機(jī)變量（相應(yīng)樣本值的總體變量），則 總體模型 可以表示為： kiFaFaFaX imimiii , .. .,2,1,2211 ?????? ??其矩陣表示為： εAFX ??其中， A是確定型矩陣， X, F都是標(biāo)準(zhǔn)化了的隨機(jī)向量，且 F1, F2, …, Fm互不相關(guān)，所以 E(X)=0, E(F)=0, Cov(F, F)=Cov(F)=Im?m, 隨機(jī)變量 ε1, ε2, …, εk與 F相互獨(dú)立，且 E(ε)=0, ????????????22100),()(kC o vC o v???????εεε。 基于這樣的假設(shè)，可以證明 （ 1） aij也是 xi與 fj之間的簡單相關(guān)系數(shù) 。 主成分分析 :原始變量的線性組合表示新的綜合變量，即主成分； 因子分析：潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量。 而原來變量可用這三個(gè)公共因子可以表示為： niFFFx iiiii , . .. ,2,1332211 ????? ????公共因子 是不可觀測的潛在因子 。 XbXbXb TqqTT YYY ??? . .. , 2211對于步驟（ 3），也可以按如下方式進(jìn)行： 取所有特征根大于 1的特征向量（設(shè)有 s個(gè)）來計(jì)算主成分，即 XbXbXb TssTT YYY ??? . . . , 2211注：這種方法計(jì)算得到的主成分個(gè)數(shù)，可能與（ 3）中不同，因而有可能累積貢獻(xiàn)率達(dá)不到 85%以上。貢獻(xiàn)率說明該主成分反映了原來 k個(gè)指標(biāo)多大的信息，有多大的綜合能力 。 設(shè)有 k維 單位 向量 ? ?121212111211111)(auuuuuuaaUUaaa???????????????????????????????????????????????kkkkXYV ar??????????? ??? 121111 , kaaa ?aXa 112211111 ?????? kk XaXaXaY ?1111111111111111211121111)()(???????????????????????????????????????????aaaUUaauuaauuau