【正文】 的成績(jī) xi是由一個(gè)起公共作用的智力因子 f與起特殊作用的因子 ei所決定的。這幾個(gè)假想變量能夠反映原來(lái)眾多變量的主要信息。 kk XuXuY 11111 ??? ?1111 )( ???? uΣu XYVa r（二） 第二主成分 在約束條件 下，尋找第二主成分，取 0),(21 ?YYC o vkk XuXuY 21122 ??? ?因?yàn)? 所以約束條件 滿足。 如果我們將 Xl 軸和 X2軸先平移，再同時(shí)按逆時(shí)針方向旋轉(zhuǎn) ?角度，得到新坐標(biāo)軸 Yl和 Y2。 主成分分析是考察多個(gè)數(shù)值變量間相關(guān)性的一種多元統(tǒng)計(jì)方法。 ? 在多數(shù)實(shí)際問題評(píng)估中，不同指標(biāo)之間是有一定相關(guān)性。 ?????????????kXXX?21X設(shè) 是隨機(jī)向量。 ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Yl， Y2除了可以對(duì)包含在 Xl， X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問題時(shí)避免了信息重疊所帶來(lái)的虛假性。貢獻(xiàn)率說(shuō)明該主成分反映了原來(lái) k個(gè)指標(biāo)多大的信息，有多大的綜合能力 。 而原來(lái)變量可用這三個(gè)公共因子可以表示為： niFFFx iiiii , . .. ,2,1332211 ????? ????公共因子 是不可觀測(cè)的潛在因子 。 基于這樣的假設(shè)，可以證明 （ 1） aij也是 xi與 fj之間的簡(jiǎn)單相關(guān)系數(shù) 。 相關(guān)系數(shù)實(shí)際上反映的是公共因子起的作用。 （ 2） 若 ε未知 ，求負(fù)載矩陣 A的方法（事實(shí)上通常都未知 ε） 現(xiàn) ε未知，先 用 X的相關(guān)系數(shù)矩陣 R(X)代替上面的R*(X)。由于 Ak?m是負(fù)載矩陣，因此AAT=R*(X)。 對(duì)公共因子實(shí)際意義的解釋 在旋轉(zhuǎn)完成后，按照負(fù)載絕對(duì)值的大小，對(duì)公共因子的實(shí)際含義進(jìn)行解釋。 在表達(dá)式 fj = xβj 兩端左乘 xT, 得 xTfj = xTxβj , 即 ?????????????????????????????????????????????????????????????????kjjjnknnkknkkknnnjjjnkkknnxxxxxxxxxxxxxxxxxxfffxxxxxxxxx??????????????????????????2121222211121121222121211121212221212111上式左端的 第 i個(gè)分量 可以寫成（注意 fj與 xi是經(jīng)過(guò)了標(biāo)準(zhǔn)化的，因此均值為零，標(biāo)準(zhǔn)差為 1）： ?????????ntjtnttinttjtinttjti fxfxfx121211即 恰好是兩個(gè)向量 fj與 xi的相關(guān)系數(shù)，也就是第 i個(gè)變量在第 j個(gè)公共因子的負(fù)載 aij。而目的往往是利用得到的公共因子作進(jìn)一步的分析。 ?方差最大法 (Varimax)：使每個(gè)因子上的負(fù)載盡可能向 ?1的方向，或 0的方向靠近。 ?碎石準(zhǔn)則 (Scree Test Criterion)：把特征值從大到小，繪在坐標(biāo)圖上（橫坐標(biāo)是特征值從大到小的編號(hào)，縱坐標(biāo)是特征根的值），把特征根減小速度變緩的特征根都去掉。 可以證明： ??? εAAX ()( C O VC O V T由于 ε已知，所以 已知，記 ?? εX ()( C O VC O V???? εXAAX ()()(* C O VC O VR T現(xiàn)在的任務(wù)是 由已知的 R*(X)來(lái)求（ k?m階）矩陣 A。所以 在進(jìn)行因子分析之前，必須先檢驗(yàn) X1, X2, …, Xk之間的相關(guān)性 。 因子分析最初由英國(guó)心理學(xué)家 C. Spearman提出。它通過(guò)研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測(cè)數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量來(lái)表示其基本的數(shù)據(jù)結(jié)構(gòu)。 如果第一主成分的信息不夠，則需要尋找第二主成分。顯然，如果只考慮 Xl和 X2 中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。 在社會(huì)經(jīng)濟(jì)的研究中 ， 為了全面系統(tǒng)地分析和研究問題 ， 必須考慮許多經(jīng)濟(jì)指標(biāo) ， 這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征 ， 但在某種程度上存在信息的重疊 ， 具有一定的相關(guān)性 。由于指標(biāo)較多及指標(biāo)間有一定的相關(guān)性，勢(shì)必增加分析問題的復(fù)雜性。則它的期望值為 ?????????????)()()()(21kXEXEXEE?XX的方差（方差 — 協(xié)方差矩陣）為 ? ??????????????????????????????????????????????????)(),(),(),()(),(),(),()()()()()()()(]))() ) (([()(212212121122112211kkkkkkkkkTXV a rXXC o vXXC o vXXC o vXV a rXXC o vXXC o vXXC o vXV a rXEXXEXXEXXEXXEXXEXEEEEV a r?????????XXXXX由于通過(guò)這一表達(dá)式計(jì)算得到的矩陣不僅包括方差也包括協(xié)方差，所以常稱它為方差 — 協(xié)方差矩陣，記為VarCov(X)（在不引起混淆的情況下也稱為方差矩陣或協(xié)方差矩陣，記為 Var(X) 或 Cov(X)). 樣本描述 調(diào)查 n個(gè)個(gè)體（樣本）在這 k (k n)個(gè)指標(biāo)下的數(shù)值（或者用這 k個(gè)指標(biāo)來(lái)評(píng)價(jià) n個(gè)對(duì)象），就可得到數(shù)據(jù)矩陣 Xk?n: ????????????knkknnkxxxxxxxxxXXXn????????21222211121121...21對(duì)象：對(duì)樣本也可計(jì)算相應(yīng)的協(xié)方差矩陣為 ?????????????knkknnCCCCCCCCCC o v???????212222111211)( X其中 ?????nsjjsiisij xxxxnC1.).) ((1是 Cov(Xi, Xj)=E[(Xi – E(Xi))(Xj – E(Xj))]的 極大似然估計(jì)量 ，也可使用 矩估計(jì)量 ，只需將上面的表達(dá)式中的系數(shù)由 1/n換成 1/(n – 1)即可。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Yl軸上，而 Y2軸上的方差很小。 ??kiii1?? 2）累積貢獻(xiàn)率：前 s個(gè)主成分共有多大的綜合能力，用這 s個(gè)主成分的方差和在全部方差中所占比重 來(lái)描述，稱為累積貢獻(xiàn)率。 24個(gè)變量共享這三個(gè)因子 ， 但是每個(gè)變量又有自己的個(gè)性 ， 不被公共因子 包含的部分 ， 稱為特殊因子 。 事實(shí)上，由于 xi與 fj都是標(biāo)準(zhǔn)化了的（其方差都為 1），所以，它們之間的簡(jiǎn)單相關(guān)系數(shù)為 ijjikikjijiji afefafxfDxDfx ???? ? ),c o v (),c o v ()()(),c o v (（ 2） xi與 xj的簡(jiǎn)單相關(guān)系數(shù) rij，是兩個(gè)變量的公共因子對(duì)應(yīng)系數(shù)的乘積之和。 由于偏相關(guān)系數(shù)是在控制了其他變量對(duì)兩變量影響的條件下，計(jì)算出來(lái)的凈相關(guān)系數(shù)，如果變量之間確實(shí)存在較強(qiáng)的相互重疊傳遞影響，即如果變量中確實(shí)能夠提取出公共因子，那么控制了這此影響后的偏相關(guān)系數(shù)必然比較小。然后像上面一樣求出