【正文】 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Yl， Y2除了可以對(duì)包含在 Xl， X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問題時(shí)避免了信息重疊所帶來的虛假性。 為什么要根據(jù)方差確定主成分？ 情形 II下總分的方差為 0，顯然不能反映三個(gè)學(xué)生各科成績(jī)各有所長(zhǎng)的實(shí)際情形，而紅色標(biāo)記的變量對(duì)應(yīng)的方差最大，可反映原始數(shù)據(jù)的大部分信息 有關(guān)矩陣知識(shí)的回顧 一、兩個(gè)線性代數(shù)的結(jié)論 ??????????????k??????????00000021AUU1kii ?., ??其中 是 A的特征根。 設(shè)有 k維 單位 向量 ? ?121212111211111)(auuuuuuaaUUaaa???????????????????????????????????????????????kkkkXYV ar??????????? ??? 121111 , kaaa ?aXa 112211111 ?????? kk XaXaXaY ?1111111111111111211121111)()(???????????????????????????????????????????aaaUUaauuaauuauauaauuakiiikiiikiikiiikiiii即 11 )( ??YV ar 當(dāng)且僅當(dāng) a1 =u1時(shí)，即 時(shí)， 有最大的方差 ?1。 0),(),( 121122121 ???????? uuuΣuXuXu ?XC o vYYC o v 而 ， 對(duì) k維單位向量 ， 若 且 則有 ???????????kiiikiiiiYV a r122122222 )()( uaauuaΣaa ??????kii222 )( ua 2?2a0),( 21 ?YYC o vXa 22 ??Y12 ua ??????kiii122 auua 2?22222 ??? ?????? aaaUUa 22kk XuXuXuY 22221122 ???? ? 所以如果取線性變換： 則 的方差就可達(dá)到第二大 。貢獻(xiàn)率說明該主成分反映了原來 k個(gè)指標(biāo)多大的信息，有多大的綜合能力 。 一些常見的問題中主成分為 2到 3個(gè) 。 XbXbXb TqqTT YYY ??? . .. , 2211對(duì)于步驟（ 3），也可以按如下方式進(jìn)行： 取所有特征根大于 1的特征向量（設(shè)有 s個(gè)）來計(jì)算主成分，即 XbXbXb TssTT YYY ??? . . . , 2211注：這種方法計(jì)算得到的主成分個(gè)數(shù)，可能與（ 3）中不同，因而有可能累積貢獻(xiàn)率達(dá)不到 85%以上。原始的變量是可觀測(cè)的顯在變量，而假想變量是 不可觀測(cè)的潛在變量 ，稱為（公共）因子。 而原來變量可用這三個(gè)公共因子可以表示為： niFFFx iiiii , . .. ,2,1332211 ????? ????公共因子 是不可觀測(cè)的潛在因子 。例如回歸分析中的多重共線性問題。 主成分分析 :原始變量的線性組合表示新的綜合變量，即主成分； 因子分析：潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量。 kiefax iii , . . . ,2,1, ???后來，美國(guó)心理學(xué)家 L. Thurstone認(rèn)為智力因子多于一個(gè)，于是模型成為 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?因此，我們現(xiàn)在面臨的數(shù)據(jù)矩陣 Xk?n (k n)是 ????????????knkknnkxxxxxxxxxXXXn????????21222211121121. . .21指標(biāo)指標(biāo)指標(biāo)對(duì)象：所面臨的 因子分析的（樣本觀察值的）數(shù)學(xué)模型 是 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?其中 m k。 基于這樣的假設(shè)，可以證明 （ 1） aij也是 xi與 fj之間的簡(jiǎn)單相關(guān)系數(shù) 。實(shí)際上 ?ih)()()()(12222212iiiimiiijijieV a rheV a raaaefaExV a r?????????? ??2ih（ 4） fj因子的貢獻(xiàn) (Contribution, 記為 Vj ), 是該因子在模型中的所有負(fù)載的平方和（負(fù)載矩陣第 j列元素的平方和）： 22221 kjjjj aaaV ???? ?由于 xi已標(biāo)準(zhǔn)化，所以 k個(gè)變量的總方差為 k， Vj / k表示第 j個(gè)公共因子的貢獻(xiàn)在所有方差中占的比例 。 如果用大寫字母表示相應(yīng)的隨機(jī)變量（相應(yīng)樣本值的總體變量），則 總體模型 可以表示為： kiFaFaFaX imimiii , .. .,2,1,2211 ?????? ??其矩陣表示為： εAFX ??其中， A是確定型矩陣， X, F都是標(biāo)準(zhǔn)化了的隨機(jī)向量，且 F1, F2, …, Fm互不相關(guān)，所以 E(X)=0, E(F)=0, Cov(F, F)=Cov(F)=Im?m, 隨機(jī)變量 ε1, ε2, …, εk與 F相互獨(dú)立，且 E(ε)=0, ????????????22100),()(kC o vC o v???????εεε。有時(shí)這樣的檢驗(yàn)也稱為 適當(dāng)性檢驗(yàn) 。 相關(guān)系數(shù)實(shí)際上反映的是公共因子起的作用。 （ 2）巴特萊特球體相關(guān)檢驗(yàn) (Bartlett test of sphericity)。 KMO的值 在 ， 非常適合 KMO的值 在 ~， 很適合 KMO的值 在 ~， 適合 KMO的值 在 ~， 不很適合 KMO的值 在 ~， 很勉強(qiáng) KMO的值 在 ， 不適合 注： 此外還有經(jīng)驗(yàn)方法，如果相關(guān)系數(shù)矩陣中大部分相關(guān)系數(shù)都小于 ，那么這些變量就不適合做因子分析。 我們的目標(biāo)是要使第一個(gè)公共因子 f1的方差貢獻(xiàn) 2 12212111 kaaaV ???? ?盡可能大，同時(shí)必須滿足 ，所以目標(biāo)函數(shù)和約束條件是： )(* XAA RT ?)(*或?qū)懗删?陣s . t .m ax*121221211XAA RraaaaaTijmttjitk???????形式?可以證明： 若 b1是對(duì)應(yīng)于 R*(X)的最大特征值 λ1的任意一個(gè)模長(zhǎng)為 1的特征向量，則 就是滿足上述數(shù)學(xué)規(guī)劃問題的一個(gè)解 。 （ 2） 若 ε未知 ，求負(fù)載矩陣 A的方法（事實(shí)上通常都未知 ε） 現(xiàn) ε未知，先 用 X的相關(guān)系數(shù)矩陣 R(X)代替上面的R*(X)。若 222 ba ??TTR 2211)( aaaaX ??接近對(duì)角矩陣，則說明剩下的主要是特殊因子的影響了，計(jì)算停止。 確定因子個(gè)數(shù)的方法。 上述求公共因子的方法稱為 主成分法。由于 Ak?m是負(fù)載矩陣，因此AAT=R*(X)。 2. 旋轉(zhuǎn)并解釋因子 負(fù)載矩陣 Ak?m不是唯一的，對(duì)任意已經(jīng)得到的一個(gè)負(fù)載矩陣 Ak?m， 都可以通過右乘一個(gè)正交矩陣 T得到一個(gè)新的負(fù)載矩陣 AT。 坐標(biāo)軸的旋轉(zhuǎn)，有兩種基本方式： 正交旋轉(zhuǎn) （保持因子之間的正交性）與 斜交旋轉(zhuǎn) （旋轉(zhuǎn)后因子之間不再保持正交）。 其中 方差最大法是最常用的 方法。 對(duì)公共因子實(shí)際意義的解釋 在旋轉(zhuǎn)完成后，按照負(fù)載絕對(duì)值的大小，對(duì)公共因子的實(shí)際含義進(jìn)行解釋。實(shí)際上，絕大多數(shù)因子分析并沒有產(chǎn)生如此明確的結(jié)果。第二個(gè)公共因子 f2對(duì)雞肉、魚肉影響大，可以解釋為營(yíng)養(yǎng)雖好，但制作不便，或食用相對(duì)較麻煩。因此需要計(jì)算 因子值（得分 , score） 。 在表達(dá)式 fj = xβj 兩端左乘 xT, 得 xTfj = xTxβj , 即 ?????????????????????????????????????????????????????????????????kjjjnknnkknkkknnnjjjnkkknnxxxxxxxxxxxxxxxxxxfffxxxxxxxxx??????????????????????????2121222211121121222121211121212221212111上式左端的 第 i個(gè)分量 可以寫成（注