【正文】 V???? εXAAX ()()(* C O VC O VR T現(xiàn)在的任務(wù)是 由已知的 R*(X)來求（ k?m階）矩陣 A。 KMO的值 在 ， 非常適合 KMO的值 在 ~， 很適合 KMO的值 在 ~， 適合 KMO的值 在 ~， 不很適合 KMO的值 在 ~， 很勉強(qiáng) KMO的值 在 ， 不適合 注： 此外還有經(jīng)驗(yàn)方法，如果相關(guān)系數(shù)矩陣中大部分相關(guān)系數(shù)都小于 ，那么這些變量就不適合做因子分析。 沒有針對 KMO測度的顯著性檢驗(yàn)。 （ 2）巴特萊特球體相關(guān)檢驗(yàn) (Bartlett test of sphericity)。 因此 KMO越接近 1，越適合于公共因子分析。 相關(guān)系數(shù)實(shí)際上反映的是公共因子起的作用。 （ 1） KMO樣本測度 (KaiserMeyerOlkin Measure of Sampling Adequacy)。有時(shí)這樣的檢驗(yàn)也稱為 適當(dāng)性檢驗(yàn) 。所以 在進(jìn)行因子分析之前，必須先檢驗(yàn) X1, X2, …, Xk之間的相關(guān)性 。 如果用大寫字母表示相應(yīng)的隨機(jī)變量（相應(yīng)樣本值的總體變量），則 總體模型 可以表示為： kiFaFaFaX imimiii , .. .,2,1,2211 ?????? ??其矩陣表示為： εAFX ??其中， A是確定型矩陣， X, F都是標(biāo)準(zhǔn)化了的隨機(jī)向量，且 F1, F2, …, Fm互不相關(guān)，所以 E(X)=0, E(F)=0, Cov(F, F)=Cov(F)=Im?m, 隨機(jī)變量 ε1, ε2, …, εk與 F相互獨(dú)立，且 E(ε)=0, ????????????22100),()(kC o vC o v???????εεε。此外 在因子模型中除了公共因子外還存在特殊因子，因此公共因子只能解釋原來變量的部分方差，而主成分能解釋原來變量的所有方差 。實(shí)際上 ?ih)()()()(12222212iiiimiiijijieV a rheV a raaaefaExV a r?????????? ??2ih（ 4） fj因子的貢獻(xiàn) (Contribution, 記為 Vj ), 是該因子在模型中的所有負(fù)載的平方和（負(fù)載矩陣第 j列元素的平方和）： 22221 kjjjj aaaV ???? ?由于 xi已標(biāo)準(zhǔn)化，所以 k個(gè)變量的總方差為 k， Vj / k表示第 j個(gè)公共因子的貢獻(xiàn)在所有方差中占的比例 。 jmimjijiij aaaaaar ???? ?2211（ 3） xi的方差為： 1)()(2 ??? iii eV a rhxV a r其中 22 2212 imiii aaah ???? ? （即負(fù)載矩陣第 i行元素的平方和）稱為 公因子方差 (Communality)， 又稱為 公共度 或 公共方差 ，代表了xi的方差中由公共因子決定的部分。 基于這樣的假設(shè)，可以證明 （ 1） aij也是 xi與 fj之間的簡單相關(guān)系數(shù) 。 矩陣 ????????????kmkkmmaaaaaaaaa???????212222111211稱為 公共因子的負(fù)載矩陣 。 kiefax iii , . . . ,2,1, ???后來，美國心理學(xué)家 L. Thurstone認(rèn)為智力因子多于一個(gè)，于是模型成為 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?因此，我們現(xiàn)在面臨的數(shù)據(jù)矩陣 Xk?n (k n)是 ????????????knkknnkxxxxxxxxxXXXn????????21222211121121. . .21指標(biāo)指標(biāo)指標(biāo)對象：所面臨的 因子分析的（樣本觀察值的）數(shù)學(xué)模型 是 kiefafafax imimiii , .. . ,2,1,2211 ?????? ?其中 m k。 因子分析最初由英國心理學(xué)家 C. Spearman提出。 主成分分析 :原始變量的線性組合表示新的綜合變量，即主成分； 因子分析：潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量。 （ 2） 數(shù)據(jù)化簡 通過因子分析可以用所找出的少數(shù)幾個(gè)因子代替原來的變量做回歸分析、聚類分析、判別分析等。例如回歸分析中的多重共線性問題。 321 FFF 、i?因子分析的主要作用： （ 1） 尋求基本結(jié)構(gòu) 在多元統(tǒng)計(jì)分析中我們經(jīng)常遇到諸多變量之間存在強(qiáng)相關(guān)的問題。 而原來變量可用這三個(gè)公共因子可以表示為： niFFFx iiiii , . .. ,2,1332211 ????? ????公共因子 是不可觀測的潛在因子 。 但消費(fèi)者主要關(guān)心的是三個(gè)方面，即商店的環(huán)境、商店的服務(wù)和商品的價(jià)格。原始的變量是可觀測的顯在變量，而假想變量是 不可觀測的潛在變量 ，稱為（公共）因子。它通過研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量來表示其基本的數(shù)據(jù)結(jié)構(gòu)。 XbXbXb TqqTT YYY ??? . .. , 2211對于步驟（ 3），也可以按如下方式進(jìn)行： 取所有特征根大于 1的特征向量（設(shè)有 s個(gè)）來計(jì)算主成分，即 XbXbXb TssTT YYY ??? . . . , 2211注：這種方法計(jì)算得到的主成分個(gè)數(shù)，可能與（ 3）中不同，因而有可能累積貢獻(xiàn)率達(dá)不到 85%以上。 （ 2）求 R的特征根 ?1， ?2， … ， ?k（從大到小排列）及一組相互正交的單位特征向量 b1， b2， … ， bk。 一些常見的問題中主成分為 2到 3個(gè) 。 ????kiisii11?? 我們進(jìn)行主成分分析的目的之一是希望用盡可能少的主成分 Y1， Y2， … ， Ys（ s≤k） 代替原來的 k個(gè)指標(biāo) 。貢獻(xiàn)率說明該主成分反映了原來 k個(gè)指標(biāo)多大的信息，有多大的綜合能力 。 協(xié)方差矩陣 ?的 對角線上的元素之和等于特征根之和 。 0),(),( 121122121 ???????? uuuΣuXuXu ?XC o vYYC o v 而 ， 對 k維單位向量 ， 若 且 則有 ???????????kiiikiiiiYV a r122122222 )()( uaauuaΣaa ??????kii222 )( ua 2?2a0),( 21 ?YYC o vXa 22 ??Y12 ua ??????kiii122 auua 2?22222 ??? ?????? aaaUUa 22kk XuXuXuY 22221122 ???? ? 所以如果取線性變換： 則 的方差就可達(dá)到第二大 。 如果第一主成分的信息不夠，則需要尋找第二主成分。 設(shè)有 k維 單位 向量 ? ?121212111211111)(auuuuuuaaUUaaa???????????????????????????????????????????????kkkkXYV ar??????????? ??? 121111 , kaaa ?aXa 112211111 ?????? kk XaXaXaY ?1111111111111111211121111)()(???????????????????????????????????????????aaaUUaauuaauuauauaauuakiiikiiikiikiiikiiii即 11 )( ??YV ar 當(dāng)且僅當(dāng) a1 =u1時(shí)，即 時(shí)， 有最大的方差 ?1。 而 U恰好是由特征根相對應(yīng)的單位特征向量所組成的正交陣 。 為什么要根據(jù)方差確定主成分？ 情形 II下總分的方差為 0，顯然不能反映三個(gè)學(xué)生各科成績各有所長的實(shí)際情形，而紅色標(biāo)記的變量對應(yīng)的方差最大，可反映原始數(shù)據(jù)的大部分信息 有關(guān)矩陣知識的回顧 一、兩個(gè)線性代數(shù)的結(jié)論 ??????????????k??????????00000021AUU1kii ?., ??其中 是 A的特征根。 Yl和 Y2稱為原始變量 X1和 X2的綜合變量。 ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移、旋轉(zhuǎn)坐標(biāo)軸 ? ? 2X1X1Y2Y? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的幾何解釋 平移