【正文】 可以看到除受教育程度信息損失較大外，主成分幾乎包含了各個(gè)原始變量至少 90%的信息。依次點(diǎn)選 Analyze→Data Reduction→Factor … .進(jìn)入 Factor Analysis（因子分析）對(duì)話框。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 69 目錄 上頁 下頁 返回 結(jié)束 167。()( ?????? pppp ???? μXμX （ ） 進(jìn)而推出 0)39。 這樣求得的主成分已經(jīng)與沒有第一個(gè)指標(biāo)重疊信息時(shí)不一樣了，因?yàn)橹鞒煞址讲畹目偤鸵呀?jīng)變?yōu)? 而不是 ，每個(gè)主成分解釋方差的比例也相應(yīng)發(fā)生變化，而整個(gè)分析過程沒有對(duì)重疊信息作任何特殊處理。在對(duì)待重疊信息方面，生成的新的綜合變量（主成分）是有效剔除了原始變量中的重疊信息，還是僅僅按原來的模式將原始信息中的絕大部分用幾個(gè)不相關(guān)的新變量表示出來，這一點(diǎn)還值得討論。實(shí)際上，主成分分析就是對(duì)矩陣結(jié)構(gòu)的分析，其中主要用到的技術(shù)是矩陣運(yùn)算的技術(shù)及矩陣對(duì)角化和矩陣的譜分解技術(shù)。其原因是由于對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的過程實(shí)際上也就是抹殺原始變量離散程度差異的過程，標(biāo)準(zhǔn)化后的各變量方差相等均為 1，而實(shí)際上方差也是對(duì)數(shù)據(jù)信息的重要概括形式，也就是說，對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化后抹殺了一部分重要信息，因此才使得標(biāo)準(zhǔn)化后各變量在對(duì)主成分構(gòu)成中的作用趨于相等。 對(duì)產(chǎn)值與利稅均以萬元計(jì)，原始數(shù)據(jù)資料陣變?yōu)橐韵滦问剑? ?????????????????750312066718008501530754240058612501X相關(guān)矩陣沒有變化，協(xié)方差矩陣變?yōu)椋? ????????? 9 2 72 4 2 6 52 4 2 6 55 5 8 9 5 01Σ2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 56 目錄 上頁 下頁 返回 結(jié)束 167。第一主成分與原始變量的因子負(fù)荷量分別為： ),( 1111111 ???????? XY),( 2211221 ???????? XY由此可知，第一主成分反應(yīng)了利稅指標(biāo) ，方差較大的利稅指標(biāo)對(duì)第一主成分起了主要作用。在實(shí)際分析過程中，我們可以從原始數(shù)據(jù)的協(xié)方差矩陣出發(fā)，也可以從原始數(shù)據(jù)的相關(guān)矩陣出發(fā)，其求主成分的過程是一致的。,39。γ?????? ???pji10)γ39。 p?? ,2 ?i? pi ,2,1 ?? 0?? IR ? p ?iju 因?yàn)? 為正定矩陣，所以其特征根都是非負(fù)實(shí)數(shù)，將它們依大小順序排列 ，其相應(yīng)的特征向量記為 ，則相對(duì)于 的方差為： R021 ???? p??? ?pγγγ , 21 ? 1Y111 )39。u)Yc o v ( ???? 其中 為對(duì)角陣 Λ?????????????????p????????????000000000000321Λ2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 43 目錄 上頁 下頁 返回 結(jié)束 167。 樣本主成分的導(dǎo)出 記 11 ( ) ( ) 39。γZγ 12/1? ??? ?iii 39。由回歸分析知識(shí)知， 與 的全相關(guān)系數(shù)的平方和等于 1，而因?yàn)? 之間互不相關(guān)，所以 與 的全相關(guān)系數(shù)的平方和也就是 ，因此，性質(zhì) 5成立。e,39。在下一章因子分析中還將要對(duì)因子負(fù)荷量的統(tǒng)計(jì)意義給出更詳細(xì)的解釋。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 32 目錄 上頁 下頁 返回 結(jié)束 167。11 ?Y pXXX ， ....21Xu39。PΣ ??? ? ?? ????????pipiiii trtrtrtr1 1)()()39。39。 IuuXuY ?? 39。39。39。, . . .,( 21 pXXX?XΣ p??? ?????? 21Σnγγγ ， ???21 Appiiii XXXY γγγ ?????? 2211 ),...,2,1( p?039。Axx39。2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 24 目錄 上頁 下頁 返回 結(jié)束 167。 An??? ， ???21n??? ??? ?21 pγγγ ， ???21 A1m a x ??? xx39。 總體主成分 主成分分析的基本思想就是在保留原始變量盡可能多的信息的前提下達(dá)到降維的目的，從而簡化問題的復(fù)雜性并抓住問題的主要矛盾。 21,YY21,YY ,X39。139。( d??? ? μXΣμX d0μ? 上式有如下展開形式： 222222112112 211 dXXXX ???????????????????????????????????????????? ??????令 ，則上面的方程變?yōu)椋? ,/ 111 ?? XZ222 /?XZ ?).1(2 22222121 ?? ???? dZZZZ2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 19 目錄 上頁 下頁 返回 結(jié)束 167。進(jìn)行主成分分析的目的就是找出轉(zhuǎn)換矩陣 ，而進(jìn)行主成分分析的作用與幾何意義也就很明了了。 主成分分析的幾何意義 由圖可以看出這 個(gè)樣品無論沿 軸方向還是沿 軸方向均有較大的離散性，其離散程度可以分別用觀測變量 的方差和 的方差定量地表示，顯然，若只考慮 和 中的任何一個(gè)，原始數(shù)據(jù)中的信息均會(huì)有較大的損失。其中，各綜合變量在總方差中占的比重依次遞減，在實(shí)際研究工作中，通常只挑選前幾個(gè)方差最大的主成分，從而達(dá)到簡化系統(tǒng)結(jié)構(gòu)，抓住問題實(shí)質(zhì)的目的。 主成分分析的基本理論 因此對(duì) 不加限制時(shí)，可使 任意增大，問題將變得沒有意義。 主成分分析的基本理論 由于可以任意地對(duì)原始變量進(jìn)行上述線性變換，由不同的線性變換得到的綜合變量 的統(tǒng)計(jì)特性也不盡相同。 主成分分析的基本思想 既然研究某一問題涉及的眾多變量之間有一定的相關(guān)性，就必然存在著起支配作用的共同因素，根據(jù)這一點(diǎn)，通過對(duì)原始變量相關(guān)矩陣或協(xié)方差矩陣內(nèi)部結(jié)構(gòu)關(guān)系的研究，利用原始變量的線性組合形成幾個(gè)綜合指標(biāo)（主成分），在保留原始變量主要信息的前提下起到降維與簡化問題的作用，使得在研究復(fù)雜問題時(shí)更容易抓住主要矛盾。 主成分分析的基本思想與理論 167。 有關(guān)問題的討論 ?167。 主成分分析的幾何意義 ?167。這樣在研究復(fù)雜問題時(shí)就可以只考慮少數(shù)幾個(gè)主成分而不至于損失太多信息，從而更容易抓住主要矛盾，揭示事物內(nèi)部變量之間的規(guī)律性，同時(shí)使問題得到簡化，提高分析效率。基于上述問題，人們就希望在定量研究中涉及的變量較少，而得到的信息量又較多。設(shè)隨機(jī)向量 的均值為 ，協(xié)方差矩陣為 。u ic ??? cc ii u39。),....2,1, pji ? 3. 是 的一切滿足原則 1的線性組合中方差最大者； 是與 不相關(guān)的 所有線性組合中方差最大者； … , 是與 都不相關(guān)的 的所有線性組合中方差最大者。,( 21 pXXX ??X XPYYY , 21 ?2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 13 目錄 上頁 下頁 返回 結(jié)束 167。 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 16 目錄 上頁 下頁 返回 結(jié)束 167。 主成分分析的幾何意義 設(shè)變量 遵從二元正態(tài)分布，分布密度為 : 21 XX、]})())((2)[()1(21e x p {121),(2222122112221222112222122121??????????????????????????XXXXXXf 令 為變量 的協(xié)方差矩陣，其形式如下： ? 21 XX、? ????????? 22212121?????????????????21XXX ?????????21??μ 令 則上述二元正態(tài)分布的密度函數(shù)有如下矩陣形式 ： 2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 18 目錄 上頁 下頁 返回 結(jié)束 167。μX( 112 ?? ????d )0μ( ?XPP ΛX )39。 主成分分析的幾何意義 與上面一樣，這也是一個(gè)橢圓方程，且在 構(gòu)成的坐標(biāo)系中，其主軸的方向恰恰正是 坐標(biāo)軸的方向。 總體主成分及其性質(zhì) 由上面的討論可知，求解主成分的過程就是求滿足三條原則的原始變量 的線性組合的過程。下面我們分別就協(xié)方差矩陣與相關(guān)矩陣進(jìn)行討論。1???niiii γγA ? 39。Axx39。m a x ???? uu39。39。39。39。u39。 總體主成分 （二）主成分的性質(zhì) 性質(zhì) 1 的協(xié)方差陣為對(duì)角陣 。 表明了 的方差在全部方差中的比值，稱 為第一主成分的貢獻(xiàn)率。11 ?Y Xp??? ， ?21 進(jìn)行主成分分析的目的之一是為了減少變量的個(gè)數(shù)，所以一般不會(huì)取 個(gè)主成分，而是取 個(gè)主成分， 取多少比較合適，這是一個(gè)很實(shí)際的問題，通常以所取 使得累積貢獻(xiàn)率達(dá)到 85％以上為宜，即 p pm? mm%8511 ?????piimii??() 這樣，既能使損失信息不太多，又達(dá)到減少變量，簡化問題的目的。 3?m2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 33 目錄 上頁 下頁 返回 結(jié)束 167。iiX ?Xu 39。在解釋主成分的成因或是第 個(gè)變量對(duì)第 個(gè)主成分的重要性時(shí)，應(yīng)當(dāng)根據(jù)因子負(fù)荷量而不能僅僅根據(jù) 與 的變換系數(shù) 。于是有 i? ii? iX0)( ?iZE 1)va r( ?iZ????????????????pp?????????00000022112/1令： 于是，對(duì)原始變量 進(jìn)行標(biāo)準(zhǔn)化： X ? ?? ? )()( 12/1 μXZ2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 38 目錄 上頁 下頁 返回 結(jié)束 167。 總體主成分 注意到 ，且 ，結(jié)合前面從協(xié)方差矩陣出發(fā)求主成分部分對(duì)主成分性質(zhì)的說明，可以很容易的得出上述性質(zhì)。因?yàn)橛蓞f(xié)方差矩陣求解主成分的過程與同相關(guān)矩陣出發(fā)求解主成分的過程是一致的，下面我們僅介紹由相關(guān)陣 出發(fā)求解主成分。?即： ????????????????????????????ppppppppppppuuuuuuuuurrrrrrrrr????????????212222111211312222111211????????????????????????????????pppppppuuuuuuuuu0021212222111211???????2022/3/13 中國人民大學(xué)六西格瑪質(zhì)量管理研究中心 44 目錄 上頁 下頁 返回 結(jié)束 167。,39。 由上述求主成分的過程可知 ， 主成分在幾何圖形中的方向?qū)嶋H上就是 的特征向量的方向 ， 關(guān)于主成分分析的幾何意義我們還要在下一節(jié)詳細(xì)討論；主成分的方差貢獻(xiàn)就等于 的相應(yīng)特征值 。 主成分分析不要求數(shù)據(jù)來自于