【文章內(nèi)容簡介】 目錄 上頁 下頁 返回 結束 167。 總體主成分 正因如此，才把 稱為 的主成分。進而我們就更清楚為什么主成分的名次是按特征根 取值的大小排序的。 Xu 39。11 ?Y Xp??? ，， ?21 進行主成分分析的目的之一是為了減少變量的個數(shù)，所以一般不會取 個主成分，而是取 個主成分， 取多少比較合適，這是一個很實際的問題，通常以所取 使得累積貢獻率達到 85％以上為宜，即 p pm? mm%8511 ?????piimii??() 這樣，既能使損失信息不太多，又達到減少變量，簡化問題的目的。另外，選取主成分還可根據(jù)特征值的變化來確定。圖 52為 SPSS統(tǒng)計軟件生成的碎石圖。 2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 32 目錄 上頁 下頁 返回 結束 167。 總體主成分 圖 52 由圖 52可知，第二個及第三個特征值變化的趨勢已經(jīng)開始趨于平穩(wěn)，所以，取前兩個或是前三個主成分是比較合適的。這種方法確定的主成分個數(shù)與按累積貢獻率確定的主成分個數(shù)往往是一致的。在實際應用中有些研究工作者習慣于保留特征值大于 1的那些主成分，但這種方法缺乏完善的理論支持。在大多數(shù)情況下，當 時即可使所選主成分保持信息總量的比重達到85％以上。 3?m2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 33 目錄 上頁 下頁 返回 結束 167。 總體主成分 定義 第 個主成分 與原始變量 的相關系數(shù) 稱做因子負荷量。 因子負荷量是主成分解釋中非常重要的解釋依據(jù)，因子負荷量的絕對值大小刻畫了該主成分的主要意義及其成因。在下一章因子分析中還將要對因子負荷量的統(tǒng)計意義給出更詳細的解釋。由下面的性質(zhì)我們可以看到因子負荷量與系數(shù)向量成正比。 k kY iX ), ik XY（? iikkiik uXY ??? /), ?（ pik ,2,1, ?? 性質(zhì) 3 （ ） 證明： kkY ??)v a r( iiiX ??)v a r ( 令： 為單位向量。則 )39。0,0,1,0,0( ???ie Xe 39。iiX ?Xu 39。kkY ?又 2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 34 目錄 上頁 下頁 返回 結束 167。 總體主成分 于是 ?? )39。e,39。uc o v (),c o v ( XXXY ikik ki D uXe )(39。? ??? kikkikki u?? ueue 39。39。iikkiikikikuXYXYXY??? ??)v a r ()v a r (),c o v (),（于是 由性質(zhì) 3知因子負荷量 與向量系數(shù) 成正比，與 的標準差成反比關系，因此，絕不能將因子負荷量與向量系數(shù)混為一談。在解釋主成分的成因或是第 個變量對第 個主成分的重要性時，應當根據(jù)因子負荷量而不能僅僅根據(jù) 與 的變換系數(shù) 。 ), ik XY（? kiu iXi kkY iXkiu2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 35 目錄 上頁 下頁 返回 結束 167。 總體主成分 性質(zhì) 4 ???pikiiik XY12 ),( ??? （ ） 證明：由性質(zhì) 3有 ? ? ?? ? ????pipipi kkikkikiiikuuXY1 1 1222 ),( ????? （ ） 性質(zhì) 5 22111( , ) 1ppk i k k ikk iiY X u?? ???????證明：因為 向量是隨機向量 的線性組合，因此 也可以精確表示成 的線性組合。由回歸分析知識知， 與 的全相關系數(shù)的平方和等于 1，而因為 之間互不相關，所以 與 的全相關系數(shù)的平方和也就是 ，因此，性質(zhì) 5成立。 Y XiXpYYY , 21 ? iXpYYY , 21 ? pYYY , 21 ?iX pYYY , 21 ?21( , )p kikYX???2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 36 目錄 上頁 下頁 返回 結束 167。 總體主成分 定義 與前 個主成分 的全相關系數(shù)平方和稱為 對原始變量 的方差貢獻率 ，即 iX m mYYY , 21 ?mYYY , 21 ? iviX???mkkikiii uv121 ?? pi ,2,1 ?? （ ） 這一定義說明了前 個主成分提取了原始變量 中 的信息，由此我們可以判斷我們提取的主成分說明原始的能力。 m iX iv2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 37 目錄 上頁 下頁 返回 結束 167。 總體主成分 （三）從相關陣出發(fā)求解主成分 考慮如下的數(shù)學變換： iiiiiXZ???? pi ,2,1 ??令： 其中， 與 分別表示變量 的期望與方差。于是有 i? ii? iX0)( ?iZE 1)va r( ?iZ????????????????pp?????????00000022112/1令： 于是，對原始變量 進行標準化： X ? ?? ? )()( 12/1 μXZ2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 38 目錄 上頁 下頁 返回 結束 167。 總體主成分 經(jīng)過上述標準化后，顯然有 0Z ?)(E? ? ? ??? 12/112/1 )()()c o v ( Z Rpppp??????????????????????11121212112?????? 由于上面的變換過程，原始變量 的相關陣實際上就是對原始變量標準化后的協(xié)方差矩陣，因此，由相關矩陣求主成分的過程與主成分個數(shù)的確定準則實際上是與由協(xié)方差矩陣出發(fā)求主成分的過程與主成分個數(shù)的確定準則是相一致的，在此不再贅述。仍用 分別表示相關陣 的特征值與對應的標準正交特征向量，此時，求得的主成分與原始變量的關系式為： pXXX ，， ....21ii ??, R),μX()(39。γZγ 12/1? ??? ?iii 39。Y pi ,2,1 ?? （ ） 2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 39 目錄 上頁 下頁 返回 結束 167。 總體主成分 （四）由相關陣求主成分時主成分性質(zhì)的簡單形式 由相關陣出發(fā)所求得主成分依然具有上面所述的各種性質(zhì)，不同的是在形式上要簡單，這是由相關陣 的特性決定的。我們將由相關陣得到的主成分的性質(zhì)總結如下： ρ1． 的協(xié)方差矩陣為對角陣 ； Y Λ???????? piipii ZptrtrY11)v a r ()ρ()Λ()v a r (.23．第 個主成分的方差占總方差的比例，即第 個主成分的方差貢獻率為 ，前 個主成分的累積方差貢獻率 為 ； k kpkk /?? ? mpmi i/1???。kkiik uZY ??? ),(.42022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 40 目錄 上頁 下頁 返回 結束 167。 總體主成分 注意到 ，且 ，結合前面從協(xié)方差矩陣出發(fā)求主成分部分對主成分性質(zhì)的說明，可以很容易的得出上述性質(zhì)。雖然主成分的性質(zhì)在這里有更簡單的形式，但應注意其實質(zhì)與前面的結論并沒有區(qū)別；需要注意的一點是判斷主成分的成因或是原始變量（這里原始變量指的是標準化以后的隨機向量 ）對主成分的重要性有更簡單的方法，因為由上面第 4條知這里因子負荷量僅依賴于由 到 的轉(zhuǎn)換向量系數(shù) （因為對不同的 ，因子負荷量表達式的后半部分 是固定的）。 1)var( ?iZ ptr ?)(RZkYZ kiuiZ k?2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 41 目錄 上頁 下頁 返回 結束 167。 樣本主成分的導出 記 11 ( ) ( ) 39。1nk i i k i ik x X x Xn ?? ? ?? ?S ???nk kiixnX11 pi ,2,1 ??ppijr ?? )(Rjjiiijij SSSr ? 在實際研究工作中，總體協(xié)方差陣 與相關陣 通常是未知的，于是需要通過樣本數(shù)據(jù)來估計。設有 個樣品，每個樣品有 個指標，這樣共得到 個數(shù)據(jù)，原始資料矩陣如下： Σ Rnp np???????????????npnnppxxxxxxxxx??????212222111211X 2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 42 目錄 上頁 下頁 返回 結束 167。 樣本主成分的導出 為樣本協(xié)方差矩陣，作為總體協(xié)方差陣 的無偏估計， 是樣本相關矩陣，為總體相關矩陣的估計。由前面的討論知，若原始資料 陣是經(jīng)過標準化處理的，則由矩陣 求得的協(xié)方差陣就是相關矩陣，即 與 完全相同。因為由協(xié)方差矩陣求解主成分的過程與同相關矩陣出發(fā)求解主成分的過程是一致的，下面我們僅介紹由相關陣 出發(fā)求解主成分。 根據(jù)總體主成分的定義，主成分 的協(xié)方差是： S Σ RX XS RRY,Λ39。uuu)Xc o v (39。u)Yc o v ( ???? 其中 為對角陣 Λ?????????????????p????????????000000000000321Λ2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 43 目錄 上頁 下頁 返回 結束 167。 樣本主成分的導出 用 左乘上式，得 假定資料矩陣 為已標準化后的數(shù)據(jù)矩陣，則可由相關矩陣代替協(xié)方差矩陣，于是上式可表示為： XΛuR u ?39。39。u ΛuRu 39。39。?即： ????????????????????????????ppppppppppppuuuuuuuuurrrrrrrrr????????????212222111211312222111211????????????????????????????????pppppppuuuuuuuuu0021212222111211???????2022/3/13 中國人民大學六西格瑪質(zhì)量管理研究中心 44 目錄 上頁 下頁 返回 結束 167。 樣本主成分的導出 把上式全部展開得到 個方程，這里只考慮在矩陣乘積中由第一列得出的 個方程： 2pp???????????????????11112211111