【正文】 y1 軸方向能使信息的損失最小。我們稱 Y1為第一主成分，稱 Y2 為第二主成分。第一主成分的效果與橢圓的形狀有很大的關(guān) 系，橢圓越是扁平， n個點在 y1軸上的方差就相對越大，在 y2 軸上的方差就相對越小，用第一主成分代替所有樣品所造成 的信息損失也就越小。 ? 考慮兩種極端的情形： ? 一種是橢圓的長軸與短軸的長度相等，即橢圓變成圓，第一主成分只含有二維空間點的約一半信息，若僅用這一個綜合變量，則將損失約 50％的信息，這顯然是不可取的。造成它的原因是，原始變量 X1和 X2的相關(guān)程度幾乎為零，也就是說，它們所包含的信息幾乎不重迭，因此無法用一個一維的綜合變量來代替。 ? 另一種是橢圓扁平到了極限，變成 y1軸上的一條線，第一主成分包含有二維空間點的全部信息，僅用這一個綜合變量代替原始數(shù)據(jù)不會有任何的信息損失，此時的主成分分析效果是非常理想的，其原因是，第二主成分不包含任何信息，舍棄它當(dāng)然沒有信息損失。 , 1 . 2 . Ai ip? ?其 中 是 的 特 征 根1 , puu若 A是 p階實對稱陣，則 一定可以找到正交陣 U，使 pp???????????????p??????????00000021AUU 1若上述矩陣的特征根所對應(yīng)的單位特征向量為 1 1 1 2 12 1 2 2 2112( , , ) pppp p p pu u uu u uuuu u u????????????U則實對稱陣 屬于不同特征根所對應(yīng)的特征向量是正交的，即有 AIUUUU ????二、主成分的推導(dǎo) 必存在正交陣 U， 使得 ????????????p??001?UΣU X設(shè) X的協(xié)方差陣為 ?????????????2212222111221ppppp???????????????xΣ??????????????ppppppuuuuuuuuu???????212222111211),(p1uuU? ??? piii uuu ，， ?21iUU恰好是由特征根相對應(yīng)的單位特征向量所組成的正交陣 二、主成分的數(shù)學(xué)推導(dǎo) ? 設(shè)1( , , )pXX ??X為一個p維隨機(jī)向量，并假定存在二階矩，其均值向量與協(xié)差陣分別記為： ()E?μ X, ()D?Σ X ( 6. 3 ） 考慮如下的線性變換 1 1 1 1 1 2 2 1 12 2 1 1 2 2 2 2 21 1 2 2ppppp p p p p p pY t X t X t X TY t X t X t X TY t X t X t X T??? ? ? ? ????? ? ? ? ? ?????? ? ? ? ???XXX ( 6 . 4 ） 用矩陣表示為 ??Y T X 其中12( , , )pY Y Y ??Y，12( , , , )pT T T?T。 ? 我們希望尋找一組新的變量1 , mYY（mp?），這組新的變量要求充分地反映原變量1 , pXX的信息，而且相互獨立。 這里我們應(yīng)該注意到，對于1 , mYY有 ( ) ( ) ( )i i i i i iD Y D T T D T T T? ? ?? ?? ? ?XX Σ 1 , 2 , ,im? ( , ) ( , ) ( , )i k i k i k i kCov Y Y Cov T T T Cov T T T? ? ? ?? ?? ? ?X X X X Σ , 1 , 2 , ,i k m? 這樣，我們所要解決的問題就轉(zhuǎn)化為，在新的變量1 , mYY相互獨立的條件下，求iT使得() i i iD Y T T?? Σ，1 , 2 , ,im?, 達(dá)到最大。 ? ? 我們下面將借助投影尋蹤（ P r oj e c t i on P u r s u i t ）的思想來解決這一問題。首先應(yīng)該注意到，使得() iDY達(dá)到最大的線性組合，顯然用常數(shù)乘以iT后，() iDY也隨之增大，為了消除這種不確定性，不妨假設(shè)iT滿足1iiTT ? ?或者1T ?。那么，問題可以更加明確。 第一主成 分為，滿足11 1TT? ?，使得1 1 1()D Y T T?? Σ達(dá)到最大的11YT?? X。 第二主成分為，滿足22 1TT? ?，且2 1 2 1( , ) ( , ) 0Cov Y Y Cov T T???? XX，使得2 2 2()D Y T T?? Σ達(dá)到最大的22YT?? X。 一般情形，第k主成分為，滿足1kkTT ? ?， 且( , ) ( , ) 0k i k iCov Y Y Cov T T???? XX（ik?），使得() k k kD Y T T?? Σ達(dá)到最大的kkYT?? X。 ? 求第一主成分，構(gòu)造目標(biāo)函數(shù)為： 1 1 1 1 1 1( , ) ( 1 )T T T T T? ? ???? ? ?Σ ( 6 . 5 ) 對目標(biāo)函數(shù)11( , )T??求導(dǎo)數(shù)有： 11112 2 0TTT???? ? ??Σ ( 6 . 6 ) 即 1( ) 0T???Σ I ( 6 . 7 ) 由 6. 7 式兩邊左乘1T?得到 11TT ?? ?Σ ( 6 . 8 ) 由于 X 的協(xié)差陣 Σ 為非負(fù)定的，其特征方程 ( 6 . 7) 的根均大于零，不妨設(shè)12 0p? ? ?? ? ? ?。由 ( 6 . 8) 知道1Y的方差為?。那么，1Y的最大方差值為1?，其相應(yīng)的單位化特征向量為1T。 設(shè)有 P維正交向量 1 1 1 1 1ppF a X L a X a X?? ? ? ?? ?1 1 1 2 1 1, , , pa a a a ??（一）第一主成分 211()piiau???? ?11piiia u u a????? ? 1a U U a? ??? 1aa? ?? 1??1pi i iia u u a????? ? 21()piiiau???? ?12p????? ? ? ?? ? ? ??? ? ? ?? ????? ? ? ? ?? ? ? ??? ? ? ?121 1 2 p 1puua u , u , , u au1211111 )( aUUaa??????????????????pFV????下面我們來看，是否由 U的第一列元素所構(gòu)成為原始變量的線性組合是否有最大的方差 ? 在 求 第 二 主 成 分 之 前 ， 我 們 首 先 明 確 ， 由 ( 6. 6 ) 知2 1 2 1(,)Co v Y Y T T??? Σ 21TT??。那么，如果2Y與1Y相互獨立，即有21 0TT? ?或12 0TT? ?。這時，我們可以構(gòu)造求第二主成分的目標(biāo)函數(shù)，即 2 2 2 2 2 2 1 2( , , ) ( 1 ) 2 ( )T T T T T T T? ? ? ? ?? ? ?? ? ? ?Σ ( 6 . 9) 對目標(biāo)函數(shù)22( , , )T? ? ?求導(dǎo)數(shù)有： 22 2 122 2 2 0T T TT????? ? ? ??Σ ( 6 . 1 0 ) 用1T?左乘 ( 6 . 10) 式有 1 2 1 2 1 10T T T T T T??? ? ?? ? ?Σ 由于12 0TT? ?Σ，12 0TT? ?，那么，11 0TT?? ?，即有0? ?。從而 2( ) 0T???Σ I ( 6 . 1 1 ) 而且 22TT ?? ?Σ ( 6 . 1 2 ) （二）第二主成分 在約束條件 下，尋找第二主成分 12c o v ( , ) 0FF ?2 1 2 1 2ppF u X u X? ? ?因為 1 2 1 2 2 1 1 2 1c o v ( , ) c