【文章內容簡介】 否則加大 , 增大無意義。令 設 并使 D y D a X a DX a a VaT T T( ) ( ) ( )1 ? ? ?y1Dy1Lagrange1?a aDy1?????m a x11Dyaa T? ?? ? ?a Va a aT T( )1????aVa aa aT? ? ???????2 2 01可得方程組 ()的解為 () 以 左乘 ()之兩邊，得 即 由 ()式可得 () 要使?jié)M足 ()的 a非零，應有 ?????1aaaVaT?Ta ?? ?? aaVaa TT??? VaayD T)( 10)( ?? aIV ?0?? IV ? 即入是 的特征根，設 是 的 個特征根，只要取 ， 再由 ，求出 V的屬于 的特征向量 ， 在條件 是唯一的 維特征向量 。于是得 () ? ? ?1 2, , ,? pVpm a x1 ?? ?},m a x { 21 p??? ??aVa 1?? ?1 d1111 ?aa T p1a11Ty a X?V二、主成份分析 一般協(xié)方差方陣為非負定，對角線上各階主子式都大于等于零，即特征值有： 設前 m個都大于零，依次為 ，相應的特征向量為 ，則 ，，即為第一 ,第二 ,…, 第 個主成份，由線性代數知識可知，不同的特征根對應的不同的特征向量線性無關，由于 V是實對稱陣，則 ，變換后的各主成份 相互無關。即對 進行了一次正交變換。 12 0p? ? ?? ? ? ?? ? ?1 2? ? ?? mmaaa , 21 ? Xay T11 ?Tay22 ? Xay Tmm ?mmaaa , 21 ?y y y m1 2, , ,?x x x p1 2, , ,? 在實際應用中， V陣往往是未知的，需要用 V的估計 值來代替 ，設有 組觀測值 則取 () () 其中 是 的 子樣方差， 的子樣協(xié)方差。需要求出 的特征值。 ?V{ , , , }, , , ,x x x np? ? ? ?1 2 1 2? ???Vn S? ?11? ?Sx x x xij p pij i i j jn?? ? ?????? ? ??( ) ( )1?ii xi ? ij i jx x是 ,?Vn 由于不同的度量會產生量綱問題，一般建議作如下變換： 用標準變量 代替以 前的 ，即可以運算。此時的協(xié)方差矩陣即相關矩陣 從 R出發(fā)，可求主成份。 xx xxx xpp ppp????? ?11 111? ?? ? ? ?, ,? ?? ? 1 2, , ,? n{ , , , }, , , ,x x x np? ? ? ?1 2 1 2? ? ?? ?xij? ?R rij p p? ?xij三、主成份的貢獻率 為了盡可能以少數幾個主成份 來代替 P個指標 ，那么要決定取多少個主成份才夠呢 由于 則可得 是 的方差，可得 亦是 V的全部特征值之和： y y y m1 2, , ,?x x x p1 2, , ,?C O V XX V ij p p( ) ( )? ? ??? ? ?11 12, , ,? ppx x x p1 2, , ,?? ? ?11 22? ? ? ?? pp t r V V( )方陣 之跡? ? ?1 2? ? ? ?? p tr V 由于 , 則令 表明方差 在全部 方差中所占的比重，稱 是第 i個主成份的貢獻率，顯然有 ,不妨取一個閾值為 d(0＜ d＜ 1)，當 時，即舍去，此時可取 為主成份。以貢獻率來決定它的個數。 D y i mi i i( ) ( ) , , ,? ? ?? ? 0 1 2 ?ktr Vii iiim? ???? ??1?i kik k k m1 2? ? ??k di ?y y y k di i1 2 1 1, , , ( )? ? ? ?一、數學模型 二、關于計算中應注意的問題 三、關于誤判率及多個總體的判別 167。 判別分析 一、數學模型 根據所研究的個體的觀察指標來推斷個體所屬于何種類型的一種統(tǒng)計分析方法，稱為判別分析。 例如某精神病院有精神病患者 256名，診斷結果將它們分成六類 (相當于 6個總體 )設 服從三維聯(lián)合正態(tài)分布 i=1,2,… ,6，其中， 為協(xié)方差矩陣，一般這六種類型可分為焦慮狀、癔病、精神病、強迫觀念型、變態(tài)人格、正常，若有如下子樣： 子樣 子樣 … … … … … … 子樣 G G G1 2 6, , ,? Gi～N Vi3 ( , )?? ? ? ?i i i i? ( , , )1 2 3),(~ 111 VN ??111211 , n??? ?),(~ 222 VN ?? 222221 , n??? ?),(~ 666 VN ?? 666261 , n??? ?{ }xij注意到每個子樣 都是三維向量?，F(xiàn)有一個新的精神病患者前來就醫(yī)，測得三個指標： 1 2 32 . 0 1 . 0 1 . 0 1x x x? ? ?試判斷該患者病情屬于哪一類。 (一 ) 兩 點的距離 n設 維空間中有兩點 , 則其歐氏距離為 : X x x xT n? ( , , , )1 2 ? Y y y yT n? ( , , , )1 2 ?1221()niiid x y??????????歐() 由于數據的量綱不同，不采用歐氏距離 , 用馬氏距離有： 定義 1：設 X,Y是從總體 G中抽取的樣品 ,G服從 P維正態(tài)分布， , 定 義 X,Y兩 點 間 的距離 為馬 氏距離： N Vp ( , )?1( , ) ( ) ( )Td X Y X Y V X Y?? ? ?() 定義 2： X與總體 G的距離為 D(X， G)為 112( , ) ( ) ( )( ) ( , , , )TTpD X G X V XEX??? ? ? ??? ? ???() (二 )距離判別法 設有兩個協(xié)方差相同的正態(tài)總體 ，且 G G1 2,1 1 2 2( , ) ( , )PpG N V G N V??～ ～對于一個新的樣品，要判定它來自哪一個總體，有一個很直觀的方法： 計算 12( , ) , ( , )D X G D X G22 1 2 1 2( , ) ( , ) , ,D X G D X G X G X G? ? ?則 否 則若 (三 )線 性判 別 函 數 由 2 2 12 1 2 2( , ) ( , ) ( ) ( )TD X G D X G X V X?? ?? ? ? ?11 121 1 1 2( ) ( ) 2( ) ( )2TTX V X X V??? ? ? ??? ?? ? ? ? ? ?令 121 ()2? ? ???記 112( ) ( ) ( )TW X X V? ? ??? ? ?則有：當 時， 否則 ( ) 0WX ?1XG? 2XG? ? ?1 2, ,V當 為已知時，令 1 12()aV ????? ， 可得： ( ) ( ) ( )TTW X X a a X??? ? ? ? () W X( )稱 為線性判別函數， a為判別系數 ,因為 1 12()aV ????? ，即 12Va ????,解 線 性方程 組 可得解 12( , , , )T pa a a a?此時的判別規(guī)則為： 12( ) 0( ) 0TTa X X Ga X X G??? ? ?? ? ?X是新的一 個 點 ,將 其代入即可判 別 。 () 二、關于計算中應注意的問題 實際上 ??, 均未知 ,要用樣本值的估計公式來計算出 ? ?? ?與 。其方法如下 : 設子樣 x x xn1 2 1, , ,?來自總體 G1,子樣 y y y n1 22, , ,?來自 G2,可由 X n x Y n yk kknkn? ?????1 11 2 1121,S X X X X x x x xk k T k i kj jknknp pi11111? ? ? ? ? ??? ??? ( )( ) ( ( )( ) )ppnknkjkjikiTkk yyyyYYYYS?? ?? ? ?????? 2 21 12 )))((())(((在本 節(jié) 的 開頭 的例子中 P=3) 得到 ?V n n S S? ? ? ?1 21 21 2( ))(21 YX ????() () 判別函數為 )()()( 1 YXVXXW ??? ????() 判別系數為 )(1 Y