【正文】 ???????????? ? ?12?pi j p pD X C O V x x V( ) ( , )x x x p1 2, , ,?y y y k1 2, , ,?y a x a x a x a Xp p T1 1 1 2 2? ? ? ? ??a a a a X x x xT p T p? ?( , , , ), ( , , , )1 2 1 2? ? 則有 要使 盡可能反映原來的指標(biāo)的作用，則要使 盡可能大，可以利用 乘子法 :要對 a加以限制 否則加大 , 增大無意義。于是得 () ? ? ?1 2, , ,? pVpm a x1 ?? ? },m a x { 21 p??? ??aVa 1?? ?1 d1111 ?aa T p1a11Ty a X?V二、主成份分析 一般協(xié)方差方陣為非負定，對角線上各階主子式都大于等于零，即特征值有： 設(shè)前 m個都大于零，依次為 ，相應(yīng)的特征向量為 ，則 ，即為第一 ,第二 ,…, 第 個主成份，由線性代數(shù)知識可知，不同的特征根對應(yīng)的不同的特征向量線性無關(guān)，由于 V是實對稱陣，則 ，變換后的各主成份 相互無關(guān)。 12 0p? ? ?? ? ? ?? ? ?1 2? ? ?? mmaaa , 21 ? Xay T11 ?Tay22 ? Xay Tmm ?mmaaa , 21 ?y y y m1 2, , ,?x x x p1 2, , ,? 在實際應(yīng)用中， V陣往往是未知的，需要用 V的估計 值來代替 ，設(shè)有 組觀測值 則取 () () 其中 是 的 子樣方差， 的子樣協(xié)方差。 ?V{ , , , }, , , ,x x x np? ? ? ?1 2 1 2? ???Vn S? ?11? ?Sx x x xij p pij i i j jn?? ? ?????? ? ??( ) ( )1?ii xi ? ij i jx x是 ,?Vn 由于不同的度量會產(chǎn)生量綱問題，一般建議作如下變換： 用標(biāo)準(zhǔn)變量 代替以 前的 ，即可以運算。 xx xxx xpp ppp????? ?11 111? ?? ? ? ?, ,? ?? ? 1 2, , ,? n{ , , , }, , , ,x x x np? ? ? ?1 2 1 2? ? ?? ?xij? ?R rij p p? ?xij三、主成份的貢獻率 為了盡可能以少數(shù)幾個主成份 來代替 P個指標(biāo) ，那么要決定取多少個主成份才夠呢 由于 則可得 是 的方差，可得 亦是 V的全部特征值之和： y y y m1 2, , ,?x x x p1 2, , ,?CO V XX V ij p p( ) ( )? ? ??? ? ?11 12, , ,? ppx x x p1 2, , ,?? ? ?11 22? ? ? ?? pp t r V V( )方陣 之跡? ? ?1 2? ? ? ?? p t r V 由于 , 則令 表明方差 在全部 方差中所占的比重，稱 是第 i個主成份的貢獻率，顯然有 ,不妨取一個閾值為 d(0＜ d＜ 1)，當(dāng) 時，即舍去，此時可取 為主成份。 D y i mi i i( ) ( ) , , ,? ? ?? ? 0 1 2 ?ktr Vii iiim? ???? ??1?i kik k k m1 2? ? ??k di ?y y y k di i1 2 1 1, , , ( )? ? ? ?一、數(shù)學(xué)模型 二、關(guān)于計算中應(yīng)注意的問題 三、關(guān)于誤判率及多個總體的判別 167。 例如某精神病院有精神病患者 256名，診斷結(jié)果將它們分成六類 (相當(dāng)于 6個總體 )設(shè) 服從三維聯(lián)合正態(tài)分布 i=1,2,… ,6，其中， 為協(xié)方差矩陣，一般這六種類型可分為焦慮狀、癔病、精神病、強迫觀念型、變態(tài)人格、正常，若有如下子樣： 子樣 子樣 … … … … … … 子樣 G G G1 2 6, , ,? Gi～N Vi3 ( , )?? ? ? ?i i i i? ( , , )1 2 3),(~ 111 VN ??111211 , n??? ?),(~ 222 VN ?? 222221 , n??? ?),(~ 666 VN ?? 666261 , n??? ?{ }xij注意到每個子樣 都是三維向量。 (一 ) 兩 點的距離 n設(shè) 維空間中有兩點 , 則其歐氏距離為 : X x x xT n? ( , , , )1 2 ? Y y y yT n? ( , , , )1 2 ?1221()niiid x y??????????歐() 由于數(shù)據(jù)的量綱不同，不采用歐氏距離 , 用馬氏距離有： 定義 1：設(shè) X,Y是從總體 G中抽取的樣品 ,G服從 P維正態(tài)分布， , 定 義 X,Y兩 點 間 的距離 為馬 氏距離： N Vp ( , )?1( , ) ( ) ( )Td X Y X Y V X Y?? ? ?() 定義 2： X與總體 G的距離為 D(X， G)為 112( , ) ( ) ( )( ) ( , , , )TTpD X G X V XEX??? ? ? ??? ? ???() (二 )距離判別法 設(shè)有兩個協(xié)方差相同的正態(tài)總體 ，且 G G1 2,1 1 2 2( , ) ( , )PpG N V G N V??～ ～對于一個新的樣品，要判定它來自哪一個總體，有一個很直觀的方法： 計算 12( , ) , ( , )D X G D X G22 1 2 1 2( , ) ( , ) , ,D X G D X G X G X G? ? ?則 否 則若 (三 )線 性判 別 函 數(shù) 由 2 2 12 1 2 2( , ) ( , ) ( ) ( )TD X G D X G X V X?? ?? ? ? ?11 121 1 1 2( ) ( ) 2 ( ) ( )2TTX V X X V??? ? ? ??? ?? ? ? ? ? ?令 121 ()2? ? ???記 112( ) ( ) ( )TW X X V? ? ??? ? ?則有：當(dāng) 時， 否則 ( ) 0WX ?1XG? 2XG? ? ?1 2, ,V當(dāng) 為已知時，令 1 12()aV ????? ， 可得： ( ) ( ) ( )TTW X X a a X??? ? ? ? () W X( )稱 為線性判別函數(shù)， a為判別系數(shù) ,因為 1 12()aV ????? ，即 12Va ????,解 線 性方程 組 可得解 12( , , , )T pa a a a?此時的判別規(guī)則為： 12( ) 0( ) 0TTa X X Ga X X G??? ? ?? ? ?X是新的一 個 點 ,將 其代入即可判 別 。其方法如下 : 設(shè)子樣 x x xn1 2 1, , ,?來自總體 G1,子樣 y y y n1 22, , ,?來自 G2,可由 X n x Y n yk kknkn? ?????1 11 2 1121,S X X X X x x x xk k T k i kj jknknp pi11111? ? ? ? ? ??? ??? ( )( ) ( ( )( ) )ppnknkjkjikiTkk yyyyYYYYS?? ?? ? ?????? 2 21 12 )))((())(((在本 節(jié) 的 開頭 的例子中 P=3) 得到 ?V n n S S? ? ? ?1 21 21 2( ))(21 YX ????() () 判別函數(shù)為 )()()( 1 YXVXXW ??? ????() 判別系數(shù)為 )(1 YXva ?? ??三、關(guān)于誤判率及多個總體的判別 這里提及一個回報的誤判率問題。若有 存在 ,使得 0)(0 ?nXW,說 明 20 GX n ?這 就 產(chǎn) 生了一 個誤 判。 當(dāng)兩個總體的協(xié)方差不相等時 ,可用如下方法 : D X G X V XT2 1 1 1 1 1( , ) ( ) ( )? ? ??? ?D X G X V XT2 2 2 2 1 2( , ) ( ) ( )? ? ??? ?() () 當(dāng) D X G D X G X G X G21 2 2 1 2( , ) ( , ) , ,? ? ?時 否則當(dāng) ? ? ? ?1 2 1 2, , ,未知時 ,用下列估計代替 : 22211121 11?11??? SnVSnVYX ?????? ??在 m 個總體 G G G m1 2, , ,? 時，均值為 ? ? ?1 2, , ,? m協(xié)方差陣為 V V Vm1 2, , ,? ( p 維 ) 設(shè) ?i iV, 都已知時 ,X為樣品 X x x x p0 01 02 0? ( , , , )?計算 D X G i mi2 0 1 2( , ), , , ,? ?選擇一個 最小的值例如 ),(m i n),( 02102 imik GXDGXD ??? 則 X Gk0 ?設(shè) ?i iV, 未知 ,但獨立，可以分別以估計值來計算。 上述解決方法中，可以擴展到非正態(tài)分布。 聚類分析 物以類聚，人以群分，社會發(fā)展和科技的進步都要求對于某些物體進行分類。 一、數(shù)學(xué)模型 二、應(yīng)用類例 一、數(shù)學(xué)模型 某種物品有 n個： X X X n1 2, , ,?指標(biāo)，如何將其分成若干類，基本的思路是把距離較近的點歸成一類。