【正文】 ? ? ?1( 1 ) ( 1 )1 1 139。 , 39。( ) ( ) , 1 , .. .,i i iiD x G x x i kmm ?? ? S ? ?非線性判別函數(shù) :當(dāng) S(1) ,…, S(k) 不等時(shí) ( ) ( ) 1 ( )( ) ( ) 1 ( )( ) ( ) 39。 ( )W x x x x x?? ? S ?非線性判別函數(shù) :當(dāng) S(1) ≠S(2)時(shí) 2221( 2 ) ( 2 ) 1 ( 2 ) ( 1 ) ( 1 ) 1 ( 1 )( , ) ( , )( ) 39。 39。 判別分析 (Discriminant Analysis) 和聚類分析的關(guān)系 ? 判別分析和聚類分析都是分類 . ? 但判別分析是在已知對(duì)象有若干類型和一批已知樣品的觀測數(shù)據(jù)后的基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式 . 而做聚類分析時(shí)類型并不知道 . ? 可以先聚類以得知類型 ,再進(jìn)行判別 . 距離判別法 ? 假設(shè)有兩個(gè)總體 G1和 G2, 如果能夠定義點(diǎn) x到它們的距離D(x,G1)和 D(x,G2), 則 ? 如果 D(x,G1) D(x,G2)則 x∈ G1 ? 如果 D(x,G2) D(x,G1)則 x∈ G2 ? 如果 D(x,G1) = D(x,G2)則待判 Mahalanobis距離 ? 假設(shè) m(1), m(2), S(1), S(2)分別為 G1和G2的均值向量和協(xié)差陣 ,則點(diǎn) x到 Gi的馬氏距離定義為 D2(x,Gi)=(x m(i))’(S(i))1(x m(i)) ? 其他一些距離為馬氏距離的特殊情況 ,因此我們著重討論馬氏距離 .馬氏距離的好處是可以克服變量之間的相關(guān)性干擾 ,并且消除各變量量綱的影響 . 線性判別函數(shù) :當(dāng) S(1)=S(2)=S時(shí) 2 2 ( 1 ) ( 2 ) 1 ( 1 ) ( 2 )211( , ) ( , ) 2 [ ( ) ] 39。a B aaa E a? ? ?記方程 |BlE|=0的全部特征根為 l1 ≥ …≥ lr0, 相應(yīng)的特征向量為 v1,…,v r. ?(a)的大小可以估計(jì)判別函數(shù) yi(x)=vi’x (= a’x)的效果 . 記 pi為判別能力 (效率 ), 有 最大的值為方程 |BlE|=0的最大特征根 l1. 1ii rhhpll???使 39。 。 39。] 39。mnkmimia x a xn ??? ??組間離差平方和為 : ( ) 21( ) ( )1( 39。 , 1 , . . . ,mnmmiima x a x m kn ????()39。 附錄 費(fèi)歇 (Fisher)判別法 ? 并未要求總體分布類型 ? 工作原理就是對(duì)原數(shù)據(jù)系統(tǒng)進(jìn)行坐標(biāo)變換 ,尋求能夠?qū)⒖傮w盡可能分開的方向 . ? 點(diǎn) x在以 a為法方向的投影為 a’x ? 各組數(shù)據(jù)的投影為 ( ) ( )1: 39。然后點(diǎn)擊 Analyze－ Classify－Discriminant， ? 把 group放入 Grouping Variable，再定義范圍，即在 Define Range輸入 1－ 3的范圍。 ? 對(duì)于多個(gè)判別函數(shù)，要弄清各自的重要性。 判別分析要注意什么 ？ ? 判別分析是為了正確地分類，但同時(shí)也要注意使用盡可能少的預(yù)測變量來達(dá)到這個(gè)目的。這是最重要的。 下圖為兩個(gè)典則判別函數(shù)導(dǎo)出的 150個(gè)企業(yè)的二維點(diǎn)圖 。 ? 下面一半（ Cross validated）是對(duì)每一個(gè)觀測值，都用缺少該觀測的全部數(shù)據(jù)得到的判別函數(shù)來判斷的結(jié)果。 當(dāng)然 ， 用不著自己去算 ， 計(jì)算機(jī)軟件的選項(xiàng)可以把這些訓(xùn)練數(shù)據(jù)的每一個(gè)點(diǎn)按照這里的分類法分到某一類 。 當(dāng)然 ， 二維圖要容易看一些 。 這兩個(gè)典則判別函數(shù)并不是平等的 。 這兩個(gè)典則判別函數(shù)的系數(shù)是下面的 SPSS輸出得到的： 1 2 3 4 5 6 71 2 3 4 5 6 71 3 . 1 6 6 0 . 0 3 5 3 . 2 8 3 0 . 0 3 7 0 . 0 0 7 0 . 0 6 8 0 . 0 2 3 0 . 3 8 52 4 . 3 8 4 0 . 0 0 5 0 . 5 6 7 0 . 0 4 1 0 . 0 1 2 0 . 0 4 8 0 . 0 4 4 0 . 1 5 9F x x x x x x xF x x x x x x x? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? 根據(jù)這兩個(gè)函數(shù) ， 從任何一個(gè)觀測值 （ 每個(gè)觀測值都有 7個(gè)變量值 ） 都可以算出兩個(gè)數(shù) 。 其細(xì)節(jié)這里就不贅述了；這些不同方法可由統(tǒng)計(jì)軟件的各種選項(xiàng)來實(shí)現(xiàn) 。 這種先投影的判別方法就是 Fisher判別法 。 按原來變量 (橫坐標(biāo)和縱坐標(biāo) )， 很難將這兩種點(diǎn)分開 。 數(shù)據(jù)中的每個(gè)觀測值是二維空間的一個(gè)點(diǎn) 。 ? 用來比較到各個(gè)中心距離的數(shù)學(xué)函數(shù)稱為判別函數(shù) (discriminant function). ? 這種根據(jù)遠(yuǎn)近判別的思想 ， 原理簡單 ， 直觀易懂 。 這個(gè)數(shù)據(jù)在 8維空間有90個(gè)點(diǎn) ， ? 由于已知所有點(diǎn)的類別 ， 可以求得每個(gè)類型的中心 。 判別分析例子 ? 希望根據(jù)這些企業(yè)的上述變量的打分及其已知的類別 (三個(gè)類別之一：group1代表上升 ， group2代表穩(wěn)定 ，group3代表下降 )找出一個(gè)分類標(biāo)準(zhǔn) ，以對(duì)尚未被分類的企業(yè)進(jìn)行分類 。 ? 在判別分析中 ， 至少有一個(gè)已經(jīng)明確知道類別的 “ 訓(xùn)練樣本 ” ， 并利用該樣本來建立判別準(zhǔn)則 ， 并通過預(yù)測變量來為未知類別的觀測值進(jìn)行判別了 。統(tǒng)計(jì)學(xué) ─ 從數(shù)據(jù)到結(jié)論 第十二章 判別分析 判別分析 (discriminant analysis) ? 某些昆蟲的性別只有通過解剖才能夠判別 ?但雄性和雌性昆蟲在若干體表度量上有些綜合的差異。 此即判別分析 判別分析 (discriminant analysis) ? 判別分析和聚類分析有何不同 ？ ? 在聚類分析中 ， 人們一般事先并不知道應(yīng)該分成幾類及哪幾類 ， 全根據(jù)數(shù)據(jù)確定 。 ? 指標(biāo)有 :企業(yè)規(guī)模 （ is） 、 服務(wù) (se)、 雇員工資比例 (sa)、 利潤增長 (prr)、 市場份額 (ms)、 市場份額增長 (msr)、 流動(dòng)資金比例 (cp)、 資金周轉(zhuǎn)速度 (cs)等 . ? 另外 ， 有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè) 、 穩(wěn)定企業(yè)和下降企業(yè) 。 1. 根據(jù)距離判別的思想 ? 8個(gè)用來建立判別標(biāo)準(zhǔn) (或判別函數(shù) )的 (預(yù)測 )變量 ,另一個(gè) (group)是類別 ? 每一個(gè)企業(yè)的打分在這 8個(gè)變量所構(gòu)成的 8維空間中是一個(gè)點(diǎn) 。 ? 一個(gè)常用距離是 Mahalanobis距離 。 ? 假定只有兩類 。一類有 38個(gè)點(diǎn) (用 “ o”表示 ),另一類有 44個(gè)點(diǎn) (用 “ *” 表示 )。 ? 有了投影之后 ， 再用前面講到的距離遠(yuǎn)近的方法得到判別準(zhǔn)則 。 一個(gè)變量的判別能力的判斷方法有很多種 ， 主要利用各種檢驗(yàn) ， 例如Wilks’ Lambda、 Rao’s V、 The Squared Mahalanobis Distance、 Smallest F ratio或 The Sum of Unexplained Variations等檢驗(yàn) 。 用 x1,x2, x3, x4,x5, x6, x7分別表示標(biāo)準(zhǔn)化后的變量 is， se， sa， prr， ms， msr， cs，得到兩個(gè)典則判別函數(shù) （ Canonical Discriminant Function Coefficients） ： 這兩個(gè)函數(shù)實(shí)際上是由 Fisher判別法得到的向兩個(gè)方向的投影 。 C a n on i c a l D i s c r i m i n a n t F u n c t i on C oe f f i c i e n t s. 0 3 5 . 0 0 53 . 2 8 3 . 5 6 7. 0 3 7 . 0 4 1 . 0 0 7 . 0 1 2. 0 6 8 . 0 4 8 . 0 2 3 . 0 4 4 . 3 8 5 . 1 5 9 3 . 1 6 6 4 . 3 8 4ISSESAP R RMSMS RCS( C o n s t a n t )1 2F u n ct io nU n s t a n d a r d iz e d co e f f ici e n t sC an o n i c al D i s c r i mi n an t F u n c t i o n sF u n ct io n 1100 1 0Function 243210123G R O U PG r o u p Ce n t r o id s321321 ? 從上圖可以看出 ， 第一個(gè)投影 （ 相應(yīng)于來自于第一個(gè)典則判別函數(shù)橫坐標(biāo)值 ） 已經(jīng)能夠很好地分辨出三個(gè)企業(yè)類型了 。 該表說明第一個(gè)函數(shù)的貢獻(xiàn)率已經(jīng)是 99%了 ， 而第二個(gè)只有1%。 把每個(gè)觀測點(diǎn)帶入三個(gè)函數(shù) ，就可以得到分別代表三類的三個(gè)值 ， 哪個(gè)值最大 ， 該點(diǎn)就屬于相應(yīng)的那一類 。 ? 該表分成兩部分；上面一半（ Original）是用從全部數(shù)據(jù)得到的判別函數(shù)來判斷每一個(gè)點(diǎn)的結(jié)果（前面三行為判斷結(jié)果的數(shù)目，而后三行為相應(yīng)的百分比）。 結(jié)果的圖形和判別的正確與否就不一樣了 。 ? 要選擇好可能用于判別的預(yù)測變量。還要看預(yù)測變量中是否有些不適宜的；這可以用單變量方差分析（ ANOVA）和相關(guān)分析來驗(yàn)證。 判別分析要注意什么 ？ ? 此外成員的權(quán)數(shù)（ SPSS用 prior probability，即“先驗(yàn)概率”，和貝葉斯統(tǒng)計(jì)的先驗(yàn)概率有區(qū)別）需要考慮；一般來說，加權(quán)要按照各類觀測值的多少，觀測值少的就要按照比例多加權(quán)。 SPSS選項(xiàng) ? 打開 。 ? 在 Plots可選 Combinedgroups, Territorial map等。 39。39。[ ( ) ( ) 39。]k mmmmB n x x x x?? ? ?? 組內(nèi)離差平方和為 : ( ) ( ) 211( ) ( ) ( ) ( )11( 39。 ] 39。( ) m a x39。 再看逐步判別法。 ( )2W x xm m m m m m?? ? ? ? S ?如果 W(x)0即 D(x,G1)D(x,G2)則 x∈ G1 如果 W(x)0即 D(x,G1)D(x,G2)則 x∈ G2 如果 W(x)=0即 D(x,G1)=D(x,G2)則待判 當(dāng) m(1), m(2), S 已知 時(shí) , 令 a= S1(m(1) m(2) ) ≡(a1,…, a p)’,則 1111 1 1( ) ( ) 39。, ( )2ini i ikkini i i ii t ttx x S Sn n nS x x x x x x xm??? ? S ? ???? ? ? ? ???1 ( 1 ) ( 2 )?( ) ( ) 39。 ( ) , , 1 , .. .,2ij i ji j i jW x D x G D x Gx i j km m m m???? ? ? S ? ?相應(yīng)的準(zhǔn)則為 : 如果對(duì)一切 j≠i, Wij(x)0, 則 x∈ Gi 如果有某一個(gè) Wij(x)=0, 則待判 2 ( ) ( ) 1 ( )( , ) ( ) 39。 .ini i i ikikiini i i ii t ttx x S i knnS x x x xm??? ? S ? ??? ? ???m個(gè)判別函數(shù)的判別能力定義為 下面以兩總體 (k=2)為例來發(fā)現(xiàn)閾值 . 它們的均值 的投影分別為 111mimii rihhpll???????(1 ) ( 2 ),xx ( 1 ) ( 2 )1139。 ) / 2 39。[ ( ) ( ) 39。s v x s v xssm ???類似地 ,第二組數(shù)據(jù)投影的樣本方差為 22 1 2 121 39。 , 39。 1 , ...,i l ily c x l m i k? ? ?2 ( ) 21[ ( ) ] , 1 , .. .,mii l l llD y x y i kl?? ? ??22m iniiD D x G??? ? ?Bayes判別法 ? 不用判別式 ,而用 比較 新給樣品屬于各個(gè)總體的條件概率 P(l|x), l=1,…, k, 的大小