【文章內(nèi)容簡介】 ? ? ???1 ( 1 ) ( 2 )?( ) ( ) 39。 ( )W x x x x x?? ? S ?非線性判別函數(shù) :當(dāng) S(1) ≠S(2)時 2221( 2 ) ( 2 ) 1 ( 2 ) ( 1 ) ( 1 ) 1 ( 1 )( , ) ( , )( ) 39。( ) ( ) ( ) 39。( ) ( )D x G D x Gx x x xm m m m???? ? S ? ? ? S ?這是 x的一個二次函數(shù) , 按照距離最近原則 ,判別準(zhǔn)則仍然為 如果 W(x)0即 D(x,G1)D(x,G2)則 x∈ G1 如果 W(x)0即 D(x,G1)D(x,G2)則 x∈ G2 如果 W(x)=0即 D(x,G1)=D(x,G2)則待判 多總體時的線性判別函數(shù) :當(dāng) S(1)=…= S(k)=S時 記 22( ) ( ) 1 ( ) ( )1( ) [ ( , ) ( , ) ]21[ ( ) ] 39。 ( ) , , 1 , .. .,2ij i ji j i jW x D x G D x Gx i j km m m m???? ? ? S ? ?相應(yīng)的準(zhǔn)則為 : 如果對一切 j≠i, Wij(x)0, 則 x∈ Gi 如果有某一個 Wij(x)=0, 則待判 2 ( ) ( ) 1 ( )( , ) ( ) 39。( ) ( ) , 1 , .. .,i i iiD x G x x i kmm ?? ? S ? ?非線性判別函數(shù) :當(dāng) S(1) ,…, S(k) 不等時 ( ) ( ) 1 ( )( ) ( ) 1 ( )( ) ( ) 39。( ) ( )( ) 39。( ) ( )j j jiji i iW x x xxxmmmm??? ? S ?? ? S ?相應(yīng)的準(zhǔn)則為 : 如果對一切 j≠i, Wij(x)0, 則 x∈ Gi 如果有某一個 Wij(x)=0, 則待判 . 當(dāng) m(i), S(i) 未知 時 , 可通過樣本來估計 2( ) ( ) ( ) ( )1( ) ( ) ( ) ( )111?? , , 1 , ...,1( ) ( ) 39。 .ini i i ikikiini i i ii t ttx x S i knnS x x x xm??? ? S ? ??? ? ???m個判別函數(shù)的判別能力定義為 下面以兩總體 (k=2)為例來發(fā)現(xiàn)閾值 . 它們的均值 的投影分別為 111mimii rihhpll???????(1 ) ( 2 ),xx ( 1 ) ( 2 )1139。 , 39。v x v x當(dāng)總體方差相等時 閾值為 ( 1 ) ( 2 ) ( 1 ) ( 2 )1 1 1( 39。 39。 ) / 2 39。( ) / 2v x v x v x xm ? ? ? ?1( 1 ) ( 1 )1 1 139。 , .. ., 39。 nv x v x12 ( 1 ) ( 1 ) ( 1 ) ( 1 )1 1 1 1 1 111139。[ ( ) ( ) 39。] 39。11niiis v x x x x v v A vnn ?? ? ? ????總體方差不等時 ,注意到 的樣本方差為 ( 1 ) ( 2 )* 2 1 1 11239。39。s v x s v xssm ???類似地 ,第二組數(shù)據(jù)投影的樣本方差為 22 1 2 121 39。1s v A vn??于是閾值 如 ( 2 ) ( 1 )1139。39。v x v x?判別規(guī)則為 12( ) ( * )( ) ( * )( ) ( * )y x or x Gy x or x Gy x or x und e c ide dmmmmmm? ? ?? ? ???用 m個線性判別函數(shù) yi(x) =vi’x,i=1,…,m, 時 , 先將樣本點在 L(vi,…,v m )空間投影再按照 p1情況的距離判別法來制定判別規(guī)則 . 判別能力為 111mimii rihhpll???????于秀林書上介紹了對用一個和 m個判別函數(shù)的加權(quán)和不加權(quán)方法 . 記 y(x)= v’x, 其在 Gi上的樣本均值和方差 , 以及總均值為 ( ) ( ) 2 ( )39。 , 39。 , 39。i i iiy v x v s v y v x?? ? ?m=1時 , 不加權(quán)法 : ( ) ( )| ( ) | m in | ( ) |ij jiy x y y x y x G? ? ? ? ?m=1時 , 加權(quán)法 : 按大小排列 ( 1 ) ( ), .. ., ( 1 ) ( )ky y y y k? ? ?Di,i+1可為相應(yīng)兩類的分界點 相應(yīng)的標(biāo)準(zhǔn)差為 令 (1 ) , ... , ( )k??,1( 1 ) ( ) ( ) ( 1 ) , 1 , . . . , 1( 1 ) ( )iii y i i y id i kii?????? ? ?? ? ???1 , , 1()i i i i id y x d x G??? ? ? ?m1時 , 不加權(quán)法 : 記 對 x=(x1,…,)’, y l(x)=v(l)’x m1時 , 加權(quán)法 : 記 2 ( ) 21[ ( ) ] , 1 , . . . ,mii l llD y x y i k?? ? ??則 則 22m iniiD D x G??? ? ?( ) ( ) ( )39。 , 1 , ...., 。 1 , ...,i l ily c x l m i k? ? ?2 ( ) 21[ ( ) ] , 1 , .. .,mii l l llD y x y i kl?? ? ??22m iniiD D x G??? ? ?Bayes判別法 ? 不用判別式 ,而用 比較 新給樣品屬于各個總體的條件概率 P(l|x), l=1,…, k, 的大小 (將新樣品判歸為來自概率最大的總體 ). ? 先給出對于 k個總體的先驗概率 q1,…,q k. 如各總體密度為 {fk(x)}, 則后驗概率為 (g=1,…k): P(g|x)=qgfg(x)/Si qifi(x) ? 當(dāng)且僅當(dāng) P(h|x)= maxgP(g|x), 判 x來自第 h總體 . ? 也可以用使錯判的損失最小來判別 . 如果 c(i|j)為來自 j總體的個體被錯判到第 i總體的損失 . 定義平均錯判損失 (ECM)為 ECM=Si=1 qi[Sl≠iP(l|i)c(l|i)] 逐步判別法 ? 前面判別用了所有變量 . ? 但是各變量所起作用并不一樣 . ? 要有進有出 ,引進“最重要的”并剔除不顯著的 . 根據(jù)是假設(shè)檢驗 (比如似然比檢驗 ). ? 檢驗的零假設(shè)是各組變量均值相等 . Lambda (Wilks’ Lambda統(tǒng)計量 ) 接近 0表示組均值不同 ,接近 1表示組均值沒有不同 . Chisquare是 lambda的卡方轉(zhuǎn)換 (Bartelett近似 ), 用于確定其顯著性 . 鳶尾花數(shù)據(jù) (花瓣 ,花萼的長寬 ) 5個變量 :花瓣長 (slen),花瓣寬 (swid), 花萼長 (plen), 花萼寬 (pwid), 分類號 (1:Setosa, 2:Versicolor, 3:Virginica)(data1404) Statistics→Classify →Discriminant: Variables: independent (slen,swid,plen,pwid) Grouping(spno) Define range(min1,max3) Classify: prior probability(All group equal) use covariance matrix (Withingroups) Plots (Combinedgroups, Separategroups, Territorial map) Display (Summary table) Statistics: Descriptive (Means) Function Coefficients (Fisher’s, Unstandardized) Matrix (Withingroups correlation, Withingroups covariance, Separategroups covariance, Total covariance) Save: (Predicted group membership, Discriminant Scores, Probability of group membership) 鳶尾花數(shù)據(jù) (數(shù)據(jù)分析過程簡明表 ) A n a l y s i s C a s e P r o c e s s i n g S u m m a r y1 5 0 1 0 0 . 00 .00 .00 .00 .01 5 0 1 0 0 . 0U n w e i g h t e d C a s e sV a l i dM i s s i n g o r o u t o f r a n g eg r o u p c o d e sA t l e a s t o n e m i s s i n gd i s c r i m i n a t i n g v a r i a b l eB o t h m i s s i n g o ro u t o f r a n g e g r o u pc o d e s a n d a t l e a s t o n em i s s i n g d i s c r i m i n a t i n gv a r i a b l eT o t a lE x c l u d e dT o t a lN P e r c e n tG r o u p S t a t i s t i c s5 0 . 0 6 3 . 5 2 5 50 5 0 . 0 0 03 4 . 2 8 3 . 7 9 1 50 5 0 . 0 0 01 4 . 6 2 1 . 7 3 7 50 5 0 . 0 0 02 . 4 6 1 . 0 5 4 50 5 0 . 0 0 05 9 . 3 6 5 . 1 6 2 50 5 0 . 0 0 02 7 . 6 6 3 . 1 4 7 50 5 0 . 0 0 04 2 . 6 0 4 . 6 9 9 50 5 0 . 0 0 01 3 . 2 6 1 . 9 7 8 50 5 0 . 0 0 06 6 . 3 8 7 . 1 2 8 50 5 0 . 0 0 02 9 . 8 2 3 . 2 1 8 50 5 0 . 0 0 05 5 . 6 0 5 . 5 4 0 50 5 0 . 0 0 02 0 . 2 6 2 . 7 4 7 50 5 0 . 0 0 05 8 . 6 0 8 . 6 3 3 1 5 0 1 5 0 . 0 0 03 0 . 5 9 4 . 3 6 3 1 5 0 1 5 0 . 0 0 03 7 . 6 1 1 7 . 6 8 2 1 5 0 1 5 0 . 0 0 01 1 . 9 9 7 . 6 2 2 1 5 0 1 5 0 . 0 0 0花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬花萼長花萼寬花瓣長花瓣寬分類剛毛鳶尾花變色鳶尾花佛吉尼亞鳶尾花T o t a lM e a nS t d .D e v i a t i o n U n w e i g h t e d W e i g h t e dV a l i d N ( l i s t w i s e )鳶尾花數(shù)據(jù) (原始數(shù)據(jù)的描述 ) 鳶尾花數(shù)據(jù) (合并類內(nèi)相關(guān)陣和協(xié)方差陣 ) P o o l e d W i t h i n G r o u p s M a t r i c e sa2 9 . 9 6 0 8 . 7 6 7 1 6 . 1 2 9 4 . 3 4 08 . 7 6 7 1 1 . 5 4 2 5 . 0 3 3 3 . 1 4 51 6 . 1 2 9 5 . 0 3 3 1 8 . 5 9 7 4 . 2 8 74 . 3 4 0 3 . 1 4 5 4 . 2 8 7 4 . 1 8 81 . 0 0 0 . 4 7 1 . 6 8 3 . 3 8 7. 4 7 1 1 . 0 0 0 . 3 4 4 . 4 5 2. 6 8 3 . 3 4 4 1 . 0 0 0 . 4