【正文】 ? ?? ? ? ?111 2 1121221102212113 . ( ) kkkkkkNy yy y yWNNyy yy????? ? ?? ? ????作業(yè) 1. 對于二維線性判別函數： (1)將判別函數寫成 的形式，并畫出 的幾何圖像； (2)映射成廣義齊次線性判別函數 ； (3)指出上述 X空間實際是 Y空間的一個子空間，且 對 X子空間的劃分與原空間中 對原空間的 劃分相同，并在圖上表示出來。 w(y) w y1 y2 x2 x1 ω1 ω2 投影樣本之間的分離性用投影樣本之差表示： 投影樣本類內離散度 : TT11 WWYXiy iii iiY y x xNNyx? ? ?????在 空 間 的 投 影 均 值1iii xXXx x N?? ?在 空 間 的 均 值 ：11 WY XT?? 22 WY XT?類間分離性越大越好|)(||| 2121 XXWYY T ???? ? ? ? 222 WWi T ii iiiTT WWSxyy xy Y x X? ? ? ???????WSW T 121 ?? WSW T 222 ??i=1,2 i=1,2 ? ?? ? Tii iiS x x xxxX?? ???其 中? ? ? ?1 1 11TS x x x xxX? ? ???? ?2122212() ||YYF is h e r J W?????所 以 , 準 則 函 數 有? ? ? ? 22 1212() T bTTJ W x x W S Wyy WW? ? ??的 分 子? ? ? ?1 2 1 2 TbS x x x x? ? ?其 中WSWWSWWSWWJ wTTT ???? 212 21 2)( ??的分母小越好。 ??????????????????????????NnNNnN XXXXXXXXXXX......................... . . .. . . . .21211121121? ?N ... .. 2,1, XXX TX ?令? ? 給定的任意正常數N .... . 2,1, bbb Tb ?每個樣本有 n個特征 定義誤差向量： e=XWb≠0 把平方誤差作為目標函數 W的優(yōu)化就是使 J(W)最小 。 ? ?????????0)(XXXWWJJ?????01XXXWW kkk ?即感知器迭代公式：W的訓練過程： 例如 : x1, x2, x3∈ ω1 作 x1, x3的垂直線可得解區(qū) (如圖 ) 。 結論： 應該選最佳 ρk。同時 ， 算法可以分為迭代法和非迭代法 。若把每個樣本看成確定的觀測值，則這組樣本稱為確定性樣本集；若把每個樣本看成隨機變量，則這組樣本稱為隨機樣本集。說明超平面則若在原點負側。 nX? 0T nWX ? ? nX?? g(x)=WTX=0決定一個決策界面 ，當 g(x)為線性時，該決策界面便是一個超平面 H，并有以下性質： ? 性質 ①： W與 H正交（如圖所示） 假設 x1,x2是 H上的兩個向量 所以 W 與 (x1x2) 垂直，即 W與 H正交。 ? 加權空間：以 為 變量構成的歐氏空間 ? 模式空間與加權空間的幾何表示如下圖： XWxg Ti?)(TnxxxxX ), . . .,( 321?121 ,..., ?n模式空間 2X1X1?2?1x3x4x0)( ?xg邊界? ?2xHW?該式表示一個通過加權空間原點的平面，比如同樣令 g (x2) =g (x3) =g (x4)=0，可分別作出通過加權空間原點的其他平面。 , 0 ,1sti p pf x x x p p n s t? ? ??fi(x)為 r次多項式函數， x是 n維的情況，則 ? ? ? ? ? ? ? ?1,0,。 ?實際上，一個類的模式分布要比 M1類模式分布更聚集，因此后兩種情況實現模式線性可分的可能性要更大一些。 ij??右圖所示是 M=3 的例子。 3?????????0)(0)(0)(321xgxgxg1?2? ????????000321)x(g)x(g)x(g????????0)(0)(0)(321xgxgxg? ?????4IR 3IR1IR2IR1x2x0)(1 ?xg0)(2 ?xg0)(3 ?xg551問當 x=(x1,x2)T=(6,5)T時屬于那一類 結論： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它屬于 ω 2類 :代入判別函數方程組??????????????1)(5)()(23212211xxgxxxgxxxg.4)(,6)(,1)( 321 ????? xgxgxg得：這樣有 M(M _ 1)/2個判別平面。 2?1x?????? 0)(2 ?xg0)(3 ?xg2x0)(1 ?xg1?3???????????????1)(5)()(23212211xxgxxxgxxxg例：已知三類 ω1,ω2,ω3的判別函數分別為： 因此，三個判別邊界為： ?????????????????01)(05)(0)(23212211xxgxxxgxxxg作圖如下： 3?????????0)(0)(0)(321xgxgxg1?2?????????0)(0)(0)(321xgxgxg????????0)(0)(0)(321xgxgxg? ?????4IR 3IR1IR2IR1x2x0)(1 ?xg0)(2 ?xg0)(3 ?xg551 對于任一模式 X如果它的 g1(x) 0 ， g2(x) 0 ， g3(x) 0，則該模式屬于 ω1類。 當 n3時，則判別邊界為一超平面。 167。＝為權向量，TnTnxxxXW), . . . ,(), . . . ,(21210 ?模式分類： 當 g1(x) =WTX=0 為判別邊界。 ii ?? 下圖所示，每一類別可用單個判別邊界與其它類別相分開 。 另一種情況是 IR2區(qū)域，判別函數都為負值。 1)(,1)(,2)( 231312 ?????? xgxgxg1)(,1)(,2)( 323121 ??? xgxgxg0)(3 ?xg j2212300gg???判 別 區(qū)1121300gg???判 別 區(qū)0)(12 ?xg?0)(23 ?xg0)(13 ?xg?????5530032313??gg判別區(qū)?1x2x第三種情況： 判別函數： 判別規(guī)則： 判別邊界： gi(x) =gj(x) 或 gi(x) gj(x) =0 就是說，要判別模式 X屬于那一類，先把 X代入 M個判別函數中，判別函數最大的那個類別就是 X所屬類別。 2?)()(),()( 1232 xgxgxgxg ??1)(,1)(,0)( 321 ???? xgxgxg).(),(),( 321 xgxgxg1??????)()()()(3121xgxgxgxg2??????)()()()(3212xgxgxgxg?????