【正文】
= 1 9 1 1 1 1 9 1 1 1 1 9 ( 1)用拉格朗日乘子法求極大值點(diǎn): 支持向量機(jī) 2( , ) ( 1 )TiiK X X X X??12( , ) TX x x? 12( , ) Ti i iX x x?2 2 2 21 1 1 2 1 2 2 2 1 1 2 2( , ) 1 2 2 2i i i i i i iK X X x x x x x x x x x x x x? ? ? ? ? ?11( , )K X X21( , )K X X31( , )K X X41( , )K X X12( , )K X X22( , )K X X32( , )K X X42( , )K X X13( , )K X X23( , )K X X33( , )K X X43( , )K X X14( , )K X X24( , )K X X34( , )K X X44( , )K X X1 1 11( ) ( , )2N N Ni i j i j i ji i jQ y y K X X? ? ? ?? ? ???? ? ?2 2 22 2 3 2 4 3 3 4 49 2 2 9 2 9 )? ? ? ? ? ? ? ? ?? ? ? ? ?21 2 3 4 1 1 2 1 3 1 41 ( 9 2 2 22? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?12+ 20 ? 支持向量機(jī)設(shè)計(jì)舉例 — XOR問題(續(xù)) – 方法二(續(xù)): 對(duì) 求導(dǎo)并令導(dǎo)數(shù)為零,得到下列聯(lián)立方程組: 解得極值點(diǎn): 。由于 4個(gè)樣本都是支持向 量,隱層應(yīng)有 4個(gè)節(jié)點(diǎn),各節(jié)點(diǎn)的輸出為: , ( 2)計(jì)算最優(yōu)權(quán)值和偏置值: 其中 支持向量機(jī) 1 2 3 491? ? ? ?? ? ? ?1 2 3 491? ? ? ?? ? ? ? ?1 2 3 491? ? ? ?? ? ? ?1 2 3 491? ? ? ?? ? ? ? ?1 2 3 418? ? ? ?? ? ? ?1, 2, 3, 4i ? 2? ( , ) ( 1 )Ti i iy K X X X X? ? ?4**1?i i iiw y y??? ?()Q? i?* 1 4 1 2 4 11 ( [ ( , ) ] [ ( , ) ]8 jjw K X X K X X??? ? ? ?( 1,1,1, 1)? ? ?* 0b ?3 4 1 4 4 1[ ( , ) ] [ ( , ) ] )jjK X X K X X???12+ 21 ? 支持向量機(jī)設(shè)計(jì)舉例 — XOR問題(續(xù)) – 方法二(續(xù)): ( 3)支持向量機(jī)的最優(yōu)分界面為: 即 : 將 和下式 ( )代入上式 整理后有 : 支持向量機(jī) 1 2 3 41 ( ( , ) ( , ) ( , ) ( , ) ) 08 K X X K X X K X X K X X? ? ? ? ?4 **1( , ) 0i i iiy K x x b?????2 2 2 21 1 1 2 1 2 2 2 1 1 2 2( , ) 1 2 2 2i i i i i i iK X X x x x x x x x x x x x x? ? ? ? ? ?4 **121( , ) 0i i iiy K x x b x x??? ? ? ??* 0b ? 1, 2 , 3, 4i ?12+ 22 思考題 從結(jié)構(gòu)、學(xué)習(xí)、功能和性能等方面,對(duì)含單隱層 MLP網(wǎng)絡(luò)、 RBF網(wǎng)絡(luò)和 SVM網(wǎng)絡(luò)進(jìn)行詳細(xì)比較,并結(jié)合自己的研究領(lǐng)域討論它們的應(yīng)用前景。