[計(jì)算機(jī)硬件及網(wǎng)絡(luò)]支持向量機(jī)(編輯修改稿)
2024-11-12 23:06 本頁面
【文章內(nèi)容簡介】 原理之線性可分 ? Lagrange 乘子法 解題方法為： 1 用拉格朗日方法制造一個(gè)新函數(shù) F 2 在 F中放進(jìn)一個(gè)未知的常數(shù) C 得到： F=xyz+C(2xy+2xz+2yza2) 2021/11/10 哈爾濱理工大學(xué)網(wǎng)絡(luò)信息中心 18 SVM原理之線性可分 ? Lagrange 乘子法 F對 x， y， z 的三個(gè)自變量的偏微分分別為零 ，得到三個(gè)新方程式 ： yz+2C(y+z)=0 xz+2C(x+z)=0 xy+2C(x+y)=0 因?yàn)樽宰兞績H可能是正數(shù)，把上面的式子相除得 (x/y)=(x+z)/(y+z) (y/z)=(x+y)/(x+z) 2021/11/10 哈爾濱理工大學(xué)網(wǎng)絡(luò)信息中心 19 SVM原理之線性可分 ? Lagrange 乘子法 由此得出只有各個(gè)自變量的值相等才可以維持上面的關(guān)系，再由約束條件得到它們的值是： x=y=z=(a/√6) 2021/11/10 哈爾濱理工大學(xué)網(wǎng)絡(luò)信息中心 20 SVM原理之線性可分 ? 構(gòu)造拉格朗日函數(shù) : L(w,b,a)= (ww)— ∑ai{yi[(wxi)+b]1} 其中 :ai0為 Lagrange系數(shù)。求式 (3)的極小值就是對 w和 b求拉氏函數(shù)的極小值。求 L對w和 b的偏微分，并令其等于 0,可轉(zhuǎn)化為對偶問題 : 在約束條件 aiyi=0,ai≥0,i=1,2,…,n 之下對 ai〉 0求式 (5)的最大值 : ??ni 12021/11/10 哈爾濱理工大學(xué)網(wǎng)絡(luò)信息中心 21 SVM原理之線性可分 W(a)= ai aiajyiyj() （ 5） ??ni 1 21 ?nji,若 ai*為最優(yōu)解，則 w* = ∑i=1..n ai*yixi （ 6） 即最優(yōu)分類面的權(quán)系數(shù)向量式訓(xùn)練樣本的線性組合。 2021/11/10 哈爾濱理工大學(xué)網(wǎng)絡(luò)信息中心 22 SVM原理之線性可分 ? 這是一個(gè)不等式約束的二次函數(shù)極值問題，存在唯一解，并且解必須滿足 (KuhnTucker條件 ): ai[yi(w*xi + b) 1] = 0, i=1..n （ 7） 顯然，只有支持向量的系數(shù) ai不為 0, 即只有支持向量影
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1