支持向量機(jī)及其應(yīng)用(編輯修改稿)
2025-06-14 21:44 本頁面
【文章內(nèi)容簡介】 (e1,…, en)T, ?=(?1,…, ?n)T。在上式中消去 w和 e后，得到如下線性方程組： ????????????????????????????????????????????yebwIxIIxInnTnnTn00001)(001000)(00????????????????????????? ybI nnTn 01110其中 ?kl=?(xk)T?(xl), k,l=1,...,n。 Page 30 最小二乘支持向量 (回歸 )機(jī) 根據(jù) Mercer定理，最小二乘支持向量分類器為： 其中 ?與 b通過求解上述方程組 得到。 ?????? ??? ??nkkk bxxKxf1),(s g n)(Page 31 例子：最小二乘支持向量 (分類 )機(jī) Page 32 目錄 ? 線性可分的支持向量（分類）機(jī) ? 線性支持向量（分類）機(jī) ? 支持向量（分類）機(jī) ? 最小二乘支持向量（分類）機(jī) ? 硬 ?帶 支持向量（回歸）機(jī) ? 軟 ?帶 支持向量（回歸）機(jī) ? ?支持向量（回歸）機(jī) ? 最小二乘支持向量（回歸）機(jī) ? 支持向量機(jī)應(yīng)用 Page 33 五、 硬 ?帶 支持向量（回歸）機(jī) 一個(gè)簡單的回歸例子 。 考慮兩個(gè)量 x與 y的關(guān)系。假設(shè)已測(cè)得若干個(gè)數(shù)據(jù)構(gòu)成的數(shù)據(jù)集 D： Page 34 硬 ?帶 支持向量（回歸）機(jī) Page 35 五、 硬 ?帶 支持向量（回歸）機(jī) 不敏感損失函數(shù) 為了在回歸問題中使用結(jié)構(gòu)風(fēng)險(xiǎn)代替經(jīng)驗(yàn)風(fēng)險(xiǎn)來作為期望風(fēng)險(xiǎn)，以及保持在支持向量分類機(jī)的稀疏性質(zhì)， Vapnik引入了如下的 不敏感損失函數(shù) ： 其中： Page 36 硬 ?帶 支持向量（回歸）機(jī) Page 37 硬 ?帶 支持向量（回歸）機(jī) )},(,),(),{( 2211 nn yxyxyxD ?，?niRyRXx imi ,1, ?????首先考慮硬 ?帶支持向量 線性 回歸 情況。設(shè)有如下兩類樣本的訓(xùn)練集： 即使用一個(gè)線性函數(shù)來 回歸 （ 擬合 、 逼近 ）樣本點(diǎn)，且這種情 況下，沒有樣本點(diǎn)落在 ?帶外。表示為如下的 原始優(yōu)化問題 ： nibxwyniybxwtswiiiibw,1,))((,1,))((..21m i n2,??????????????? y=()+b+? y=()+b? y=()+b Page 38 硬 ?帶 支持向量（回歸）機(jī) ????????????????????niiiiniiii bxwybxwywbwL1*12( *) ))(())((21),(nTnn R 2**22*11( * ) ),,( ?????????? ?0),(,0),( ( * )( * ) ?????? bwLbwL wb 為求解上述原始優(yōu)化問題 ,使用 Lagrange乘子法 將其轉(zhuǎn)化為對(duì)偶問題。于是引入 Lagrange函數(shù) ： 其中， 稱為 Lagrange乘子。 首先求 Lagrange函數(shù)關(guān)于 w,b的極小值。由 極值條件有： ??????niii1* 0)(?????? niiii xw1* )(得到： Page 39 硬 ?帶 支持向量（回歸）機(jī) nitsxxiniiininiiinjjijjii,1,0,0)(..)())()((21m i n( * )1*1 1*1***?????????????????????? ???? ???）（?????? niiii xw1* )(將上式代入 Lagrange函數(shù)，則原始的優(yōu)化問題轉(zhuǎn)化為如下的對(duì)偶問題 (使用極小形式 )： 求解上述對(duì)偶問題，得 ?(*)。則參數(shù)對(duì) (w,b)可由下式計(jì)算： ????? )( jj xwyb選擇某個(gè) ?j 0或 ?j* 0來計(jì)算 b: Page 40 硬 ?帶 支持向量（回歸）機(jī) bxwxfy ???? )()(支持向量： 稱訓(xùn)練集 D中的樣本 xi為支持向量， 如果它對(duì)應(yīng)的 ?i*0或 ?i0 。 把 w的式子代入函數(shù)： 于是，得到如下的回歸函數(shù)： ????????niiii bxxxf1* ))(()(? y=()+b+? y=()+b? y=()+b Page 41 目錄 ? 線性可分的支持向量（分類）機(jī) ? 線性支持向量（分類）機(jī) ? 支持向量（分類）機(jī) ? 最小二乘支持向量（分類）機(jī) ? 硬 ?帶 支持向量（回歸）機(jī) ? 軟 ?帶 支持向量（回歸）機(jī) ? ?支持向量（回歸）機(jī) ? 最小二乘支持向量（回歸）機(jī) ? 支持向量機(jī)應(yīng)用 Page 42 軟 ?帶 支持向量（回歸）機(jī) )},(,),(),{( 2211 nn yxyxyxD ?，?niRyRXx imi ,1, ?????考慮軟 ?帶支持向量 線性 回歸 情況。設(shè)有如下兩類樣本的訓(xùn)練集： 同樣希望使用一個(gè)線性函數(shù)來 回歸 樣本點(diǎn)，且這種情況下，除了 大量樣本點(diǎn)在 ?帶內(nèi)，還有少量的樣本 落在 ?帶外。這時(shí)需要對(duì) 落在 ?帶外的樣本進(jìn)行懲罰。于是 原始優(yōu)化問題 為： ninibxwyniybxwtsnCwiiiiiiiniiibw,1,0,1,))((,1,))((..)(121m i n( * )*1*2,( * )??????????????????????????? ???? y=()+b+? y=()+b? y=()+b Page 43 軟 ?帶 支持向量（回歸）機(jī) ???????????????????????????????????niiiiniiiiniiiiiniiibxwybxwynCwbwL1*11**1*2))(())(()()(21),(0,0 ( * )( * ) ????0( *)( *)( *) ??
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1