支持向量機(jī)及其應(yīng)用-wenkub
2023-05-20 21:44:36 本頁(yè)面
【正文】 VM的描述 ? 期望風(fēng)險(xiǎn) R(w)要依賴聯(lián)合概率 F(x,y)的信息，實(shí)際問(wèn)題中無(wú)法計(jì)算。設(shè)有如下兩類樣本的訓(xùn)練集： ? 線性可分情況意味著存在 超平面 使訓(xùn)練點(diǎn)中的正類和 負(fù)類樣本分別位于該超平面的兩側(cè)。 最大間隔原則 ：選擇使得訓(xùn)練集 D對(duì)于線性函數(shù) (w 首先求 Lagrange函數(shù)關(guān)于 w,b的極小值。 ? 于是，得到如下的決策函數(shù)： ?????? ???? ??niiii bxxyxf1** )(s g n)(Page 13 目錄 ? 線性可分的支持向量（分類）機(jī) ? 線性支持向量（分類）機(jī) ? 支持向量（分類）機(jī) ? 最小二乘支持向量（分類）機(jī) ? 硬 ?帶 支持向量（回歸）機(jī) ? 軟 ?帶 支持向量（回歸）機(jī) ? ?支持向量（回歸）機(jī) ? 最小二乘支持向量（回歸）機(jī) ? 支持向量機(jī)應(yīng)用 Page 14 二、線性支持向量 (分類 )機(jī) 1))(( ??? bxwy iinibxwy iii ,1,1))(( ???????現(xiàn)在考慮 線性不可分情況 。 為此，引入松弛變量 并 “ 軟化 ” 約束條件： ?i 0??iPage 15 線性支持向量 (分類 )機(jī) 為了避免 ?i取太大的值，需要在目標(biāo)函數(shù)中對(duì)它們進(jìn)行懲罰。對(duì)于訓(xùn)練集 D，無(wú)法尋找到來(lái)如前的超平面來(lái)劃分。有： 支持向量 (分類 )機(jī) ))39。 在支持向量機(jī)應(yīng)用中，核函數(shù) K(x,x’)一般 先驗(yàn)性 地選取 。( xxxxK ???Sigmoid核 : 多項(xiàng)式核 : 高斯核 : dcxxxxK ))39。( 22 ????? xxxxK))39。在上式中消去 w和 e后，得到如下線性方程組： ????????????????????????????????????????????yebwIxIIxInnTnnTn00001)(001000)(00????????????????????????? ybI nnTn 01110其中 ?kl=?(xk)T?(xl), k,l=1,...,n。假設(shè)已測(cè)得若干個(gè)數(shù)據(jù)構(gòu)成的數(shù)據(jù)集 D： Page 34 硬 ?帶 支持向量（回歸）機(jī) Page 35 五、 硬 ?帶 支持向量（回歸）機(jī) 不敏感損失函數(shù) 為了在回歸問(wèn)題中使用結(jié)構(gòu)風(fēng)險(xiǎn)代替經(jīng)驗(yàn)風(fēng)險(xiǎn)來(lái)作為期望風(fēng)險(xiǎn)，以及保持在支持向量分類機(jī)的稀疏性質(zhì)， Vapnik引入了如下的 不敏感損失函數(shù) ： 其中： Page 36 硬 ?帶 支持向量（回歸）機(jī) Page 37 硬 ?帶 支持向量（回歸）機(jī) )},(,),(),{( 2211 nn yxyxyxD ?，?niRyRXx imi ,1, ?????首先考慮硬 ?帶支持向量 線性 回歸 情況。 首先求 Lagrange函數(shù)關(guān)于 w,b的極小值。設(shè)有如下兩類樣本的訓(xùn)練集： 同樣希望使用一個(gè)線性函數(shù)來(lái) 回歸 樣本點(diǎn)，且這種情況下，除了 大量樣本點(diǎn)在 ?帶內(nèi)，還有少量的樣本 落在 ?帶外。 首先求 Lagrange函數(shù)關(guān)于 w,b,?(*)的極小值。 把 w的式子代入函數(shù)： 于是，得到如下的回歸函數(shù)： ????????niiii bxxxf1* ))(()(? y=()+b+? y=()+b? y=()+b Page 46 目錄 ? 線性可分的支持向量（分類）機(jī) ? 線性支持向量（分類）機(jī) ? 支持向量（分類）機(jī) ? 最小二乘支持向量（分類）機(jī) ? 硬 ?帶 支持向量（回歸）機(jī) ? 軟 ?帶 支持向量（回歸）機(jī) ? ?支持向量（回歸）機(jī) ? 最小二乘支持向量（回歸）機(jī) ? 支持向量機(jī)應(yīng)用 Page 47 ?支持向量（回歸）機(jī) 下面通過(guò) 核技術(shù) 來(lái)處理。 支持向量方法的思想是在該高維特征空間 ?中考慮如下線性函數(shù)集： ? ?RbRwXbxwxffF fnT ?????????? ,:。 Page 52 最小二乘支持向量 (回歸 )機(jī) 函數(shù)估計(jì)的目的是在約束 ||w||?a, a?R下通過(guò)最小化如下經(jīng)驗(yàn)風(fēng)險(xiǎn)來(lái)尋找 w和 b: ?????? nkkkTe m p ybxwn1bwR12)))(((),( 最小二乘支持向量回歸機(jī) （ LSSVR） 定義了與標(biāo)準(zhǔn)支持向量機(jī)不同的代價(jià)函數(shù)，選用損失函數(shù)為誤差 ek的二次項(xiàng)，并將其不等式約束改為等式約束，因此尋找 w和 b的優(yōu)化問(wèn)題可以轉(zhuǎn)化為如下具有 嶺回歸 形式的優(yōu)化問(wèn)題： ????? nkkTeb,w,e21wwe)J (w ,m i n1221且?guī)в腥缦碌仁郊s束條件： nkebxwy kkTk ,1,)( ??????其中 ? ? ? ? bxxye Ti ??? ???Page 53 最小二乘支持向量 (回歸 )機(jī) 為了在對(duì)偶空間中求解上述優(yōu)化問(wèn)題，定義如下的 Lagrange泛函： ?? ??????? nk kkkTk yebxwe)J (w ,)e,b,L (w , 1 ))((其中 ?k?R為乘子（叫做支持向量）。 ????? nkkk bxxKxf1),()(Page 56 目錄 ? 線性可分的支持向量（分類）機(jī) ? 線性支持向量（分類）機(jī) ? 支持向量（分類）機(jī) ? 最小二乘支持向量（分類）機(jī) ? 硬 ?帶 支持向量（回歸）機(jī) ? 軟 ?帶 支持向量（回歸）機(jī) ? ?支持向量（回歸）機(jī) ? 最小二乘支持向量（回歸）機(jī) ? 支持向量機(jī)應(yīng)用 Page 57 九、支持向量機(jī)應(yīng)用 手寫(xiě)體數(shù)字識(shí)別 。使用 高斯核 和 多項(xiàng)式核 。 結(jié)果表明 SVM具有一定的優(yōu)勢(shì)。 Joachims， Dumais等人進(jìn)行 SVM對(duì)文本分類的研究工作。 主要使用線性核。 Page 60 九、支持向量機(jī)應(yīng)用 (2)基于顏色的分類 Oliver Chapelle及其合作者研究了僅使用顏色與光照信息下的 SVM目標(biāo)識(shí)別。 汽車行進(jìn)的可視場(chǎng)景中的行人檢測(cè) ： SVM作為分類器，在之前端使用小波作為特征提取的方法。 (1)經(jīng)濟(jì)預(yù)警 (2)股市預(yù)測(cè) (3)財(cái)務(wù)預(yù)測(cè) (4)電力負(fù)荷預(yù)測(cè) (5)交通流量預(yù)測(cè) (6)…… Page 65 九、支持向量機(jī)應(yīng)用 核方法 。
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1