支持向量機(jī)(svm)原理及應(yīng)用概述(同名13667)(編輯修改稿)
2025-07-20 20:04 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 要求它滿足|2| （11）nibxwyi ,.1,0])[(?????滿足上述條件(11)，并且使 最小的分類面就叫做最優(yōu)分類面，過兩類樣本中離分2|類面最近的點(diǎn)且平行于最優(yōu)分類面的超平面H 1，H 2上的訓(xùn)練樣本點(diǎn)就稱作支持向量(support vector)，因?yàn)樗鼈儭爸С帧绷俗顑?yōu)分類面。利用Lagrange優(yōu)化方法可以把上述最優(yōu)分類面問題轉(zhuǎn)化為如下這種較簡(jiǎn)單的對(duì)偶問題，即：在約束條件， （101??iniy?2a） (12b)nii,.2,?下面對(duì) 求解下列函數(shù)的最大值：i? （1???nji jijijini xy1,1 )(2Q??）（3）若 為最優(yōu)解，則 （1*??niiyw1**4）即最優(yōu)分類面的權(quán)系數(shù)向量是訓(xùn)練樣本向量的線性組合。這是一個(gè)不等式約束下的二次函數(shù)極值問題，存在唯一解。根據(jù)k252。hnTucker條件，解中將只有一部分(通常是很少一部分) 不為零，這些不為0解所對(duì)應(yīng)的樣本就是支持向量。i?求解上述問題后得到的最優(yōu)分類函數(shù)是： (15)})(sgn{})sgn{()( 1****???????iibxybxwxf根據(jù)前面的分析，非支持向量對(duì)應(yīng)的 均為0，因此上式中的求和實(shí)際上只對(duì)支持向量i?進(jìn)行。 是分類閾值，可以由任意一個(gè)支持向量通過式(11)求得(只有支持向量才滿足其中*b的等號(hào)條件)，或通過兩類中任意一對(duì)支持向量取中值求得。從前面的分析可以看出，最優(yōu)分類面是在線性可分的前提下討論的，在線性不可分的情況下，就是某些訓(xùn)練樣本不能滿足式(11)的條件，因此可以在條件中增加一個(gè)松弛項(xiàng)參數(shù)，變成：0i?? (16)nibxwyiii ,.21,0])[(??????對(duì)于足夠小的s0，只要使 (17)??niF1)(???最小就可以使錯(cuò)分樣本數(shù)最小。對(duì)應(yīng)線性可分情況下的使分類間隔最大，在線性不可分情況下可引入約束： （1kc?2|w8）在約束條件(16)冪1(18)下對(duì)式(17)求極小，就得到了線性不可分情況下的最優(yōu)分類面，稱作廣義最優(yōu)分類面。為方便計(jì)算，取s=1。為使計(jì)算進(jìn)一步簡(jiǎn)化，廣義最優(yōu)分類面問題可以迸一步演化成在條件(16)的約束條件下求下列函數(shù)的極小值： (19))(),(21, 1????niCw???）（其中C為某個(gè)指定的常數(shù)，它實(shí)際上起控制對(duì)錈分樣本懲罰的程度的作用，實(shí)現(xiàn)在錯(cuò)分樣本的比例與算法復(fù)雜度之間的折衷。求解這一優(yōu)化問題的方法與求解最優(yōu)分類面時(shí)的方法相同，都是轉(zhuǎn)化為一個(gè)二次函數(shù)極值問題，其結(jié)果與可分情況下得到的(12) 到(15) 幾乎完全相同，但是條件 (12b)變?yōu)椋? (110)niC,.10i???2．SVM 的非線性映射對(duì)于非線性問題，可以通過非線性交換轉(zhuǎn)化為某個(gè)高維空間中的線性問題，在變換空間求最優(yōu)分類超平面。這種變換可能比較復(fù)雜，因此這種思路在一般情況下不易實(shí)現(xiàn)。但是我們可以看到，在上面對(duì)偶問題中，不論是尋優(yōu)目標(biāo)函數(shù)（13）還是分類函數(shù)(15)都只涉及訓(xùn)練樣本之間的內(nèi)積運(yùn)算 。設(shè)有非線性映射 將輸入空間的樣本映射到高）（ ix? HRd??:維(可能是無窮維)的特征空間H中，當(dāng)在特征空間H中構(gòu)造最優(yōu)超平面時(shí)，訓(xùn)練算法僅使用空間中的點(diǎn)積，即 ，而沒有單獨(dú)的 出現(xiàn)。因此，如果能夠找到一個(gè)函數(shù)K使得)(ji?? )(ix? (111))jijixK???這樣在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算，而這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí)現(xiàn)的，我們甚至沒有必要知道變換中的形式。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)滿足Mercer條件，它就對(duì)應(yīng)某一變換空間中的內(nèi)積。因此，在最優(yōu)超平面中采用)(jixK?適當(dāng)?shù)膬?nèi)積函數(shù) 就可以實(shí)現(xiàn)某一非線性變換后的線性分類，而計(jì)算復(fù)雜度卻沒有)(jix?增加。此時(shí)目標(biāo)函數(shù)(13)變?yōu)椋? (112)??? ??nji jijijini xKyQ1,1 )(2)(??而相應(yīng)的分類函數(shù)也變?yōu)? (113)})(sgn{)(1**???i jiibxyxf算法的其他條件不變，這就是SVM。概括地說SVM就是通過某種事先選擇的非線性映射將輸入向量映射到一個(gè)高維特征空間，在這個(gè)特征空間中構(gòu)造最優(yōu)分類超平面。在形式上SVM分類函數(shù)類似于一個(gè)神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點(diǎn)的線性組合，每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)支持向量，如圖2所示圖2 SVM示意圖其
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1