支持向量機(svm)原理及應用概述(同名13667)(編輯修改稿)
2025-07-20 20:04 本頁面
【文章內容簡介】 要求它滿足|2| （11）nibxwyi ,.1,0])[(?????滿足上述條件(11)，并且使 最小的分類面就叫做最優(yōu)分類面，過兩類樣本中離分2|類面最近的點且平行于最優(yōu)分類面的超平面H 1，H 2上的訓練樣本點就稱作支持向量(support vector)，因為它們“支持”了最優(yōu)分類面。利用Lagrange優(yōu)化方法可以把上述最優(yōu)分類面問題轉化為如下這種較簡單的對偶問題，即：在約束條件， （101??iniy?2a） (12b)nii,.2,?下面對 求解下列函數的最大值：i? （1???nji jijijini xy1,1 )(2Q??）（3）若 為最優(yōu)解，則 （1*??niiyw1**4）即最優(yōu)分類面的權系數向量是訓練樣本向量的線性組合。這是一個不等式約束下的二次函數極值問題，存在唯一解。根據k252。hnTucker條件，解中將只有一部分(通常是很少一部分) 不為零，這些不為0解所對應的樣本就是支持向量。i?求解上述問題后得到的最優(yōu)分類函數是： (15)})(sgn{})sgn{()( 1****???????iibxybxwxf根據前面的分析，非支持向量對應的 均為0，因此上式中的求和實際上只對支持向量i?進行。 是分類閾值，可以由任意一個支持向量通過式(11)求得(只有支持向量才滿足其中*b的等號條件)，或通過兩類中任意一對支持向量取中值求得。從前面的分析可以看出，最優(yōu)分類面是在線性可分的前提下討論的，在線性不可分的情況下，就是某些訓練樣本不能滿足式(11)的條件，因此可以在條件中增加一個松弛項參數，變成：0i?? (16)nibxwyiii ,.21,0])[(??????對于足夠小的s0，只要使 (17)??niF1)(???最小就可以使錯分樣本數最小。對應線性可分情況下的使分類間隔最大，在線性不可分情況下可引入約束： （1kc?2|w8）在約束條件(16)冪1(18)下對式(17)求極小，就得到了線性不可分情況下的最優(yōu)分類面，稱作廣義最優(yōu)分類面。為方便計算，取s=1。為使計算進一步簡化，廣義最優(yōu)分類面問題可以迸一步演化成在條件(16)的約束條件下求下列函數的極小值： (19))(),(21, 1????niCw???）（其中C為某個指定的常數，它實際上起控制對錈分樣本懲罰的程度的作用，實現(xiàn)在錯分樣本的比例與算法復雜度之間的折衷。求解這一優(yōu)化問題的方法與求解最優(yōu)分類面時的方法相同，都是轉化為一個二次函數極值問題，其結果與可分情況下得到的(12) 到(15) 幾乎完全相同，但是條件 (12b)變?yōu)椋? (110)niC,.10i???2．SVM 的非線性映射對于非線性問題，可以通過非線性交換轉化為某個高維空間中的線性問題，在變換空間求最優(yōu)分類超平面。這種變換可能比較復雜，因此這種思路在一般情況下不易實現(xiàn)。但是我們可以看到，在上面對偶問題中，不論是尋優(yōu)目標函數（13）還是分類函數(15)都只涉及訓練樣本之間的內積運算 。設有非線性映射 將輸入空間的樣本映射到高）（ ix? HRd??:維(可能是無窮維)的特征空間H中，當在特征空間H中構造最優(yōu)超平面時，訓練算法僅使用空間中的點積，即 ，而沒有單獨的 出現(xiàn)。因此，如果能夠找到一個函數K使得)(ji?? )(ix? (111))jijixK???這樣在高維空間實際上只需進行內積運算，而這種內積運算是可以用原空間中的函數實現(xiàn)的，我們甚至沒有必要知道變換中的形式。根據泛函的有關理論，只要一種核函數滿足Mercer條件，它就對應某一變換空間中的內積。因此，在最優(yōu)超平面中采用)(jixK?適當的內積函數 就可以實現(xiàn)某一非線性變換后的線性分類，而計算復雜度卻沒有)(jix?增加。此時目標函數(13)變?yōu)椋? (112)??? ??nji jijijini xKyQ1,1 )(2)(??而相應的分類函數也變?yōu)? (113)})(sgn{)(1**???i jiibxyxf算法的其他條件不變，這就是SVM。概括地說SVM就是通過某種事先選擇的非線性映射將輸入向量映射到一個高維特征空間，在這個特征空間中構造最優(yōu)分類超平面。在形式上SVM分類函數類似于一個神經網絡，輸出是中間節(jié)點的線性組合，每個中間節(jié)點對應于一個支持向量，如圖2所示圖2 SVM示意圖其
電大資料相關推薦
鄂ICP備17016276號-1