支持向量機(svm)原理及應用概述(編輯修改稿)
2025-07-20 18:36 本頁面
【文章內(nèi)容簡介】 下求下列函數(shù)的極小值： (19)其中C為某個指定的常數(shù)，它實際上起控制對錈分樣本懲罰的程度的作用，實現(xiàn)在錯分樣本的比例與算法復雜度之間的折衷。求解這一優(yōu)化問題的方法與求解最優(yōu)分類面時的方法相同，都是轉化為一個二次函數(shù)極值問題，其結果與可分情況下得到的(12)到(15)幾乎完全相同，但是條件(12b)變?yōu)椋? (110)2．SVM的非線性映射對于非線性問題，可以通過非線性交換轉化為某個高維空間中的線性問題，在變換空間求最優(yōu)分類超平面。這種變換可能比較復雜，因此這種思路在一般情況下不易實現(xiàn)。但是我們可以看到，在上面對偶問題中，不論是尋優(yōu)目標函數(shù)（13）還是分類函數(shù)(15)都只涉及訓練樣本之間的內(nèi)積運算。設有非線性映射將輸入空間的樣本映射到高維(可能是無窮維)的特征空間H中，當在特征空間H中構造最優(yōu)超平面時，訓練算法僅使用空間中的點積，即，而沒有單獨的出現(xiàn)。因此，如果能夠找到一個函數(shù)K使得 (111)這樣在高維空間實際上只需進行內(nèi)積運算，而這種內(nèi)積運算是可以用原空間中的函數(shù)實現(xiàn)的，我們甚至沒有必要知道變換中的形式。根據(jù)泛函的有關理論，只要一種核函數(shù)滿足Mercer條件，它就對應某一變換空間中的內(nèi)積。因此，在最優(yōu)超平面中采用適當?shù)膬?nèi)積函數(shù)就可以實現(xiàn)某一非線性變換后的線性分類，而計算復雜度卻沒有增加。此時目標函數(shù)(13)變?yōu)椋? (112)而相應的分類函數(shù)也變?yōu)? (113)算法的其他條件不變，這就是SVM。概括地說SVM就是通過某種事先選擇的非線性映射將輸入向量映射到一個高維特征空間，在這個特征空間中構造最優(yōu)分類超平面。在形式上SVM分類函數(shù)類似于一個神經(jīng)網(wǎng)絡，輸出是中間節(jié)點的線性組合，每個中間節(jié)點對應于一個支持向量，如圖2所示圖2 SVM示意圖其中，輸出(決策規(guī)則)：，權值，為基于s個支持向量的非線性變換(內(nèi)積)，為輸入向量。3．核函數(shù)選擇滿足Mercer條件的不同內(nèi)積核丞數(shù)，就構造了不同的SVM，這樣也就形成了不同的算法。目前研究最多的核函數(shù)主要有三類：(1)多頊式核函數(shù) （114)其中q是多項式的階次，所得到的是q階多項式分類器。(2)徑向基函數(shù)(RBF) (115)所得的SVM是一種徑向基分類器，它與傳統(tǒng)徑向基函數(shù)方法的基本區(qū)別是，這里每一個基函數(shù)的中心對應于一個支持向量，它們以及輸出權值都是由算法自動確定的。徑向基形式的內(nèi)積函數(shù)類似人的視覺特性，在實際應用中經(jīng)常用到，但是需要注意的是，選擇不同的S參數(shù)值，相應的分類面會有很大差別。(3)S形核函數(shù) （116)這時的SVM算法中包含了一個隱層的多層感知器網(wǎng)絡，不但網(wǎng)絡的權值、而且網(wǎng)絡的隱層結點數(shù)也是由算法自動確定的，而不像傳統(tǒng)的感知器網(wǎng)絡那樣由人憑借經(jīng)驗確定。此外，該算法不存在困擾神經(jīng)網(wǎng)絡的局部極小點的問題。在上述幾種常用的核函數(shù)中，最為常用的是多項式核函數(shù)和徑向基核函數(shù)。除了上面提到的三種核函數(shù)外，還有指數(shù)徑向基核函數(shù)、小波核函數(shù)等其它一些核函數(shù)，應用相對較少。事實上，需要進行訓練的樣本集有各式各樣，核函數(shù)也各有優(yōu)劣。，采用UCI數(shù)據(jù)庫，對線性核函數(shù)、多項式核函數(shù)和徑向基核函數(shù)進行了實驗比較，從實驗結果來看，對不同的數(shù)據(jù)庫，不同的核函數(shù)各有優(yōu)劣，而徑向基核函數(shù)在多數(shù)數(shù)據(jù)庫上得到略為優(yōu)良的性能。三、支持向量機的應用研究現(xiàn)狀SVM方法在理論上具有突出的優(yōu)勢，貝爾實驗室率先對美國郵政手寫數(shù)字庫識別研究方面應用了SVM方法，取得了較大的成功。在隨后的近幾年內(nèi)，有關SVM的應
環(huán)評公示相關推薦
鄂ICP備17016276號-1