支持向量機(jī)(svm)原理及應(yīng)用概述-wenkub
2023-07-08 18:36:38 本頁(yè)面
【正文】 M方法是20世紀(jì)90年代初Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方法，它以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ)，通過(guò)適當(dāng)?shù)剡x擇函數(shù)子集及該子集中的判別函數(shù)，使學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)達(dá)到最小，保證了通過(guò)有限訓(xùn)練樣本得到的小誤差分類(lèi)器，對(duì)獨(dú)立測(cè)試集的測(cè)試誤差仍然較小。)，但SVR的目的不是找到兩種數(shù)據(jù)的分割平面，而是找到能準(zhǔn)確預(yù)測(cè)數(shù)據(jù)分布的平面，兩者最終都轉(zhuǎn)換為最優(yōu)化問(wèn)題的求解；1998年，Weston等人根據(jù)SVM原理提出了用于解決多類(lèi)分類(lèi)的SVM方法(MultiClass Support Vector Machines，MultiSVM)，通過(guò)將多類(lèi)分類(lèi)轉(zhuǎn)化成二類(lèi)分類(lèi)，將SVM應(yīng)用于多分類(lèi)問(wèn)題的判斷：此外，在SVM算法的基本框架下，研究者針對(duì)不同的方面提出了很多相關(guān)的改進(jìn)算法。支持向量機(jī)（SVM）原理及應(yīng)用一、SVM的產(chǎn)生與發(fā)展自1995年Vapnik (瓦普尼克)在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識(shí)別的新方法之后，SVM一直倍受關(guān)注。例如，Suykens提出的最小二乘支持向量機(jī) (Least Square Support Vector Machine，LS—SVM)算法，Joachims等人提出的SVM1ight，張學(xué)工提出的中心支持向量機(jī) (Central Support Vector Machine，CSVM)，Scholkoph和Smola基于二次規(guī)劃提出的vSVM等。支持向量機(jī)的基本思想：首先，在線性可分情況下，在原空間尋找兩類(lèi)樣本的最優(yōu)分類(lèi)超平面。）和VC維理論(注：VC維（VapnikChervonenkis Dimension）的概念是為了研究學(xué)習(xí)過(guò)程一致收斂的速度和推廣性，由統(tǒng)計(jì)學(xué)理論定義的有關(guān)函數(shù)集學(xué)習(xí)性能的一個(gè)重要指標(biāo)。(4)分類(lèi)間隔的最大化，使得支持向量機(jī)算法具有較好的魯棒性。圖1 最優(yōu)分類(lèi)面示意圖W所謂最優(yōu)分類(lèi)面要求分類(lèi)面不但能將兩類(lèi)正確分開(kāi)，而且使分類(lèi)間隔最大。設(shè)線性可分樣本集為是類(lèi)別符號(hào)。將判別函數(shù)進(jìn)行歸一化，使兩類(lèi)所有樣本都滿足，也就是使離分類(lèi)面最近的樣本的，此時(shí)分類(lèi)間隔等于？，因此使間隔最大等價(jià)于使 (或)最小。 這是一個(gè)不等式約束下的二次函數(shù)極值問(wèn)題，存在唯一解。是分類(lèi)閾值，可以由任意一個(gè)支持向量通過(guò)式(11)求得(只有支持向量才滿足其中的等號(hào)條件)，或通過(guò)兩類(lèi)中任意一對(duì)支持向量取中值求得。為使計(jì)算進(jìn)一步簡(jiǎn)化，廣義最優(yōu)分類(lèi)面問(wèn)題可以迸一步演化成在條件(16)的約束條件下求下列函數(shù)的極小值： (19)其中C為某個(gè)指定的常數(shù)，它實(shí)際上起控制對(duì)錈分樣本懲罰的程度的作用，實(shí)現(xiàn)在錯(cuò)分樣本的比例與算法復(fù)雜度之間的折衷。設(shè)有非線性映射將輸入空間的樣本映射到高維(可能是無(wú)窮維)的特征空間H中，當(dāng)在特征空間H中構(gòu)造最優(yōu)超平面時(shí)，訓(xùn)練算法僅使用空間中的點(diǎn)積，即，而沒(méi)有單獨(dú)的出現(xiàn)。此時(shí)目標(biāo)函數(shù)(13)變?yōu)椋? (112)而相應(yīng)的分類(lèi)函數(shù)也變?yōu)? (113)算法的其他條件不變，這就是SVM。目前研究最多的核函數(shù)主要有三類(lèi)：(1)多頊?zhǔn)胶撕瘮?shù) （114)其中q是多項(xiàng)式的階次，所得到的是q階多項(xiàng)式分類(lèi)器。此外，該算法不存在困擾神經(jīng)網(wǎng)絡(luò)的局部極小點(diǎn)的問(wèn)題。采用UCI數(shù)據(jù)庫(kù)，對(duì)線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)進(jìn)行了實(shí)驗(yàn)比較，從實(shí)驗(yàn)結(jié)果來(lái)看，對(duì)不同的數(shù)據(jù)庫(kù)，不同的核函數(shù)各有優(yōu)劣，而徑向基核函數(shù)在多數(shù)數(shù)據(jù)庫(kù)上得到略為優(yōu)良的性能。其方法是汽接訓(xùn)練非線性SVM分類(lèi)器完成人臉與非人臉的分類(lèi)。人臉檢測(cè)研究中更復(fù)雜的情況是姿態(tài)的變化。由于許多不確定性因素的影響，特征的選取與識(shí)別就成為一個(gè)難點(diǎn)。（二）說(shuō)話人／語(yǔ)音識(shí)別說(shuō)話人識(shí)別屬于連續(xù)輸入信號(hào)的分類(lèi)問(wèn)題，SVM是一個(gè)很好的分
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1