北大svm講義ppt課件(已修改)
2025-05-18 12:18 本頁(yè)面
【正文】 支持向量機(jī) （ support vector machine， SVM） Wang Jimin Nov 18, 2022 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 Outline ?SVM的理論基礎(chǔ) ?線性判別函數(shù)和判別面 ?最優(yōu)分類面 ?支持向量機(jī) ? SVM的研究與應(yīng)用 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 SVM的理論基礎(chǔ) ? 傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法只有在樣本趨向無(wú)窮大時(shí)，其性能才有理論的保證。 統(tǒng)計(jì)學(xué)習(xí)理論（ STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題。 SVM的理論基礎(chǔ)就是統(tǒng)計(jì)學(xué)習(xí)理論。 ? 傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法在進(jìn)行機(jī)器學(xué)習(xí)時(shí)，強(qiáng)調(diào) 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。 而 單純的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生 “ 過(guò)學(xué)習(xí)問(wèn)題 ” ，其推廣能力較差。 ? 推廣能力 是指 : 將學(xué)習(xí)機(jī)器 (即預(yù)測(cè)函數(shù) ,或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型 )對(duì)未來(lái)輸出進(jìn)行正確預(yù)測(cè)的能力。 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 過(guò)學(xué)習(xí)問(wèn)題 ?“過(guò)學(xué)習(xí)問(wèn)題 ” ：某些情況下，當(dāng)訓(xùn)練誤差過(guò)小反而會(huì)導(dǎo)致推廣能力的下降。 ?例如：對(duì)一組訓(xùn)練樣本 (x,y),x分布在實(shí)數(shù)范圍內(nèi)， y取值在 [0， 1]之間。無(wú)論這些樣本是由什么模型產(chǎn)生的，我們總可以用y=sin(w*x)去擬合，使得訓(xùn)練誤差為 0. 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 SVM ? 根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒(méi)有最小化置信范圍值，因此其推廣能力較差。 ? Vapnik 提出的支持向量機(jī)（ Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問(wèn)題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即 SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。 ?形成時(shí)期在 1992— 1995年。 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 SVM ? 由于 SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問(wèn)題的求解，因此 SVM 的解是全局唯一的最優(yōu)解 ? SVM在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中 ? Joachims 最近采用 SVM在 Reuters21578來(lái)進(jìn)行文本分類，并聲稱它比當(dāng)前發(fā)表的其他方法都好 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 O
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1