北大svm講義ppt課件-文庫吧在線文庫
【正文】 x w x w??信息科學技術學院 網(wǎng)絡研究所 SVM ? 根據(jù)統(tǒng)計學習理論，學習機器的實際風險由經(jīng)驗風險值和置信范圍值兩部分組成。 SVM的理論基礎就是統(tǒng)計學習理論。 統(tǒng)計學習理論（ STL）研究有限樣本情況下的機器學習問題。無論這些樣本是由什么模型產(chǎn)生的，我們總可以用y=sin(w*x)去擬合，使得訓練誤差為 0. 信息科學技術學院 網(wǎng)絡研究所 線性判別函數(shù)和判別面 ?一個線性判別函數(shù) (discriminant function)是指由 x的各個分量的線性組合而成的函數(shù) ?兩類情況 :對于兩類問題的決策規(guī)則為 ? 如果 g(x)0， 則判定 x屬于 C1， ? 如果 g(x)0， 則判定 x屬于 C2， ? 如果 g(x)=0， 則可以將 x任意 分到某一類或者拒絕判定 。 注意到： x1x2表示 超平面上的一個向量 信息科學技術學院 網(wǎng)絡研究所 多類的情況 ?利用線性判別函數(shù)設計多類分類器有多種方法 。 信息科學技術學院 網(wǎng)絡研究所 Outline ?SVM的理論基礎 ?線性判別函數(shù)和判別面 ?最優(yōu)分類面 ?支持向量機 ? SVM的研究與應用 信息科學技術學院 網(wǎng)絡研究所 支持向量機 上節(jié)所得到的最優(yōu)分類函數(shù)為： ? 該式只包含待分類樣本與訓練樣本中的支持向量的內積 運算，可見 ,要解決一個特征空間中的最優(yōu)線性分類問題 ,我們只需要知道這個空間中的內積運算即可。它基本上不涉及概率測度及大數(shù)定律等 ,因此不同于現(xiàn)有的統(tǒng)計方法。 信息科學技術學院 ? 目前已提出了許多解決方法和改進算法 ,主要是從如何處理大規(guī)模樣本集的訓練問題、提高訓練算法收斂速度等方面改進。 網(wǎng)絡研究所 SVM package 信息科學技術學院 對于大規(guī)模樣本集問題 ,SVM訓練得到的支持向量數(shù)目很大 ,則進行分類決策時的計算代價就是一個值得考慮的問題。 ?支持向量方法也為樣本分析、因子篩選、信息壓縮、知識挖掘和數(shù)據(jù)修復等提供了新工具。 ? 少數(shù)支持向量決定了最終結果 ,這不但可以幫助我們抓住關鍵樣本、 “ 剔除 ” 大量冗余樣本 ,而且注定了該方法不但算法簡單 ,而且具有較好的 “ 魯棒 ” 性。 網(wǎng)絡研究所 SVM方法的特點 ? ① 非線性映射是 SVM方法的理論基礎 ,SVM利用內積核函數(shù)代
教學課件相關推薦
鄂ICP備17016276號-1