【正文】 。 網(wǎng)絡研究所 SVM方法的特點 ? ① 非線性映射是 SVM方法的理論基礎 ,SVM利用內積核函數(shù)代替向高維空間的非線性映射 。 ?支持向量方法也為樣本分析、因子篩選、信息壓縮、知識挖掘和數(shù)據(jù)修復等提供了新工具。 網(wǎng)絡研究所 SVM package 信息科學技術學院 信息科學技術學院 網(wǎng)絡研究所 支持向量機 上節(jié)所得到的最優(yōu)分類函數(shù)為： ? 該式只包含待分類樣本與訓練樣本中的支持向量的內積 運算，可見 ,要解決一個特征空間中的最優(yōu)線性分類問題 ,我們只需要知道這個空間中的內積運算即可。 信息科學技術學院 注意到： x1x2表示 超平面上的一個向量 信息科學技術學院 無論這些樣本是由什么模型產生的，我們總可以用y=sin(w*x)去擬合，使得訓練誤差為 0. 信息科學技術學院 SVM的理論基礎就是統(tǒng)計學習理論。 0() Tg x w x w??信息科學技術學院 例如 ? 可以把 k類問題轉化為 k個兩類問題 ， 其中第 i 個問題是用線性判別函數(shù)把屬于 Ci類與不屬于 Ci類的點分開 。 網(wǎng)絡研究所 最優(yōu)分類面 ? SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來的 , 基本思想可用圖 2的兩維情況說明 . 圖中 , 方形點和圓形點代表兩類樣本 , H 為分類線 ,H1, H2分別為過各類中離分類線最近的樣本且平行于分類線的直線 , 它們之間的距離叫做 分類間隔 (margin)。從本質上看 ,它避開了從歸納到演繹的傳統(tǒng)過程 ,實現(xiàn)了高效的從訓練樣本到預報樣本的 “ 轉導推理 ” (transductive inference) ,大大簡化了通常的分類和回歸等問題。 ? 主要有：分解方法、修改優(yōu)化問題法、增量學習法、幾何方法等分別討論。 網(wǎng)絡研究所 SVM分類算法 ? SVM分類算法 ? 訓練好 SVM分類器后 ,得到的支持向量被用來構成決策分類面。 網(wǎng)絡研究所 SVM方法的特點 ? SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定 ,計算的復雜性取決于支持向量的數(shù)目 ,而不是樣本空間的維數(shù) ,這在某種意義上避免了 “ 維數(shù)災難 ” 。 信息科學技術學院 信息科學技術學院 該圖類似于一個神經元。 而 單純的經驗風險最小化會產生 “ 過學習問題 ” ，其推廣能力較差。 網(wǎng)絡研究所 過學習問題 ?“過學習問題