【正文】 [1] Vladimir N. Vapnik, “Statistical Learning Theory”, WileyInterscience, 1998 [2] Vladimir N. Vapnik, “The Nature of Statistical Learning Theory”, Springer , 1995 支持向量機(jī) ? 哪個(gè)線性判決面最好？ 支持向量機(jī) ? 間隔 （ margin） ? 模式到判決面的最小距離稱為分類間隔（ margin） ? 一般認(rèn)為，分類 間隔越大的判決 面越好 ? 離判決面最近的 樣本點(diǎn)稱為 支持 向量 （ support vector） 支持向量 支持向量 支持向量 支持向量機(jī) ? 高維空間中權(quán)向量 a和映射點(diǎn) y都是增廣的，則判別函數(shù)為 ? 類別標(biāo)記 ? 表示 屬于 ? 表示 屬于 ? 設(shè)邊沿裕量為 1，則有 1kz ?? kx 1?1kz ?? kx 2?支持向量機(jī) ? 樣本點(diǎn)到判決面的距離 ? 優(yōu)化目標(biāo) 最大化 ，即最小化 約束條件 () () 1k kkg zg??y ya a a分類間隔 1a a支持向量機(jī) ? SVM的訓(xùn)練 KuhnTucker構(gòu)造法 二次規(guī)劃問(wèn)題 最大化 最小化 ? 共軛梯度法 ? 內(nèi)點(diǎn)法 ? active set ? …… . 支持向量機(jī) ? 非線性映射 基本思想：當(dāng)原訓(xùn)練樣本線性不可分時(shí)，可利用某個(gè)非線性變換，將原數(shù)據(jù)空間中的樣本點(diǎn)映射到更高維空間中，使得在此高維空間中的映射點(diǎn)線性可分 : ( )kk????yx支持向量機(jī) ? 非線性映射 支持向量機(jī) ? 非線性映射 ? 非線性映射 反映了設(shè)計(jì)者的先驗(yàn)知識(shí) ? 在缺乏先驗(yàn)知識(shí)的前提下，常用的非線性映射函數(shù)有：多項(xiàng)式函數(shù) 、 高斯函數(shù) 等 ?支持向量機(jī) ? 核技巧（ kernel trick） ? 線性分類器僅僅依賴于 內(nèi)積計(jì)算 ? 如果所有樣本點(diǎn)都映射到高維（甚至可能為無(wú)限維）空間中 ，在此高維空間中的內(nèi)積計(jì)算 往往很難計(jì)算或根本無(wú)法計(jì)算 ? 核函數(shù)指原數(shù)據(jù)空間中對(duì)應(yīng)于變換后空間中內(nèi)積計(jì)算的某種函數(shù) tijxx: ( )kk????yx( ) ( )tij??xx( , ) ( ) ( )ti j i jk ???x x x x這表明：較復(fù)雜的高維空間中的內(nèi)積計(jì)算可以通過(guò)低維空間中的核函數(shù)間接進(jìn)行 如果一個(gè)問(wèn)題僅包含內(nèi)積計(jì)算，則可以不指定具體的映射函數(shù)，而僅需知道該映射函數(shù)對(duì)應(yīng)的核函數(shù) 支持向量機(jī) ? 核技巧（ kernel trick） ? 什么樣的函數(shù)可以作為核函數(shù)？ ? Mercer定理 任何半正定對(duì)稱函數(shù)都可以作為核函數(shù) ? 半正定 由 組成的矩陣 A為半正定矩陣，即對(duì)任意非零實(shí)數(shù)向量 z，有 ? 對(duì)稱 ( , )ij i jak? xx0t ?z Az( , ) ( , )i j j ikk ?x x x x支持向量機(jī) ? 核技巧（ kernel trick） ? 常用的核函數(shù) ? 多項(xiàng)式核 ? 高斯核 ? 反曲函數(shù) ( , ) ( 1 )tdk ??x y x y22( , ) e xp 2xyk?