統(tǒng)計學(xué)習(xí)理論與支持向量機概要(編輯修改稿)
2025-02-14 19:39 本頁面
【文章內(nèi)容簡介】 分類間隔就是 H1和 H2之間的距離 2022/2/14 34 最優(yōu)分類面與支持向量 ? 最優(yōu)分類面 令分類間隔 2/||w||最大，等價于 ||w||或者 ||w||2最小，使得分類面對于所有的樣本能正確分類， niby i ,2,1,01)( ?????? xw支持向量 過兩類樣本中離分類面最近的點，且平行于最優(yōu)分類面的超平面 H1,H2上的訓(xùn)練樣本則稱為 支持向量 ，顯見，最優(yōu)分類面是由支持向量來 “ 支撐 ” 的 2022/2/14 35 最優(yōu)分類面與支持向量 ? 最優(yōu)分類面的求取 由最優(yōu)分類面的條件建立目標(biāo)函數(shù)，為二次型 w T ??? 2121)( 2?由滿足條件作為約束條件（樣本條件） niby i ,2,1,01)( ?????? xw則有約束優(yōu)化問題 nibywwi ,2,1,1)(s u b .21)(.m i n 2??????xw?2022/2/14 36 最優(yōu)分類面與支持向量 由拉格朗日乘子法求解最優(yōu)分類面的條件 。 定義拉格朗日函數(shù)為 ]1)([21),(12 ????? ??bywbwL iinii xw??式中 ?i0，為拉格朗日乘子。 L對 w， b求極小值。 0),(0),(????????bwLwbwLb由 得到最優(yōu)化條件 niyxyiniiiiinii,2,1,0,011????????????w2022/2/14 37 最優(yōu)分類面與支持向量 求原約束優(yōu)化問題的對偶問題 ， 可以得到單一變量 ?的優(yōu)化函數(shù)為（ Q的求極大值 ） )(21)(11m a x jijijniinii yyQ xx ??? ????????如果 ?i*為最優(yōu)解，則有 iini ixy???1** ?w最優(yōu)分類面的權(quán)系數(shù)向量為訓(xùn)練樣本向量的線性組合。該最優(yōu)解滿足 niby ii ,2,1,0]1)([ ?????? xw?2022/2/14 38 最優(yōu)分類面與支持向量 因此有：對于多數(shù)樣本 xi來說， ?i*為零，而不為零的 ?i*對應(yīng)于使等號成立的樣本 xi即支持向量。通常支持向量的個數(shù)很少。對應(yīng)于最優(yōu)權(quán)系數(shù)向量，則最優(yōu)分類函數(shù)為 *])(*s g n[*)*s g n()(1bybf iiini?????? ??xxxwx ?上式中，只對支持向量進行作求和運算。分類閾值 b*則由任意一個支持向量滿足等式解出。 如何處理高維特征空間中維數(shù)災(zāi)難 ? 研究發(fā)現(xiàn)在特征空間 Z 中構(gòu)造最優(yōu)超平面 , 并不需要以顯式形式來考慮特征空間 , 而只需要能夠計算支持向量與特征空間中向量的內(nèi)積 , 但是如何計算特征空間中的內(nèi)積 ? SVM 不直接進行計算該內(nèi)積 , 而是用滿足 M ercer 定理的核函數(shù)來代替 , 如下 : 2022/2/14 39 ? Φ( x ) Φ( x j ) = K ( x x j ) 式中 , Φ ( ) 是輸入向量到特征空間的一個非線性映射。因此 , 只要將原空間中對偶問題表達式的內(nèi)積形式用核函數(shù) K( x x j ) 代替 , 即是特征空間中對偶問題的表達形式。 2022/2/14 40 廣義最優(yōu)分類面 前面的最優(yōu)分類面式在線性可分條件下推導(dǎo)出來的 。 不能應(yīng)用于線性不可分情況 。 改造 。 約束條件 1：對于線性不可分情況 ， 許多樣本不能滿足正確分類條件式 niby i ,2,1,01)( ?????? xw因此，增加松弛項 ，分類條件式為 01)( ????? ii by ?xw0?i?約束條件 2：線性可分條件下的分類間隔最大，線性不可分時引入約束 kc?2w在兩個約束條件下對錯分樣本最小函數(shù)求極小值 2022/2/14 41 支持向量機 SVM 支持向量機的數(shù)學(xué)表達 最優(yōu)分類的優(yōu)化函數(shù) )(21)( 11 jijijni ini i yyQ xx ??? ?? ?? ????與最優(yōu)分類函數(shù) *])(*s g n[*)*s g n()(1bybf iiini?????? ??xxxwx ?表達式中都含有內(nèi)積運算 )( xx ?i如果將表達式中的內(nèi)積運算由內(nèi)積函數(shù)來代替，將原來的特征空間作非線性變換，算法的其他條件不變，這就是 SVM. 2022/2/14 42 支持向量機 SVM 使用非線性的內(nèi)積函數(shù)， 將輸入空間作非線性變換，變換到一個高維空間，然后在高維空間中確定最優(yōu)分類面。非線性變換是通過定義適當(dāng)?shù)膬?nèi)積函數(shù) 實現(xiàn)的 , )( xx ?iK?支持向量機的基本思想 Mercer條件，對于任意的對稱函數(shù) K(X,X’), 它是某個特征空間的內(nèi)積運算的充分必要 條件是，對于任意的 φ （ x)不等于 0，且 K(xi,xj)=φ(xi)?φ(xj), 2022/2/14 43 ? 支持向量機的拓撲結(jié)構(gòu) 支持向量機的拓撲結(jié)構(gòu)類似一個 RBF神經(jīng)網(wǎng)絡(luò) 。 2022/2/14 44 常用的內(nèi)積函數(shù) 常用的內(nèi)積函數(shù) 不同的內(nèi)積函數(shù)表現(xiàn)為不同的支持向量機算法 ， 常用的內(nèi)積函數(shù)有以下幾類 （ 1） 多項式內(nèi)積函數(shù) qiiK ]1)[()( ???? xxxx此時得到的支持向量機是一個 q階多項式分類器 （ 2)采用核函數(shù)內(nèi)積 得到的支持向量機是一種徑向基函數(shù)分類器，它與傳統(tǒng)的的徑向基函數(shù)（ RBF)方法的基本區(qū)別是，這里每一個基函數(shù)的中心對應(yīng)一個支持量，它們以及輸出權(quán)重都是由算法自動確定的 （ 3） S型內(nèi)積函數(shù) ])(t a n h [)( cK ii ???? xxxx ?則支持向量機實現(xiàn)的就是一個兩層的多層感知器的神經(jīng)網(wǎng)絡(luò)，只是在這里不 但網(wǎng)絡(luò)的權(quán)值，而且網(wǎng)絡(luò)的隱層節(jié)點數(shù)目也是由算法自動確定的 2022/2/14 45 SVM舉例 這是一個二維合成的數(shù)據(jù)實驗，圖中的小圓圈和點分別表示兩類的訓(xùn)練樣本， 虛線畫出了 q=2的多項式內(nèi)積函數(shù)求得的支持向量機分類線，而畫圓圈的樣本 點是求得的支持向量，而畫叉的樣本點為錯分的樣本。 2022/2/14 46 SVM訓(xùn)練算法 ? 支持向量機的訓(xùn)練算法歸結(jié)為求解一個受約束的 二次規(guī)劃問題（ QP ）問題。對于小規(guī)模的 QP 問題 , 它體現(xiàn)出了十分優(yōu)秀的學(xué)習(xí)能力 , 但當(dāng)將其應(yīng)用到大規(guī)模的 QP 問題時 , 就會表現(xiàn)出訓(xùn)練速度慢、算法復(fù)雜、效率低下等問題。現(xiàn)在主要的訓(xùn)練算法都是將原有大規(guī)模的 QP 問題分解成一系列小的 QP 問題。但是如何進行分解以及選擇合適的工作集是這些算法面臨的主要問題 , 并且這也是各個算法優(yōu)劣的表現(xiàn)所在。另外一些算法主要是增加函數(shù)項、變量或系數(shù)等方法使公式變形 , 使其具有某一方面的優(yōu)勢 , 或者有一定應(yīng)用范圍。 ? 經(jīng)過上面的討論 , 我們知道 QP 問題的解僅依賴于與支持向量對應(yīng)的那些訓(xùn)練樣本點 , 但是當(dāng)訓(xùn)練樣本增大時 ,就會過多占用內(nèi)存 , 從而導(dǎo)致訓(xùn)練時間過長和效果不佳 , 因此設(shè)計適合于大量樣本的算法成為 SVM 研究中的重要內(nèi)容。 2022/2/14 47 SVM 算法研究進展 ? chunking 算法 ? 分解算法 ? SMO 算法 ? 增量學(xué)習(xí)方法 ? 粒度支持向量機 ? 模糊支持向量機 2022/2/14 48 粒度支持向量機 ? 粒度支持向量機是近年來興起的一種新的訓(xùn)練算法 , 它是由 Y. C. Tang 首先提出來的。它是以粒度計算 ( GrC) 理論和統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)的一種新型學(xué)習(xí)模型。 ? 基本思想是：通過常用的粒劃分方法構(gòu)建?？臻g獲得一系列信息粒 , 然后在每個信息粒上進行學(xué)習(xí) , 最后通過聚合信息粒上的信息( 如數(shù)據(jù)、規(guī)則、知識、屬性等 ) 獲得最終的 SVM 決策函數(shù)。這一學(xué)習(xí)機制通過數(shù)據(jù)?；梢詫⒁粋€線性不可分問題轉(zhuǎn)化為一系列線性可分問題 , 也就是說將一個大規(guī)模的 QP 問題 , 通過粒度劃分 , 分
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1