【正文】 VM的描述 ? 期望風險 R(w)要依賴聯(lián)合概率 F(x,y)的信息，實際問題中無法計算。設有如下兩類樣本的訓練集： ? 線性可分情況意味著存在 超平面 使訓練點中的正類和 負類樣本分別位于該超平面的兩側。 最大間隔原則 ：選擇使得訓練集 D對于線性函數(shù) (w 首先求 Lagrange函數(shù)關于 w,b的極小值。 ? 于是，得到如下的決策函數(shù)： ?????? ???? ??niiii bxxyxf1** )(s g n)(Page 13 目錄 ? 線性可分的支持向量（分類）機 ? 線性支持向量（分類）機 ? 支持向量（分類）機 ? 最小二乘支持向量（分類）機 ? 硬 ?帶 支持向量（回歸）機 ? 軟 ?帶 支持向量（回歸）機 ? ?支持向量（回歸）機 ? 最小二乘支持向量（回歸）機 ? 支持向量機應用 Page 14 二、線性支持向量 (分類 )機 1))(( ??? bxwy iinibxwy iii ,1,1))(( ???????現(xiàn)在考慮 線性不可分情況 。 為此，引入松弛變量 并 “ 軟化 ” 約束條件： ?i 0??iPage 15 線性支持向量 (分類 )機 為了避免 ?i取太大的值，需要在目標函數(shù)中對它們進行懲罰。對于訓練集 D，無法尋找到來如前的超平面來劃分。有： 支持向量 (分類 )機 ))39。 在支持向量機應用中，核函數(shù) K(x,x’)一般 先驗性 地選取 。( xxxxK ???Sigmoid核 : 多項式核 : 高斯核 : dcxxxxK ))39。( 22 ????? xxxxK))39。在上式中消去 w和 e后，得到如下線性方程組： ????????????????????????????????????????????yebwIxIIxInnTnnTn00001)(001000)(00????????????????????????? ybI nnTn 01110其中 ?kl=?(xk)T?(xl), k,l=1,...,n。假設已測得若干個數(shù)據(jù)構成的數(shù)據(jù)集 D： Page 34 硬 ?帶 支持向量（回歸）機 Page 35 五、 硬 ?帶 支持向量（回歸）機 不敏感損失函數(shù) 為了在回歸問題中使用結構風險代替經(jīng)驗風險來作為期望風險，以及保持在支持向量分類機的稀疏性質(zhì)， Vapnik引入了如下的 不敏感損失函數(shù) ： 其中： Page 36 硬 ?帶 支持向量（回歸）機 Page 37 硬 ?帶 支持向量（回歸）機 )},(,),(),{( 2211 nn yxyxyxD ?，?niRyRXx imi ,1, ?????首先考慮硬 ?帶支持向量 線性 回歸 情況。 首先求 Lagrange函數(shù)關于 w,b的極小值。設有如下兩類樣本的訓練集： 同樣希望使用一個線性函數(shù)來 回歸 樣本點，且這種情況下，除了 大量樣本點在 ?帶內(nèi)，還有少量的樣本 落在 ?帶外。 首先求 Lagrange函數(shù)關于 w,b,?(*)的極小值。 把 w的式子代入函數(shù)： 于是，得到如下的回歸函數(shù)： ????????niiii bxxxf1* ))(()(? y=()+b+? y=()+b? y=()+b Page 46 目錄 ? 線性可分的支持向量（分類）機 ? 線性支持向量（分類）機 ? 支持向量（分類）機 ? 最小二乘支持向量（分類）機 ? 硬 ?帶 支持向量（回歸）機 ? 軟 ?帶 支持向量（回歸）機 ? ?支持向量（回歸）機 ? 最小二乘支持向量（回歸）機 ? 支持向量機應用 Page 47 ?支持向量（回歸）機 下面通過 核技術 來處理。 支持向量方法的思想是在該高維特征空間 ?中考慮如下線性函數(shù)集： ? ?RbRwXbxwxffF fnT ?????????? ,:。 Page 52 最小二乘支持向量 (回歸 )機 函數(shù)估計的目的是在約束 ||w||?a, a?R下通過最小化如下經(jīng)驗風險來尋找 w和 b: ?????? nkkkTe m p ybxwn1bwR12)))(((),( 最小二乘支持向量回歸機 （ LSSVR） 定義了與標準支持向量機不同的代價函數(shù)，選用損失函數(shù)為誤差 ek的二次項，并將其不等式約束改為等式約束，因此尋找 w和 b的優(yōu)化問題可以轉化為如下具有 嶺回歸 形式的優(yōu)化問題： ????? nkkTeb,w,e21wwe)J (w ,m i n1221且?guī)в腥缦碌仁郊s束條件： nkebxwy kkTk ,1,)( ??????其中 ? ? ? ? bxxye Ti ??? ???Page 53 最小二乘支持向量 (回歸 )機 為了在對偶空間中求解上述優(yōu)化問題，定義如下的 Lagrange泛函： ?? ??????? nk kkkTk yebxwe)J (w ,)e,b,L (w , 1 ))((其中 ?k?R為乘子（叫做支持向量）。 ????? nkkk bxxKxf1),()(Page 56 目錄 ? 線性可分的支持向量（分類）機 ? 線性支持向量（分類）機 ? 支持向量（分類）機 ? 最小二乘支持向量（分類）機 ? 硬 ?帶 支持向量（回歸）機 ? 軟 ?帶 支持向量（回歸）機 ? ?支持向量（回歸）機 ? 最小二乘支持向量（回歸）機 ? 支持向量機應用 Page 57 九、支持向量機應用 手寫體數(shù)字識別 。使用 高斯核 和 多項式核 。 結果表明 SVM具有一定的優(yōu)勢。 Joachims， Dumais等人進行 SVM對文本分類的研究工作。 主要使用線性核。 Page 60 九、支持向量機應用 (2)基于顏色的分類 Oliver Chapelle及其合作者研究了僅使用顏色與光照信息下的 SVM目標識別。 汽車行進的可視場景中的行人檢測 ： SVM作為分類器，在之前端使用小波作為特征提取的方法。 (1)經(jīng)濟預警 (2)股市預測 (3)財務預測 (4)電力負荷預測 (5)交通流量預測 (6)…… Page 65 九、支持向量機應用 核方法 。