【正文】 原理支持向量機的主要研究內(nèi)容是，當問題是線性可分時，給出一個求解最大間隔的方法；而當問題不是線性可分時，提出利用一核函數(shù)將樣本集映射到某一高維空間，使得樣本集在高維空間中的像是線性可分的。其學習方法最大的特點是，根據(jù)結(jié)構(gòu)風險最小化原則，盡量提高學習機的泛化能力。其中，通過非線性映射，將低維空間中的非線性問題轉(zhuǎn)變?yōu)楦呔S空間的線性問題，并采用一核函數(shù)代替高維空間中的內(nèi)積運算，達到避免高維運算和解決非線性的目的。 基本概念一個內(nèi)積空間 中的任何一個超平面都可以表示為H， ()????RbHwxbw???? ,0其中， 是一個垂直于超平面的向量。如果 為單位長度，則 是向量 沿 方w ??x?w向的長度；而對于一般的 ，其長度要乘以 。但不論哪種情況，超平面集合包括所有的沿 方向的長度相等的向量。一個超平面完全可以由其參數(shù) 決定，所以我們可以簡單地將超平面表示為??bw,。但是，對參數(shù) 同時乘以任意的非零常數(shù)，超平面 式不變的，即同一??bw, b, ??bw,個超平面可以用不同的參數(shù)來表示，為了避免這種情況，我們引入規(guī)范超平面。超平面 ()??????RHbxbw?????,0稱為關(guān)于點 的規(guī)范超平面，如果它滿足Hxl?,1?， ()1min,1??il?即這個規(guī)范超平面最近的點和它之間的距離為 。超平面 和 均滿足w??b,w?,規(guī)范超平面的條件，而對于分類問題來說，由于它們方向不同，這兩個超平面是不同的，它們分別對應(yīng)兩個決策函數(shù)。在模式 沒有類別標號 的情況下，是沒ix??1,??iy有辦法區(qū)別這兩個平面的；而對于一個有標號的訓練集，則可以區(qū)分，因為這兩個超平面對應(yīng)的類別正好相反。間隔在支持向量學習算法中起著重要的作用，對于一個超平面 ，??bw,稱 ()????bxwyxbw/, ????為點 的幾何間隔；而稱????1,???Hyx ()????ibwlibwyx,mn,1,???為關(guān)于訓練集 ()??liHxySiii ,1, ????23 / 50的幾何間隔。假定大部分的測試點至少距離其中的一個訓練點比較近，所有的測試點可以認為是訓練點進行一個較小的擾動得到的。對于訓練點 ，我們得到的測試點的形式??yx,為 ，其中擾動 的范數(shù)以一個正數(shù) 為上界。顯然，如果我們用一個??yx,??Hx??r間隔為 的超平面來劃分訓練點幾何，那么我們就一定能正確的分開所有的測試r??點。 線性支持向量機支持向量機是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，基本思想可用圖 的二維平面的情況來說明。 w??1????bxw??0?xbw2?分 類 間 隔圖 兩類線性分劃的最優(yōu)超平面圖 中，方框點和圓點代表兩類樣本，中間的實線為分類線，其附近的兩虛線分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離就是分類間隔(margin) 。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開，即訓練錯誤為 0，而且使分類間隔最大。對分類線 進行標準化處理，使得對線性??0???bxw可分的樣本集 ，滿足下面的不等式：S ().,21,liyii ???此時分類間隔等于 ，使間隔最大等價于使 最小。訓練樣本正確可分，2且使 最小的分類面就是最優(yōu)分類面，位于兩虛線上的訓練樣本點就稱作支持向2w量。因此，可以通過最小化 減少 VC 維，從而實現(xiàn) SRM 準則中的函數(shù)復(fù)雜性的選w擇，固定經(jīng)驗風險，最小化期望風險就轉(zhuǎn)化為最小化 ，這就是 SVM 方法的出發(fā)點。w根據(jù)上面的分析，在線性可分條件下構(gòu)建最優(yōu)超平面，就轉(zhuǎn)化為下面的二次規(guī)劃問題： ()????????????.,21,.21minlibxwytsii ?式()的最優(yōu)解為下面的 Lagrange 函數(shù)的鞍點： ()??????????????li iibxwybL12,??其中， 為 Lagrange 乘數(shù)。0??由于在鞍點處的 和 的梯度為零，因此w ()?????liilii xywxyL110?? ()11???liiliib把式()和式 ()代入到式 ()中，構(gòu)建最優(yōu)超平面的問題就轉(zhuǎn)化為一個較簡單的對偶二次規(guī)劃問題 ()??????????????li ililij jijijilyts xyW111.,2,0,. 2max??如果 為問題() 的一個解，則? ()??liixyw1根據(jù) KKT 定理，最優(yōu)解還滿足 ()??.,0ibyii ?????對于大多數(shù)樣本來說， ，對應(yīng) 的樣本被稱為支持向量(Support 0?i ?iVector，簡稱 SV)。由式()可知只有支持向量對 有貢獻，也就是對最優(yōu)超平面、w決策函數(shù)有貢獻，支持向量由此得名，對應(yīng)的學習方法稱之為支持向量機。通過選擇不為零的 ，代入式()中解出 ，對于給定的未知樣本 ，只需計算i?bx， ()????bx??sgn就可以判斷 所屬類別。x但在實際應(yīng)用時，大多數(shù)情況下并不能滿足線性可分性。即使問題是線性可分的，25 / 50由于各種原因，訓練集中也可能出現(xiàn)“野點子” 。比如一個標錯的點，可能會對最終的分類超平面產(chǎn)生嚴重影響。事實上，對應(yīng)線性不可分的情況，可以在條件中增加一個松弛項 ，將約束放寬為0?i? ()??.,1,0,1libxwyiiii ????????此時目標函數(shù)變?yōu)? ()????????liCw12,?其中， 為可調(diào)參數(shù)，表示對錯誤的懲罰程度， 越大懲罰越重， “最大間隔”C支持向量機就轉(zhuǎn)化為在式()的約束下，最小化式()。我們稱上述模型為“軟間隔”線性支持向量機，這是一個二次規(guī)劃問題，其最優(yōu)解為下面 Lagrange 函數(shù)的鞍點 ()????????????????liili iiili bxwyCwbL 1121, ?????根據(jù) KKT 定理，最優(yōu)解滿足 ()?????????? ????.,0, ,01,iibxyLii iiiii????構(gòu)建最優(yōu)超平面的問題可轉(zhuǎn)化為下面的對偶二次規(guī)劃問題： ()???????????????.,21,0,. 21max1 liCyts xyLiliilij jijijili ??求解問題() 得到的 中， 可能是：① ；② ；③ ，后i?i i i?0Ci??兩者所對應(yīng)的 為支持向量。在支持向量中， 所對應(yīng)的 位于邊界上，稱為邊ix i ix界支持向量(Boundary Support Vector，BSV) ； 所對應(yīng)的 位于間隔內(nèi)，稱i?i為標準支持向量(Normal Support Vector，NSV)。對于標準支持向量 ，由式()可知 ，因此，對于任一標準Ci??0 0,??ii??支持向量，滿足 ()????1??bxwyii所以 為b ()????JNxyxwyb iJxjijiii j ???????,?其中 為標準支持向量的集合， 為支持向量的集合。為了計算可靠，可以對JNJ所有標準支持向量分別求 的值，然后求平均。 非線性支持向量機對于非線性問題，可以通過非線性變換轉(zhuǎn)化為某個高維空間中的線性問題，在變換空間求最優(yōu)分類面，這種變換比較復(fù)雜，在一般情況下不易實現(xiàn)。但是上面的對偶問題都只涉及訓練樣本之間的內(nèi)積運算 。設(shè)有非線性映射 ，滿足：當??jix? ?時，將輸入空間的樣本映射到高維的特征空間 中，在高維的特征空間中構(gòu)HRn?H造最優(yōu)超平面時，訓練算法僅僅使用空間中的點積 ，而沒有單獨的 出??jix?? ??ix?現(xiàn)，因此，只要找到一個函數(shù) 使得 即可，因此，在高維空間Kjijix?,上甚至不需要知道非線性變換 的形式，只需要它的內(nèi)積運算即可。這種內(nèi)積運算可?以用原空間中的函數(shù)實現(xiàn)，即使變換空間的維數(shù)增加很多，在其中求解最優(yōu)分類面的問題也并沒有增加計算復(fù)雜度。統(tǒng)計學習理論指出，根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) 滿足 Mercer 條件，它就可以作為內(nèi)積使用。??jixK,根據(jù) Mercer 條件：任意的對稱函數(shù) 是某個特征空間中的內(nèi)積運算的充分??xK?,必要條件是，對于任意的 且 ，有??0?x????d2 ()?????0,xx?可見，這一條件并不難滿足。因此，用內(nèi)積函數(shù) 代替最優(yōu)分類面中的點積，就把原特征空間變換到了?jixK,某一個特征空間，此時，式()的目標函數(shù)就變?yōu)椋? ()???????lilij jijiji xKyW11,2??相應(yīng)的分類函數(shù)也變?yōu)? ()??????????????????liiibxybxwxf 1,sgnsgn?支持向量機求得的分類函數(shù)形式上類似于一個神經(jīng)網(wǎng)絡(luò)，其輸出是若干中間層節(jié)點的線性組合，而每個中間層節(jié)點對應(yīng)于輸入樣本與一個支持向量的內(nèi)積，因此也稱為支持向量網(wǎng)絡(luò)，如圖 所示：27 / 50??1x2 nx??xK,1,2 ??xKs,by 圖 支持向量機示意圖輸出（決策規(guī)則）： ()???????????siiibxKy1,gn?基于 個支持向量 的非線性變換，輸入向量 。ssx,21? nx,21??由于最終的判別函數(shù)中實際只包含與支持向量的內(nèi)積和求和，因此識別時的計算復(fù)雜度取決于支持向量的個數(shù)。根據(jù)關(guān)于最優(yōu)分類面的推廣能力的結(jié)論：如果一組訓練樣本能夠被一個最優(yōu)分類面分開，則對于測試樣本分類錯誤率的期望上界是訓練樣本中平均的支持向量占總訓練樣本數(shù)的比例?？芍?，支持向量機的推廣性也是與變換空間的維數(shù)無關(guān)的，只要能夠適當?shù)倪x擇一種內(nèi)積定義，構(gòu)造一個支持向量數(shù)相對較少的最優(yōu)分類面，就能夠得到較好的推廣性。同樣， “軟間隔”非線性支持向量機就是下面的最優(yōu)化問題： ()?????? ??????????.,1,0, libxwytsCiii li ???其對偶問題為 ()????????????liilij jijijili lyCts xKL1i .,21,0,0. ,2a ??常見的核函數(shù)有：(1) 線性核函數(shù) ；??yxK??,(2) 多項式核函數(shù) ；????dcyxsK???),((3) 徑向基核函數(shù) ；2ep??(4) Sigmoid 核函數(shù) 。?tanh, 基于支持向量機的回歸分析基于支持向量機的股市預(yù)測的基礎(chǔ)是基于支持向量機的回歸分析，假定根據(jù)某種概率分布 生成的樣本???RyxPn?, ()???RXyxl??,1?支持向量回歸（support vector regression，SVR ）問題就是希望找到適當?shù)膶嵵岛瘮?shù)來擬合這些訓練點，使得??bxwf???? ()??????yxdPfcfR,最小，其中 為損失函數(shù)。c觀測值 與函數(shù)預(yù)測值 之間的誤差，我們用 不敏感函數(shù)y??xf ? ()????? ???iixfyify,0ma來度量，即當 點的觀測值 與預(yù)測值 之間的誤差不超過事先給定的小正數(shù) 時，x??x ?認為該函數(shù)對這些樣本點的擬合是無差錯的。在圖 中，當樣本點位于兩條虛線之間的帶子里時，我們認為在該點沒有損失，稱兩條虛線構(gòu)成的帶子為 帶。??在圖 中的 上的損失對應(yīng)于圖 中所示的 值，即 。??yx, ????xfy?????yx, ??????xfy??O損失值圖 帶 圖 上的損失?? ??x,在回歸分析中，選擇 帶是合理的，模式識別中，如果樣本 被正確劃分并且在間隔以外時，該樣本點不提供任何損失值。相應(yīng)地，回歸估計中也應(yīng)該存在不為目標函數(shù)提供任何損失的區(qū)域，即 帶。??29 / 50由于 未知，不能直接最小化 ，因此考慮最小化??yxP, ??fR ()??????????liiixfyCwE121?其中， 為 不敏感函數(shù)，等式()右邊前????????iixfyxify,0ma一項 表示函數(shù) 的復(fù)雜性，后一項則表示訓練集上的損失，常數(shù) 則體現(xiàn)了??w? C函數(shù)的復(fù)雜性和訓練集上的損失之間的折中關(guān)系。最小化式() 等價于最優(yōu)化問題 ()????????????????.0, ,.21in**1*,*i iii iiiliibwbxyytsC?????問題()的拉格朗日函數(shù)為 ()????????????? ??????? ?? li iili iii li iiiliii bxwy bxwyCwbL 1*1*11**2, ???????????式()對于參數(shù) 的偏導(dǎo)數(shù)都應(yīng)等于 0，因此*,b ()???????????????? ?.,210.,0**1* 1*liCLb xxwLiii iiiliiili li iiiiii ????