數(shù)據(jù)挖掘與處理論-wenkub.com
2025-01-03 06:19 本頁面
【正文】 優(yōu)化問題也變?yōu)椋? * * * * *, 1 1 11( , ) ( ) ( ) ( , ) ( ) ( )2 l l li i j j i j i i i i ii j i iW k x x y? ? ? ? ? ? ? ? ? ? ?? ? ?? ? ? ? ? ? ? ?? ? ? 其中 *1 ( ) ( )li i iiwx? ? ????? ()fx可表示為 *1*1( ) ( ) ( ( ) ( ) )( ) ( )li i iili i iif x x x bk x x b? ? ? ?????? ? ? ?? ? ? ??? 1m in 2 TTHc? ? ?? 其中 ( ( , ))i j i j l lH y y k x x ?? ， 1[ 1, 1, , 1]T lc ?? ? ? ?， 12( , , , ) , , 1 , 2 , ,TNY y y y i j l?? 約束條件變?yōu)? 0 , 0 , 1, ,T iY i l??? ? ? 再采用二次規(guī)劃優(yōu)化的算法，即可實(shí)現(xiàn)學(xué)習(xí)算法 。 對(duì)于非線性支持向量機(jī)回歸，其基本思想是通過一個(gè)非線性 ? 將數(shù)據(jù) x 映射到高維特征空間，并在這個(gè)空間進(jìn)行線性回歸。 Sigmoid 函數(shù)： 選用下列核函數(shù) ( , ) ta nh( ( ) )iiK x x v x x a? ? ?，構(gòu)造的支持向量機(jī)的判別函數(shù)為： *1( ) s g n { ta n h [ ( ) ] }niiif x a v x x a b?? ? ? ?? 其為三層神經(jīng)網(wǎng)絡(luò)的判別函數(shù)，其隱節(jié)點(diǎn)數(shù)目、隱節(jié)點(diǎn)對(duì)輸入節(jié)點(diǎn)的權(quán)重矢量 v ，ix 和輸出節(jié)點(diǎn)對(duì)隱節(jié)點(diǎn)的權(quán)重 ia 都是在模型訓(xùn)練過程中自動(dòng)確定的。核函數(shù)為支持向量機(jī)提供了一個(gè)重要 的構(gòu)成模塊，常用的核函數(shù)有多項(xiàng)式函數(shù)、徑向基函數(shù)和 Sigmoid函數(shù)等，在選用不同的核函數(shù)時(shí)可以構(gòu)造出不同的支持向量機(jī)。如果提供的樣本線性不可分，結(jié)果很簡(jiǎn)單，線性分類器的求解程序會(huì)無限循環(huán)，永遠(yuǎn)也解不出來。這部分我們真正需要的樣本點(diǎn)，就叫做支持（撐）向量！ 但肯定有人會(huì)說，這并沒有把原問題簡(jiǎn)化呀。為了方便描述，以下開始嚴(yán)格區(qū)別數(shù)字與向量的乘積和向量間的乘積，我會(huì)用α 1x1表示數(shù)字和向量的乘積，而用 x1,x2表示向量 x1,x2的內(nèi)積（也叫點(diǎn)積，注意與向量叉積的區(qū)別）。因此在求 g(x)的時(shí)候， w才是變 量。 再一次比較完整的重復(fù)一下我們要解決的問題：我們有屬于兩個(gè)類別的樣本點(diǎn)（并不限定這些點(diǎn)在二維空間中）若干，如圖， 圓形的樣本點(diǎn)定為正樣本（連帶著，我們可以把正樣本所屬的類叫做正類） ，方形的點(diǎn)定為負(fù)例。 在這個(gè)問題中，自變量就是 w，而目標(biāo)函數(shù)是 w的二次函數(shù)，所有的約束條件都是 w的線性函數(shù)（哎，千萬不要把 xi當(dāng)成變量，它代表樣本，是已知的），這種規(guī)劃問題有個(gè)很有名氣的稱呼 —— 二次規(guī)劃（ Quadratic Programming， QP），而且可以更進(jìn)一步的說，由于它的可行域是一個(gè)凸集，因此它是一個(gè) 凸二次規(guī)劃。要求 f(x)在哪一點(diǎn)上取得最小值（反倒不太關(guān)心這個(gè)最小值到底是多少，關(guān)鍵是哪一點(diǎn)），但不是在整個(gè)空間里找，而是在約束條件所劃定的一個(gè)有限的空間里找，這個(gè)有限的空間就是優(yōu)化理論里所說的可行域。 xi)+b]≥ 1 (i=1,2,? ,l) （ l是總的樣本數(shù)） 但我們常常習(xí)慣讓 式子的值和 0比較，因而經(jīng)常用變換過的形式： yi[(w但是你也會(huì)發(fā)現(xiàn)，無論你給什么樣的數(shù)據(jù)，都是這個(gè)解！反映在圖中，就是 H1與 H2兩條直線間的距離無限大，這個(gè)時(shí)候，所有的樣本點(diǎn)（無論正樣本還是負(fù)樣本）都跑 到了 H1和 H2中間，而我們?cè)镜囊鈭D是， H1右側(cè)的被分為正類， H2 左側(cè)的被分為負(fù)類，位于兩類中間的樣本則拒絕分類（拒絕分類的另一種理解是分給哪一類都有道理，因而分給哪一類也都沒有道理）。一個(gè)尋優(yōu)問題最重要的部分是目標(biāo)函數(shù)，顧名思義，就是指尋優(yōu)的目標(biāo)。因此 最大化幾何間隔 成了我們訓(xùn)練階段的目標(biāo)，而且，最大化分類間隔并不是 SVM 的專利，而是早在線性分類時(shí)期就已有的思想。以上是單個(gè)點(diǎn)到某個(gè)超平面的距離（就是間隔，后面不再區(qū)別這兩個(gè)詞）定義，同樣可以定義一個(gè)點(diǎn)的集合（就是一組樣本）到某個(gè)超平面的距離為此集合中離超平面最近的點(diǎn)的距離。 在二元的線性分類中，這個(gè)表示分類的標(biāo)記只有兩個(gè)值， 1 和 1（用來表示屬于還是不屬于這個(gè)類）。下一節(jié)我們就仔細(xì)說說分類間隔，也補(bǔ)一補(bǔ)相關(guān)的數(shù)學(xué)知識(shí)。 關(guān)于 g(x)=wx+b 這個(gè)表達(dá)式要注意三點(diǎn)：一，式中的 x 不是二維坐標(biāo)系中的橫軸，而是樣本的向量表示，例如一個(gè)樣本點(diǎn)的坐標(biāo)是 (3,8)，則 xT=(3,8) ，而不是 x=3（一般說向量都是說列向量，因此以行向量形式來表示時(shí)，就加上轉(zhuǎn)置）。 什么叫線性函數(shù)呢？在一維空間里就是一 個(gè)點(diǎn)，在二維空間里就是一條直線，三維空間里就是一個(gè)平面，可以如此想象下去，如果不關(guān)注空間的維數(shù)，這種線性函數(shù)還有一個(gè)統(tǒng)一的名稱 ——超平面（ Hyper Plane）！ 實(shí)際上，一個(gè)線性函數(shù)是一個(gè)實(shí)值函數(shù)（即函數(shù)的值是連續(xù)的實(shí)數(shù)），而我們的分類問題（例如這里的二元分類問題 ——回答一個(gè)樣本屬于還是不屬于一個(gè)類別的問題）需要離散的輸出值，例如用 1 表示某個(gè)樣本屬于類別 C1，而用 0表示不屬于（不屬于 C1也就意味著屬于 C2），這時(shí)候只需要簡(jiǎn)單的在實(shí)值函數(shù)的基礎(chǔ)上附加一個(gè)閾值即可，通過分類函數(shù)執(zhí)行時(shí)得到的值大于還是小于這個(gè) 閾值來確定類別歸屬。
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1