數(shù)據(jù)挖掘與處理論(已改無錯(cuò)字)
2023-02-06 06:19:03 本頁面
【正文】 一下高等數(shù)學(xué)的知識(shí)，會(huì)記得我們可以輕松的解一個(gè)不帶任何約束的優(yōu)化問題（實(shí)際上就是當(dāng)年背得爛熟的函數(shù)求極值嘛，求導(dǎo)再找 0點(diǎn)），我們甚至還會(huì)解一個(gè)只帶等式約束的優(yōu)化問題，也是背得爛熟的，求條件極值，記得么，通過添加拉格朗日乘子，構(gòu)造拉格朗日函數(shù)，來把這個(gè)問題轉(zhuǎn)化為無約束的優(yōu)化問題云云（如果你一時(shí)沒想通，我提醒 一下，構(gòu)造出的拉格朗日函數(shù)就是轉(zhuǎn)化之后的問題形式，它顯然沒有帶任何條件）。 再一次比較完整的重復(fù)一下我們要解決的問題：我們有屬于兩個(gè)類別的樣本點(diǎn)（并不限定這些點(diǎn)在二維空間中）若干，如圖， 圓形的樣本點(diǎn)定為正樣本（連帶著，我們可以把正樣本所屬的類叫做正類） ，方形的點(diǎn)定為負(fù)例。我們想求得這樣一個(gè)線性函數(shù)（在 n維空間中的線性函數(shù)）： g(x)=wx+b 使得所有屬于正類的點(diǎn) x+代入以后有 g(x+)≥ 1，而所有屬于負(fù)類的點(diǎn) x代入后有 g(x)≤ 1（之所以總跟 1比較，無論正一還是負(fù)一，都是因?yàn)槲覀児潭碎g隔為 1，注意間隔和幾何間隔的區(qū)別）。代入 g(x)后的值如果在 1 和 1之間，我們就拒絕判斷。 求這樣的 g(x)的過程就是求 w（一個(gè) n 維向量）和 b（一個(gè)實(shí)數(shù)）兩個(gè)參數(shù)的過程（但實(shí)際上只需要求 w，求得以后找某些樣本點(diǎn)代入就可以求得 b）。因此在求 g(x)的時(shí)候， w才是變 量。 你肯定能看出來，一旦求出了 w（也就求出了 b），那么中間的直線 H就知道了（因?yàn)樗褪?wx+b=0嘛，哈哈），那么 H1和 H2也就知道了（因?yàn)槿呤瞧叫械?，而且相隔的距離還是 ||w||決定的）。那么 w是誰決定的？顯然是你給的樣本決定的，一旦你在空間中給出了那些個(gè)樣本點(diǎn)，三條直線的位置實(shí)際上就唯一確定了（因?yàn)槲覀兦蟮氖亲顑?yōu)的那三條，當(dāng)然是唯一的），我們解優(yōu)化問題的過程也只不過是把這個(gè)確定了的東西算出來而已。 樣本確定了 w，用數(shù)學(xué)的語言描述，就是 w可以表示為樣本的某種組合： w=α 1x1+α 2x2+? +α nxn 式子中的α i是一個(gè)一個(gè)的數(shù)（在嚴(yán)格的證明過程中，這些α被稱為拉格朗日乘子），而 xi是樣本點(diǎn)，因而是向量， n就是總樣本點(diǎn)的個(gè)數(shù)。為了方便描述，以下開始嚴(yán)格區(qū)別數(shù)字與向量的乘積和向量間的乘積，我會(huì)用α 1x1表示數(shù)字和向量的乘積，而用 x1,x2表示向量 x1,x2的內(nèi)積（也叫點(diǎn)積，注意與向量叉積的區(qū)別）。因此 g(x)的表達(dá)式嚴(yán)格的形式應(yīng)該是： g(x)=w,x+b 但是上面的式子還不夠好，你回頭看看圖中正樣本和負(fù)樣本的位置，想像一下，我不動(dòng)所有點(diǎn)的位置，而只是把其中一個(gè)正樣本點(diǎn)定為負(fù)樣本點(diǎn)（也就是把一個(gè)點(diǎn) 的形狀從圓形變?yōu)榉叫危Y(jié)果怎么樣？三條直線都必須移動(dòng)（因?yàn)閷?duì)這三條直線的要求是必須把方形和圓形的點(diǎn)正確分開）！這說明 w不僅跟樣本點(diǎn)的位置有關(guān)，還跟樣本的類別有關(guān)（也就是和樣本的“標(biāo)簽”有關(guān)）。因此用下面這個(gè)式子表示才算完整： w=α 1y1x1+α 2y2x2+? +α nynxn（式 1） 其中的 yi就是第 i個(gè)樣本的標(biāo)簽，它等于 1或者 1。其實(shí)以上式子的那一堆拉格朗日乘子中，只有很少的一部分不等于 0（不等于 0才對(duì) w起決定作用），這部分不等于 0的拉格朗日乘子后面所乘的樣本點(diǎn)，其實(shí)都落在 H1 和 H2上，也正是這部分樣本 （而不需要全部樣本）唯一的確定了分類函數(shù)，當(dāng)然，更嚴(yán)格的說，這些樣本的一部分就可以確定，因?yàn)槔绱_定一條直線，只需要兩個(gè)點(diǎn)就可以，即便有三五個(gè)都落在上面，我們也不是全都需要。這部分我們真正需要的樣本點(diǎn)，就叫做支持（撐）向量！ 但肯定有人會(huì)說，這并沒有把原問題簡(jiǎn)化呀。其實(shí)簡(jiǎn)化了，只不過在你看不見的地方，以這樣的形式描述問題以后，我們的優(yōu)化問題少了很大一部分不等式約束（記得這是我們解不了極值問題的萬惡之源）。但是接下來，看看 SVM在線性分類器上所做的重大改進(jìn) —— 核函數(shù)。 核函數(shù)： 之前一直在討論的線性分 類器 ,器如其名，只能對(duì)線性可分的樣本做處理。如果提供的樣本線性不可分，結(jié)果很簡(jiǎn)單，線性分類器的求解程序會(huì)無限循環(huán)，永遠(yuǎn)也解不出來。這必然使得它的適用范圍大大縮小，而它的很多優(yōu)點(diǎn)我們實(shí)在不原意放棄，怎么辦呢？是否有某種方法，讓線性不可分的數(shù)據(jù)變得線性可分呢？ 這時(shí)候，我們便需要核函數(shù)方法來解決問題。 核函數(shù)方法就是用非線性變換可以利用核來把數(shù)據(jù)映射到特征空間，并且在這個(gè)空間訓(xùn)練線性機(jī)器，能夠利用的訓(xùn)練樣本的唯一信息是它們?cè)谔卣骺臻g的 Gram矩陣。這個(gè)矩陣也稱為核矩陣，用 K表示。核函數(shù)為支持向量機(jī)提供了一個(gè)重要 的構(gòu)成模塊，常用的核函數(shù)有多項(xiàng)式函數(shù)、徑向基函數(shù)和 Sigmoid函數(shù)等，在選用不同的核函數(shù)時(shí)可以構(gòu)造出不同的支持向量機(jī)。 多項(xiàng)式核函數(shù)： 選用下列核函數(shù) 2( , ) [( , ) 1]iiK x x x x??，構(gòu)造的支持向量機(jī)的判別函數(shù)為： 2*1( ) s g n { [ ( , ) 1 ] }ni i iif x a y x x b?? ? ?? 其中， s 為支持矢量的個(gè)數(shù)。 徑向量核函數(shù)：選 用下列核函數(shù) 22( , ) e x p { | | / }iiK x x x x ?? ? ?，構(gòu)造的支持向量機(jī)的判別函數(shù)為： 2 2 *1( ) s g n { e x p { | | / } }niiif x a x x b??? ? ? ?? 其中， s 個(gè)支持矢量 ix 可確定徑向基函數(shù)的中心位置， s 是中心的數(shù)目。徑向基函數(shù)所對(duì)應(yīng)的特征空間可以是無窮維數(shù)，因此理論上講，一切有限的數(shù)據(jù)樣本在該特征空間中肯定是線性可分的。 Sigmoid 函數(shù)： 選用下列核函數(shù) ( , ) ta nh( ( ) )iiK x x v x x a? ? ?，構(gòu)造
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1