【文章內(nèi)容簡介】 有界實函數(shù)的 VC 維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。 VC 維反映了函數(shù)集的學(xué)習(xí)能力， VC 維越大則學(xué)習(xí)機(jī)器越復(fù)雜 (容量越大 ),目前尚沒有通用的關(guān)于任意函數(shù)集 VC 維計算的理論，只對一些特殊的函數(shù)集知道其 VC 維。 Vapnik 和 Chervonenkis 在 1968 年又發(fā)現(xiàn)了下面的規(guī)律： VC 維對于 一個指示函數(shù)集，如果其生長函數(shù)是線形的，則它的 VC 維為無窮大；而如果生長函數(shù)以參數(shù)為 h 的對數(shù)函數(shù)為界，則函數(shù)集的 VC 維是有限的且等于 h。 VC 就是取 Vapnik 和 Chervonenkis名字的首字而成。所以，學(xué)習(xí)機(jī)器所實現(xiàn)的指示函數(shù)集的 VC 維有限就是 ERM 方法一致性的一個充分必要條件，這一條件不依賴于概率測度。而且，一個有限的 VC 維意味著快的收斂速度。 支持向量回歸 在引入支持向量回歸之前，首先要對回歸問題進(jìn)行形式化，并因此抽象出學(xué)習(xí)機(jī)的形式化概念。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋 求一個最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。對于非線形情形，同支持向量機(jī)識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間 (Hilbert 空間 )的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。 回歸初步形式 回歸問題是個古老的數(shù)學(xué)問題，在工程上也有大量的應(yīng)用背景。 在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多種估計的方法，但研究的大部分集中在最小二 第 2 章支持向量機(jī)回歸原理 6 乘法。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個擬合模型。接著同樣重要的一個階段是案例分析。這里數(shù)據(jù)被用于檢驗擬合模型對被研究 的關(guān)系是否合適 、有用。其結(jié)果可能導(dǎo)致對原先指定的擬合模型的修改，此后，回復(fù)至綜合分析。在具體實施中，則大量的借助統(tǒng)計學(xué)的理論和技術(shù)。如參數(shù)估計與假設(shè)檢驗等一些知識。而本設(shè)計主要討論的回歸方法則側(cè)重于 Vapnik 的統(tǒng)計學(xué)習(xí)理論，從問題的模型確立到問題解決途徑上可能和經(jīng)典的回歸不大一樣，但本質(zhì)是一致的?；貧w問題可形式化為： 給定一個訓(xùn)練集合，其元素有某個未知的分布 ),( yxP 觀測得到 (此處的觀測可能夾雜某種 噪 聲 ): ? ? ? ? ? ?? ?ii yxyxyxX , 2211 ?? with RyRx ini ?? , 和一個函數(shù)族 ? ?RRffF n ?? :| 基本回歸問題是要找到一個函數(shù) Ff? ， 此函數(shù) 風(fēng)險最小化 表達(dá)式 ： ? ?? ),()),((][ yxdpxxfycfR 其中， C 是損失函數(shù)，它指出 y 和 )(xf 之間的差錯將如何被懲罰，因為 ),( yxP 未知， 不能直接對 ][fR 進(jìn)行估值，而是要通過計算如下的經(jīng)驗風(fēng)險： ?? ??lie mp xxfyclR 1 )),((1 并通過 genemp RR ? 對 R 進(jìn)行限界。其中 genR為所謂的泛化錯誤上界，根據(jù) Vapnik 的理論，它依賴于用來進(jìn)行回歸的函數(shù)族 F 。 線性支持向量回歸 支持向量回歸建立在統(tǒng)計學(xué)學(xué)習(xí)理論的基礎(chǔ)之上 ，并維持以上提出的學(xué)習(xí)機(jī)的模型但采取完全不同的策略。在這里 F 取為 n 維超平面： ? ?nRbxxffF ???? ?? ,),()(| 損失函數(shù)一般有多種形式，根據(jù)實際問題的不同可選用不同的損失函數(shù)。此處給一般情形：含有 ? 誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式： ??? ?? ??? o th e r w is exfyc xfyf o rxfyxc ))(( )(0))(,( ? ? 并且對非 0時的損失函數(shù)要求具備凸性。 學(xué)習(xí)的結(jié)果使得在的周圍形成一個精度為的誤差帶。其線性支持向量回歸機(jī)的結(jié)果是線形的。 第 2 章支持向量機(jī)回歸原理 7 非線性支持向量回歸 對于非線性回歸，保持以上的策略不變，但首先對輸入數(shù)據(jù)進(jìn)行非線性預(yù)處理 。使用 非線性映射 ? 把數(shù)據(jù)從原空間 nR 映射到一個高維特征空間 ? ，再在高維特征空間 ?進(jìn)行線性回歸。同理，在非線性空間中也 只考慮高維特征空間 ? 的點積運算：),()()()( yxkyxx ?????? ，而不必明確知道 )(x? 是什么。其關(guān)鍵問題是核函數(shù) ),( yxk 的采用。此時，非線性支持向量機(jī)回歸具有以下模型： F 取為： ? ?nRbxxffF ???? ??? ,))(,()(| 損失函數(shù)和能力控制策略同線性支持向量回歸，其求解結(jié)果具有如 下形式 : )()(1 ili xaa ?? ?? ??? 因此， ?? ? ??? li iii bxxkaaxf 1 ),()()( 支持向量機(jī)回歸通過將最小化經(jīng)驗風(fēng)險和能力控制規(guī)約在一個目標(biāo)中，一并將其轉(zhuǎn)化為一個凸二次優(yōu)化問題的求解途徑不僅實現(xiàn)了結(jié)構(gòu)風(fēng)險最小化的原則，而且由于嚴(yán)格的凸性要求使問題求解在可行域中總能搜索到最優(yōu)解，而不會陷入局部最小。在非線性情形，使用核函數(shù)技巧，通過只計算輸入空間的數(shù)量積避免了維數(shù)災(zāi)難問題。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計算規(guī)模 正比于輸入模式中支持向量的個數(shù)。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。 支持向量回歸核函數(shù) 支持向量機(jī)的一個引人注目的特點是用核函數(shù)代替向量間的內(nèi)積運算來實現(xiàn)非線性變換，而不需要非線性的具體形式。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對應(yīng)的基于核函數(shù)的非線性形式。支持向量回歸模型最重要的一個參數(shù)就是核函數(shù)。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進(jìn)行線性劃分。 支持向量機(jī)回歸算法的技巧在于不直接計算復(fù)雜的非線性變換 ,而是計算非線性變換的點積，即核函數(shù)，從而大大簡 化了計算。通過把核函數(shù)引入到一些學(xué)習(xí)算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機(jī)一起稱為基于核函數(shù)的方法。 在高維特征空間實際上只需要進(jìn)行點積運算，可以用原空間中的函數(shù)實現(xiàn)的，甚至沒有必要知道變換的形式。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) ),( ixxK 滿足 Mercer條件，它就對應(yīng)某一變換空間中的點積。因此，在最優(yōu)分類面中采用適當(dāng)?shù)狞c積函數(shù)),( ixxK 就可以實現(xiàn)某一非線性變換后的線性分類，而計算復(fù)雜度卻沒有 增加。張鈴證明了核函數(shù)存在性定理，并提出了尋找核函數(shù)的算法。核函數(shù)存在性定理表明：給定一 第 2 章支持向量機(jī)回歸原理 8 個訓(xùn)練樣本集，就一定存在一個相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。 進(jìn)一步研究了支 持矢量機(jī)的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個特定的核函數(shù)，給定的樣本集中的任意一個樣本都可能成為一個支持向量。這意味這在一個支持向量機(jī)下觀察到的特征在其它支持向量機(jī)下（其它核函數(shù)）并不能保持。因此，對解決具體問題來說，選擇合適的核函數(shù)使很重要的。 SVM 由訓(xùn)練樣本集和核函數(shù)完全描述，因此 采用不同的核函數(shù)就可以構(gòu)造實現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機(jī)，導(dǎo)致不同的支持向量算法。本課題研究的幾種核函數(shù)如下： 線性內(nèi)核 jiji xxxxK ??),( 多項式內(nèi)核 qjiji xxxxK ]1),[(),( ?? 徑向基函數(shù)內(nèi)核 ?????????? ???22e xp),( ? jiji xxxxK Bsplines 內(nèi) 核 )(),( 12 jinji xxBxxK ?? ? 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ) 1. 尋求方向 約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點，這就涉及到尋求最優(yōu)方向的問題。對給定問題 RRxf n ?:)( 的可行域 S 中點 x，對于某個非零n 維向量 d 存在 0?? ，當(dāng) ),0( ??a 時使得： 0)( ?? ?? xfd SadxT 的方向被稱為 x 處的尋優(yōu)方向，而對于正定的歸整約束，理論上可保證在一定的迭代次數(shù)后收斂。 2. 對偶差 另一種約束最優(yōu)化的方法是從對偶理論入手，利用對偶差和 KKT 條件來尋找最優(yōu)點。對于可行的主變量和對偶變量，凸最小化問題的主目標(biāo)函數(shù)的解常常比 (凸最大化的 )對偶目標(biāo)函數(shù)的解要大。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個解才相等。因此對偶差常被作為衡量目標(biāo)函數(shù)變量的當(dāng)前解和最優(yōu)解距離的一 種度量，此理論來自 Lagrange 函數(shù) 第 2 章支持向量機(jī)回歸原理 9 的鞍點特性。以此為基礎(chǔ)的算法則通過逐步加強 KKT 條件，并通過對偶差來進(jìn)行評估，來逼真最優(yōu)點。 3. 不敏感損失函數(shù) 支持向量機(jī)方法是從解決模式識別問題發(fā)展起來的，在支持向量分類機(jī)中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。當(dāng)把該方法推廣到回歸問題時，很重要的一點就是希望找到合適的支持向量回歸 (SVR)算法，仍然保持這個性質(zhì)。 從上述回歸問題的數(shù)學(xué)提法可以看出，為建立算法，需要選擇適當(dāng)?shù)膿p失函數(shù)?，F(xiàn)介紹回歸估計中最常見的一種損失函數(shù)，它可以保持稀疏性。 ?? 不敏感損失函數(shù) ?)())(,( xfyxfyxc ?? 其中 }|)(|,0m a x {)( ?? ???? xfyxfy ，這里 ? 是事先取定的一個正數(shù)， ?? 不敏感損失函數(shù)的含義是，當(dāng) x 點的觀測值 y 與預(yù)測值 )(xf 之差不超過給定的 ? 時，則認(rèn)為在該點的預(yù)測值 )(xf 是無損失的，盡管預(yù)測值 )(xf 和觀測值 y 可能并不完全相等， 如下面損失函數(shù)圖像 21 所示 。 圖 21 損失函數(shù)圖象 如果 )(xf 為單變量線性函數(shù) ? ? bxxf ??? ?)( , 當(dāng)樣本點位于兩條 虛線之間的帶子里時，則認(rèn)為在該點沒有損失，我們稱兩條虛線構(gòu)成的帶子為 ?? 帶。只有當(dāng)樣本點位于 ?? 帶之外時，才有損失出現(xiàn)，例如，下圖 22中 ),( yx 處的損失為 ?? ??? )(xfy 第 2 章支持向量機(jī)回歸原理 10 圖 22 不敏感損失帶 容易看出， ?? 不敏感損失函數(shù)有一個特點：對樣本點來說，存在著一個不為目標(biāo)函數(shù)提供任何損失值的區(qū)域，即 ?? 帶。這個特點是其他許多損失函數(shù)并不具備的。我們可以期望，在 ?? 帶內(nèi)的樣本點，不會出現(xiàn)在決策函數(shù)中。 SVR?? 回歸算法 利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 F ( 通常是無限維 )，在特征空間實現(xiàn)線性回歸，估計函數(shù)具有如下形式： bxxf ??? )()( ?? 這里 FRd ?:? ，映射到特征空間， ? 表示特征空間中的內(nèi)積， F?? 且 Rb? 為從訓(xùn)練數(shù)據(jù)集 D 估計函數(shù) f ，典型的支持向量回歸最小化正則化風(fēng)險