【文章內(nèi)容簡介】 殊的函數(shù)集知道其VC維。Vapnik和Chervonenkis在1968年又發(fā)現(xiàn)了下面的規(guī)律：VC維對(duì)于一個(gè)指示函數(shù)集，如果其生長函數(shù)是線形的，則它的VC維為無窮大；而如果生長函數(shù)以參數(shù)為h的對(duì)數(shù)函數(shù)為界，則函數(shù)集的VC維是有限的且等于h。VC就是取Vapnik和Chervonenkis名字的首字而成。所以，學(xué)習(xí)機(jī)器所實(shí)現(xiàn)的指示函數(shù)集的VC維有限就是ERM方法一致性的一個(gè)充分必要條件，這一條件不依賴于概率測(cè)度。而且，一個(gè)有限的VC維意味著快的收斂速度。 支持向量回歸在引入支持向量回歸之前，首先要對(duì)回歸問題進(jìn)行形式化，并因此抽象出學(xué)習(xí)機(jī)的形式化概念。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋求一個(gè)最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。對(duì)于非線形情形，同支持向量機(jī)識(shí)別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間(Hilbert空間)的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。 回歸初步形式回歸問題是個(gè)古老的數(shù)學(xué)問題，在工程上也有大量的應(yīng)用背景。在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多種估計(jì)的方法，但研究的大部分集中在最小二乘法。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個(gè)擬合模型。接著同樣重要的一個(gè)階段是案例分析。這里數(shù)據(jù)被用于檢驗(yàn)擬合模型對(duì)被研究的關(guān)系是否合適、有用。其結(jié)果可能導(dǎo)致對(duì)原先指定的擬合模型的修改，此后，回復(fù)至綜合分析。在具體實(shí)施中，則大量的借助統(tǒng)計(jì)學(xué)的理論和技術(shù)。如參數(shù)估計(jì)與假設(shè)檢驗(yàn)等一些知識(shí)。而本設(shè)計(jì)主要討論的回歸方法則側(cè)重于Vapnik的統(tǒng)計(jì)學(xué)習(xí)理論，從問題的模型確立到問題解決途徑上可能和經(jīng)典的回歸不大一樣，但本質(zhì)是一致的。回歸問題可形式化為：給定一個(gè)訓(xùn)練集合，其元素有某個(gè)未知的分布觀測(cè)得到(此處的觀測(cè)可能夾雜某種噪聲):with 和一個(gè)函數(shù)族 基本回歸問題是要找到一個(gè)函數(shù)，此函數(shù)風(fēng)險(xiǎn)最小化表達(dá)式： 其中，C是損失函數(shù)，它指出和之間的差錯(cuò)將如何被懲罰，因?yàn)槲粗?，不能直接?duì)進(jìn)行估值，而是要通過計(jì)算如下的經(jīng)驗(yàn)風(fēng)險(xiǎn)： 并通過對(duì)R進(jìn)行限界。其中為所謂的泛化錯(cuò)誤上界，根據(jù)Vapnik的理論，它依賴于用來進(jìn)行回歸的函數(shù)族。 線性支持向量回歸支持向量回歸建立在統(tǒng)計(jì)學(xué)學(xué)習(xí)理論的基礎(chǔ)之上，并維持以上提出的學(xué)習(xí)機(jī)的模型但采取完全不同的策略。在這里取為維超平面：損失函數(shù)一般有多種形式，根據(jù)實(shí)際問題的不同可選用不同的損失函數(shù)。此處給一般情形：含有誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式：并且對(duì)非0時(shí)的損失函數(shù)要求具備凸性?！　W(xué)習(xí)的結(jié)果使得在的周圍形成一個(gè)精度為的誤差帶。其線性支持向量回歸機(jī)的結(jié)果是線形的。 非線性支持向量回歸對(duì)于非線性回歸，保持以上的策略不變，但首先對(duì)輸入數(shù)據(jù)進(jìn)行非線性預(yù)處理。使用非線性映射把數(shù)據(jù)從原空間映射到一個(gè)高維特征空間，再在高維特征空間進(jìn)行線性回歸。同理，在非線性空間中也只考慮高維特征空間的點(diǎn)積運(yùn)算：，而不必明確知道是什么。其關(guān)鍵問題是核函數(shù)的采用。此時(shí)，非線性支持向量機(jī)回歸具有以下模型：取為：損失函數(shù)和能力控制策略同線性支持向量回歸，其求解結(jié)果具有如下形式: 因此，支持向量機(jī)回歸通過將最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和能力控制規(guī)約在一個(gè)目標(biāo)中，一并將其轉(zhuǎn)化為一個(gè)凸二次優(yōu)化問題的求解途徑不僅實(shí)現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，而且由于嚴(yán)格的凸性要求使問題求解在可行域中總能搜索到最優(yōu)解，而不會(huì)陷入局部最小。在非線性情形，使用核函數(shù)技巧，通過只計(jì)算輸入空間的數(shù)量積避免了維數(shù)災(zāi)難問題。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計(jì)算規(guī)模正比于輸入模式中支持向量的個(gè)數(shù)。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。支持向量機(jī)的一個(gè)引人注目的特點(diǎn)是用核函數(shù)代替向量間的內(nèi)積運(yùn)算來實(shí)現(xiàn)非線性變換，而不需要非線性的具體形式。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對(duì)應(yīng)的基于核函數(shù)的非線性形式。支持向量回歸模型最重要的一個(gè)參數(shù)就是核函數(shù)。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進(jìn)行線性劃分。支持向量機(jī)回歸算法的技巧在于不直接計(jì)算復(fù)雜的非線性變換,而是計(jì)算非線性變換的點(diǎn)積，即核函數(shù)，從而大大簡化了計(jì)算。通過把核函數(shù)引入到一些學(xué)習(xí)算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機(jī)一起稱為基于核函數(shù)的方法。在高維特征空間實(shí)際上只需要進(jìn)行點(diǎn)積運(yùn)算，可以用原空間中的函數(shù)實(shí)現(xiàn)的，甚至沒有必要知道變換的形式。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)滿足Mercer條件，它就對(duì)應(yīng)某一變換空間中的點(diǎn)積。因此，在最優(yōu)分類面中采用適當(dāng)?shù)狞c(diǎn)積函數(shù)就可以實(shí)現(xiàn)某一非線性變換后的線性分類，而計(jì)算復(fù)雜度卻沒有增加。張鈴證明了核函數(shù)存在性定理，并提出了尋找核函數(shù)的算法。核函數(shù)存在性定理表明：給定一個(gè)訓(xùn)練樣本集，就一定存在一個(gè)相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。進(jìn)一步研究了支持矢量機(jī)的支持向量集與核函數(shù)的關(guān)系，研究表明對(duì)非線性可分情況，對(duì)一個(gè)特定的核函數(shù)，給定的樣本集中的任意一個(gè)樣本都可能成為一個(gè)支持向量。這意味這在一個(gè)支持向量機(jī)下觀察到的特征在其它支持向量機(jī)下（其它核函數(shù)）并不能保持。因此，對(duì)解決具體問題來說，選擇合適的核函數(shù)使很重要的。SVM 由訓(xùn)練樣本集和核函數(shù)完全描述，因此采用不同的核函數(shù)就可以構(gòu)造實(shí)現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機(jī)，導(dǎo)致不同的支持向量算法。本課題研究的幾種核函數(shù)如下：線性內(nèi)核 多項(xiàng)式內(nèi)核 徑向基函數(shù)內(nèi)核 Bsplines內(nèi)核 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ)1. 尋求方向約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點(diǎn)，這就涉及到尋求最優(yōu)方向的問題。對(duì)給定問題的可行域S中點(diǎn)x，對(duì)于某個(gè)非零n維向量存在，當(dāng)時(shí)使得：的方向被稱為x處的尋優(yōu)方向，而對(duì)于正定的歸整約束，理論上可保證在一定的迭代次數(shù)后收斂。2. 對(duì)偶差另一種約束最優(yōu)化的方法是從對(duì)偶理論入手，利用對(duì)偶差和KKT條件來尋找最優(yōu)點(diǎn)。對(duì)于可行的主變量和對(duì)偶變量，凸最小化問題的主目標(biāo)函數(shù)的解常常比(凸最大化的)對(duì)偶目標(biāo)函數(shù)的解要大。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個(gè)解才相等。因此對(duì)偶差常被作為衡量目標(biāo)函數(shù)變量的當(dāng)前解和最優(yōu)解距離的一種度量，此理論來自Lagrange函數(shù)的鞍點(diǎn)特性。以此為基礎(chǔ)的算法則通過逐步加強(qiáng)KKT條件，并通過對(duì)偶差來進(jìn)行評(píng)估，來逼真最優(yōu)點(diǎn)。3. 不敏感損失函數(shù) 支持向量機(jī)方法是從解決模式識(shí)別問題發(fā)展起來的，在支持向量分類機(jī)中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。當(dāng)把該方法推廣到回歸問題時(shí)，很重要的一點(diǎn)就是希望找到合適的支持向量回歸(SVR)算法，仍然保持這個(gè)性質(zhì)。從上述回歸問題的數(shù)學(xué)提法可以看出，為建立算法，需要選擇適當(dāng)?shù)膿p失函數(shù)。現(xiàn)介紹回歸估計(jì)中最常見的一種損失函數(shù)，它可以保持稀疏性。不敏感損失函數(shù)其中 ，這里是事先取定的一個(gè)正數(shù)，不敏感損失函數(shù)的含義是，當(dāng)x點(diǎn)的觀測(cè)值y與預(yù)測(cè)值之差不超過給定的時(shí)，則認(rèn)為在該點(diǎn)的預(yù)測(cè)值是無損失的，盡管預(yù)測(cè)值和觀測(cè)值y可能并不完全相等，如下面損失函數(shù)圖像21所示。圖21損失函數(shù)圖象如果為單變量線性函數(shù) ,當(dāng)樣本點(diǎn)位于兩條虛線之間的帶子里時(shí)，則認(rèn)為在該點(diǎn)沒有損失，我們稱兩條虛線構(gòu)成的帶子為帶。只有當(dāng)樣本點(diǎn)位于帶之外時(shí)，才有損失出現(xiàn)，例如，下圖22中處的損失為圖22不敏感損失帶容易看出，不敏感損失函數(shù)有一個(gè)特點(diǎn)：對(duì)樣本點(diǎn)來說，存在著一個(gè)不為目標(biāo)函數(shù)提供任何損失值的區(qū)域，即帶。這個(gè)特點(diǎn)是其他許多損失函數(shù)并不具備的。我們可以期望，在帶內(nèi)的樣本點(diǎn)，不會(huì)出現(xiàn)在決策函數(shù)中。 回歸算法利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 ( 通常是無限維)，在特征空間實(shí)現(xiàn)線性回歸，估計(jì)函數(shù)具有如下形式：這里，映射到特征空間，表示特征空間中的內(nèi)積，且為從訓(xùn)練數(shù)據(jù)集D估計(jì)函數(shù)，典型的支持向量回歸最小化正則化風(fēng)險(xiǎn)泛函： 這里正則化參數(shù)為正數(shù)，損失函數(shù)選擇為不敏感損失函數(shù)，形式如下