【正文】 ................................................ 28 參考文獻(xiàn) ................................................................. 29 第 1 章 緒論 1 第 1 章 緒論 支持向量機(jī) (SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上提出的一種新的學(xué)習(xí)方法。它的優(yōu)點(diǎn)是理論完備、訓(xùn)練時(shí)間短、全局優(yōu)化強(qiáng)、適應(yīng)性好、泛化性能好等。本課題研究的 SVR 是支持向量機(jī)在函數(shù)回歸中的應(yīng)用。 與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論（ Statistical Learning Theory 或 SLT）是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論 .V. Vapnik 等人從六、七十年代開始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實(shí)質(zhì)性進(jìn)展，統(tǒng)計(jì)學(xué)習(xí)理論開始受到越來越廣泛的重視。 通過結(jié)果風(fēng)險(xiǎn)最小化準(zhǔn)則和核函數(shù)方法，較好地解決了模式分類器復(fù)雜性核推廣性之間的矛盾，引起了模式識別領(lǐng)域?qū)W者的極大關(guān)注。由于其出色的學(xué)習(xí)性能，該技術(shù)已成為當(dāng)前國際機(jī)器學(xué)習(xí)界的研究熱點(diǎn)，在模式識別、回歸估計(jì)、函數(shù)逼近等領(lǐng)域有了廣泛的 應(yīng)用。 國內(nèi)外研究現(xiàn)狀 支持向量機(jī)一經(jīng)提出，就得到國內(nèi)外學(xué)者的高度關(guān)注。近幾年涌現(xiàn)出的大量令人矚目的理論研究成果，更為其應(yīng)用研究奠定了堅(jiān)實(shí)基礎(chǔ)。隨著支持向量機(jī)理論上深入研究，出現(xiàn)了許多變種支持向量機(jī)，如 Smolaetal.（ 1999）提出的用于分類和回歸支持向量機(jī)。 雖然 SVM 方法在理論上具有很突出的優(yōu)勢 , 但與其理論研究相比 ,應(yīng)用研究尚相對比較滯后 , 到目前， SVM 已用于數(shù)據(jù)分類、回歸估計(jì)、函數(shù)逼近等領(lǐng)域 .應(yīng)用最為廣泛的當(dāng)屬模式識別領(lǐng)域，在模式識別方面最突出的應(yīng) 用研究是貝爾實(shí)驗(yàn)室對美國郵政手寫數(shù)字庫進(jìn)行的實(shí)驗(yàn) ,這是一個(gè)可識別性較差的數(shù)據(jù)庫 , 人工識別平均錯(cuò)誤率是 % , 用決策樹方法識別錯(cuò)誤率是 % , 兩層神經(jīng)網(wǎng)絡(luò)中錯(cuò)誤率最小的是 % , 專門針對該特定問題設(shè)計(jì)的五層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為 % (其中利用了大量先驗(yàn)知識 ) , 而用三種SVM 方法得到的錯(cuò)誤率分別為 %、 % 和 % , 且其中直接采用了 1616 的字符點(diǎn)陣作為 SVM 的輸入 , 并沒有進(jìn)行專門的特征提取。 實(shí)驗(yàn)還觀察到，三種 SVM求出的支持向量中有 80%以上是重合的，它們都只是總樣本中很少的一部分，說明支持向量本身對不同方法具有一定的不敏感性（遺憾的是這些結(jié)論僅僅是有限的實(shí)驗(yàn)中觀察到的現(xiàn)象，如果能得到證明，將會使 SVM 的理論和應(yīng)用有更大的突破）。 課題研究目的 此課題的設(shè)計(jì)目的在于訓(xùn)練及提高自己能綜合運(yùn)用所學(xué)專業(yè)知識分析、解決實(shí)際問題的能力；掌握文獻(xiàn)檢索、資料查詢的基本方法以及獲取新知識的能力；系統(tǒng)的利用支持向量回歸相關(guān)理論知識和編程技能，利用 MATLAB 開發(fā)平臺和相關(guān)的統(tǒng)計(jì)學(xué)工具箱及支持向量回歸算法， 設(shè)計(jì)改進(jìn)并實(shí)現(xiàn)基于 MATLAB 的 SVR 回歸模型的實(shí)驗(yàn)系統(tǒng)，通第 1 章 緒論 3 過運(yùn)用 M 文件編寫回歸算法、 GUI 組件編寫主界面、編寫程序和裝載數(shù)據(jù)文件完成實(shí)驗(yàn)界面的各個(gè)功能。 課題研究使用的開發(fā)工具 此課題主要運(yùn)用 MATLAB 開發(fā)平臺， MATLAB 既是一種直觀、高效的計(jì)算機(jī)語言 ,同時(shí)又是一個(gè)科學(xué)計(jì)算平臺。根據(jù)它提供 的 500 多個(gè)數(shù)學(xué)和工程函數(shù)，工程技術(shù)人員和科學(xué)工作者可以在它的集成環(huán)境中交互或編程以完成各自的計(jì)算。 開發(fā)工具的優(yōu)點(diǎn) : 1．編程效率高： Matlab 是一種面向科學(xué)與工程計(jì)算的高級語言，允許用數(shù)學(xué)形式的語言來編寫程序，這樣就更接近我們書寫計(jì)算算法公式的思維方式。 2．高效方便的矩陣和 數(shù)組運(yùn)算：在回歸過程中，輸入的數(shù)據(jù)集，運(yùn)算的變量以及很多參數(shù)都是以數(shù)組，向量形式出現(xiàn)的，運(yùn)算這些數(shù)據(jù)復(fù)雜，易出錯(cuò)而且費(fèi)時(shí)，所以方便高效的數(shù)組向量運(yùn)算就顯得尤為重要，而 Matlab 恰好具有這樣便利的功能。這給編寫程序帶來很大方便。 3．方便的繪圖功能：本課題借助于 Matlab 的繪圖功能， 能較為方便的建立支持向量回歸過程中的演示圖形。在執(zhí)行繪圖函數(shù)時(shí)是通過使用不同的圖形對象來實(shí)現(xiàn)圖形創(chuàng)建功能的這些圖形對象包括直線、文本、曲面等等。通過使用句柄，用戶可以方便地訪問句柄所指定的對象，通過修改對象的屬性使圖形完全符合用戶的要求。 第 2 章 詳細(xì)推導(dǎo)了線性情況下回歸機(jī)算法，然后引入了核函數(shù)將線性算法推廣到非第 1 章 緒論 4 線性算法。 第 3章 此章介紹了本課題的總體設(shè)計(jì)思路和功能模塊的劃分及相關(guān)流程圖。 第 5章 對 支持向量回歸 進(jìn)行了分析與 總 結(jié) ?；貧w預(yù)測的目的是根據(jù)給定的訓(xùn)練樣本集 來估計(jì)某系統(tǒng)輸入和輸出之間的依賴關(guān)系，即尋找最優(yōu)函數(shù) ，使它能夠反映訓(xùn)練集的數(shù)據(jù)走向趨勢，從而實(shí)現(xiàn)對未知輸出做盡可能準(zhǔn)確的預(yù)測。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的 VC 維原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以期獲得最好的推廣能力。 若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的 VC 維是無窮大。 VC 維反映了函數(shù)集的學(xué)習(xí)能力， VC 維越大則學(xué)習(xí)機(jī)器越復(fù)雜 (容量越大 ),目前尚沒有通用的關(guān)于任意函數(shù)集 VC 維計(jì)算的理論，只對一些特殊的函數(shù)集知道其 VC 維。 VC 就是取 Vapnik 和 Chervonenkis名字的首字而成。而且，一個(gè)有限的 VC 維意味著快的收斂速度。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋 求一個(gè)最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。 回歸初步形式 回歸問題是個(gè)古老的數(shù)學(xué)問題，在工程上也有大量的應(yīng)用背景。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個(gè)擬合模型。這里數(shù)據(jù)被用于檢驗(yàn)擬合模型對被研究 的關(guān)系是否合適 、有用。在具體實(shí)施中，則大量的借助統(tǒng)計(jì)學(xué)的理論和技術(shù)。而本設(shè)計(jì)主要討論的回歸方法則側(cè)重于 Vapnik 的統(tǒng)計(jì)學(xué)習(xí)理論，從問題的模型確立到問題解決途徑上可能和經(jīng)典的回歸不大一樣，但本質(zhì)是一致的。其中 genR為所謂的泛化錯(cuò)誤上界，根據(jù) Vapnik 的理論，它依賴于用來進(jìn)行回歸的函數(shù)族 F 。在這里 F 取為 n 維超平面： ? ?nRbxxffF ???? ?? ,),()(| 損失函數(shù)一般有多種形式，根據(jù)實(shí)際問題的不同可選用不同的損失函數(shù)。 學(xué)習(xí)的結(jié)果使得在的周圍形成一個(gè)精度為的誤差帶。 第 2 章支持向量機(jī)回歸原理 7 非線性支持向量回歸 對于非線性回歸，保持以上的策略不變，但首先對輸入數(shù)據(jù)進(jìn)行非線性預(yù)處理 。同理，在非線性空間中也 只考慮高維特征空間 ? 的點(diǎn)積運(yùn)算：),()()()( yxkyxx ?????? ，而不必明確知道 )(x? 是什么。此時(shí)，非線性支持向量機(jī)回歸具有以下模型： F 取為： ? ?nRbxxffF ???? ??? ,))(,()(| 損失函數(shù)和能力控制策略同線性支持向量回歸，其求解結(jié)果具有如 下形式 : )()(1 ili xaa ?? ?? ??? 因此， ?? ? ??? li iii bxxkaaxf 1 ),()()( 支持向量機(jī)回歸通過將最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和能力控制規(guī)約在一個(gè)目標(biāo)中，一并將其轉(zhuǎn)化為一個(gè)凸二次優(yōu)化問題的求解途徑不僅實(shí)現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，而且由于嚴(yán)格的凸性要求使問題求解在可行域中總能搜索到最優(yōu)解，而不會陷入局部最小。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計(jì)算規(guī)模 正比于輸入模式中支持向量的個(gè)數(shù)。 支持向量回歸核函數(shù) 支持向量機(jī)的一個(gè)引人注目的特點(diǎn)是用核函數(shù)代替向量間的內(nèi)積運(yùn)算來實(shí)現(xiàn)非線性變換，而不需要非線性的具體形式。支持向量回歸模型最重要的一個(gè)參數(shù)就是核函數(shù)。 支持向量機(jī)回歸算法的技巧在于不直接計(jì)算復(fù)雜的非線性變換 ,而是計(jì)算非線性變換的點(diǎn)積，即核函數(shù)，從而大大簡 化了計(jì)算。 在高維特征空間實(shí)際上只需要進(jìn)行點(diǎn)積運(yùn)算，可以用原空間中的函數(shù)實(shí)現(xiàn)的，甚至沒有必要知道變換的形式。因此，在最優(yōu)分類面中采用適當(dāng)?shù)狞c(diǎn)積函數(shù)),( ixxK 就可以實(shí)現(xiàn)某一非線性變換后的線性分類，而計(jì)算復(fù)雜度卻沒有 增加。核函數(shù)存在性定理表明：給定一 第 2 章支持向量機(jī)回歸原理 8 個(gè)訓(xùn)練樣本集，就一定存在一個(gè)相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。這意味這在一個(gè)支持向量機(jī)下觀察到的特征在其它支持向量機(jī)下（其它核函數(shù)）并不能保持。 SVM 由訓(xùn)練樣本集和核函數(shù)完全描述，因此 采用不同的核函數(shù)就可以構(gòu)造實(shí)現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機(jī)，導(dǎo)致不同的支持向量算法。對給定問題 RRxf n ?:)( 的可行域 S 中點(diǎn) x，對于某個(gè)非零n 維向量 d 存在 0?? ，當(dāng) ),0( ??a 時(shí)使得： 0)( ?? ?? xfd SadxT 的方向被稱為 x 處的尋優(yōu)方向，而對于正定的歸整約束，理論上可保證在一定的迭代次數(shù)后收斂。對于可行的主變量和對偶變量，凸最小化問題的主目標(biāo)函數(shù)的解常常比 (凸最大化的 )對偶目標(biāo)函數(shù)的解要大。因此對偶差常被作為衡量目標(biāo)函數(shù)變量的當(dāng)前解和最優(yōu)解距離的一 種度量，此理論來自 Lagrange 函數(shù) 第 2 章支持向量機(jī)回歸原理 9 的鞍點(diǎn)特性。 3. 不敏感損失函數(shù) 支持向量機(jī)方法是從解決模式識別問題發(fā)展起來的，在支持向量分類機(jī)中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。 從上述回歸問題的數(shù)學(xué)提法可以看出，為建立算法，需要選擇適當(dāng)?shù)膿p失函數(shù)。 ?? 不敏感損失函數(shù) ?)())(,( xfyxfyxc ?? 其中 }|)(|,0m a x {)( ?? ???? xfyxfy ，這里 ? 是事先取定的一個(gè)正數(shù)， ?? 不敏感損失函數(shù)的含義是，當(dāng) x 點(diǎn)的觀測值 y 與預(yù)測值 )(xf 之差不超過給定的 ? 時(shí)，則認(rèn)為在該點(diǎn)的預(yù)測值 )(xf 是無損失的，盡管預(yù)測值 )(xf 和觀測值 y 可能并不完全相等， 如下面損失函數(shù)圖像 21 所示 。只有當(dāng)樣本點(diǎn)位于 ?? 帶之外時(shí)，才有損失出現(xiàn)，例如，下圖 22中 ),( yx 處的損失為 ?? ??? )(xfy 第 2 章支持向量機(jī)回歸原理 10 圖 22 不敏感損失帶 容易看出， ?? 不敏感損失函數(shù)有一個(gè)特點(diǎn)：對樣本點(diǎn)來說，存在著一個(gè)不為目標(biāo)函數(shù)提供任何損失值的區(qū)域，即 ?? 帶。我們可以期望，在 ?? 帶內(nèi)的樣本點(diǎn)，不會出現(xiàn)在決策函數(shù)中。解 ? 可以表達(dá)為在特征空間F 與函數(shù) )(x? 的線性組合有關(guān)的形式： )()(1 iNi ii xaa ?? ?? ? ?? 這里系數(shù) Raa ii ??, 通過解二次規(guī)劃問題確定，對于 0??? ii aa 的點(diǎn) ),( ii yx 稱為支持向量。 關(guān)于算法的幾點(diǎn)說明 1. 算法的收斂性說明