【正文】 ，典型的支持向量回歸最小化正則化風(fēng)險泛函： 這里正則化參數(shù)為正數(shù)，損失函數(shù)選擇為不敏感損失函數(shù)，形式如下：可以通過解二次規(guī)劃的優(yōu)化問題來最小化正則化風(fēng)險泛函。當(dāng)把該方法推廣到回歸問題時，很重要的一點就是希望找到合適的支持向量回歸(SVR)算法，仍然保持這個性質(zhì)。本課題研究的幾種核函數(shù)如下：線性內(nèi)核 多項式內(nèi)核 徑向基函數(shù)內(nèi)核 Bsplines內(nèi)核 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ)1. 尋求方向約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點，這就涉及到尋求最優(yōu)方向的問題。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)滿足Mercer條件，它就對應(yīng)某一變換空間中的點積。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。其線性支持向量回歸機(jī)的結(jié)果是線形的。如參數(shù)估計與假設(shè)檢驗等一些知識。對于非線形情形，同支持向量機(jī)識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間(Hilbert空間)的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。有界實函數(shù)的VC維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。第4章介紹支持向量回歸模型的實現(xiàn)，及結(jié)果分析。Matlab有一系列繪圖函數(shù)命令，功能強大，使用方便。本課題研究用MATLAB程序編寫回歸算法和GUI組件編寫用戶界面來實現(xiàn)支持向量回歸模型的設(shè)計。說明了SVM方法較傳統(tǒng)方法有明顯的優(yōu)勢, 同時也得到了不同的SVM 方法可以得到性能相近的結(jié)果。本課題就是研究它在回歸估計中的應(yīng)用。SVM已經(jīng)成為目前國內(nèi)外研究的熱點。 訓(xùn)練算法。在SVR回歸分析中，使用支持向量機(jī)可以使回歸函數(shù)盡量平滑，其泛化能力強?！　VR算法是模式識別中應(yīng)用比較廣泛的算法模型之一，它是支持向量機(jī)在函數(shù)逼近和回歸估計中的應(yīng)用。關(guān)鍵詞：支持向量回歸。它的優(yōu)點是理論完備、訓(xùn)練時間短、全局優(yōu)化強、適應(yīng)性好、泛化性能好等。由于其出色的學(xué)習(xí)性能，該技術(shù)已成為當(dāng)前國際機(jī)器學(xué)習(xí)界的研究熱點，在模式識別、回歸估計、函數(shù)逼近等領(lǐng)域有了廣泛的應(yīng)用。雖然SVM 方法在理論上具有很突出的優(yōu)勢, 但與其理論研究相比,應(yīng)用研究尚相對比較滯后, 到目前，SVM已用于數(shù)據(jù)分類、回歸估計、在模式識別方面最突出的應(yīng)用研究是貝爾實驗室對美國郵政手寫數(shù)字庫進(jìn)行的實驗,這是一個可識別性較差的數(shù)據(jù)庫, % , % , % , % (其中利用了大量先驗知識) , 而用三種SVM %、% % , 且其中直接采用了1616的字符點陣作為SVM 的輸入, 并沒有進(jìn)行專門的特征提取。根據(jù)它提供的500多個數(shù)學(xué)和工程函數(shù)，工程技術(shù)人員和科學(xué)工作者可以在它的集成環(huán)境中交互或編程以完成各自的計算。3．方便的繪圖功能：本課題借助于Matlab的繪圖功能，能較為方便的建立支持向量回歸過程中的演示圖形。第3章此章介紹了本課題的總體設(shè)計思路和功能模塊的劃分及相關(guān)流程圖。若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的VC維是無窮大。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋求一個最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。在具體實施中，則大量的借助統(tǒng)計學(xué)的理論和技術(shù)。　　學(xué)習(xí)的結(jié)果使得在的周圍形成一個精度為的誤差帶。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計算規(guī)模正比于輸入模式中支持向量的個數(shù)。在高維特征空間實際上只需要進(jìn)行點積運算，可以用原空間中的函數(shù)實現(xiàn)的，甚至沒有必要知道變換的形式。SVM 由訓(xùn)練樣本集和核函數(shù)完全描述，因此采用不同的核函數(shù)就可以構(gòu)造實現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機(jī)，導(dǎo)致不同的支持向量算法。3. 不敏感損失函數(shù) 支持向量機(jī)方法是從解決模式識別問題發(fā)展起來的，在支持向量分類機(jī)中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。我們可以期望，在帶內(nèi)的樣本點，不會出現(xiàn)在決策函數(shù)中。外循環(huán)如此交替在整個數(shù)據(jù)集合上進(jìn)行一次掃描和在非邊界元素集合上進(jìn)行多遍掃描，直至算法終止。2．實驗簡介模塊，簡單說明各個函數(shù)的功能。：輸出與輸入之間的轉(zhuǎn)化計算 。由于本實驗的各個函數(shù)在包含在一個文件夾中因而也可以不設(shè)置路徑。不敏感系數(shù)，參數(shù)對回歸性能的影響也在后面介紹。 運行結(jié)果 主界面 運行結(jié)果如下圖41所示。支持向量數(shù)減少，回歸性能下降。圖414改變參數(shù)取值后的回歸圖形（4）結(jié)論 本實驗選取了線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)，這三個核函數(shù)進(jìn)行實驗，改變其參數(shù)（懲罰系數(shù)、不敏感系數(shù)、RBF寬度以及多項式次數(shù)），對回歸帶來了明顯的影響。在不敏感系數(shù)過小時，可能導(dǎo)致過擬合；而過大時則可能造成欠擬合。另外訓(xùn)練時間也將隨C的增加而上升。，其支持向量的個數(shù)先減少再增加。在實際應(yīng)用中, RBF核函數(shù)是目前在支持向量機(jī)中被應(yīng)用得最廣泛的一種核函數(shù)。致 謝致 謝　　一轉(zhuǎn)眼，大學(xué)四年已經(jīng)接近尾聲了，當(dāng)自己懷著忐忑不安的心情完成這篇畢業(yè)論文的時候，自己也從當(dāng)年一個懵懂的孩子變成了一個成熟的青年，回想自己的十幾年的求學(xué)生涯，滿足，充實，是一個結(jié)束，更是一個新的開始。　　在這篇論文的寫作過程中，我深感自己的水平還遠(yuǎn)遠(yuǎn)不夠，生命不息，學(xué)習(xí)不止，人生就是一個不斷學(xué)習(xí)和完善的過程，希望自己在今后的道路上能更上一層樓。正是你們，我才能在各方面取得顯著的進(jìn)步，在此向你們表示我由衷的謝意，并祝所有的老師培養(yǎng)出越來越多的優(yōu)秀人才，桃李滿天下。模型參數(shù)調(diào)整方法包括經(jīng)驗方法和理論方法等方面。本文針對回歸問題，描述了支持向量機(jī)的基本方法、理論、回歸算法及當(dāng)前國內(nèi)外對于支持向量回歸的研究內(nèi)容、方向。，其支持向量個數(shù)減少，性能下降。因此。由于手動輸入的訓(xùn)練集數(shù)量相對較少，同時算法的運行效率比較高，所以算法運行時間一般很短。圖410改變參數(shù)取值后的回歸圖形（3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù)Sigma(RBF寬度)，此時支持向量的個數(shù)為14，%，如下圖411所示。圖44手動輸入數(shù)據(jù)3 裝載上面保存的數(shù)據(jù)，如下圖45所示。清除數(shù)據(jù)：用戶想清除當(dāng)前數(shù)據(jù)時點擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。該主界面點擊實驗簡介或演示實驗都將出現(xiàn)動態(tài)的等待進(jìn)度條，此功能沒有實際用途但可以使設(shè)計美觀。圖32 支持向量回歸模型總的流程圖第4章 基于支持向量機(jī)回歸模型的實現(xiàn)第4章 基于支持向量回歸模型的實現(xiàn)本課題是基于支持向量回歸模型的設(shè)計與實現(xiàn)，已經(jīng)按照需求實現(xiàn)了各種功能。：查看系統(tǒng)的各實現(xiàn)功能的簡單說明。29第3章 基于Matlab實現(xiàn)SVR的總體設(shè)計第3章 基于Matlab實現(xiàn)SVR的總體設(shè)計 總體設(shè)計思想支持向量回歸的最終就是尋求一目標(biāo)函數(shù)，并使得其損失函數(shù)的數(shù)學(xué)期望最小，這樣才能得到最準(zhǔn)確的回歸曲線以反映訓(xùn)練集的數(shù)據(jù)走向趨勢。 關(guān)于算法的幾點說明1. 算法的收斂性說明根據(jù)Osuna的理論，在實現(xiàn)算法中每一步迭代都將減少目標(biāo)函數(shù)的值，進(jìn)而保證了算法的收斂性。不敏感損失函數(shù)其中 ，這里是事先取定的一個正數(shù)，不敏感損失函數(shù)的含義是，當(dāng)x點的觀測值y與預(yù)測值之差不超過給定的時，則認(rèn)為在該點的預(yù)測值是無損失的，盡管預(yù)測值和觀測值y可能并不完全相等，如下面損失函數(shù)圖像21所示。對于可行的主變量和對偶變量，凸最小化問題的主目標(biāo)函數(shù)的解常常比(凸最大化的)對偶目標(biāo)函數(shù)的解要大。核函數(shù)存在性定理表明：給定一個訓(xùn)練樣本集，就一定存在一個相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。支持向量回歸模型最重要的一個參數(shù)就是核函數(shù)。同理，在非線性空間中也只考慮高維特征空間的點積運算：，而不必明確知道是什么。其中為所謂的泛化錯誤上界，根據(jù)Vapnik的理論，它依賴于用來進(jìn)行回歸的函數(shù)族。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個擬合模型。VC就是取Vapnik和Chervonenkis名字的首字而成?；貧w預(yù)測的目的是根據(jù)給定