【正文】 向量數(shù) 24，性能 %。取值過(guò)大，其精度降低，推廣性能差。 下面對(duì)使用幾種常見(jiàn)的核函數(shù)的參數(shù)對(duì)回歸性能的影響比較： 表 41 線性核函數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向量個(gè)數(shù) 支持向量個(gè)數(shù) 回歸性能 10 0． 01 26 24 % 10 0． 005 26 25 % 1 0． 005 26 25 % 0． 005 26 26 100% 結(jié)論：隨著不敏感系數(shù) ? 的 減少 (在一定的范圍內(nèi) )支持向量的個(gè)數(shù) 增多 ，回歸性能 下降。目前支持向量機(jī)主要應(yīng)用在金融時(shí)間序列 預(yù)測(cè)（如股票預(yù)測(cè)、期貨預(yù)測(cè)等）和非線性系統(tǒng)參數(shù)辨識(shí)、建模與控制等一些方面。在固定的核函數(shù)情況下 , 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機(jī)設(shè)計(jì)的關(guān)鍵一環(huán)。 其次，我要感謝所有任課老師在這四年來(lái)給自己的指導(dǎo)和幫助，是他們教會(huì)了我專業(yè)知識(shí)，教會(huì)了我如何學(xué)習(xí)，教會(huì)了我如 何做人。不拋棄，不放棄！ 參考文獻(xiàn) 29 參考文獻(xiàn) [1] 劉霞 , 盧葦 . SVM 在文本分類中的應(yīng)用研究 [J], 計(jì)算機(jī)教育 , 2020. 1. [2] 曾水玲 , 徐蔚鴻 . 基于支持向量機(jī)的手寫(xiě)體數(shù)字識(shí) [J]. 計(jì)算機(jī)與數(shù)字工程 , 2020, 34(10). [3] 史忠植 .知識(shí)發(fā)現(xiàn) [M]. 北京 : 清華 大學(xué)出版社 。 首先，從小學(xué)到大學(xué)的生活費(fèi)和學(xué)費(fèi)就不是一個(gè)小數(shù)目，父母的支持與付出我看在眼里，疼在心里，十幾年，實(shí)屬不易。對(duì)于初學(xué)者來(lái)說(shuō) , RBF 核無(wú)疑是優(yōu)先考慮的核函數(shù)之一。其不敏感系數(shù) ? 從 減小到 ，支持向量個(gè)數(shù)增加，回歸性有所提高。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 25 通過(guò)將映射函數(shù)內(nèi)積運(yùn)算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進(jìn)行線性擬合來(lái)得到非線性回歸函數(shù)。此外，不敏感系數(shù)還控制模型的泛化推廣能力。通過(guò)此實(shí)驗(yàn)充分的顯示了， 不同的核函數(shù)其回歸性能差別，以及其參數(shù)對(duì)回歸的影響。 圖 48 改變參數(shù)取值后的回歸圖 （ 2）多項(xiàng)式核函數(shù) 多項(xiàng)式核函數(shù) ，設(shè)置 此時(shí)多項(xiàng)式次數(shù)為 3，如下圖 49 所示 。 圖 41 主界面模塊運(yùn)行結(jié)果 功能描述界面 運(yùn)行結(jié)果如下圖 42 所示。 (3)編輯框顯示信息 顯示統(tǒng)計(jì)支持向量的個(gè)數(shù)，回歸性能。 進(jìn)入實(shí)驗(yàn)簡(jiǎn)介：簡(jiǎn)單了解 SVR，查看各個(gè)函數(shù)要實(shí)現(xiàn)的基本功能。 ：輸入，輸出異常 。 3．支持向量回歸模型設(shè)計(jì)的實(shí)驗(yàn)?zāi)K，實(shí)現(xiàn)支持向量回歸的各種功能 (手動(dòng)創(chuàng)建數(shù)據(jù)集 、裝載現(xiàn)有 的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進(jìn)行回歸演示 )。 4. 算法的效率 在算法運(yùn)行過(guò)程中， CPU 的時(shí)間集中在最有可能違反 KKT 條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會(huì)在其它元素被優(yōu)化的同時(shí)向邊界移動(dòng)。 SVR?? 回歸算法 利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 F ( 通常是無(wú)限維 )，在特征空間實(shí)現(xiàn)線性回歸，估計(jì)函數(shù)具有如下形式： bxxf ??? )()( ?? 這里 FRd ?:? ，映射到特征空間， ? 表示特征空間中的內(nèi)積， F?? 且 Rb? 為從訓(xùn)練數(shù)據(jù)集 D 估計(jì)函數(shù) f ，典型的支持向量回歸最小化正則化風(fēng)險(xiǎn)泛函： 22][][ ???? fRfR e m pre g ??2)),((1 1 ?? ?? iiNi yxfcN 這里正則化參數(shù) ? 為正數(shù)，損失函數(shù) c 選擇為 ?? 不敏感損失函數(shù)，形式如下： ??? ? ?? elseu uforuc s ,|| ||,0)( ? ? 可以通過(guò)解二次規(guī)劃的優(yōu)化問(wèn)題來(lái)最小化正則化風(fēng)險(xiǎn)泛函。當(dāng)把該方法推廣到回歸問(wèn)題時(shí)，很重要的一點(diǎn)就是希望找到合適的支持向量回歸 (SVR)算法，仍然保持這個(gè)性質(zhì)。本課題研究的幾種核函數(shù)如下： 線性內(nèi)核 jiji xxxxK ??),( 多項(xiàng)式內(nèi)核 qjiji xxxxK ]1),[(),( ?? 徑向基函數(shù)內(nèi)核 ?????????? ???22e xp),( ? jiji xxxxK Bsplines 內(nèi) 核 )(),( 12 jinji xxBxxK ?? ? 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ) 1. 尋求方向 約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點(diǎn)，這就涉及到尋求最優(yōu)方向的問(wèn)題。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) ),( ixxK 滿足 Mercer條件，它就對(duì)應(yīng)某一變換空間中的點(diǎn)積。因而可有效地處理高維空間的問(wèn)題，而不受到維數(shù)的限制。其線性支持向量回歸機(jī)的結(jié)果是線形的。如參數(shù)估計(jì)與假設(shè)檢驗(yàn)等一些知識(shí)。對(duì)于非線形情形，同支持向量機(jī)識(shí)別，通過(guò)向高維空間映射，將問(wèn)題轉(zhuǎn)化為高維空間 (Hilbert 空間 )的線形回歸問(wèn)題，并且使用核函數(shù)來(lái)求得最優(yōu)解。有界實(shí)函數(shù)的 VC 維可以通過(guò)用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來(lái)定義。 第 4章介紹 支持向量回歸模型的實(shí)現(xiàn) ，及結(jié)果分析。 Matlab 有一系列繪圖函數(shù)命令，功能強(qiáng)大，使用方便。本課題研究 用MATLAB 程序編寫(xiě)回歸算法和 GUI 組件編寫(xiě)用戶界面來(lái)實(shí)現(xiàn)支持向量回歸模型的設(shè)計(jì)。說(shuō)明了 SVM 方法較傳統(tǒng)方法有明顯的優(yōu)勢(shì) , 同時(shí)也得到了不同的 SVM 方 法可以得到性能相近的結(jié)果。本課題就是研究它在回歸估計(jì)中的應(yīng)用。 SVM 已經(jīng)成為目前國(guó)內(nèi)外研究的熱點(diǎn)。 訓(xùn)練算法 。在 SVR 回歸分析中，使用支持向量機(jī)可以使回歸函數(shù)盡量平滑，其泛化能力強(qiáng)。 SVR 算法是模式識(shí)別中應(yīng)用比較廣泛的算法模型之一，它是支持向量機(jī)在函數(shù)逼近和回歸估計(jì)中的應(yīng)用。 關(guān)鍵詞： 支持向量回歸 。它的優(yōu)點(diǎn)是理論完備、訓(xùn)練時(shí)間短、全局優(yōu)化強(qiáng)、適應(yīng)性好、泛化性能好等。由于其出色的學(xué)習(xí)性能，該技術(shù)已成為當(dāng)前國(guó)際機(jī)器學(xué)習(xí)界的研究熱點(diǎn)，在模式識(shí)別、回歸估計(jì)、函數(shù)逼近等領(lǐng)域有了廣泛的 應(yīng)用。 雖然 SVM 方法在理論上具有很突出的優(yōu)勢(shì) , 但與其理論研究相比 ,應(yīng)用研究尚相對(duì)比較滯后 , 到目前， SVM 已用于數(shù)據(jù)分類、回歸估計(jì)、函數(shù)逼近等領(lǐng)域 .應(yīng)用最為廣泛的當(dāng)屬模式識(shí)別領(lǐng)域，在模式識(shí)別方面最突出的應(yīng) 用研究是貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫(xiě)數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn) ,這是一個(gè)可識(shí)別性較差的數(shù)據(jù)庫(kù) , 人工識(shí)別平均錯(cuò)誤率是 % , 用決策樹(shù)方法識(shí)別錯(cuò)誤率是 % , 兩層神經(jīng)網(wǎng)絡(luò)中錯(cuò)誤率最小的是 % , 專門針對(duì)該特定問(wèn)題設(shè)計(jì)的五層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為 % (其中利用了大量先驗(yàn)知識(shí) ) , 而用三種SVM 方法得到的錯(cuò)誤率分別為 %、 % 和 % , 且其中直接采用了 1616 的字符點(diǎn)陣作為 SVM 的輸入 , 并沒(méi)有進(jìn)行專門的特征提取。根據(jù)它提供 的 500 多個(gè)數(shù)學(xué)和工程函數(shù)，工程技術(shù)人員和科學(xué)工作者可以在它的集成環(huán)境中交互或編程以完成各自的計(jì)算。 3．方便的繪圖功能：本課題借助于 Matlab 的繪圖功能， 能較為方便的建立支持向量回歸過(guò)程中的演示圖形。 第 3章 此章介紹了本課題的總體設(shè)計(jì)思路和功能模塊的劃分及相關(guān)流程圖。 若對(duì)任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的 VC 維是無(wú)窮大。線形情形，支持向量回歸問(wèn)題可形象的理解為在誤差帶內(nèi)尋 求一個(gè)最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。在具體實(shí)施中，則大量的借助統(tǒng)計(jì)學(xué)的理論和技術(shù)。 學(xué)習(xí)的結(jié)果使得在的周圍形成一個(gè)精度為的誤差帶。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無(wú)關(guān)，其計(jì)算規(guī)模 正比于輸入模式中支持向量的個(gè)數(shù)。 在高維特征空間實(shí)際上只需要進(jìn)行點(diǎn)積運(yùn)算，可以用原空間中的函數(shù)實(shí)現(xiàn)的，甚至沒(méi)有必要知道變換的形式。 SVM 由訓(xùn)練樣本集和核函數(shù)完全描述，因此 采用不同的核函數(shù)就可以構(gòu)造實(shí)現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機(jī)，導(dǎo)致不同的支持向量算法。 3. 不敏感損失函數(shù) 支持向量機(jī)方法是從解決模式識(shí)別問(wèn)題發(fā)展起來(lái)的，在支持向量分類機(jī)中，一般來(lái)說(shuō)，可以用少量的支持向量來(lái)表示決策函數(shù)，即具有稀疏性。我們可以期望，在 ?? 帶內(nèi)的樣本點(diǎn)，不會(huì)出現(xiàn)在決策函數(shù)中。外循環(huán)如此交替在整個(gè)數(shù)據(jù)集合上進(jìn)行一次掃描和在非邊 界元素集合上進(jìn)行多遍掃描，直至算法終止。 2．實(shí)驗(yàn)簡(jiǎn)介模塊，簡(jiǎn)單說(shuō)明各個(gè)函數(shù)的功能。 ：輸出與輸入之間的轉(zhuǎn)化計(jì)算 。由于本實(shí)驗(yàn)的各個(gè)函數(shù)在包含在一個(gè)文件夾中因而也可以不設(shè)置路徑。 不敏感系數(shù) ? ，其初始值設(shè)為 ， ? 參數(shù) 對(duì)回歸性能的影響也在后面介紹。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 17 運(yùn)行結(jié)果 主界面 運(yùn)行結(jié)果如下圖 41 所示。 支持向量數(shù)減少，回歸性能下降。 圖 414 改變參數(shù)取值后的回歸圖形 （ 4）結(jié)論 本實(shí)驗(yàn)選取了線性核函數(shù)、多項(xiàng)式核函數(shù)和高斯徑向基核函數(shù)，這三個(gè)核函數(shù)進(jìn)行第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 24 實(shí)驗(yàn) ， 改變其參數(shù)（懲罰系數(shù) C 、不敏感系數(shù) ? 、 RBF 寬度以及多項(xiàng)式次數(shù)），對(duì)回歸帶來(lái)了明顯的影響。在不敏感系數(shù)過(guò)小時(shí)，可能導(dǎo)致過(guò)擬合 ； 而過(guò)大時(shí) 則可能造成欠擬合。另外訓(xùn)練時(shí)間也將隨 C 的增加而上升。 徑向基寬度從 到 再到 ，其支持向量的個(gè)數(shù)先減少再增加。在實(shí)際應(yīng)用中 , RBF 核函數(shù)是目前在支持向量機(jī)中被應(yīng)用得最廣泛的一種核函數(shù)。 致 謝 28 致 謝 一轉(zhuǎn)眼，大學(xué)四年已經(jīng)接近尾聲了，當(dāng)自己懷著忐忑不安的心情 完成這篇畢業(yè)論文的時(shí)候，自己也從當(dāng)年一個(gè)懵懂的孩子變成了一個(gè)成熟的青年，回想自己的十幾年的求學(xué)生涯，滿足，充實(shí)，是一個(gè)結(jié)束，更是一個(gè)新的開(kāi)始。 在這篇論文的寫(xiě)作過(guò)程中，我深感自己的水平還遠(yuǎn)遠(yuǎn)不夠，生命不息，學(xué)習(xí)不止，人生就是一個(gè)不斷學(xué)習(xí)和完善的過(guò)程，希望自己在今后的道路上能更上一層樓。正是你們，我才能在各方面取得顯著的進(jìn)步，在此向你們表示我由衷的謝意，并祝所有的老師培養(yǎng)出越來(lái)越多的優(yōu)秀人才，桃李滿天下。模型參數(shù)調(diào)整方法包括經(jīng)驗(yàn)方法和理論方法等方面。 本文針對(duì)回歸問(wèn)題，描述了支持向量機(jī)的基本方法、理論、回歸算法及當(dāng)前國(guó)內(nèi)外對(duì)于支持向量回歸的研究?jī)?nèi)容、方向。 懲罰系數(shù) C 從 增至 1，其支持向量個(gè)數(shù)減少，性能下降。因此，不敏感系數(shù)的取值一般在 到 之間。由于手動(dòng)輸入的訓(xùn)練集數(shù)量相對(duì)較少，同時(shí)算法的運(yùn)行效率比較高，所以算法運(yùn)行時(shí)間一般很短。 圖 410 改變參數(shù)取值后的回歸圖形 （ 3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù) Sigma(RBF 寬度 )為 懲罰系數(shù) 10，不敏感參數(shù)為 ，此時(shí)支持向量的個(gè)數(shù)為 14，回