【導(dǎo)讀】術(shù)界的廣泛重視，并已在模式識(shí)別和函數(shù)估計(jì)中得到廣泛應(yīng)用。支持向量機(jī)理論的最大。特點(diǎn)是由有限的訓(xùn)練集樣本得到的小的誤差保證對(duì)獨(dú)立的測(cè)試集仍保持小的誤差。在SVR回歸分析中，使用支持向量機(jī)可以使回歸函數(shù)盡量平。滑，其泛化能力強(qiáng)。的幾種常見(jiàn)的核函數(shù)。數(shù)據(jù)集的保存與打開(kāi)。通過(guò)不同核函數(shù)的選取以及相應(yīng)參數(shù)的設(shè)置對(duì)輸入數(shù)據(jù)集進(jìn)行回。此模型主要解決非線性回歸模型的預(yù)測(cè)。通過(guò)實(shí)驗(yàn)改變各個(gè)參數(shù)的不同取值對(duì)訓(xùn)練。集進(jìn)行回歸，并分別統(tǒng)計(jì)出支持向量的個(gè)數(shù)，回歸性能，程序運(yùn)行時(shí)間。

　　

【正文】 數(shù)為 ，此時(shí)支持向量的個(gè)數(shù)為 14，回歸性能 %，如下圖 411 所示 。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 22 圖 411 選擇高斯核函數(shù)的回歸圖形 現(xiàn)增大懲罰系數(shù) C 至 40，其它參數(shù)不變，支持向量數(shù)增多到 15，回歸性能提高到%， 如下圖 412 所示 。 圖 412 改變參數(shù)取值后的回歸圖形 降低不敏感系數(shù)至 ，回歸性能提高到 %，如下圖 413 所示 。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 23 圖 413 改變參數(shù)后的回歸圖形 增大不敏感系數(shù)為 ， 回歸性能明顯下降，為 %，如下圖 414 所示 。 圖 414 改變參數(shù)取值后的回歸圖形 （ 4）結(jié)論 本實(shí)驗(yàn)選取了線性核函數(shù)、多項(xiàng)式核函數(shù)和高斯徑向基核函數(shù)，這三個(gè)核函數(shù)進(jìn)行第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 24 實(shí)驗(yàn) ， 改變其參數(shù)（懲罰系數(shù) C 、不敏感系數(shù) ? 、 RBF 寬度以及多項(xiàng)式次數(shù)），對(duì)回歸帶來(lái)了明顯的影響。通過(guò)此實(shí)驗(yàn)充分的顯示了， 不同的核函數(shù)其回歸性能差別，以及其參數(shù)對(duì)回歸的影響。 命令窗口的顯示結(jié)果 以線性核函數(shù)為例， 命令窗口顯示 如下 圖 415 所示 。 圖 415 命令窗口顯示結(jié)果 算法運(yùn)行時(shí)間 ，支持向量數(shù) 24，性能 %。由于手動(dòng)輸入的訓(xùn)練集數(shù)量相對(duì)較少，同時(shí)算法的運(yùn)行效率比較高，所以算法運(yùn)行時(shí)間一般很短。 4. 3 系統(tǒng)的性能分析及結(jié)論 支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子 C 以及不敏感系數(shù)等參數(shù)的選擇。 不敏感系數(shù)原則上反映了 SVM 對(duì)數(shù)據(jù)中躁聲幅度的容許界限 .為選定適當(dāng)?shù)闹?,應(yīng)考慮采集樣本時(shí)可能帶 有的躁聲分布的狀況 .若躁聲服從正態(tài)分布 ,當(dāng)密度函數(shù)分布較寬(即方差較大 )時(shí) ,宜采用較大的，而當(dāng)分布較窄時(shí)，應(yīng)選用較小的。應(yīng)用 SVM 訓(xùn)練時(shí)，不敏感系數(shù)的大小控制支持向量個(gè)數(shù)的多少，當(dāng)較小時(shí)，參與回歸的支持向量將增 多，同時(shí)訓(xùn)練時(shí)間也有所增加。在不敏感系數(shù)過(guò)小時(shí)，可能導(dǎo)致過(guò)擬合 ； 而過(guò)大時(shí) 則可能造成欠擬合。此外，不敏感系數(shù)還控制模型的泛化推廣能力。在實(shí)際求解中，的取值過(guò)小，支持向量的數(shù)目變化不大，但模型的求解時(shí)間將增加。取值過(guò)大，其精度降低，推廣性能差。因此，不敏感系數(shù)的取值一般在 到 之間。 懲罰 系數(shù) C 的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報(bào)能力，通常擬合誤差隨 C的增大而下降，但下降的速度也越來(lái)越小，當(dāng) C 增至一定值后，其下降將漸平緩，幾乎不再隨 C 的增大而減小。因是 SVM 只要求擬合誤差超過(guò)允許精度的部分降至最小所致。同時(shí)，預(yù)測(cè)誤差也將隨懲罰系數(shù) C 的增大而下降，但并非單調(diào)，當(dāng) C 增大到一定值后，預(yù)測(cè)誤差也可能有所上升，這也是過(guò)擬合所致。另外訓(xùn)練時(shí)間也將隨 C 的增加而上升。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 25 通過(guò)將映射函數(shù)內(nèi)積運(yùn)算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進(jìn)行線性擬合來(lái)得到非線性回歸函數(shù)。因此，對(duì)于非線性問(wèn)題還存在核函數(shù)及其參 數(shù)的影響。 下面對(duì)使用幾種常見(jiàn)的核函數(shù)的參數(shù)對(duì)回歸性能的影響比較： 表 41 線性核函數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向量個(gè)數(shù) 支持向量個(gè)數(shù) 回歸性能 10 0． 01 26 24 % 10 0． 005 26 25 % 1 0． 005 26 25 % 0． 005 26 26 100% 結(jié)論：隨著不敏感系數(shù) ? 的 減少 (在一定的范圍內(nèi) )支持向量的個(gè)數(shù) 增多 ，回歸性能 下降。 懲罰系數(shù) C 從 增至 1，其支持向量個(gè)數(shù)減少，性能下降。 表 42 多項(xiàng)式核函數(shù) 多項(xiàng)式次數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向 量個(gè)數(shù) 支持向 量個(gè)數(shù) 回歸性能 3 10 26 26 100% 3 10 0． 01 26 23 % 4 10 0． 01 26 24 % 5 10 0． 01 26 23 % 結(jié)論：從表中可以看出不敏感系數(shù) ? 的增大，支持向 量個(gè)數(shù)減少，對(duì)應(yīng)回歸性能下降。 多項(xiàng)式次數(shù)的選擇要看數(shù)據(jù)的分布，并不是次數(shù)越高，回歸性能越好。 表 43 高斯徑向基核函數(shù) 徑向基寬度 懲罰系數(shù) C 不敏感系數(shù)? 輸入向 量個(gè)數(shù) 支持向 量個(gè)數(shù) 回歸性能 0． 1 10 0． 01 26 20 % 0． 3 10 0． 01 26 17 % 0． 5 10 0． 01 26 22 % 1 10 0． 01 26 24 % 1． 2 10 0． 01 26 22 % 1． 2 10 0． 005 26 24 % 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 26 結(jié)論：由圖可以看出徑向基寬度對(duì)性能的影響并不是簡(jiǎn)單的單調(diào)遞增或是遞減。 徑向基寬度從 到 再到 ，其支持向量的個(gè)數(shù)先減少再增加。其不敏感系數(shù) ? 從 減小到 ，支持向量個(gè)數(shù)增加，回歸性有所提高。 第 5 章總結(jié) 27 第 5 章 總結(jié) 基于支持向量機(jī)方法的回歸估計(jì)以可控制的精度逼近任一非線性函數(shù)，同時(shí)具有全局最優(yōu)、良好的泛化能力等優(yōu)越性能，因此支持向量機(jī)的應(yīng)用非常廣泛。目前支持向量機(jī)主要應(yīng)用在金融時(shí)間序列 預(yù)測(cè)（如股票預(yù)測(cè)、期貨預(yù)測(cè)等）和非線性系統(tǒng)參數(shù)辨識(shí)、建模與控制等一些方面。 本文針對(duì)回歸問(wèn)題，描述了支持向量機(jī)的基本方法、理論、回歸算法及當(dāng)前國(guó)內(nèi)外對(duì)于支持向量回歸的研究?jī)?nèi)容、方向?？偨Y(jié)了設(shè)計(jì)支持向量回歸機(jī)的模型選擇方面的進(jìn)展。模型選擇包括核函數(shù)的選擇、模型正則化參數(shù) C、不敏感參數(shù) ε 等方面內(nèi)容。核函數(shù)的選擇是支持向量機(jī)理論研究的一個(gè)核心問(wèn)題。在實(shí)際應(yīng)用中 , RBF 核函數(shù)是目前在支持向量機(jī)中被應(yīng)用得最廣泛的一種核函數(shù)。對(duì)于初學(xué)者來(lái)說(shuō) , RBF 核無(wú)疑是優(yōu)先考慮的核函數(shù)之一。當(dāng)然 , 在實(shí)際應(yīng)用中也可以采用多種核 函數(shù)進(jìn)行比較研究 , 通過(guò)模型的性能指標(biāo) , 選出推廣性能最優(yōu)的一種核函數(shù)。在固定的核函數(shù)情況下 , 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機(jī)設(shè)計(jì)的關(guān)鍵一環(huán)。模型參數(shù)調(diào)整方法包括經(jīng)驗(yàn)方法和理論方法等方面。最后還對(duì)幾種常見(jiàn)的核函數(shù)的不同參數(shù)、回歸模型的參數(shù)對(duì)支持向量個(gè)數(shù)和回歸性能做了比較。如何針對(duì)特定問(wèn)題 , 選擇最佳的核函數(shù)和最優(yōu)的一組模型參數(shù)仍是一個(gè)難以解決的問(wèn)題。模型選擇的標(biāo)準(zhǔn)作為支持向量機(jī)及其應(yīng)用的核心內(nèi)容之一 , 有待進(jìn)一步研究。 致 謝 28 致 謝 一轉(zhuǎn)眼，大學(xué)四年已經(jīng)接近尾聲了，當(dāng)自己懷著忐忑不安的心情 完成這篇畢業(yè)論文的時(shí)候，自己也從當(dāng)年一個(gè)懵懂的孩子變成了一個(gè)成熟的青年，回想自己的十幾年的求學(xué)生涯，滿足，充實(shí)，是一個(gè)結(jié)束，更是一個(gè)新的開(kāi)始。 首先，從小學(xué)到大學(xué)的生活費(fèi)和學(xué)費(fèi)就不是一個(gè)小數(shù)目，父母的支持與付出我看在眼里，疼在心里，十幾年，實(shí)屬不易。感謝爸爸媽媽對(duì)我的悉心照料，沒(méi)有你們的辛苦勞作就沒(méi)有我今天的成績(jī)，走出校門(mén)后又是一片新的天地，我會(huì)把這些年您們?cè)谖疑砩系母冻黾颖秲斶€給二老的。 其次，我要感謝所有任課老師在這四年來(lái)給自己的指導(dǎo)和幫助，是他們教會(huì)了我專(zhuān)業(yè)知識(shí)，教會(huì)了我如何學(xué)習(xí)，教會(huì)了我如 何做人。正是你們，我才能在各方面取得顯著的進(jìn)步，在此向你們表示我由衷的謝意，并祝所有的老師培養(yǎng)出越來(lái)越多的優(yōu)秀人才，桃李滿天下。 再次，我要感謝所有與我共度四年大學(xué)時(shí)光的同學(xué)們，遇見(jiàn)你們這些可愛(ài)的人是我今生的榮幸，謝謝你們?cè)趯W(xué)習(xí)和生活上對(duì)我的幫助，謝謝你們對(duì)我的理解和支持，我們永遠(yuǎn)都是一家人。 最后，我要著重感謝我的指導(dǎo)老師 張艷 老師在我大學(xué)的最后學(xué)習(xí)階段 —— 畢業(yè)論文階段給予我的指導(dǎo)，從最初的定題，到資料收集，到寫(xiě)作、修改，到論文定稿，老師給了我耐心的指導(dǎo)和無(wú)私的幫助。為了指導(dǎo)我們的畢業(yè)論文，她放棄了 自己的休息時(shí)間，這種無(wú)私奉獻(xiàn)的敬業(yè)精神令人欽佩，在此我向老師表示我誠(chéng)摯的謝意。 在這篇論文的寫(xiě)作過(guò)程中，我深感自己的水平還遠(yuǎn)遠(yuǎn)不夠，生命不息，學(xué)習(xí)不止，人生就是一個(gè)不斷學(xué)習(xí)和完善的過(guò)程，希望自己在今后的道路上能更上一層樓。不拋棄，不放棄！ 參考文獻(xiàn) 29 參考文獻(xiàn) [1] 劉霞 , 盧葦 . SVM 在文本分類(lèi)中的應(yīng)用研究 [J], 計(jì)算機(jī)教育 , 2020. 1. [2] 曾水玲 , 徐蔚鴻 . 基于支持向量機(jī)的手寫(xiě)體數(shù)字識(shí) [J]. 計(jì)算機(jī)與數(shù)字工程 , 2020, 34(10). [3] 史忠植 .知識(shí)發(fā)現(xiàn) [M]. 北京 : 清華 大學(xué)出版社 。 2020. 1. [4] 李紅蓮 , 王春花 , 袁保宗 . 一種改進(jìn)的支持向量 NNSVM[J]. 計(jì)算機(jī)學(xué)報(bào) , 2020, 26(8) . [5] 張清河 , 肖柏勛等 . 基于支持向量機(jī)的介質(zhì)圓柱體逆散射問(wèn)題研究 [J]. 電波科學(xué)學(xué)報(bào) , 2020. [6] 張曦 , 閻威武等 . 亞基于核主元分析和鄰近支持向量機(jī)的汽輪機(jī)凝汽器過(guò)程監(jiān)控和故障診斷 [J]. 中國(guó)電機(jī)工程學(xué)報(bào) , 2020. 5. [7] 孫士博 . 核獨(dú)立成分分析在心律失常模式分類(lèi)中的應(yīng)用 [D]. 燕山大學(xué)碩士論文 , 2020. 4. [8] 羅曉牧 , 周淵平 , 王國(guó)利 . SVM 自適應(yīng)波束成形算法 [J]. 電路與系統(tǒng)學(xué)報(bào) , 2020. 12. [10] 張鈴 . 支持向量機(jī)理論與基于規(guī)劃的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 [J]. 計(jì)算機(jī)學(xué)報(bào) , 2020, 24(2). [11] 張學(xué)工 . 關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī) [J]. 自動(dòng)化學(xué)報(bào) , 2020, 26(1). [12] Dai Liuling, Huang Heyan, Chen Zhaoxiong . Ternary sequential analytic optimization algorithm for SVM classifier design [J].Asian Journal of Information Technology. 2020, 4(3). [13] 薛宇玲 . 支持向量機(jī)在煤礦地下水位預(yù)測(cè)中的應(yīng)用 [D]. 西安科技大學(xué)碩士論文 , 2020. 4. [14] 宋曉峰 . 優(yōu)生演進(jìn)優(yōu)化和統(tǒng)計(jì)學(xué)習(xí)建模 [D]. 浙江大學(xué)博士論文 , 2020. 5. [15] DING Shifei, XU Li, ZHU Hong et al. Research and progress of cluster algorithms based on granular puting [J]. International Journal of Digital Content Technology and its Applications,2020, 4(5).