【正文】 不拋棄，不放棄！ 參考文獻(xiàn) 29 參考文獻(xiàn) [1] 劉霞 , 盧葦 . SVM 在文本分類中的應(yīng)用研究 [J], 計(jì)算機(jī)教育 , 2020. 1. [2] 曾水玲 , 徐蔚鴻 . 基于支持向量機(jī)的手寫體數(shù)字識(shí) [J]. 計(jì)算機(jī)與數(shù)字工程 , 2020, 34(10). [3] 史忠植 .知識(shí)發(fā)現(xiàn) [M]. 北京 : 清華 大學(xué)出版社 。為了指導(dǎo)我們的畢業(yè)論文，她放棄了 自己的休息時(shí)間，這種無(wú)私奉獻(xiàn)的敬業(yè)精神令人欽佩，在此我向老師表示我誠(chéng)摯的謝意。 再次，我要感謝所有與我共度四年大學(xué)時(shí)光的同學(xué)們，遇見你們這些可愛的人是我今生的榮幸，謝謝你們?cè)趯W(xué)習(xí)和生活上對(duì)我的幫助，謝謝你們對(duì)我的理解和支持，我們永遠(yuǎn)都是一家人。 其次，我要感謝所有任課老師在這四年來(lái)給自己的指導(dǎo)和幫助，是他們教會(huì)了我專業(yè)知識(shí)，教會(huì)了我如何學(xué)習(xí)，教會(huì)了我如 何做人。 首先，從小學(xué)到大學(xué)的生活費(fèi)和學(xué)費(fèi)就不是一個(gè)小數(shù)目，父母的支持與付出我看在眼里，疼在心里，十幾年，實(shí)屬不易。模型選擇的標(biāo)準(zhǔn)作為支持向量機(jī)及其應(yīng)用的核心內(nèi)容之一 , 有待進(jìn)一步研究。最后還對(duì)幾種常見的核函數(shù)的不同參數(shù)、回歸模型的參數(shù)對(duì)支持向量個(gè)數(shù)和回歸性能做了比較。在固定的核函數(shù)情況下 , 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機(jī)設(shè)計(jì)的關(guān)鍵一環(huán)。對(duì)于初學(xué)者來(lái)說(shuō) , RBF 核無(wú)疑是優(yōu)先考慮的核函數(shù)之一。核函數(shù)的選擇是支持向量機(jī)理論研究的一個(gè)核心問(wèn)題?？偨Y(jié)了設(shè)計(jì)支持向量回歸機(jī)的模型選擇方面的進(jìn)展。目前支持向量機(jī)主要應(yīng)用在金融時(shí)間序列 預(yù)測(cè)（如股票預(yù)測(cè)、期貨預(yù)測(cè)等）和非線性系統(tǒng)參數(shù)辨識(shí)、建模與控制等一些方面。其不敏感系數(shù) ? 從 減小到 ，支持向量個(gè)數(shù)增加，回歸性有所提高。 表 43 高斯徑向基核函數(shù) 徑向基寬度 懲罰系數(shù) C 不敏感系數(shù)? 輸入向 量個(gè)數(shù) 支持向 量個(gè)數(shù) 回歸性能 0． 1 10 0． 01 26 20 % 0． 3 10 0． 01 26 17 % 0． 5 10 0． 01 26 22 % 1 10 0． 01 26 24 % 1． 2 10 0． 01 26 22 % 1． 2 10 0． 005 26 24 % 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 26 結(jié)論：由圖可以看出徑向基寬度對(duì)性能的影響并不是簡(jiǎn)單的單調(diào)遞增或是遞減。 表 42 多項(xiàng)式核函數(shù) 多項(xiàng)式次數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向 量個(gè)數(shù) 支持向 量個(gè)數(shù) 回歸性能 3 10 26 26 100% 3 10 0． 01 26 23 % 4 10 0． 01 26 24 % 5 10 0． 01 26 23 % 結(jié)論：從表中可以看出不敏感系數(shù) ? 的增大，支持向 量個(gè)數(shù)減少，對(duì)應(yīng)回歸性能下降。 下面對(duì)使用幾種常見的核函數(shù)的參數(shù)對(duì)回歸性能的影響比較： 表 41 線性核函數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向量個(gè)數(shù) 支持向量個(gè)數(shù) 回歸性能 10 0． 01 26 24 % 10 0． 005 26 25 % 1 0． 005 26 25 % 0． 005 26 26 100% 結(jié)論：隨著不敏感系數(shù) ? 的 減少 (在一定的范圍內(nèi) )支持向量的個(gè)數(shù) 增多 ，回歸性能 下降。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 25 通過(guò)將映射函數(shù)內(nèi)積運(yùn)算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進(jìn)行線性擬合來(lái)得到非線性回歸函數(shù)。同時(shí)，預(yù)測(cè)誤差也將隨懲罰系數(shù) C 的增大而下降，但并非單調(diào)，當(dāng) C 增大到一定值后，預(yù)測(cè)誤差也可能有所上升，這也是過(guò)擬合所致。 懲罰 系數(shù) C 的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報(bào)能力，通常擬合誤差隨 C的增大而下降，但下降的速度也越來(lái)越小，當(dāng) C 增至一定值后，其下降將漸平緩，幾乎不再隨 C 的增大而減小。取值過(guò)大，其精度降低，推廣性能差。此外，不敏感系數(shù)還控制模型的泛化推廣能力。應(yīng)用 SVM 訓(xùn)練時(shí)，不敏感系數(shù)的大小控制支持向量個(gè)數(shù)的多少，當(dāng)較小時(shí)，參與回歸的支持向量將增 多，同時(shí)訓(xùn)練時(shí)間也有所增加。 4. 3 系統(tǒng)的性能分析及結(jié)論 支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子 C 以及不敏感系數(shù)等參數(shù)的選擇。 圖 415 命令窗口顯示結(jié)果 算法運(yùn)行時(shí)間 ，支持向量數(shù) 24，性能 %。通過(guò)此實(shí)驗(yàn)充分的顯示了， 不同的核函數(shù)其回歸性能差別，以及其參數(shù)對(duì)回歸的影響。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 23 圖 413 改變參數(shù)后的回歸圖形 增大不敏感系數(shù)為 ， 回歸性能明顯下降，為 %，如下圖 414 所示 。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 22 圖 411 選擇高斯核函數(shù)的回歸圖形 現(xiàn)增大懲罰系數(shù) C 至 40，其它參數(shù)不變，支持向量數(shù)增多到 15，回歸性能提高到%， 如下圖 412 所示 。 圖 49 選擇多項(xiàng)式核函數(shù)的回歸圖形 增大多項(xiàng)式次數(shù) Degree 為 5，并減少不敏感系數(shù)至 ，回歸性能提高到 %，如下圖 410 所示 。 圖 48 改變參數(shù)取值后的回歸圖 （ 2）多項(xiàng)式核函數(shù) 多項(xiàng)式核函數(shù) ，設(shè)置 此時(shí)多項(xiàng)式次數(shù)為 3，如下圖 49 所示 。 圖 47 回歸結(jié)果圖 改 變 不敏感 系數(shù)增大為 ， 此時(shí)支持向量個(gè)數(shù)為 22，回歸性能 %，如下圖48 所示 。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 19 圖 45 裝載數(shù)據(jù) 裝載 aa 數(shù)據(jù)文件后的數(shù)據(jù)顯示 ，如下圖 46 所示。 圖 43 支持向量機(jī)回歸模型實(shí)驗(yàn)界面 2 手動(dòng)輸入數(shù)據(jù) ，并保存，如下圖 44 所示。 圖 41 主界面模塊運(yùn)行結(jié)果 功能描述界面 運(yùn)行結(jié)果如下圖 42 所示。 3) Matlab 命令窗口 在命令窗口我們將會(huì)獲得算法運(yùn)行時(shí)間，支持向量的個(gè)數(shù)，回歸性能。 保存數(shù)據(jù)：對(duì)創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用。 數(shù)據(jù)輸入：用戶手動(dòng)創(chuàng)建數(shù)據(jù)，用鼠標(biāo)點(diǎn)擊將在坐標(biāo)軸上產(chǎn)生點(diǎn)集。 (3)編輯框顯示信息 顯示統(tǒng)計(jì)支持向量的個(gè)數(shù)，回歸性能。 (2)編輯框輸入?yún)?shù)值 懲罰系數(shù) C，其初始值設(shè)定為 20，設(shè)置值一般大于 ，對(duì)于該參數(shù)對(duì)回歸性能的影響在后面說(shuō)明。 2) 通過(guò)編寫 M 文件 文件，實(shí)現(xiàn)顯示支持矢量機(jī)機(jī)器學(xué)習(xí)模型的功能。 退出實(shí)驗(yàn)：退出系統(tǒng)。 進(jìn)入實(shí)驗(yàn)簡(jiǎn)介：簡(jiǎn)單了解 SVR，查看各個(gè)函數(shù)要實(shí)現(xiàn)的基本功能。否則，系統(tǒng)將不能正常工作。具體實(shí)現(xiàn)的功能如下： 1) 創(chuàng)建一個(gè) GUI 圖形用戶界面即主界面，主 界面按鈕及菜單功能描述如下： 按鈕功能介紹 設(shè)置路徑：在 matlab 中，運(yùn)行任何的文件都必須位于當(dāng)前路徑或搜索路徑內(nèi)。 第 3 章 基于 Matlab 實(shí)現(xiàn) SVR 的總體設(shè)計(jì) 14 S V R . ma b o u t . mu i r e g r e s s . ms v d a t a n o r m . m s v k e r n e l . m s v r . m s v r o u t p u t . m s v r e r r o r . mN o b i a s . mB i n o m i a l . mC o n t e n t s . ms v r t o l . ms v r p l o t . m 圖 31 程序框圖 支持向量回歸模型的流程圖 支持向量回歸模型的總流程圖如圖 32 所示。 ：輸入，輸出異常 。 ：一維空間回歸作圖問(wèn)題。 ：實(shí)現(xiàn)了支持向量回歸的演示實(shí)驗(yàn)?zāi)K。 ：實(shí)現(xiàn)用戶圖形界面模塊 (主界面 )。 3．支持向量回歸模型設(shè)計(jì)的實(shí)驗(yàn)?zāi)K，實(shí)現(xiàn)支持向量回歸的各種功能 (手動(dòng)創(chuàng)建數(shù)據(jù)集 、裝載現(xiàn)有 的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進(jìn)行回歸演示 )。 功能模塊的劃分及相關(guān)流程圖 主要功能模塊的劃分 從總體上說(shuō)，按照需求分析，可以把要實(shí)現(xiàn)的功能劃分為三個(gè)主要的功能模塊： 1． GUI 圖形用戶界面模塊，即系統(tǒng)的主界面 。該回歸算法主要解決非線形回歸預(yù)測(cè)問(wèn)題，對(duì)訓(xùn)練集采用線性、非線性核函數(shù)進(jìn)行回歸。這樣可保證算法的效率。 4. 算法的效率 在算法運(yùn)行過(guò)程中， CPU 的時(shí)間集中在最有可能違反 KKT 條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會(huì)在其它元素被優(yōu)化的同時(shí)向邊界移動(dòng)。然后外循環(huán)重新在整個(gè)數(shù)據(jù)集合上掃描。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來(lái)進(jìn)行聯(lián)合優(yōu)化，進(jìn)一步充分保證了算法的收斂速度。 第 2 章支持向量機(jī)回歸原理 11 核函數(shù) ),( ii yxk 對(duì)應(yīng)映射到特征空間的數(shù)據(jù)的內(nèi)積，即： )()(),( jiii xxyxk ?? ?? 核函數(shù) ),( ii yxk 可以是任意滿足 Mercer 條件的對(duì)稱函數(shù)，因此，估計(jì)函數(shù)也可以具有如下形式： ?? ? ??? Ni jiii bxxKaaxf 1 ),()()( 因此支持向量的拓?fù)浣Y(jié)構(gòu)如下 圖 23 所示 ： Σy),( 1 xxK ),(2 xxK ),( xxKk12k? ? 圖 23 支持向量回歸拓?fù)鋱D 對(duì)于 SVR?? ， 試圖求解如下有約束的二次規(guī)劃問(wèn)題： ?? ??? Ni iiC 12 )(21mi n ??? ???????????????0,1,..iiiiiiiiNifyyfts?????? 這里 C 是待確定的常數(shù)， ?ii??, 是松弛變量，同時(shí)首先要先設(shè)定 ? 的值。 SVR?? 回歸算法 利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 F ( 通常是無(wú)限維 )，在特征空間實(shí)現(xiàn)線性回歸，估計(jì)函數(shù)具有如下形式： bxxf ??? )()( ?? 這里 FRd ?:? ，映射到特征空間， ? 表示特征空間中的內(nèi)積， F?? 且 Rb? 為從訓(xùn)練數(shù)據(jù)集 D 估計(jì)函數(shù) f ，典型的支持向量回歸最小化正則化風(fēng)險(xiǎn)泛函： 22][][ ???? fRfR e m pre g ??2)),((1 1 ?? ?? iiNi yxfcN 這里正則化參數(shù) ? 為正數(shù)，損失函數(shù) c 選擇為 ?? 不敏感損失函數(shù)，形式如下： ??? ? ?? elseu uforuc s ,|| ||,0)( ? ? 可以通