【正文】 不拋棄，不放棄！參考文獻(xiàn)參考文獻(xiàn)[1] 劉霞, 盧葦. SVM在文本分類中的應(yīng)用研究[J], 計(jì)算機(jī)教育, 2007. 1.[2] 曾水玲, 徐蔚鴻. 基于支持向量機(jī)的手寫(xiě)體數(shù)字識(shí)[J]. 計(jì)算機(jī)與數(shù)字工程, 2006, 34(10).[3] [M]. 北京: 清華大學(xué)出版社。為了指導(dǎo)我們的畢業(yè)論文，她放棄了自己的休息時(shí)間，這種無(wú)私奉獻(xiàn)的敬業(yè)精神令人欽佩，在此我向老師表示我誠(chéng)摯的謝意。　　再次，我要感謝所有與我共度四年大學(xué)時(shí)光的同學(xué)們，遇見(jiàn)你們這些可愛(ài)的人是我今生的榮幸，謝謝你們?cè)趯W(xué)習(xí)和生活上對(duì)我的幫助，謝謝你們對(duì)我的理解和支持，我們永遠(yuǎn)都是一家人。 　　其次，我要感謝所有任課老師在這四年來(lái)給自己的指導(dǎo)和幫助，是他們教會(huì)了我專業(yè)知識(shí)，教會(huì)了我如何學(xué)習(xí)，教會(huì)了我如何做人?！　∈紫龋瑥男W(xué)到大學(xué)的生活費(fèi)和學(xué)費(fèi)就不是一個(gè)小數(shù)目，父母的支持與付出我看在眼里，疼在心里，十幾年，實(shí)屬不易。模型選擇的標(biāo)準(zhǔn)作為支持向量機(jī)及其應(yīng)用的核心內(nèi)容之一, 有待進(jìn)一步研究。最后還對(duì)幾種常見(jiàn)的核函數(shù)的不同參數(shù)、回歸模型的參數(shù)對(duì)支持向量個(gè)數(shù)和回歸性能做了比較。在固定的核函數(shù)情況下, 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機(jī)設(shè)計(jì)的關(guān)鍵一環(huán)。對(duì)于初學(xué)者來(lái)說(shuō), RBF 核無(wú)疑是優(yōu)先考慮的核函數(shù)之一。核函數(shù)的選擇是支持向量機(jī)理論研究的一個(gè)核心問(wèn)題?？偨Y(jié)了設(shè)計(jì)支持向量回歸機(jī)的模型選擇方面的進(jìn)展。目前支持向量機(jī)主要應(yīng)用在金融時(shí)間序列預(yù)測(cè)（如股票預(yù)測(cè)、期貨預(yù)測(cè)等）和非線性系統(tǒng)參數(shù)辨識(shí)、建模與控制等一些方面。支持向量個(gè)數(shù)增加，回歸性有所提高。表43高斯徑向基核函數(shù) 徑向基寬度懲罰系數(shù)C不敏感系數(shù)輸入向量個(gè)數(shù)支持向量個(gè)數(shù)回歸性能 0．1100．012620%0．3100．012617%0．5100．012622%1100．012624%1．2100．012622%1．2100．0052624%結(jié)論：由圖可以看出徑向基寬度對(duì)性能的影響并不是簡(jiǎn)單的單調(diào)遞增或是遞減。表42多項(xiàng)式核函數(shù)多項(xiàng)式次數(shù)懲罰系數(shù)C不敏感系數(shù)輸入向量個(gè)數(shù)支持向量個(gè)數(shù)回歸性能 3102626100%3100．012623%4100．012624%5100．012623%結(jié)論：從表中可以看出不敏感系數(shù)的增大，支持向量個(gè)數(shù)減少，對(duì)應(yīng)回歸性能下降。下面對(duì)使用幾種常見(jiàn)的核函數(shù)的參數(shù)對(duì)回歸性能的影響比較：表41線性核函數(shù)懲罰系數(shù)C不敏感系數(shù)輸入向量個(gè)數(shù)支持向量個(gè)數(shù)回歸性能 100．012624%100．0052625%10．0052625%0．0052626100%結(jié)論：隨著不敏感系數(shù)的減少(在一定的范圍內(nèi))支持向量的個(gè)數(shù)增多，回歸性能下降?！　⊥ㄟ^(guò)將映射函數(shù)內(nèi)積運(yùn)算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進(jìn)行線性擬合來(lái)得到非線性回歸函數(shù)。同時(shí)，預(yù)測(cè)誤差也將隨懲罰系數(shù)C的增大而下降，但并非單調(diào)，當(dāng)C增大到一定值后，預(yù)測(cè)誤差也可能有所上升，這也是過(guò)擬合所致?！　土P系數(shù)C的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報(bào)能力，通常擬合誤差隨C的增大而下降，但下降的速度也越來(lái)越小，當(dāng)C增至一定值后，其下降將漸平緩，幾乎不再隨C的增大而減小。取值過(guò)大，其精度降低，推廣性能差。此外，不敏感系數(shù)還控制模型的泛化推廣能力。應(yīng)用SVM訓(xùn)練時(shí)，不敏感系數(shù)的大小控制支持向量個(gè)數(shù)的多少，當(dāng)較小時(shí)，參與回歸的支持向量將增多，同時(shí)訓(xùn)練時(shí)間也有所增加。 4. 3系統(tǒng)的性能分析及結(jié)論 　　支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子C以及不敏感系數(shù)等參數(shù)的選擇。 圖415命令窗口顯示結(jié)果 ，支持向量數(shù)24，%。通過(guò)此實(shí)驗(yàn)充分的顯示了，不同的核函數(shù)其回歸性能差別，以及其參數(shù)對(duì)回歸的影響。圖413改變參數(shù)后的回歸圖形，回歸性能明顯下降，%，如下圖414所示。圖411選擇高斯核函數(shù)的回歸圖形 現(xiàn)增大懲罰系數(shù)C至40，其它參數(shù)不變，支持向量數(shù)增多到15，%，如下圖412所示。圖49選擇多項(xiàng)式核函數(shù)的回歸圖形增大多項(xiàng)式次數(shù)Degree為5，%，如下圖410所示。圖48改變參數(shù)取值后的回歸圖（2）多項(xiàng)式核函數(shù)多項(xiàng)式核函數(shù)，設(shè)置此時(shí)多項(xiàng)式次數(shù)為3，如下圖49所示。圖47回歸結(jié)果圖，此時(shí)支持向量個(gè)數(shù)為22，%，如下圖48所示。圖45裝載數(shù)據(jù)裝載aa數(shù)據(jù)文件后的數(shù)據(jù)顯示，如下圖46所示。圖43 支持向量機(jī)回歸模型實(shí)驗(yàn)界面2 手動(dòng)輸入數(shù)據(jù)，并保存，如下圖44所示。圖41主界面模塊運(yùn)行結(jié)果運(yùn)行結(jié)果如下圖42所示。3) Matlab命令窗口 在命令窗口我們將會(huì)獲得算法運(yùn)行時(shí)間，支持向量的個(gè)數(shù)，回歸性能。保存數(shù)據(jù)：對(duì)創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用。數(shù)據(jù)輸入：用戶手動(dòng)創(chuàng)建數(shù)據(jù)，用鼠標(biāo)點(diǎn)擊將在坐標(biāo)軸上產(chǎn)生點(diǎn)集。 (3)編輯框顯示信息顯示統(tǒng)計(jì)支持向量的個(gè)數(shù)，回歸性能。 (2)編輯框輸入?yún)?shù)值懲罰系數(shù)C，其初始值設(shè)定為20，對(duì)于該參數(shù)對(duì)回歸性能的影響在后面說(shuō)明。2) ，實(shí)現(xiàn)顯示支持矢量機(jī)機(jī)器學(xué)習(xí)模型的功能。 退出實(shí)驗(yàn)：退出系統(tǒng)。進(jìn)入實(shí)驗(yàn)簡(jiǎn)介：簡(jiǎn)單了解SVR，查看各個(gè)函數(shù)要實(shí)現(xiàn)的基本功能。否則，系統(tǒng)將不能正常工作。具體實(shí)現(xiàn)的功能如下：1) 創(chuàng)建一個(gè)GUI圖形用戶界面即主界面，主界面按鈕及菜單功能描述如下：按鈕功能介紹設(shè)置路徑：在matlab中，運(yùn)行任何的文件都必須位于當(dāng)前路徑或搜索路徑內(nèi)。圖 31 程序框圖 支持向量回歸模型的流程圖 支持向量回歸模型的總流程圖如圖32所示。：輸入，輸出異常 。：一維空間回歸作圖問(wèn)題。：實(shí)現(xiàn)了支持向量回歸的演示實(shí)驗(yàn)?zāi)K。：實(shí)現(xiàn)用戶圖形界面模塊(主界面)。3．支持向量回歸模型設(shè)計(jì)的實(shí)驗(yàn)?zāi)K，實(shí)現(xiàn)支持向量回歸的各種功能(手動(dòng)創(chuàng)建數(shù)據(jù)集、裝載現(xiàn)有的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進(jìn)行回歸演示)。 功能模塊的劃分及相關(guān)流程圖 主要功能模塊的劃分從總體上說(shuō)，按照需求分析，可以把要實(shí)現(xiàn)的功能劃分為三個(gè)主要的功能模塊：1． GUI圖形用戶界面模塊，即系統(tǒng)的主界面。該回歸算法主要解決非線形回歸預(yù)測(cè)問(wèn)題，對(duì)訓(xùn)練集采用線性、非線性核函數(shù)進(jìn)行回歸。這樣可保證算法的效率。4. 算法的效率在算法運(yùn)行過(guò)程中，CPU的時(shí)間集中在最有可能違反KKT條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會(huì)在其它元素被優(yōu)化的同時(shí)向邊界移動(dòng)。然后外循環(huán)重新在整個(gè)數(shù)據(jù)集合上掃描。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來(lái)進(jìn)行聯(lián)合優(yōu)化，進(jìn)一步充分保證了算法的收斂速度。核函數(shù)對(duì)應(yīng)映射到特征空間的數(shù)據(jù)的內(nèi)積，即：核函數(shù)可以是任意滿足Mercer條件的對(duì)稱函數(shù)，因此，估計(jì)函數(shù)也可以具有如下形式：因此支持向量的拓?fù)浣Y(jié)構(gòu)如下圖23所示：圖23支持向量回歸拓?fù)鋱D對(duì)于，試圖求解如下有約束的二次規(guī)劃問(wèn)題：這里C是待確定的常數(shù)，是松弛變量，同時(shí)首先要先設(shè)定的值。 回歸算法利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 ( 通常是無(wú)限維)，在特征空間實(shí)現(xiàn)線性回歸，估計(jì)函數(shù)具有如下形式：這里，映射到特征空間，表示特征空間中的內(nèi)積，且為從訓(xùn)練數(shù)據(jù)集D估計(jì)函數(shù)，典型的支持向量回歸最小化正則化風(fēng)險(xiǎn)泛函： 這里正則化參數(shù)為正數(shù)，損失函數(shù)選擇為不敏感損失函數(shù)，形式如下：可以通過(guò)解二次規(guī)劃的優(yōu)化問(wèn)題來(lái)最小化正則化風(fēng)險(xiǎn)泛函。這個(gè)特點(diǎn)是其他許多損失函數(shù)并不具備的。圖21損失函數(shù)圖象如果為單變量線性函數(shù) ,當(dāng)樣本