【正文】 ne 或 SVM），它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。本課題就是研究它在回歸估計中的應(yīng)用。如 Anthony et 第 1 章 緒論 2 al.(1999）等人給出了關(guān)于硬鄰域支持向量機(jī)學(xué)習(xí)誤差的嚴(yán)格理論界限， ShaweTaylor（ 2020）和 Cristianini （ 2020）也給出了類似的關(guān)于軟鄰域支持向量機(jī)和回歸情況下的誤差界限； Weston et al.（ 1998）和 Vapnik（ 1995， 1998）等研究了支持向量機(jī)的泛化性能及其在多值分類和回歸問題的擴(kuò)展問題； Smola（ 1998）和 Schoelkopf（ 1999）提出了支持向量機(jī)一般意義下的損失函數(shù)數(shù)學(xué)描述；脊回歸是由 Tikhonov 提出的一種具有特殊形式的正則化網(wǎng)絡(luò)， Girosi（ 1990）、 Poggio（ 1975）等將其應(yīng)用到正則化網(wǎng)絡(luò)的學(xué)習(xí)中， Smola et al.（ 1999）研究了狀態(tài)空間中脊回歸的應(yīng)用， Girosi（ 1990）、 Smola（ 1998）、 Schoelkopf（ 1999）等討論了正則化網(wǎng)絡(luò)和支持向量機(jī)的關(guān)系。說明了 SVM 方法較傳統(tǒng)方法有明顯的優(yōu)勢 , 同時也得到了不同的 SVM 方 法可以得到性能相近的結(jié)果。從而熟悉了 MATLAB 編程、 GUI 組件編寫用戶界面以及回歸算法的程序?qū)崿F(xiàn)，同時也了解了支持向量回歸算法在實(shí)際問題預(yù)測模型中的應(yīng)用。本課題研究 用MATLAB 程序編寫回歸算法和 GUI 組件編寫用戶界面來實(shí)現(xiàn)支持向量回歸模型的設(shè)計。并且Matlab 語言還像其他語言一樣規(guī)定了矩陣的算術(shù)運(yùn)算符，關(guān)系運(yùn)算符，邏輯運(yùn)算符，條件運(yùn)算符及賦值運(yùn)算符。 Matlab 有一系列繪圖函數(shù)命令，功能強(qiáng)大，使用方便。 論文組織結(jié)構(gòu) 本論文主要針對回歸型 SVM 在算法性能和推廣能力兩方面進(jìn)行一些探討，全 文共分 5 章 ，安排如下： 第 1 章主要研究 SVM 研究背景和國內(nèi)外研究現(xiàn)狀， 介紹了課題研究背景以及可以研究所用的開發(fā)工具。 第 4章介紹 支持向量回歸模型的實(shí)現(xiàn) ，及結(jié)果分析。 支持向量機(jī) 支持向量機(jī)是 Cortes 和 Vapnik 于 1995 年首先提出的，它在解決小樣本、非線性及高維模式識別中有許多特有的優(yōu)勢，并能推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中 [。有界實(shí)函數(shù)的 VC 維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。所以，學(xué)習(xí)機(jī)器所實(shí)現(xiàn)的指示函數(shù)集的 VC 維有限就是 ERM 方法一致性的一個充分必要條件，這一條件不依賴于概率測度。對于非線形情形，同支持向量機(jī)識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間 (Hilbert 空間 )的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。接著同樣重要的一個階段是案例分析。如參數(shù)估計與假設(shè)檢驗(yàn)等一些知識。 線性支持向量回歸 支持向量回歸建立在統(tǒng)計學(xué)學(xué)習(xí)理論的基礎(chǔ)之上 ，并維持以上提出的學(xué)習(xí)機(jī)的模型但采取完全不同的策略。其線性支持向量回歸機(jī)的結(jié)果是線形的。其關(guān)鍵問題是核函數(shù) ),( yxk 的采用。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進(jìn)行線性劃分。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) ),( ixxK 滿足 Mercer條件，它就對應(yīng)某一變換空間中的點(diǎn)積。 進(jìn)一步研究了支 持矢量機(jī)的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個特定的核函數(shù)，給定的樣本集中的任意一個樣本都可能成為一個支持向量。本課題研究的幾種核函數(shù)如下： 線性內(nèi)核 jiji xxxxK ??),( 多項(xiàng)式內(nèi)核 qjiji xxxxK ]1),[(),( ?? 徑向基函數(shù)內(nèi)核 ?????????? ???22e xp),( ? jiji xxxxK Bsplines 內(nèi) 核 )(),( 12 jinji xxBxxK ?? ? 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ) 1. 尋求方向 約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點(diǎn)，這就涉及到尋求最優(yōu)方向的問題。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個解才相等。當(dāng)把該方法推廣到回歸問題時，很重要的一點(diǎn)就是希望找到合適的支持向量回歸 (SVR)算法，仍然保持這個性質(zhì)。 圖 21 損失函數(shù)圖象 如果 )(xf 為單變量線性函數(shù) ? ? bxxf ??? ?)( , 當(dāng)樣本點(diǎn)位于兩條 虛線之間的帶子里時，則認(rèn)為在該點(diǎn)沒有損失，我們稱兩條虛線構(gòu)成的帶子為 ?? 帶。 SVR?? 回歸算法 利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 F ( 通常是無限維 )，在特征空間實(shí)現(xiàn)線性回歸，估計函數(shù)具有如下形式： bxxf ??? )()( ?? 這里 FRd ?:? ，映射到特征空間， ? 表示特征空間中的內(nèi)積， F?? 且 Rb? 為從訓(xùn)練數(shù)據(jù)集 D 估計函數(shù) f ，典型的支持向量回歸最小化正則化風(fēng)險泛函： 22][][ ???? fRfR e m pre g ??2)),((1 1 ?? ?? iiNi yxfcN 這里正則化參數(shù) ? 為正數(shù)，損失函數(shù) c 選擇為 ?? 不敏感損失函數(shù)，形式如下： ??? ? ?? elseu uforuc s ,|| ||,0)( ? ? 可以通過解二次規(guī)劃的優(yōu)化問題來最小化正則化風(fēng)險泛函。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來進(jìn)行聯(lián)合優(yōu)化，進(jìn)一步充分保證了算法的收斂速度。 4. 算法的效率 在算法運(yùn)行過程中， CPU 的時間集中在最有可能違反 KKT 條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會在其它元素被優(yōu)化的同時向邊界移動。該回歸算法主要解決非線形回歸預(yù)測問題，對訓(xùn)練集采用線性、非線性核函數(shù)進(jìn)行回歸。 3．支持向量回歸模型設(shè)計的實(shí)驗(yàn)?zāi)K，實(shí)現(xiàn)支持向量回歸的各種功能 (手動創(chuàng)建數(shù)據(jù)集 、裝載現(xiàn)有 的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進(jìn)行回歸演示 )。 ：實(shí)現(xiàn)了支持向量回歸的演示實(shí)驗(yàn)?zāi)K。 ：輸入，輸出異常 。具體實(shí)現(xiàn)的功能如下： 1) 創(chuàng)建一個 GUI 圖形用戶界面即主界面，主 界面按鈕及菜單功能描述如下： 按鈕功能介紹 設(shè)置路徑：在 matlab 中，運(yùn)行任何的文件都必須位于當(dāng)前路徑或搜索路徑內(nèi)。 進(jìn)入實(shí)驗(yàn)簡介：簡單了解 SVR，查看各個函數(shù)要實(shí)現(xiàn)的基本功能。 2) 通過編寫 M 文件 文件，實(shí)現(xiàn)顯示支持矢量機(jī)機(jī)器學(xué)習(xí)模型的功能。 (3)編輯框顯示信息 顯示統(tǒng)計支持向量的個數(shù)，回歸性能。 保存數(shù)據(jù)：對創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用。 圖 41 主界面模塊運(yùn)行結(jié)果 功能描述界面 運(yùn)行結(jié)果如下圖 42 所示。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 19 圖 45 裝載數(shù)據(jù) 裝載 aa 數(shù)據(jù)文件后的數(shù)據(jù)顯示 ，如下圖 46 所示。 圖 48 改變參數(shù)取值后的回歸圖 （ 2）多項(xiàng)式核函數(shù) 多項(xiàng)式核函數(shù) ，設(shè)置 此時多項(xiàng)式次數(shù)為 3，如下圖 49 所示 。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 22 圖 411 選擇高斯核函數(shù)的回歸圖形 現(xiàn)增大懲罰系數(shù) C 至 40，其它參數(shù)不變，支持向量數(shù)增多到 15，回歸性能提高到%， 如下圖 412 所示 。通過此實(shí)驗(yàn)充分的顯示了， 不同的核函數(shù)其回歸性能差別，以及其參數(shù)對回歸的影響。 4. 3 系統(tǒng)的性能分析及結(jié)論 支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子 C 以及不敏感系數(shù)等參數(shù)的選擇。此外，不敏感系數(shù)還控制模型的泛化推廣能力。 懲罰 系數(shù) C 的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報能力，通常擬合誤差隨 C的增大而下降，但下降的速度也越來越小，當(dāng) C 增至一定值后，其下降將漸平緩，幾乎不再隨 C 的增大而減小。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 25 通過將映射函數(shù)內(nèi)積運(yùn)算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進(jìn)行線性擬合來得到非線性回歸函數(shù)。 表 42 多項(xiàng)式核函數(shù) 多項(xiàng)式次數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向 量個數(shù) 支持向 量個數(shù) 回歸性能 3 10 26 26 100% 3 10 0． 01 26 23 % 4 10 0． 01 26 24 % 5 10 0． 01 26 23 % 結(jié)論：從表中可以看出不敏感系數(shù) ? 的增大，支持向 量個數(shù)減少，對應(yīng)回歸性能下降。其不敏感系數(shù) ? 從 減小到 ，支持向量個數(shù)增加，回歸性有所提高。總結(jié)了設(shè)計支持向量回歸機(jī)的模型選擇方面的進(jìn)展。對于初學(xué)者來說 , RBF 核無疑是優(yōu)先考慮的核函數(shù)之一。最后還對幾種常見的核函數(shù)的不同參數(shù)、回歸模型的參數(shù)對支持向量個數(shù)和回歸性能做了比較。 首先，從小學(xué)到大學(xué)的生活費(fèi)和學(xué)費(fèi)就不是一個小數(shù)目，父母的支持與付出我看在眼里，疼在心里，十幾年，實(shí)屬不易。 再次，我要感謝所有與我共度四年大學(xué)時光的同學(xué)們，遇見你們這些可愛的人是我今生的榮幸，謝謝你們在學(xué)習(xí)和生活上對我的幫助，謝謝你們對我的理解和支持，我們永遠(yuǎn)都是一家人。不拋棄，不放棄！ 參考文獻(xiàn) 29 參考文獻(xiàn) [1] 劉霞 , 盧葦 . SVM 在文本分類中的應(yīng)用研究 [J], 計算機(jī)教育 , 2020. 1. [2] 曾水玲 , 徐蔚鴻 . 基于支持向量機(jī)的手寫體數(shù)字識 [J]. 計算機(jī)與數(shù)字工程 , 2020, 34(10). [3] 史忠植 .知識發(fā)現(xiàn) [M]. 北京 : 清華 大學(xué)出版社 。為了指導(dǎo)我們的畢業(yè)論文，她放棄了 自己的休息時間，這種無私奉獻(xiàn)的敬業(yè)精神令人欽佩，在此我向老師表示我誠摯的謝意。 其次，我要感謝所有任課老師在這四年來給自己的指導(dǎo)和幫助，是他們教會了我專業(yè)知識，教會了我如何學(xué)習(xí)，教會了我如 何做人。模型選擇的標(biāo)準(zhǔn)作為支持向量機(jī)及其應(yīng)用的核心內(nèi)容之一 , 有待進(jìn)一步研究。在固定的核函數(shù)情況下 , 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機(jī)設(shè)計的關(guān)鍵一環(huán)。核函數(shù)的選擇是支持向量機(jī)理論研究的一個核心問題。目前支持向量機(jī)主要應(yīng)用在金融時間序列 預(yù)測（如股票預(yù)測、期貨預(yù)測等）和非線性系統(tǒng)參數(shù)辨識、建模與控制等一些方面。 表 43 高斯徑向基核函數(shù) 徑向基寬度 懲罰系數(shù) C 不敏感系數(shù)? 輸入向 量個數(shù) 支持向 量個數(shù) 回歸性能 0． 1 10 0． 01 26 20 % 0． 3 10 0． 01 26 17 % 0．