【正文】 向量數(shù) 24，性能 %。取值過大，其精度降低，推廣性能差。 下面對使用幾種常見的核函數(shù)的參數(shù)對回歸性能的影響比較： 表 41 線性核函數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向量個數(shù) 支持向量個數(shù) 回歸性能 10 0． 01 26 24 % 10 0． 005 26 25 % 1 0． 005 26 25 % 0． 005 26 26 100% 結(jié)論：隨著不敏感系數(shù) ? 的 減少 (在一定的范圍內(nèi) )支持向量的個數(shù) 增多 ，回歸性能 下降。目前支持向量機主要應(yīng)用在金融時間序列 預測（如股票預測、期貨預測等）和非線性系統(tǒng)參數(shù)辨識、建模與控制等一些方面。在固定的核函數(shù)情況下 , 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機設(shè)計的關(guān)鍵一環(huán)。 其次，我要感謝所有任課老師在這四年來給自己的指導和幫助，是他們教會了我專業(yè)知識，教會了我如何學習，教會了我如 何做人。不拋棄，不放棄！ 參考文獻 29 參考文獻 [1] 劉霞 , 盧葦 . SVM 在文本分類中的應(yīng)用研究 [J], 計算機教育 , 2020. 1. [2] 曾水玲 , 徐蔚鴻 . 基于支持向量機的手寫體數(shù)字識 [J]. 計算機與數(shù)字工程 , 2020, 34(10). [3] 史忠植 .知識發(fā)現(xiàn) [M]. 北京 : 清華 大學出版社 。 首先，從小學到大學的生活費和學費就不是一個小數(shù)目，父母的支持與付出我看在眼里，疼在心里，十幾年，實屬不易。對于初學者來說 , RBF 核無疑是優(yōu)先考慮的核函數(shù)之一。其不敏感系數(shù) ? 從 減小到 ，支持向量個數(shù)增加，回歸性有所提高。 第 4 章 基于支持向量機回歸模型的實現(xiàn) 25 通過將映射函數(shù)內(nèi)積運算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進行線性擬合來得到非線性回歸函數(shù)。此外，不敏感系數(shù)還控制模型的泛化推廣能力。通過此實驗充分的顯示了， 不同的核函數(shù)其回歸性能差別，以及其參數(shù)對回歸的影響。 圖 48 改變參數(shù)取值后的回歸圖 （ 2）多項式核函數(shù) 多項式核函數(shù) ，設(shè)置 此時多項式次數(shù)為 3，如下圖 49 所示 。 圖 41 主界面模塊運行結(jié)果 功能描述界面 運行結(jié)果如下圖 42 所示。 (3)編輯框顯示信息 顯示統(tǒng)計支持向量的個數(shù)，回歸性能。 進入實驗簡介：簡單了解 SVR，查看各個函數(shù)要實現(xiàn)的基本功能。 ：輸入，輸出異常 。 3．支持向量回歸模型設(shè)計的實驗模塊，實現(xiàn)支持向量回歸的各種功能 (手動創(chuàng)建數(shù)據(jù)集 、裝載現(xiàn)有 的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進行回歸演示 )。 4. 算法的效率 在算法運行過程中， CPU 的時間集中在最有可能違反 KKT 條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會在其它元素被優(yōu)化的同時向邊界移動。 SVR?? 回歸算法 利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間 F ( 通常是無限維 )，在特征空間實現(xiàn)線性回歸，估計函數(shù)具有如下形式： bxxf ??? )()( ?? 這里 FRd ?:? ，映射到特征空間， ? 表示特征空間中的內(nèi)積， F?? 且 Rb? 為從訓練數(shù)據(jù)集 D 估計函數(shù) f ，典型的支持向量回歸最小化正則化風險泛函： 22][][ ???? fRfR e m pre g ??2)),((1 1 ?? ?? iiNi yxfcN 這里正則化參數(shù) ? 為正數(shù)，損失函數(shù) c 選擇為 ?? 不敏感損失函數(shù)，形式如下： ??? ? ?? elseu uforuc s ,|| ||,0)( ? ? 可以通過解二次規(guī)劃的優(yōu)化問題來最小化正則化風險泛函。當把該方法推廣到回歸問題時，很重要的一點就是希望找到合適的支持向量回歸 (SVR)算法，仍然保持這個性質(zhì)。本課題研究的幾種核函數(shù)如下： 線性內(nèi)核 jiji xxxxK ??),( 多項式內(nèi)核 qjiji xxxxK ]1),[(),( ?? 徑向基函數(shù)內(nèi)核 ?????????? ???22e xp),( ? jiji xxxxK Bsplines 內(nèi) 核 )(),( 12 jinji xxBxxK ?? ? 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ) 1. 尋求方向 約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點，這就涉及到尋求最優(yōu)方向的問題。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) ),( ixxK 滿足 Mercer條件，它就對應(yīng)某一變換空間中的點積。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。其線性支持向量回歸機的結(jié)果是線形的。如參數(shù)估計與假設(shè)檢驗等一些知識。對于非線形情形，同支持向量機識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間 (Hilbert 空間 )的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。有界實函數(shù)的 VC 維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。 第 4章介紹 支持向量回歸模型的實現(xiàn) ，及結(jié)果分析。 Matlab 有一系列繪圖函數(shù)命令，功能強大，使用方便。本課題研究 用MATLAB 程序編寫回歸算法和 GUI 組件編寫用戶界面來實現(xiàn)支持向量回歸模型的設(shè)計。說明了 SVM 方法較傳統(tǒng)方法有明顯的優(yōu)勢 , 同時也得到了不同的 SVM 方 法可以得到性能相近的結(jié)果。本課題就是研究它在回歸估計中的應(yīng)用。 SVM 已經(jīng)成為目前國內(nèi)外研究的熱點。 訓練算法 。在 SVR 回歸分析中，使用支持向量機可以使回歸函數(shù)盡量平滑，其泛化能力強。 SVR 算法是模式識別中應(yīng)用比較廣泛的算法模型之一，它是支持向量機在函數(shù)逼近和回歸估計中的應(yīng)用。 關(guān)鍵詞： 支持向量回歸 。它的優(yōu)點是理論完備、訓練時間短、全局優(yōu)化強、適應(yīng)性好、泛化性能好等。由于其出色的學習性能，該技術(shù)已成為當前國際機器學習界的研究熱點，在模式識別、回歸估計、函數(shù)逼近等領(lǐng)域有了廣泛的 應(yīng)用。 雖然 SVM 方法在理論上具有很突出的優(yōu)勢 , 但與其理論研究相比 ,應(yīng)用研究尚相對比較滯后 , 到目前， SVM 已用于數(shù)據(jù)分類、回歸估計、函數(shù)逼近等領(lǐng)域 .應(yīng)用最為廣泛的當屬模式識別領(lǐng)域，在模式識別方面最突出的應(yīng) 用研究是貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗 ,這是一個可識別性較差的數(shù)據(jù)庫 , 人工識別平均錯誤率是 % , 用決策樹方法識別錯誤率是 % , 兩層神經(jīng)網(wǎng)絡(luò)中錯誤率最小的是 % , 專門針對該特定問題設(shè)計的五層神經(jīng)網(wǎng)絡(luò)錯誤率為 % (其中利用了大量先驗知識 ) , 而用三種SVM 方法得到的錯誤率分別為 %、 % 和 % , 且其中直接采用了 1616 的字符點陣作為 SVM 的輸入 , 并沒有進行專門的特征提取。根據(jù)它提供 的 500 多個數(shù)學和工程函數(shù)，工程技術(shù)人員和科學工作者可以在它的集成環(huán)境中交互或編程以完成各自的計算。 3．方便的繪圖功能：本課題借助于 Matlab 的繪圖功能， 能較為方便的建立支持向量回歸過程中的演示圖形。 第 3章 此章介紹了本課題的總體設(shè)計思路和功能模塊的劃分及相關(guān)流程圖。 若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的 VC 維是無窮大。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋 求一個最為平坦的直線，此直線回歸訓練，并具有最小的損失。在具體實施中，則大量的借助統(tǒng)計學的理論和技術(shù)。 學習的結(jié)果使得在的周圍形成一個精度為的誤差帶。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計算規(guī)模 正比于輸入模式中支持向量的個數(shù)。 在高維特征空間實際上只需要進行點積運算，可以用原空間中的函數(shù)實現(xiàn)的，甚至沒有必要知道變換的形式。 SVM 由訓練樣本集和核函數(shù)完全描述，因此 采用不同的核函數(shù)就可以構(gòu)造實現(xiàn)輸入空間中不同類型的非線性決策面的學習機，導致不同的支持向量算法。 3. 不敏感損失函數(shù) 支持向量機方法是從解決模式識別問題發(fā)展起來的，在支持向量分類機中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。我們可以期望，在 ?? 帶內(nèi)的樣本點，不會出現(xiàn)在決策函數(shù)中。外循環(huán)如此交替在整個數(shù)據(jù)集合上進行一次掃描和在非邊 界元素集合上進行多遍掃描，直至算法終止。 2．實驗簡介模塊，簡單說明各個函數(shù)的功能。 ：輸出與輸入之間的轉(zhuǎn)化計算 。由于本實驗的各個函數(shù)在包含在一個文件夾中因而也可以不設(shè)置路徑。 不敏感系數(shù) ? ，其初始值設(shè)為 ， ? 參數(shù) 對回歸性能的影響也在后面介紹。 第 4 章 基于支持向量機回歸模型的實現(xiàn) 17 運行結(jié)果 主界面 運行結(jié)果如下圖 41 所示。 支持向量數(shù)減少，回歸性能下降。 圖 414 改變參數(shù)取值后的回歸圖形 （ 4）結(jié)論 本實驗選取了線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)，這三個核函數(shù)進行第 4 章 基于支持向量機回歸模型的實現(xiàn) 24 實驗 ， 改變其參數(shù)（懲罰系數(shù) C 、不敏感系數(shù) ? 、 RBF 寬度以及多項式次數(shù)），對回歸帶來了明顯的影響。在不敏感系數(shù)過小時，可能導致過擬合 ； 而過大時 則可能造成欠擬合。另外訓練時間也將隨 C 的增加而上升。 徑向基寬度從 到 再到 ，其支持向量的個數(shù)先減少再增加。在實際應(yīng)用中 , RBF 核函數(shù)是目前在支持向量機中被應(yīng)用得最廣泛的一種核函數(shù)。 致 謝 28 致 謝 一轉(zhuǎn)眼，大學四年已經(jīng)接近尾聲了，當自己懷著忐忑不安的心情 完成這篇畢業(yè)論文的時候，自己也從當年一個懵懂的孩子變成了一個成熟的青年，回想自己的十幾年的求學生涯，滿足，充實，是一個結(jié)束，更是一個新的開始。 在這篇論文的寫作過程中，我深感自己的水平還遠遠不夠，生命不息，學習不止，人生就是一個不斷學習和完善的過程，希望自己在今后的道路上能更上一層樓。正是你們，我才能在各方面取得顯著的進步，在此向你們表示我由衷的謝意，并祝所有的老師培養(yǎng)出越來越多的優(yōu)秀人才，桃李滿天下。模型參數(shù)調(diào)整方法包括經(jīng)驗方法和理論方法等方面。 本文針對回歸問題，描述了支持向量機的基本方法、理論、回歸算法及當前國內(nèi)外對于支持向量回歸的研究內(nèi)容、方向。 懲罰系數(shù) C 從 增至 1，其支持向量個數(shù)減少，性能下降。因此，不敏感系數(shù)的取值一般在 到 之間。由于手動輸入的訓練集數(shù)量相對較少，同時算法的運行效率比較高，所以算法運行時間一般很短。 圖 410 改變參數(shù)取值后的回歸圖形 （ 3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù) Sigma(RBF 寬度 )為 懲罰系數(shù) 10，不敏感參數(shù)為 ，此時支持向量的個數(shù)為 14，回