【正文】 根據(jù) Osuna 的理論，在實現(xiàn)算法中每一步迭代都將減少目標(biāo)函數(shù)的值，進(jìn)而保證了算法的收斂性。 2. 算法元素掃描啟發(fā)式規(guī)則 對于 ?? 非敏感損失函數(shù)， KKT 條件為： 第 2 章支持向量機(jī)回歸原理 12 0)),(( ????? bxya iiiii ??? 0)),(( ????? ??? bxya iiiii ??? 和 0)( 0)( ?? ?? ?? ii iiaC aC ?? 由此進(jìn)一步推出關(guān)于取值的三種情形： CaI i??: 數(shù)據(jù)位于誤差帶外 ),0(: caII i ?? 數(shù)據(jù)位于誤差帶上 0: ??iaIII 數(shù)據(jù)位于誤差帶內(nèi) 3. 算法中的關(guān)于 KKT 條件的判斷便是依據(jù)上面三式 外循環(huán)首先在整個數(shù)據(jù)集合上掃描違反 KKT 條件的元素，當(dāng)在整個數(shù)據(jù)集合上掃描一遍之后，外循環(huán)開始在非邊界元素 (Lagrange 乘子不為 0 和 C)集合上掃描違反 KKT條件的元素，直至所有非邊界元素都以 ? 的精度滿足 KKT 條件。外循環(huán)如此交替在整個數(shù)據(jù)集合上進(jìn)行一次掃描和在非邊 界元素集合上進(jìn)行多遍掃描，直至算法終止。若算法在非邊界元素集合上迭代直至此集合自相容，然后再在整個集合上掃描尋找在非邊界元素優(yōu)化的同時變?yōu)檫`反 KKT 條件的邊界元素。 第 3 章 基于 Matlab 實現(xiàn) SVR 的總體設(shè)計 13 第 3 章 基于 Matlab 實現(xiàn) SVR 的 總體設(shè)計 總體設(shè)計思想 支持向量回歸的最終就是尋求一目標(biāo)函數(shù)，并使得其損失函數(shù)的數(shù)學(xué)期望最小，這樣才能得到最準(zhǔn)確 的回歸曲線以反映訓(xùn)練集的數(shù)據(jù)走向趨勢。通過對各種參數(shù)的設(shè)置得到不同性能的回歸曲線，以便于熟悉其中參數(shù)對回歸算法的影響。 2．實驗簡介模塊，簡單說明各個函數(shù)的功能。 實現(xiàn)程序的主要框架圖 下圖 31 中 說明了程序設(shè)計的總體 框圖 ，并沒有把所有的函數(shù)列出來，只是列出了主要的程序。 ：查看系統(tǒng)的各實現(xiàn)功能的簡單說明。 ：支持向量回歸的計算。 ：輸出與輸入之間的轉(zhuǎn)化計算 。 ：內(nèi)核函數(shù)。 第 3 章 基于 Matlab 實現(xiàn) SVR 的總體設(shè)計 15 開 始用 戶 主 界 面 選 擇實 驗 簡 介支 持 向 量 回 歸 模 型 實 驗選 擇 核 函 數(shù) 及 相應(yīng) 參 數(shù) 的 設(shè) 置選 擇裝 載 數(shù) 據(jù)創(chuàng) 建 數(shù) 據(jù)對 訓(xùn) 練 集 回 歸退 出自 動手 動 圖 32 支持向量回歸模型總的流程圖 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 16 第 4 章 基于支持向量回歸模型的實現(xiàn) 模型的功能描述 本課題是基于支持向量回歸模型的設(shè)計與實現(xiàn)，已經(jīng)按照需求實現(xiàn)了各種功能。此按鈕將當(dāng)前目錄下的子目錄添加為搜索路徑，使得子目錄中的文件可以被當(dāng)前目錄中的文件調(diào)用運(yùn)行。由于本實驗的各個函數(shù)在包含在一個文件夾中因而也可以不設(shè)置路徑。 進(jìn)入支持向量回歸模型演示實驗：進(jìn)行回歸模型演示（具體的各個功能塊見下 (2)中有詳細(xì)介紹）。 該主界面點(diǎn)擊實驗簡介或演示實驗都將 出現(xiàn)動態(tài)的等待進(jìn)度條，此功能沒有實際用途但可以使設(shè)計美觀。 (1)下拉式菜單 核函數(shù)的選?。河脩敉ㄟ^此菜單選擇一個核函數(shù)，然后進(jìn)行回歸實驗。 不敏感系數(shù) ? ，其初始值設(shè)為 ， ? 參數(shù) 對回歸性能的影響也在后面介紹。 (4)按鈕 裝載數(shù)據(jù)：進(jìn)行已存在數(shù)據(jù)文件的裝載。 清除數(shù)據(jù)：用戶想清除當(dāng)前數(shù)據(jù)時點(diǎn)擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。 回歸：對創(chuàng)建的數(shù)據(jù)集或裝載的數(shù)據(jù)集進(jìn)行回歸，得到回歸曲線。 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 17 運(yùn)行結(jié)果 主界面 運(yùn)行結(jié)果如下圖 41 所示。 圖 42 實驗簡介運(yùn)行界面 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 18 運(yùn)行 過程 及結(jié)果 1 支持向量回歸模型實驗運(yùn)行界面 如圖 43 所示。 圖 44 手動輸入數(shù)據(jù) 3 裝載 上面保存的 數(shù)據(jù) ，如下圖 45 所示。 圖 46 裝載數(shù)據(jù)后的顯示結(jié)果 3 使用不同的核函數(shù)的回歸結(jié)果 （ 1） 線性核函數(shù) 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 20 線性核函數(shù) 的 懲罰系數(shù) 設(shè)為 10，不敏感系數(shù) 為 ，此時支持向量數(shù) 24，回歸性能 %，如下圖 47 所示 。 支持向量數(shù)減少，回歸性能下降。 由回歸結(jié)果看出次數(shù)第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 21 偏低，性能不 是很好。 圖 410 改變參數(shù)取值后的回歸圖形 （ 3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù) Sigma(RBF 寬度 )為 懲罰系數(shù) 10，不敏感參數(shù)為 ，此時支持向量的個數(shù)為 14，回歸性能 %，如下圖 411 所示 。 圖 412 改變參數(shù)取值后的回歸圖形 降低不敏感系數(shù)至 ，回歸性能提高到 %，如下圖 413 所示 。 圖 414 改變參數(shù)取值后的回歸圖形 （ 4）結(jié)論 本實驗選取了線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)，這三個核函數(shù)進(jìn)行第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 24 實驗 ， 改變其參數(shù)（懲罰系數(shù) C 、不敏感系數(shù) ? 、 RBF 寬度以及多項式次數(shù)），對回歸帶來了明顯的影響。 命令窗口的顯示結(jié)果 以線性核函數(shù)為例， 命令窗口顯示 如下 圖 415 所示 。由于手動輸入的訓(xùn)練集數(shù)量相對較少，同時算法的運(yùn)行效率比較高，所以算法運(yùn)行時間一般很短。 不敏感系數(shù)原則上反映了 SVM 對數(shù)據(jù)中躁聲幅度的容許界限 .為選定適當(dāng)?shù)闹?,應(yīng)考慮采集樣本時可能帶 有的躁聲分布的狀況 .若躁聲服從正態(tài)分布 ,當(dāng)密度函數(shù)分布較寬(即方差較大 )時 ,宜采用較大的，而當(dāng)分布較窄時，應(yīng)選用較小的。在不敏感系數(shù)過小時，可能導(dǎo)致過擬合 ； 而過大時 則可能造成欠擬合。在實際求解中，的取值過小，支持向量的數(shù)目變化不大，但模型的求解時間將增加。因此，不敏感系數(shù)的取值一般在 到 之間。因是 SVM 只要求擬合誤差超過允許精度的部分降至最小所致。另外訓(xùn)練時間也將隨 C 的增加而上升。因此，對于非線性問題還存在核函數(shù)及其參 數(shù)的影響。 懲罰系數(shù) C 從 增至 1，其支持向量個數(shù)減少，性能下降。 多項式次數(shù)的選擇要看數(shù)據(jù)的分布，并不是次數(shù)越高，回歸性能越好。 徑向基寬度從 到 再到 ，其支持向量的個數(shù)先減少再增加。 第 5 章總結(jié) 27 第 5 章 總結(jié) 基于支持向量機(jī)方法的回歸估計以可控制的精度逼近任一非線性函數(shù)，同時具有全局最優(yōu)、良好的泛化能力等優(yōu)越性能，因此支持向量機(jī)的應(yīng)用非常廣泛。 本文針對回歸問題，描述了支持向量機(jī)的基本方法、理論、回歸算法及當(dāng)前國內(nèi)外對于支持向量回歸的研究內(nèi)容、方向。模型選擇包括核函數(shù)的選擇、模型正則化參數(shù) C、不敏感參數(shù) ε 等方面內(nèi)容。在實際應(yīng)用中 , RBF 核函數(shù)是目前在支持向量機(jī)中被應(yīng)用得最廣泛的一種核函數(shù)。當(dāng)然 , 在實際應(yīng)用中也可以采用多種核 函數(shù)進(jìn)行比較研究 , 通過模型的性能指標(biāo) , 選出推廣性能最優(yōu)的一種核函數(shù)。模型參數(shù)調(diào)整方法包括經(jīng)驗方法和理論方法等方面。如何針對特定問題 , 選擇最佳的核函數(shù)和最優(yōu)的一組模型參數(shù)仍是一個難以解決的問題。 致 謝 28 致 謝 一轉(zhuǎn)眼，大學(xué)四年已經(jīng)接近尾聲了，當(dāng)自己懷著忐忑不安的心情 完成這篇畢業(yè)論文的時候，自己也從當(dāng)年一個懵懂的孩子變成了一個成熟的青年，回想自己的十幾年的求學(xué)生涯，滿足，充實，是一個結(jié)束，更是一個新的開始。感謝爸爸媽媽對我的悉心照料，沒有你們的辛苦勞作就沒有我今天的成績，走出校門后又是一片新的天地，我會把這些年您們在我身上的付出加倍償還給二老的。正是你們，我才能在各方面取得顯著的進(jìn)步，在此向你們表示我由衷的謝意，并祝所有的老師培養(yǎng)出越來越多的優(yōu)秀人才，桃李滿天下。 最后，我要著重感謝我的指導(dǎo)老師 張艷 老師在我大學(xué)的最后學(xué)習(xí)階段 —— 畢業(yè)論文階段給予我的指導(dǎo)，從最初的定題，到資料收集，到寫作、修改，到論文定稿，老師給了我耐心的指導(dǎo)和無私的幫助。 在這篇論文的寫作過程中，我深感自己的水平還遠(yuǎn)遠(yuǎn)不夠，生命不息，學(xué)習(xí)不止，人生就是一個不斷學(xué)習(xí)和完善的過程，希望自己在今后的道路上能更上一層樓。 2020. 1. [4] 李紅蓮 , 王春花 , 袁保宗 . 一種改進(jìn)的支持向量 NNSVM[J]. 計算機(jī)學(xué)報 , 2020, 26(8) . [5] 張清河 , 肖柏勛等 . 基于支持向量機(jī)的介質(zhì)圓柱體逆散射問題研究 [J]. 電波科學(xué)學(xué)報 , 2020. [6] 張曦 , 閻威武等 . 亞基于核主元分析和鄰近支持向量機(jī)的汽輪機(jī)凝汽器過程監(jiān)控和故障診斷 [J]. 中國電機(jī)工程學(xué)報 , 2020. 5. [7] 孫士博 . 核獨(dú)立成分分析在心律失常模式分類中的應(yīng)用 [D]. 燕山大學(xué)碩士論文 , 2020. 4. [8] 羅曉牧 , 周淵平 , 王國利 . SVM 自適應(yīng)波束成形算法 [J]. 電路與系統(tǒng)學(xué)報 , 2020. 12. [10] 張鈴 . 支持向量機(jī)理論與基于規(guī)劃的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 [J]. 計算機(jī)學(xué)報 , 2020, 24(2). [11] 張學(xué)工 . 關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機(jī) [J]. 自動化學(xué)報 , 2020, 26(1). [12] Dai Liuling, Huang Heyan, Chen Zhaoxiong . Ternary sequential analytic optimization algorithm for SVM classifier design [J].Asian Journal of Information Technology. 2020, 4(3). [13] 薛宇玲 . 支持向量機(jī)在煤礦地下水位預(yù)測中的應(yīng)用 [D]. 西安科技大學(xué)碩士論文 , 2020. 4. [14] 宋曉峰 . 優(yōu)生演進(jìn)優(yōu)化和統(tǒng)計學(xué)習(xí)建模 [D]. 浙江大學(xué)博士論文 , 2020. 5. [15] DING Shifei, XU Li, ZHU Hong et al. Research and progress of cluster algorithms based on granular puting [J]. International Journal of Digital Content Technology and its Applications,2020, 4(5).