【正文】 在這篇論文的寫作過程中，我深感自己的水平還遠(yuǎn)遠(yuǎn)不夠，生命不息，學(xué)習(xí)不止，人生就是一個不斷學(xué)習(xí)和完善的過程，希望自己在今后的道路上能更上一層樓。正是你們，我才能在各方面取得顯著的進(jìn)步，在此向你們表示我由衷的謝意，并祝所有的老師培養(yǎng)出越來越多的優(yōu)秀人才，桃李滿天下。 致 謝 28 致 謝 一轉(zhuǎn)眼，大學(xué)四年已經(jīng)接近尾聲了，當(dāng)自己懷著忐忑不安的心情 完成這篇畢業(yè)論文的時候，自己也從當(dāng)年一個懵懂的孩子變成了一個成熟的青年，回想自己的十幾年的求學(xué)生涯，滿足，充實，是一個結(jié)束，更是一個新的開始。模型參數(shù)調(diào)整方法包括經(jīng)驗方法和理論方法等方面。在實際應(yīng)用中 , RBF 核函數(shù)是目前在支持向量機中被應(yīng)用得最廣泛的一種核函數(shù)。 本文針對回歸問題，描述了支持向量機的基本方法、理論、回歸算法及當(dāng)前國內(nèi)外對于支持向量回歸的研究內(nèi)容、方向。 徑向基寬度從 到 再到 ，其支持向量的個數(shù)先減少再增加。 懲罰系數(shù) C 從 增至 1，其支持向量個數(shù)減少，性能下降。另外訓(xùn)練時間也將隨 C 的增加而上升。因此，不敏感系數(shù)的取值一般在 到 之間。在不敏感系數(shù)過小時，可能導(dǎo)致過擬合 ； 而過大時 則可能造成欠擬合。由于手動輸入的訓(xùn)練集數(shù)量相對較少，同時算法的運行效率比較高，所以算法運行時間一般很短。 圖 414 改變參數(shù)取值后的回歸圖形 （ 4）結(jié)論 本實驗選取了線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)，這三個核函數(shù)進(jìn)行第 4 章 基于支持向量機回歸模型的實現(xiàn) 24 實驗 ， 改變其參數(shù)（懲罰系數(shù) C 、不敏感系數(shù) ? 、 RBF 寬度以及多項式次數(shù)），對回歸帶來了明顯的影響。 圖 410 改變參數(shù)取值后的回歸圖形 （ 3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù) Sigma(RBF 寬度 )為 懲罰系數(shù) 10，不敏感參數(shù)為 ，此時支持向量的個數(shù)為 14，回歸性能 %，如下圖 411 所示 。 支持向量數(shù)減少，回歸性能下降。 圖 44 手動輸入數(shù)據(jù) 3 裝載 上面保存的 數(shù)據(jù) ，如下圖 45 所示。 第 4 章 基于支持向量機回歸模型的實現(xiàn) 17 運行結(jié)果 主界面 運行結(jié)果如下圖 41 所示。 清除數(shù)據(jù)：用戶想清除當(dāng)前數(shù)據(jù)時點擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。 不敏感系數(shù) ? ，其初始值設(shè)為 ， ? 參數(shù) 對回歸性能的影響也在后面介紹。 該主界面點擊實驗簡介或演示實驗都將 出現(xiàn)動態(tài)的等待進(jìn)度條，此功能沒有實際用途但可以使設(shè)計美觀。由于本實驗的各個函數(shù)在包含在一個文件夾中因而也可以不設(shè)置路徑。 第 3 章 基于 Matlab 實現(xiàn) SVR 的總體設(shè)計 15 開 始用 戶 主 界 面 選 擇實 驗 簡 介支 持 向 量 回 歸 模 型 實 驗選 擇 核 函 數(shù) 及 相應(yīng) 參 數(shù) 的 設(shè) 置選 擇裝 載 數(shù) 據(jù)創(chuàng) 建 數(shù) 據(jù)對 訓(xùn) 練 集 回 歸退 出自 動手 動 圖 32 支持向量回歸模型總的流程圖 第 4 章 基于支持向量機回歸模型的實現(xiàn) 16 第 4 章 基于支持向量回歸模型的實現(xiàn) 模型的功能描述 本課題是基于支持向量回歸模型的設(shè)計與實現(xiàn)，已經(jīng)按照需求實現(xiàn)了各種功能。 ：輸出與輸入之間的轉(zhuǎn)化計算 。 ：查看系統(tǒng)的各實現(xiàn)功能的簡單說明。 2．實驗簡介模塊，簡單說明各個函數(shù)的功能。 第 3 章 基于 Matlab 實現(xiàn) SVR 的總體設(shè)計 13 第 3 章 基于 Matlab 實現(xiàn) SVR 的 總體設(shè)計 總體設(shè)計思想 支持向量回歸的最終就是尋求一目標(biāo)函數(shù)，并使得其損失函數(shù)的數(shù)學(xué)期望最小，這樣才能得到最準(zhǔn)確 的回歸曲線以反映訓(xùn)練集的數(shù)據(jù)走向趨勢。外循環(huán)如此交替在整個數(shù)據(jù)集合上進(jìn)行一次掃描和在非邊 界元素集合上進(jìn)行多遍掃描，直至算法終止。 關(guān)于算法的幾點說明 1. 算法的收斂性說明 根據(jù) Osuna 的理論，在實現(xiàn)算法中每一步迭代都將減少目標(biāo)函數(shù)的值，進(jìn)而保證了算法的收斂性。我們可以期望，在 ?? 帶內(nèi)的樣本點，不會出現(xiàn)在決策函數(shù)中。 ?? 不敏感損失函數(shù) ?)())(,( xfyxfyxc ?? 其中 }|)(|,0m a x {)( ?? ???? xfyxfy ，這里 ? 是事先取定的一個正數(shù)， ?? 不敏感損失函數(shù)的含義是，當(dāng) x 點的觀測值 y 與預(yù)測值 )(xf 之差不超過給定的 ? 時，則認(rèn)為在該點的預(yù)測值 )(xf 是無損失的，盡管預(yù)測值 )(xf 和觀測值 y 可能并不完全相等， 如下面損失函數(shù)圖像 21 所示 。 3. 不敏感損失函數(shù) 支持向量機方法是從解決模式識別問題發(fā)展起來的，在支持向量分類機中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。對于可行的主變量和對偶變量，凸最小化問題的主目標(biāo)函數(shù)的解常常比 (凸最大化的 )對偶目標(biāo)函數(shù)的解要大。 SVM 由訓(xùn)練樣本集和核函數(shù)完全描述，因此 采用不同的核函數(shù)就可以構(gòu)造實現(xiàn)輸入空間中不同類型的非線性決策面的學(xué)習(xí)機，導(dǎo)致不同的支持向量算法。核函數(shù)存在性定理表明：給定一 第 2 章支持向量機回歸原理 8 個訓(xùn)練樣本集，就一定存在一個相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。 在高維特征空間實際上只需要進(jìn)行點積運算，可以用原空間中的函數(shù)實現(xiàn)的，甚至沒有必要知道變換的形式。支持向量回歸模型最重要的一個參數(shù)就是核函數(shù)。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計算規(guī)模 正比于輸入模式中支持向量的個數(shù)。同理，在非線性空間中也 只考慮高維特征空間 ? 的點積運算：),()()()( yxkyxx ?????? ，而不必明確知道 )(x? 是什么。 學(xué)習(xí)的結(jié)果使得在的周圍形成一個精度為的誤差帶。其中 genR為所謂的泛化錯誤上界，根據(jù) Vapnik 的理論，它依賴于用來進(jìn)行回歸的函數(shù)族 F 。在具體實施中，則大量的借助統(tǒng)計學(xué)的理論和技術(shù)。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個擬合模型。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋 求一個最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。 VC 就是取 Vapnik 和 Chervonenkis名字的首字而成。 若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的 VC 維是無窮大?；貧w預(yù)測的目的是根據(jù)給定的訓(xùn)練樣本集 來估計某系統(tǒng)輸入和輸出之間的依賴關(guān)系，即尋找最優(yōu)函數(shù) ，使它能夠反映訓(xùn)練集的數(shù)據(jù)走向趨勢，從而實現(xiàn)對未知輸出做盡可能準(zhǔn)確的預(yù)測。 第 3章 此章介紹了本課題的總體設(shè)計思路和功能模塊的劃分及相關(guān)流程圖。通過使用句柄，用戶可以方便地訪問句柄所指定的對象，通過修改對象的屬性使圖形完全符合用戶的要求。 3．方便的繪圖功能：本課題借助于 Matlab 的繪圖功能， 能較為方便的建立支持向量回歸過程中的演示圖形。 2．高效方便的矩陣和 數(shù)組運算：在回歸過程中，輸入的數(shù)據(jù)集，運算的變量以及很多參數(shù)都是以數(shù)組，向量形式出現(xiàn)的，運算這些數(shù)據(jù)復(fù)雜，易出錯而且費時，所以方便高效的數(shù)組向量運算就顯得尤為重要，而 Matlab 恰好具有這樣便利的功能。根據(jù)它提供 的 500 多個數(shù)學(xué)和工程函數(shù)，工程技術(shù)人員和科學(xué)工作者可以在它的集成環(huán)境中交互或編程以完成各自的計算。 課題研究目的 此課題的設(shè)計目的在于訓(xùn)練及提高自己能綜合運用所學(xué)專業(yè)知識分析、解決實際問題的能力；掌握文獻(xiàn)檢索、資料查詢的基本方法以及獲取新知識的能力；系統(tǒng)的利用支持向量回歸相關(guān)理論知識和編程技能，利用 MATLAB 開發(fā)平臺和相關(guān)的統(tǒng)計學(xué)工具箱及支持向量回歸算法， 設(shè)計改進(jìn)并實現(xiàn)基于 MATLAB 的 SVR 回歸模型的實驗系統(tǒng)，通第 1 章 緒論 3 過運用 M 文件編寫回歸算法、 GUI 組件編寫主界面、編寫程序和裝載數(shù)據(jù)文件完成實驗界面的各個功能。 雖然 SVM 方法在理論上具有很突出的優(yōu)勢 , 但與其理論研究相比 ,應(yīng)用研究尚相對比較滯后 , 到目前， SVM 已用于數(shù)據(jù)分類、回歸估計、函數(shù)逼近等領(lǐng)域 .應(yīng)用最為廣泛的當(dāng)屬模式識別領(lǐng)域，在模式識別方面最突出的應(yīng) 用研究是貝爾實驗室對美國郵政手寫數(shù)字庫進(jìn)行的實驗 ,這是一個可識別性較差的數(shù)據(jù)庫 , 人工識別平均錯誤率是 % , 用決策樹方法識別錯誤率是 % , 兩層神經(jīng)網(wǎng)絡(luò)中錯誤率最小的是 % , 專門針對該特定問題設(shè)計的五層神經(jīng)網(wǎng)絡(luò)錯誤率為 % (其中利用了大量先驗知識 ) , 而用三種SVM 方法得到的錯誤率分別為 %、 % 和 % , 且其中直接采用了 1616 的字符點陣作為 SVM 的輸入 , 并沒有進(jìn)行專門的特征提取。近幾年涌現(xiàn)出的大量令人矚目的理論研究成果，更為其應(yīng)用研究奠定了堅實基礎(chǔ)。由于其出色的學(xué)習(xí)性能，該技術(shù)已成為當(dāng)前國際機器學(xué)習(xí)界的研究熱點，在模式識別、回歸估計、函數(shù)逼近等領(lǐng)域有了廣泛的 應(yīng)用。 與傳統(tǒng)統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論（ Statistical Learning Theory 或 SLT）是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論 .V. Vapnik 等人從六、七十年代開始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進(jìn)展，統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視。它的優(yōu)點是理論完備、訓(xùn)練時間短、全局優(yōu)化強、適應(yīng)性好、泛化性能好等。 Training Algorithms。 關(guān)鍵詞： 支持向量回歸 。通過不同核函數(shù)的選取以及相應(yīng)參數(shù)的設(shè)置對輸入數(shù)據(jù)集進(jìn)行回歸。 SVR 算法是模式識別中應(yīng)用比較廣泛的算法模型之一，它是支持向量機在函數(shù)逼近和回歸估計中的應(yīng)用。 基于 MATLAB的 SVR回歸模型的設(shè)計與實現(xiàn) The Design and Implementation of SVR Regression Model Based on MATLAB 摘 要 支持向量機是根據(jù)統(tǒng)計學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法，近年來受到了國內(nèi)外學(xué)術(shù)界的廣泛重視，并已在模式識別和函數(shù)估計中得到廣泛應(yīng)用。在 SVR 回歸分析中，使用支持向量機可以使回歸函數(shù)盡量平滑，其泛化能力強。此模 型主要解決非線性回歸模型的預(yù)測。 訓(xùn)練算法 。 Kernel Function。 SVM 已經(jīng)成為目前國內(nèi)外研究的熱點。 統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架 .它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等）；同時，在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法 —— 支持向量機（ Support Vector Machi