【正文】 歸性能 %，如下圖 411 所示 。 圖 44 手動輸入數(shù)據(jù) 3 裝載 上面保存的 數(shù)據(jù) ，如下圖 45 所示。 清除數(shù)據(jù)：用戶想清除當(dāng)前數(shù)據(jù)時點擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。 該主界面點擊實驗簡介或演示實驗都將 出現(xiàn)動態(tài)的等待進(jìn)度條，此功能沒有實際用途但可以使設(shè)計美觀。 第 3 章 基于 Matlab 實現(xiàn) SVR 的總體設(shè)計 15 開 始用 戶 主 界 面 選 擇實 驗 簡 介支 持 向 量 回 歸 模 型 實 驗選 擇 核 函 數(shù) 及 相應(yīng) 參 數(shù) 的 設(shè) 置選 擇裝 載 數(shù) 據(jù)創(chuàng) 建 數(shù) 據(jù)對 訓(xùn) 練 集 回 歸退 出自 動手 動 圖 32 支持向量回歸模型總的流程圖 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 16 第 4 章 基于支持向量回歸模型的實現(xiàn) 模型的功能描述 本課題是基于支持向量回歸模型的設(shè)計與實現(xiàn)，已經(jīng)按照需求實現(xiàn)了各種功能。 ：查看系統(tǒng)的各實現(xiàn)功能的簡單說明。 第 3 章 基于 Matlab 實現(xiàn) SVR 的總體設(shè)計 13 第 3 章 基于 Matlab 實現(xiàn) SVR 的 總體設(shè)計 總體設(shè)計思想 支持向量回歸的最終就是尋求一目標(biāo)函數(shù)，并使得其損失函數(shù)的數(shù)學(xué)期望最小，這樣才能得到最準(zhǔn)確 的回歸曲線以反映訓(xùn)練集的數(shù)據(jù)走向趨勢。 關(guān)于算法的幾點說明 1. 算法的收斂性說明 根據(jù) Osuna 的理論，在實現(xiàn)算法中每一步迭代都將減少目標(biāo)函數(shù)的值，進(jìn)而保證了算法的收斂性。 ?? 不敏感損失函數(shù) ?)())(,( xfyxfyxc ?? 其中 }|)(|,0m a x {)( ?? ???? xfyxfy ，這里 ? 是事先取定的一個正數(shù)， ?? 不敏感損失函數(shù)的含義是，當(dāng) x 點的觀測值 y 與預(yù)測值 )(xf 之差不超過給定的 ? 時，則認(rèn)為在該點的預(yù)測值 )(xf 是無損失的，盡管預(yù)測值 )(xf 和觀測值 y 可能并不完全相等， 如下面損失函數(shù)圖像 21 所示 。對于可行的主變量和對偶變量，凸最小化問題的主目標(biāo)函數(shù)的解常常比 (凸最大化的 )對偶目標(biāo)函數(shù)的解要大。核函數(shù)存在性定理表明：給定一 第 2 章支持向量機(jī)回歸原理 8 個訓(xùn)練樣本集，就一定存在一個相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。支持向量回歸模型最重要的一個參數(shù)就是核函數(shù)。同理，在非線性空間中也 只考慮高維特征空間 ? 的點積運算：),()()()( yxkyxx ?????? ，而不必明確知道 )(x? 是什么。其中 genR為所謂的泛化錯誤上界，根據(jù) Vapnik 的理論，它依賴于用來進(jìn)行回歸的函數(shù)族 F 。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個擬合模型。 VC 就是取 Vapnik 和 Chervonenkis名字的首字而成?；貧w預(yù)測的目的是根據(jù)給定的訓(xùn)練樣本集 來估計某系統(tǒng)輸入和輸出之間的依賴關(guān)系，即尋找最優(yōu)函數(shù) ，使它能夠反映訓(xùn)練集的數(shù)據(jù)走向趨勢，從而實現(xiàn)對未知輸出做盡可能準(zhǔn)確的預(yù)測。通過使用句柄，用戶可以方便地訪問句柄所指定的對象，通過修改對象的屬性使圖形完全符合用戶的要求。 2．高效方便的矩陣和 數(shù)組運算：在回歸過程中，輸入的數(shù)據(jù)集，運算的變量以及很多參數(shù)都是以數(shù)組，向量形式出現(xiàn)的，運算這些數(shù)據(jù)復(fù)雜，易出錯而且費時，所以方便高效的數(shù)組向量運算就顯得尤為重要，而 Matlab 恰好具有這樣便利的功能。 課題研究目的 此課題的設(shè)計目的在于訓(xùn)練及提高自己能綜合運用所學(xué)專業(yè)知識分析、解決實際問題的能力；掌握文獻(xiàn)檢索、資料查詢的基本方法以及獲取新知識的能力；系統(tǒng)的利用支持向量回歸相關(guān)理論知識和編程技能，利用 MATLAB 開發(fā)平臺和相關(guān)的統(tǒng)計學(xué)工具箱及支持向量回歸算法， 設(shè)計改進(jìn)并實現(xiàn)基于 MATLAB 的 SVR 回歸模型的實驗系統(tǒng)，通第 1 章 緒論 3 過運用 M 文件編寫回歸算法、 GUI 組件編寫主界面、編寫程序和裝載數(shù)據(jù)文件完成實驗界面的各個功能。近幾年涌現(xiàn)出的大量令人矚目的理論研究成果，更為其應(yīng)用研究奠定了堅實基礎(chǔ)。 與傳統(tǒng)統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論（ Statistical Learning Theory 或 SLT）是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論 .V. Vapnik 等人從六、七十年代開始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進(jìn)展，統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視。 Training Algorithms。通過不同核函數(shù)的選取以及相應(yīng)參數(shù)的設(shè)置對輸入數(shù)據(jù)集進(jìn)行回歸。 基于 MATLAB的 SVR回歸模型的設(shè)計與實現(xiàn) The Design and Implementation of SVR Regression Model Based on MATLAB 摘 要 支持向量機(jī)是根據(jù)統(tǒng)計學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法，近年來受到了國內(nèi)外學(xué)術(shù)界的廣泛重視，并已在模式識別和函數(shù)估計中得到廣泛應(yīng)用。此模 型主要解決非線性回歸模型的預(yù)測。 Kernel Function。 統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架 .它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等）；同時，在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法 —— 支持向量機(jī)（ Support Vector Machine 或 SVM），它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。如 Anthony et 第 1 章 緒論 2 al.(1999）等人給出了關(guān)于硬鄰域支持向量機(jī)學(xué)習(xí)誤差的嚴(yán)格理論界限， ShaweTaylor（ 2020）和 Cristianini （ 2020）也給出了類似的關(guān)于軟鄰域支持向量機(jī)和回歸情況下的誤差界限； Weston et al.（ 1998）和 Vapnik（ 1995， 1998）等研究了支持向量機(jī)的泛化性能及其在多值分類和回歸問題的擴(kuò)展問題； Smola（ 1998）和 Schoelkopf（ 1999）提出了支持向量機(jī)一般意義下的損失函數(shù)數(shù)學(xué)描述；脊回歸是由 Tikhonov 提出的一種具有特殊形式的正則化網(wǎng)絡(luò)， Girosi（ 1990）、 Poggio（ 1975）等將其應(yīng)用到正則化網(wǎng)絡(luò)的學(xué)習(xí)中， Smola et al.（ 1999）研究了狀態(tài)空間中脊回歸的應(yīng)用， Girosi（ 1990）、 Smola（ 1998）、 Schoelkopf（ 1999）等討論了正則化網(wǎng)絡(luò)和支持向量機(jī)的關(guān)系。從而熟悉了 MATLAB 編程、 GUI 組件編寫用戶界面以及回歸算法的程序?qū)崿F(xiàn)，同時也了解了支持向量回歸算法在實際問題預(yù)測模型中的應(yīng)用。并且Matlab 語言還像其他語言一樣規(guī)定了矩陣的算術(shù)運算符，關(guān)系運算符，邏輯運算符，條件運算符及賦值運算符。 論文組織結(jié)構(gòu) 本論文主要針對回歸型 SVM 在算法性能和推廣能力兩方面進(jìn)行一些探討，全 文共分 5 章 ，安排如下： 第 1 章主要研究 SVM 研究背景和國內(nèi)外研究現(xiàn)狀， 介紹了課題研究背景以及可以研究所用的開發(fā)工具。 支持向量機(jī) 支持向量機(jī)是 Cortes 和 Vapnik 于 1995 年首先提出的，它在解決小樣本、非線性及高維模式識別中有許多特有的優(yōu)勢，并能推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中 [。所以，學(xué)習(xí)機(jī)器所實現(xiàn)的指示函數(shù)集的 VC 維有限就是 ERM 方法一致性的一個充分必要條件，這一條件不依賴于概率測度。接著同樣重要的一個階段是案例分析。 線性支持向量回歸 支持向量回歸建立在統(tǒng)計學(xué)學(xué)習(xí)理論的基礎(chǔ)之上 ，并維持以上提出的學(xué)習(xí)機(jī)的模型但采取完全不同的策略。其關(guān)鍵問題是核函數(shù) ),( yxk 的采用。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進(jìn)行線性劃分。 進(jìn)一步研究了支 持矢量機(jī)的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個特定的核函數(shù)，給定的樣本集中的任意一個樣本都可能成為一個支持向量。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個解才相等。 圖 21 損失函數(shù)圖象 如果 )(xf 為單變量線性函數(shù) ? ? bxxf ??? ?)( , 當(dāng)樣本點位于兩條 虛線之間的帶子里時，則認(rèn)為在該點沒有損失，我們稱兩條虛線構(gòu)成的帶子為 ?? 帶。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來進(jìn)行聯(lián)合優(yōu)化，進(jìn)一步充分保證了算法的收斂速度。該回歸算法主要解決非線形回歸預(yù)測問題，對訓(xùn)練集采用線性、非線性核函數(shù)進(jìn)行回歸。 ：實現(xiàn)了支持向量回歸的演示實驗?zāi)K。具體實現(xiàn)的功能如下： 1) 創(chuàng)建一個 GUI 圖形用戶界面即主界面，主 界面按鈕及菜單功能描述如下： 按鈕功能介紹 設(shè)置路徑：在 matlab 中，運行任何的文件都必須位于當(dāng)前路徑或搜索路徑內(nèi)。 2) 通過編寫 M 文件 文件，實現(xiàn)顯示支持矢量機(jī)機(jī)器學(xué)習(xí)模型的功能。 保存數(shù)據(jù)：對創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用。 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 19 圖 45 裝載數(shù)據(jù) 裝載 aa 數(shù)據(jù)文件后的數(shù)據(jù)顯示 ，如下圖 46 所示。 第 4 章 基于支持向量機(jī)回歸模型的實現(xiàn) 22 圖 411 選擇高斯核函數(shù)的回歸圖形 現(xiàn)增大懲罰系數(shù) C 至 40，其它參數(shù)不變，支持向量數(shù)增多到 15，回歸性能提高到%， 如下圖 412 所示 。 4. 3 系統(tǒng)的性能分析及結(jié)論 支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子 C 以及不敏感系數(shù)等參數(shù)的選擇。 懲罰 系數(shù) C 的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報能力，通常擬合誤差隨 C的增大而下降，但下降的速度也越來越小，當(dāng) C 增至一定值后，其下降將漸平緩，幾乎不再隨 C 的增大而減小。 表 42 多項式核函數(shù) 多項式次數(shù) 懲罰系數(shù) C 不敏感系數(shù) ? 輸入向 量個數(shù) 支持向 量個數(shù) 回歸性能 3 10 26 26 100% 3 10 0． 01 26 23 % 4 10 0． 01 26 24 % 5 10 0． 01 26 23 % 結(jié)論：從表中可以看出不敏感系數(shù) ? 的增大，支持向 量個數(shù)減少，對應(yīng)回歸性能下降?？偨Y(jié)了設(shè)計支持向量回歸機(jī)的模型選擇方面的進(jìn)展。最后還對幾種常見的核函數(shù)的不同參數(shù)、回歸模型的參數(shù)對支持向量個數(shù)和回歸性能做了比較。 再次，我要感謝所有與我共度四年大學(xué)時光的同學(xué)們，遇見你們這些可愛的人是我今生的榮幸，謝謝你們在學(xué)習(xí)和生活上對我的幫助，謝謝你們對我的理解和支持，我們永遠(yuǎn)都是一家人。為了指導(dǎo)我們