【正文】 泛函： 22][][ ???? fRfR e m pre g ??2)),((1 1 ?? ?? iiNi yxfcN 這里正則化參數(shù) ? 為正數(shù)，損失函數(shù) c 選擇為 ?? 不敏感損失函數(shù)，形式如下： ??? ? ?? elseu uforuc s ,|| ||,0)( ? ? 可以通過(guò)解二次規(guī)劃的優(yōu)化問(wèn)題來(lái)最小化正則化風(fēng)險(xiǎn)泛函。解 ? 可以表達(dá)為在特征空間F 與函數(shù) )(x? 的線(xiàn)性組合有關(guān)的形式： )()(1 iNi ii xaa ?? ?? ? ?? 這里系數(shù) Raa ii ??, 通過(guò)解二次規(guī)劃問(wèn)題確定，對(duì)于 0??? ii aa 的點(diǎn) ),( ii yx 稱(chēng)為支持向量。 第 2 章支持向量機(jī)回歸原理 11 核函數(shù) ),( ii yxk 對(duì)應(yīng)映射到特征空間的數(shù)據(jù)的內(nèi)積，即： )()(),( jiii xxyxk ?? ?? 核函數(shù) ),( ii yxk 可以是任意滿(mǎn)足 Mercer 條件的對(duì)稱(chēng)函數(shù)，因此，估計(jì)函數(shù)也可以具有如下形式： ?? ? ??? Ni jiii bxxKaaxf 1 ),()()( 因此支持向量的拓?fù)浣Y(jié)構(gòu)如下 圖 23 所示 ： Σy),( 1 xxK ),(2 xxK ),( xxKk12k? ? 圖 23 支持向量回歸拓?fù)鋱D 對(duì)于 SVR?? ， 試圖求解如下有約束的二次規(guī)劃問(wèn)題： ?? ??? Ni iiC 12 )(21mi n ??? ???????????????0,1,..iiiiiiiiNifyyfts?????? 這里 C 是待確定的常數(shù)， ?ii??, 是松弛變量，同時(shí)首先要先設(shè)定 ? 的值。 關(guān)于算法的幾點(diǎn)說(shuō)明 1. 算法的收斂性說(shuō)明 根據(jù) Osuna 的理論，在實(shí)現(xiàn)算法中每一步迭代都將減少目標(biāo)函數(shù)的值，進(jìn)而保證了算法的收斂性。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來(lái)進(jìn)行聯(lián)合優(yōu)化，進(jìn)一步充分保證了算法的收斂速度。 2. 算法元素掃描啟發(fā)式規(guī)則 對(duì)于 ?? 非敏感損失函數(shù)， KKT 條件為： 第 2 章支持向量機(jī)回歸原理 12 0)),(( ????? bxya iiiii ??? 0)),(( ????? ??? bxya iiiii ??? 和 0)( 0)( ?? ?? ?? ii iiaC aC ?? 由此進(jìn)一步推出關(guān)于取值的三種情形： CaI i??: 數(shù)據(jù)位于誤差帶外 ),0(: caII i ?? 數(shù)據(jù)位于誤差帶上 0: ??iaIII 數(shù)據(jù)位于誤差帶內(nèi) 3. 算法中的關(guān)于 KKT 條件的判斷便是依據(jù)上面三式 外循環(huán)首先在整個(gè)數(shù)據(jù)集合上掃描違反 KKT 條件的元素，當(dāng)在整個(gè)數(shù)據(jù)集合上掃描一遍之后，外循環(huán)開(kāi)始在非邊界元素 (Lagrange 乘子不為 0 和 C)集合上掃描違反 KKT條件的元素，直至所有非邊界元素都以 ? 的精度滿(mǎn)足 KKT 條件。然后外循環(huán)重新在整個(gè)數(shù)據(jù)集合上掃描。外循環(huán)如此交替在整個(gè)數(shù)據(jù)集合上進(jìn)行一次掃描和在非邊 界元素集合上進(jìn)行多遍掃描，直至算法終止。 4. 算法的效率 在算法運(yùn)行過(guò)程中， CPU 的時(shí)間集中在最有可能違反 KKT 條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會(huì)在其它元素被優(yōu)化的同時(shí)向邊界移動(dòng)。若算法在非邊界元素集合上迭代直至此集合自相容，然后再在整個(gè)集合上掃描尋找在非邊界元素優(yōu)化的同時(shí)變?yōu)檫`反 KKT 條件的邊界元素。這樣可保證算法的效率。 第 3 章 基于 Matlab 實(shí)現(xiàn) SVR 的總體設(shè)計(jì) 13 第 3 章 基于 Matlab 實(shí)現(xiàn) SVR 的 總體設(shè)計(jì) 總體設(shè)計(jì)思想 支持向量回歸的最終就是尋求一目標(biāo)函數(shù)，并使得其損失函數(shù)的數(shù)學(xué)期望最小，這樣才能得到最準(zhǔn)確 的回歸曲線(xiàn)以反映訓(xùn)練集的數(shù)據(jù)走向趨勢(shì)。該回歸算法主要解決非線(xiàn)形回歸預(yù)測(cè)問(wèn)題，對(duì)訓(xùn)練集采用線(xiàn)性、非線(xiàn)性核函數(shù)進(jìn)行回歸。通過(guò)對(duì)各種參數(shù)的設(shè)置得到不同性能的回歸曲線(xiàn)，以便于熟悉其中參數(shù)對(duì)回歸算法的影響。 功能模塊的劃分及相關(guān)流程圖 主要功能模塊的劃分 從總體上說(shuō)，按照需求分析，可以把要實(shí)現(xiàn)的功能劃分為三個(gè)主要的功能模塊： 1． GUI 圖形用戶(hù)界面模塊，即系統(tǒng)的主界面 。 2．實(shí)驗(yàn)簡(jiǎn)介模塊，簡(jiǎn)單說(shuō)明各個(gè)函數(shù)的功能。 3．支持向量回歸模型設(shè)計(jì)的實(shí)驗(yàn)?zāi)K，實(shí)現(xiàn)支持向量回歸的各種功能 (手動(dòng)創(chuàng)建數(shù)據(jù)集 、裝載現(xiàn)有 的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進(jìn)行回歸演示 )。 實(shí)現(xiàn)程序的主要框架圖 下圖 31 中 說(shuō)明了程序設(shè)計(jì)的總體 框圖 ，并沒(méi)有把所有的函數(shù)列出來(lái)，只是列出了主要的程序。 ：實(shí)現(xiàn)用戶(hù)圖形界面模塊 (主界面 )。 ：查看系統(tǒng)的各實(shí)現(xiàn)功能的簡(jiǎn)單說(shuō)明。 ：實(shí)現(xiàn)了支持向量回歸的演示實(shí)驗(yàn)?zāi)K。 ：支持向量回歸的計(jì)算。 ：一維空間回歸作圖問(wèn)題。 ：輸出與輸入之間的轉(zhuǎn)化計(jì)算 。 ：輸入，輸出異常 。 ：內(nèi)核函數(shù)。 第 3 章 基于 Matlab 實(shí)現(xiàn) SVR 的總體設(shè)計(jì) 14 S V R . ma b o u t . mu i r e g r e s s . ms v d a t a n o r m . m s v k e r n e l . m s v r . m s v r o u t p u t . m s v r e r r o r . mN o b i a s . mB i n o m i a l . mC o n t e n t s . ms v r t o l . ms v r p l o t . m 圖 31 程序框圖 支持向量回歸模型的流程圖 支持向量回歸模型的總流程圖如圖 32 所示。 第 3 章 基于 Matlab 實(shí)現(xiàn) SVR 的總體設(shè)計(jì) 15 開(kāi) 始用 戶(hù) 主 界 面 選 擇實(shí) 驗(yàn) 簡(jiǎn) 介支 持 向 量 回 歸 模 型 實(shí) 驗(yàn)選 擇 核 函 數(shù) 及 相應(yīng) 參 數(shù) 的 設(shè) 置選 擇裝 載 數(shù) 據(jù)創(chuàng) 建 數(shù) 據(jù)對(duì) 訓(xùn) 練 集 回 歸退 出自 動(dòng)手 動(dòng) 圖 32 支持向量回歸模型總的流程圖 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 16 第 4 章 基于支持向量回歸模型的實(shí)現(xiàn) 模型的功能描述 本課題是基于支持向量回歸模型的設(shè)計(jì)與實(shí)現(xiàn)，已經(jīng)按照需求實(shí)現(xiàn)了各種功能。具體實(shí)現(xiàn)的功能如下： 1) 創(chuàng)建一個(gè) GUI 圖形用戶(hù)界面即主界面，主 界面按鈕及菜單功能描述如下： 按鈕功能介紹 設(shè)置路徑：在 matlab 中，運(yùn)行任何的文件都必須位于當(dāng)前路徑或搜索路徑內(nèi)。此按鈕將當(dāng)前目錄下的子目錄添加為搜索路徑，使得子目錄中的文件可以被當(dāng)前目錄中的文件調(diào)用運(yùn)行。否則，系統(tǒng)將不能正常工作。由于本實(shí)驗(yàn)的各個(gè)函數(shù)在包含在一個(gè)文件夾中因而也可以不設(shè)置路徑。 進(jìn)入實(shí)驗(yàn)簡(jiǎn)介：簡(jiǎn)單了解 SVR，查看各個(gè)函數(shù)要實(shí)現(xiàn)的基本功能。 進(jìn)入支持向量回歸模型演示實(shí)驗(yàn)：進(jìn)行回歸模型演示（具體的各個(gè)功能塊見(jiàn)下 (2)中有詳細(xì)介紹）。 退出實(shí)驗(yàn)：退出系統(tǒng)。 該主界面點(diǎn)擊實(shí)驗(yàn)簡(jiǎn)介或演示實(shí)驗(yàn)都將 出現(xiàn)動(dòng)態(tài)的等待進(jìn)度條，此功能沒(méi)有實(shí)際用途但可以使設(shè)計(jì)美觀。 2) 通過(guò)編寫(xiě) M 文件 文件，實(shí)現(xiàn)顯示支持矢量機(jī)機(jī)器學(xué)習(xí)模型的功能。 (1)下拉式菜單 核函數(shù)的選?。河脩?hù)通過(guò)此菜單選擇一個(gè)核函數(shù)，然后進(jìn)行回歸實(shí)驗(yàn)。 (2)編輯框輸入?yún)?shù)值 懲罰系數(shù) C，其初始值設(shè)定為 20，設(shè)置值一般大于 ，對(duì)于該參數(shù)對(duì)回歸性能的影響在后面說(shuō)明。 不敏感系數(shù) ? ，其初始值設(shè)為 ， ? 參數(shù) 對(duì)回歸性能的影響也在后面介紹。 (3)編輯框顯示信息 顯示統(tǒng)計(jì)支持向量的個(gè)數(shù)，回歸性能。 (4)按鈕 裝載數(shù)據(jù)：進(jìn)行已存在數(shù)據(jù)文件的裝載。 數(shù)據(jù)輸入：用戶(hù)手動(dòng)創(chuàng)建數(shù)據(jù)，用鼠標(biāo)點(diǎn)擊將在坐標(biāo)軸上產(chǎn)生點(diǎn)集。 清除數(shù)據(jù)：用戶(hù)想清除當(dāng)前數(shù)據(jù)時(shí)點(diǎn)擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。 保存數(shù)據(jù)：對(duì)創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用。 回歸：對(duì)創(chuàng)建的數(shù)據(jù)集或裝載的數(shù)據(jù)集進(jìn)行回歸，得到回歸曲線(xiàn)。 3) Matlab 命令窗口 在命令窗口我們將會(huì)獲得算法運(yùn)行時(shí)間，支持向量的個(gè)數(shù)，回歸性能。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 17 運(yùn)行結(jié)果 主界面 運(yùn)行結(jié)果如下圖 41 所示。 圖 41 主界面模塊運(yùn)行結(jié)果 功能描述界面 運(yùn)行結(jié)果如下圖 42 所示。 圖 42 實(shí)驗(yàn)簡(jiǎn)介運(yùn)行界面 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 18 運(yùn)行 過(guò)程 及結(jié)果 1 支持向量回歸模型實(shí)驗(yàn)運(yùn)行界面 如圖 43 所示。 圖 43 支持向量機(jī)回歸模型實(shí)驗(yàn)界面 2 手動(dòng)輸入數(shù)據(jù) ，并保存，如下圖 44 所示。 圖 44 手動(dòng)輸入數(shù)據(jù) 3 裝載 上面保存的 數(shù)據(jù) ，如下圖 45 所示。 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 19 圖 45 裝載數(shù)據(jù) 裝載 aa 數(shù)據(jù)文件后的數(shù)據(jù)顯示 ，如下圖 46 所示。 圖 46 裝載數(shù)據(jù)后的顯示結(jié)果 3 使用不同的核函數(shù)的回歸結(jié)果 （ 1） 線(xiàn)性核函數(shù) 第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 20 線(xiàn)性核函數(shù) 的 懲罰系數(shù) 設(shè)為 10，不敏感系數(shù) 為 ，此時(shí)支持向量數(shù) 24，回歸性能 %，如下圖 47 所示 。 圖 47 回歸結(jié)果圖 改 變 不敏感 系數(shù)增大為 ， 此時(shí)支持向量個(gè)數(shù)為 22，回歸性能 %，如下圖48 所示 。 支持向量數(shù)減少，回歸性能下降。 圖 48 改變參數(shù)取值后的回歸圖 （ 2）多項(xiàng)式核函數(shù) 多項(xiàng)式核函數(shù) ，設(shè)置 此時(shí)多項(xiàng)式次數(shù)為 3，如下圖 49 所示 。 由回歸結(jié)果看出次數(shù)第 4 章 基于支持向量機(jī)回歸模型的實(shí)現(xiàn) 21 偏低，性能不 是很好。 圖 49 選擇多項(xiàng)式核函數(shù)的回歸圖形 增大多項(xiàng)式次數(shù) Degree 為 5，并減少不敏感系數(shù)至 ，回歸性能提高到 %，如下圖 410 所示 。 圖 410 改變參數(shù)取值后的回歸圖形 （ 3）高斯徑向基核函數(shù) 高斯徑向基核函數(shù) Sigma(RBF 寬度 )為 懲罰系數(shù) 10，不敏感參