【正文】 ，父母的支持與付出我看在眼里，疼在心里，十幾年，實屬不易?！　≡俅危乙兄x所有與我共度四年大學時光的同學們，遇見你們這些可愛的人是我今生的榮幸，謝謝你們在學習和生活上對我的幫助，謝謝你們對我的理解和支持，我們永遠都是一家人。不拋棄，不放棄！參考文獻參考文獻[1] 劉霞, 盧葦. SVM在文本分類中的應用研究[J], 計算機教育, 2007. 1.[2] 曾水玲, 徐蔚鴻. 基于支持向量機的手寫體數(shù)字識[J]. 計算機與數(shù)字工程, 2006, 34(10).[3] [M]. 北京: 清華大學出版社。為了指導我們的畢業(yè)論文，她放棄了自己的休息時間，這種無私奉獻的敬業(yè)精神令人欽佩，在此我向老師表示我誠摯的謝意。 　　其次，我要感謝所有任課老師在這四年來給自己的指導和幫助，是他們教會了我專業(yè)知識，教會了我如何學習，教會了我如何做人。模型選擇的標準作為支持向量機及其應用的核心內(nèi)容之一, 有待進一步研究。在固定的核函數(shù)情況下, 模型參數(shù)的調(diào)整與確定又成為支持向量回歸機設計的關鍵一環(huán)。核函數(shù)的選擇是支持向量機理論研究的一個核心問題。目前支持向量機主要應用在金融時間序列預測（如股票預測、期貨預測等）和非線性系統(tǒng)參數(shù)辨識、建模與控制等一些方面。表43高斯徑向基核函數(shù) 徑向基寬度懲罰系數(shù)C不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能 0．1100．012620%0．3100．012617%0．5100．012622%1100．012624%1．2100．012622%1．2100．0052624%結(jié)論：由圖可以看出徑向基寬度對性能的影響并不是簡單的單調(diào)遞增或是遞減。下面對使用幾種常見的核函數(shù)的參數(shù)對回歸性能的影響比較：表41線性核函數(shù)懲罰系數(shù)C不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能 100．012624%100．0052625%10．0052625%0．0052626100%結(jié)論：隨著不敏感系數(shù)的減少(在一定的范圍內(nèi))支持向量的個數(shù)增多，回歸性能下降。同時，預測誤差也將隨懲罰系數(shù)C的增大而下降，但并非單調(diào)，當C增大到一定值后，預測誤差也可能有所上升，這也是過擬合所致。取值過大，其精度降低，推廣性能差。應用SVM訓練時，不敏感系數(shù)的大小控制支持向量個數(shù)的多少，當較小時，參與回歸的支持向量將增多，同時訓練時間也有所增加。 圖415命令窗口顯示結(jié)果 ，支持向量數(shù)24，%。圖413改變參數(shù)后的回歸圖形，回歸性能明顯下降，%，如下圖414所示。圖49選擇多項式核函數(shù)的回歸圖形增大多項式次數(shù)Degree為5，%，如下圖410所示。圖47回歸結(jié)果圖，此時支持向量個數(shù)為22，%，如下圖48所示。圖43 支持向量機回歸模型實驗界面2 手動輸入數(shù)據(jù)，并保存，如下圖44所示。3) Matlab命令窗口 在命令窗口我們將會獲得算法運行時間，支持向量的個數(shù)，回歸性能。數(shù)據(jù)輸入：用戶手動創(chuàng)建數(shù)據(jù)，用鼠標點擊將在坐標軸上產(chǎn)生點集。 (2)編輯框輸入?yún)?shù)值懲罰系數(shù)C，其初始值設定為20，對于該參數(shù)對回歸性能的影響在后面說明。 退出實驗：退出系統(tǒng)。否則，系統(tǒng)將不能正常工作。圖 31 程序框圖 支持向量回歸模型的流程圖 支持向量回歸模型的總流程圖如圖32所示。：一維空間回歸作圖問題。：實現(xiàn)用戶圖形界面模塊(主界面)。 功能模塊的劃分及相關流程圖 主要功能模塊的劃分從總體上說，按照需求分析，可以把要實現(xiàn)的功能劃分為三個主要的功能模塊：1． GUI圖形用戶界面模塊，即系統(tǒng)的主界面。這樣可保證算法的效率。然后外循環(huán)重新在整個數(shù)據(jù)集合上掃描。核函數(shù)對應映射到特征空間的數(shù)據(jù)的內(nèi)積，即：核函數(shù)可以是任意滿足Mercer條件的對稱函數(shù)，因此，估計函數(shù)也可以具有如下形式：因此支持向量的拓撲結(jié)構(gòu)如下圖23所示：圖23支持向量回歸拓撲圖對于，試圖求解如下有約束的二次規(guī)劃問題：這里C是待確定的常數(shù)，是松弛變量，同時首先要先設定的值。這個特點是其他許多損失函數(shù)并不具備的。現(xiàn)介紹回歸估計中最常見的一種損失函數(shù)，它可以保持稀疏性。以此為基礎的算法則通過逐步加強KKT條件，并通過對偶差來進行評估，來逼真最優(yōu)點。2. 對偶差另一種約束最優(yōu)化的方法是從對偶理論入手，利用對偶差和KKT條件來尋找最優(yōu)點。因此，對解決具體問題來說，選擇合適的核函數(shù)使很重要的。張鈴證明了核函數(shù)存在性定理，并提出了尋找核函數(shù)的算法。通過把核函數(shù)引入到一些學習算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機一起稱為基于核函數(shù)的方法。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對應的基于核函數(shù)的非線性形式。在非線性情形，使用核函數(shù)技巧，通過只計算輸入空間的數(shù)量積避免了維數(shù)災難問題。使用非線性映射把數(shù)據(jù)從原空間映射到一個高維特征空間，再在高維特征空間進行線性回歸。此處給一般情形：含有誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式：并且對非0時的損失函數(shù)要求具備凸性?；貧w問題可形式化為：給定一個訓練集合，其元素有某個未知的分布觀測得到(此處的觀測可能夾雜某種噪聲):with 和一個函數(shù)族 基本回歸問題是要找到一個函數(shù)，此函數(shù)風險最小化表達式： 其中，C是損失函數(shù)，它指出和之間的差錯將如何被懲罰，因為未知，不能直接對進行估值，而是要通過計算如下的經(jīng)驗風險： 并通過對R進行限界。其結(jié)果可能導致對原先指定的擬合模型的修改，此后，回復至綜合分析。在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多種估計的方法，但研究的大部分集中在最小二乘法。 支持向量回歸在引入支持向量回歸之前，首先要對回歸問題進行形式化，并因此抽象出學習機的形式化概念。Vapnik和Chervonenkis在1968年又發(fā)現(xiàn)了下面的規(guī)律：VC維對于一個指示函數(shù)集，如果其生長函數(shù)是線形的，則它的VC維為無窮大；而如果生長函數(shù)以參數(shù)為h的對數(shù)函數(shù)為界，則函數(shù)集的VC維是有限的且等于h。VC維數(shù):模式識別方法中VC維的直觀定義是：對一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2h種形式分開，則稱函數(shù)集能夠把h個樣本打散；函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。4 第2章支持向量機回歸原理 第2章 支持向量機回歸原理回歸預測研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行回歸預測。還介紹了VC維數(shù)、結(jié)構(gòu)風險最小化。Matlab創(chuàng)建一個圖形對象時總會給該對象制定一個獨一無二的標識符，這個標識符就稱為句柄。在支持向量回歸算法中包含了大量的數(shù)學模型和復雜的運算公式，所以用Matlab語言進行代碼編寫比較簡單，編程效率比較高。Matlab語言是一種解釋執(zhí)行的語言，與其他語言相比，它把編輯，編譯，連接和執(zhí)行融為一體，提高了程序的運行速度，同時也便于修改和調(diào)試。它為數(shù)據(jù)分析和數(shù)據(jù)可視化、算法和應用程序開發(fā)提供了最核心的數(shù)學和高級圖形工具。圍繞這一字符識別實驗，還提出了一些對SVM的改進，比如引入關于不變性的知識、識別和去除樣本集中的野值、通過樣本集預處理提高識別速度等，MIT用SVM進行的人臉檢測實驗也取得了較好的效果，、人臉識別、三維物體識別、遙感圖像分析等，在函數(shù)回歸估計方面主要用于非線性系統(tǒng)識別問題、時間序列預測、機場游客吞吐量的預測問題及多維自由曲面的重建問題等。另外，一些學者還擴展了支持向量機概念，如Mangasarian（1997）等人的通用支持向量機（GeneralisedSVMs）。雖然支持向量機發(fā)展時間很短，但是由于它的產(chǎn)生是基于統(tǒng)計學習理論的，因此具有堅實的理論基礎。從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領域（生物信息學，文本分類、手寫體識別、人臉檢測等） 都取得了成功的應用，并且在研究過程中，取得了與傳統(tǒng)方法可比或更好的結(jié)果，還