【正文】 點位于兩條虛線之間的帶子里時，則認(rèn)為在該點沒有損失，我們稱兩條虛線構(gòu)成的帶子為帶?，F(xiàn)介紹回歸估計中最常見的一種損失函數(shù)，它可以保持稀疏性。當(dāng)把該方法推廣到回歸問題時，很重要的一點就是希望找到合適的支持向量回歸(SVR)算法，仍然保持這個性質(zhì)。以此為基礎(chǔ)的算法則通過逐步加強KKT條件，并通過對偶差來進行評估，來逼真最優(yōu)點。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個解才相等。2. 對偶差另一種約束最優(yōu)化的方法是從對偶理論入手，利用對偶差和KKT條件來尋找最優(yōu)點。本課題研究的幾種核函數(shù)如下：線性內(nèi)核 多項式內(nèi)核 徑向基函數(shù)內(nèi)核 Bsplines內(nèi)核 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ)1. 尋求方向約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點，這就涉及到尋求最優(yōu)方向的問題。因此，對解決具體問題來說，選擇合適的核函數(shù)使很重要的。進一步研究了支持矢量機的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個特定的核函數(shù)，給定的樣本集中的任意一個樣本都可能成為一個支持向量。張鈴證明了核函數(shù)存在性定理，并提出了尋找核函數(shù)的算法。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)滿足Mercer條件，它就對應(yīng)某一變換空間中的點積。通過把核函數(shù)引入到一些學(xué)習(xí)算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機一起稱為基于核函數(shù)的方法。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進行線性劃分。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對應(yīng)的基于核函數(shù)的非線性形式。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。在非線性情形，使用核函數(shù)技巧，通過只計算輸入空間的數(shù)量積避免了維數(shù)災(zāi)難問題。其關(guān)鍵問題是核函數(shù)的采用。使用非線性映射把數(shù)據(jù)從原空間映射到一個高維特征空間，再在高維特征空間進行線性回歸。其線性支持向量回歸機的結(jié)果是線形的。此處給一般情形：含有誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式：并且對非0時的損失函數(shù)要求具備凸性。 線性支持向量回歸支持向量回歸建立在統(tǒng)計學(xué)學(xué)習(xí)理論的基礎(chǔ)之上，并維持以上提出的學(xué)習(xí)機的模型但采取完全不同的策略?；貧w問題可形式化為：給定一個訓(xùn)練集合，其元素有某個未知的分布觀測得到(此處的觀測可能夾雜某種噪聲):with 和一個函數(shù)族 基本回歸問題是要找到一個函數(shù)，此函數(shù)風(fēng)險最小化表達式： 其中，C是損失函數(shù)，它指出和之間的差錯將如何被懲罰，因為未知，不能直接對進行估值，而是要通過計算如下的經(jīng)驗風(fēng)險： 并通過對R進行限界。如參數(shù)估計與假設(shè)檢驗等一些知識。其結(jié)果可能導(dǎo)致對原先指定的擬合模型的修改，此后，回復(fù)至綜合分析。接著同樣重要的一個階段是案例分析。在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多種估計的方法，但研究的大部分集中在最小二乘法。對于非線形情形，同支持向量機識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間(Hilbert空間)的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。 支持向量回歸在引入支持向量回歸之前，首先要對回歸問題進行形式化，并因此抽象出學(xué)習(xí)機的形式化概念。所以，學(xué)習(xí)機器所實現(xiàn)的指示函數(shù)集的VC維有限就是ERM方法一致性的一個充分必要條件，這一條件不依賴于概率測度。Vapnik和Chervonenkis在1968年又發(fā)現(xiàn)了下面的規(guī)律：VC維對于一個指示函數(shù)集，如果其生長函數(shù)是線形的，則它的VC維為無窮大；而如果生長函數(shù)以參數(shù)為h的對數(shù)函數(shù)為界，則函數(shù)集的VC維是有限的且等于h。有界實函數(shù)的VC維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。VC維數(shù):模式識別方法中VC維的直觀定義是：對一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2h種形式分開，則稱函數(shù)集能夠把h個樣本打散；函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。 支持向量機支持向量機是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中有許多特有的優(yōu)勢，并能推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中[。4 第2章支持向量機回歸原理 第2章 支持向量機回歸原理回歸預(yù)測研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行回歸預(yù)測。第4章介紹支持向量回歸模型的實現(xiàn)，及結(jié)果分析。還介紹了VC維數(shù)、結(jié)構(gòu)風(fēng)險最小化。本論文主要針對回歸型SVM在算法性能和推廣能力兩方面進行一些探討，全文共分5章，安排如下：第1章主要研究SVM研究背景和國內(nèi)外研究現(xiàn)狀，介紹了課題研究背景以及可以研究所用的開發(fā)工具。Matlab創(chuàng)建一個圖形對象時總會給該對象制定一個獨一無二的標(biāo)識符，這個標(biāo)識符就稱為句柄。Matlab有一系列繪圖函數(shù)命令，功能強大，使用方便。在支持向量回歸算法中包含了大量的數(shù)學(xué)模型和復(fù)雜的運算公式，所以用Matlab語言進行代碼編寫比較簡單，編程效率比較高。并且Matlab語言還像其他語言一樣規(guī)定了矩陣的算術(shù)運算符，關(guān)系運算符，邏輯運算符，條件運算符及賦值運算符。Matlab語言是一種解釋執(zhí)行的語言，與其他語言相比，它把編輯，編譯，連接和執(zhí)行融為一體，提高了程序的運行速度，同時也便于修改和調(diào)試。本課題研究用MATLAB程序編寫回歸算法和GUI組件編寫用戶界面來實現(xiàn)支持向量回歸模型的設(shè)計。它為數(shù)據(jù)分析和數(shù)據(jù)可視化、算法和應(yīng)用程序開發(fā)提供了最核心的數(shù)學(xué)和高級圖形工具。從而熟悉了MATLAB編程、GUI組件編寫用戶界面以及回歸算法的程序?qū)崿F(xiàn)，同時也了解了支持向量回歸算法在實際問題預(yù)測模型中的應(yīng)用。圍繞這一字符識別實驗，還提出了一些對SVM的改進，比如引入關(guān)于不變性的知識、識別和去除樣本集中的野值、通過樣本集預(yù)處理提高識別速度等，MIT用SVM進行的人臉檢測實驗也取得了較好的效果，、人臉識別、三維物體識別、遙感圖像分析等，在函數(shù)回歸估計方面主要用于非線性系統(tǒng)識別問題、時間序列預(yù)測、機場游客吞吐量的預(yù)測問題及多維自由曲面的重建問題等。說明了SVM方法較傳統(tǒng)方法有明顯的優(yōu)勢, 同時也得到了不同的SVM 方法可以得到性能相近的結(jié)果。另外，一些學(xué)者還擴展了支持向量機概念，如Mangasarian（1997）等人的通用支持向量機（GeneralisedSVMs）。如Anthony et al.(1999）等人給出了關(guān)于硬鄰域支持向量機學(xué)習(xí)誤差的嚴(yán)格理論界限，ShaweTaylor（2000）和Cristianini （2000）也給出了類似的關(guān)于軟鄰域支持向量機和回歸情況下的誤差界限；Weston et al.（1998）和Vapnik（1995，1998）等研究了支持向量機的泛化性能及其在多值分類和回歸問題的擴展問題；Smola（1998）和Schoelkopf（1999）提出了支持向量機一般意義下的損失函數(shù)數(shù)學(xué)描述；脊回歸是由Tikhonov 提出的一種具有特殊形式的正則化網(wǎng)絡(luò)，Girosi（1990）、Poggio（1975）等將其應(yīng)用到正則化網(wǎng)絡(luò)的學(xué)習(xí)中， Smola et al.（1999）研究了狀態(tài)空間中脊回歸的應(yīng)用，Girosi（1990）、Smola（1998）、Schoelkopf（1999）等討論了正則化網(wǎng)絡(luò)和支持向量機的關(guān)系。雖然支持向量機發(fā)展時間很短，但是由于它的產(chǎn)生是基于統(tǒng)計學(xué)習(xí)理論的，因此具有堅實的理論基礎(chǔ)。本課題就是研究它在回歸估計中的應(yīng)用。從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本分類、手寫體識別、人臉檢測等） 都取得了成功的應(yīng)用，并且在研究過程中，取得了與傳統(tǒng)方法可比或更好的結(jié)果，還豐富了自身的內(nèi)容（如快速訓(xùn)練算法等），從而更加推動了它在其他模式識別領(lǐng)域的應(yīng)用。　　統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的，有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等）；同時，在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法——支持向量機（Support Vector Machine或SVM），它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。 課題研究背景基于支持向量的學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測數(shù)據(jù)（樣本）出發(fā)尋找規(guī)律，、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方