【正文】 過解二次規(guī)劃的優(yōu)化問題來最小化正則化風(fēng)險(xiǎn)泛函。這個(gè)特點(diǎn)是其他許多損失函數(shù)并不具備的。 圖 21 損失函數(shù)圖象 如果 )(xf 為單變量線性函數(shù) ? ? bxxf ??? ?)( , 當(dāng)樣本點(diǎn)位于兩條 虛線之間的帶子里時(shí)，則認(rèn)為在該點(diǎn)沒有損失，我們稱兩條虛線構(gòu)成的帶子為 ?? 帶。現(xiàn)介紹回歸估計(jì)中最常見的一種損失函數(shù)，它可以保持稀疏性。當(dāng)把該方法推廣到回歸問題時(shí)，很重要的一點(diǎn)就是希望找到合適的支持向量回歸 (SVR)算法，仍然保持這個(gè)性質(zhì)。以此為基礎(chǔ)的算法則通過逐步加強(qiáng) KKT 條件，并通過對偶差來進(jìn)行評估，來逼真最優(yōu)點(diǎn)。當(dāng)且僅當(dāng)在最優(yōu)化解處這兩個(gè)解才相等。 2. 對偶差 另一種約束最優(yōu)化的方法是從對偶理論入手，利用對偶差和 KKT 條件來尋找最優(yōu)點(diǎn)。本課題研究的幾種核函數(shù)如下： 線性內(nèi)核 jiji xxxxK ??),( 多項(xiàng)式內(nèi)核 qjiji xxxxK ]1),[(),( ?? 徑向基函數(shù)內(nèi)核 ?????????? ???22e xp),( ? jiji xxxxK Bsplines 內(nèi) 核 )(),( 12 jinji xxBxxK ?? ? 支持向量回歸算法 支持向量回歸的算法的基礎(chǔ) 1. 尋求方向 約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點(diǎn)，這就涉及到尋求最優(yōu)方向的問題。因此，對解決具體問題來說，選擇合適的核函數(shù)使很重要的。 進(jìn)一步研究了支 持矢量機(jī)的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個(gè)特定的核函數(shù)，給定的樣本集中的任意一個(gè)樣本都可能成為一個(gè)支持向量。張鈴證明了核函數(shù)存在性定理，并提出了尋找核函數(shù)的算法。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù) ),( ixxK 滿足 Mercer條件，它就對應(yīng)某一變換空間中的點(diǎn)積。通過把核函數(shù)引入到一些學(xué)習(xí)算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機(jī)一起稱為基于核函數(shù)的方法。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進(jìn)行線性劃分。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對應(yīng)的基于核函數(shù)的非線性形式。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。在非線性情形，使用核函數(shù)技巧，通過只計(jì)算輸入空間的數(shù)量積避免了維數(shù)災(zāi)難問題。其關(guān)鍵問題是核函數(shù) ),( yxk 的采用。使用 非線性映射 ? 把數(shù)據(jù)從原空間 nR 映射到一個(gè)高維特征空間 ? ，再在高維特征空間 ?進(jìn)行線性回歸。其線性支持向量回歸機(jī)的結(jié)果是線形的。此處給一般情形：含有 ? 誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式： ??? ?? ??? o th e r w is exfyc xfyf o rxfyxc ))(( )(0))(,( ? ? 并且對非 0時(shí)的損失函數(shù)要求具備凸性。 線性支持向量回歸 支持向量回歸建立在統(tǒng)計(jì)學(xué)學(xué)習(xí)理論的基礎(chǔ)之上 ，并維持以上提出的學(xué)習(xí)機(jī)的模型但采取完全不同的策略?；貧w問題可形式化為： 給定一個(gè)訓(xùn)練集合，其元素有某個(gè)未知的分布 ),( yxP 觀測得到 (此處的觀測可能夾雜某種 噪 聲 ): ? ? ? ? ? ?? ?ii yxyxyxX , 2211 ?? with RyRx ini ?? , 和一個(gè)函數(shù)族 ? ?RRffF n ?? :| 基本回歸問題是要找到一個(gè)函數(shù) Ff? ， 此函數(shù) 風(fēng)險(xiǎn)最小化 表達(dá)式 ： ? ?? ),()),((][ yxdpxxfycfR 其中， C 是損失函數(shù)，它指出 y 和 )(xf 之間的差錯(cuò)將如何被懲罰，因?yàn)?),( yxP 未知， 不能直接對 ][fR 進(jìn)行估值，而是要通過計(jì)算如下的經(jīng)驗(yàn)風(fēng)險(xiǎn)： ?? ??lie mp xxfyclR 1 )),((1 并通過 genemp RR ? 對 R 進(jìn)行限界。如參數(shù)估計(jì)與假設(shè)檢驗(yàn)等一些知識。其結(jié)果可能導(dǎo)致對原先指定的擬合模型的修改，此后，回復(fù)至綜合分析。接著同樣重要的一個(gè)階段是案例分析。 在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多種估計(jì)的方法，但研究的大部分集中在最小二 第 2 章支持向量機(jī)回歸原理 6 乘法。對于非線形情形，同支持向量機(jī)識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間 (Hilbert 空間 )的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解。 支持向量回歸 在引入支持向量回歸之前，首先要對回歸問題進(jìn)行形式化，并因此抽象出學(xué)習(xí)機(jī)的形式化概念。所以，學(xué)習(xí)機(jī)器所實(shí)現(xiàn)的指示函數(shù)集的 VC 維有限就是 ERM 方法一致性的一個(gè)充分必要條件，這一條件不依賴于概率測度。 Vapnik 和 Chervonenkis 在 1968 年又發(fā)現(xiàn)了下面的規(guī)律： VC 維對于 一個(gè)指示函數(shù)集，如果其生長函數(shù)是線形的，則它的 VC 維為無窮大；而如果生長函數(shù)以參數(shù)為 h 的對數(shù)函數(shù)為界，則函數(shù)集的 VC 維是有限的且等于 h。有界實(shí)函數(shù)的 VC 維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。 VC 維數(shù) :模式識別方法中 VC 維的直觀定義是：對一個(gè)指示函 數(shù)集，如果存在 h 個(gè)樣本能夠被函數(shù)集中的函數(shù)按所有可能的 2h 種形式分開，則稱函數(shù)集能夠把 h 個(gè)樣本打散；函數(shù)集的 VC 維就是它能打散的最大樣本數(shù)目 h。 支持向量機(jī) 支持向量機(jī)是 Cortes 和 Vapnik 于 1995 年首先提出的，它在解決小樣本、非線性及高維模式識別中有許多特有的優(yōu)勢，并能推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中 [。 第 2 章支持向量機(jī)回歸原理 5 第 2 章 支持向量機(jī)回歸原理 回歸預(yù)測研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行回歸預(yù)測。 第 4章介紹 支持向量回歸模型的實(shí)現(xiàn) ，及結(jié)果分析。還介紹了 VC 維數(shù)、結(jié)構(gòu)風(fēng)險(xiǎn)最小化 。 論文組織結(jié)構(gòu) 本論文主要針對回歸型 SVM 在算法性能和推廣能力兩方面進(jìn)行一些探討，全 文共分 5 章 ，安排如下： 第 1 章主要研究 SVM 研究背景和國內(nèi)外研究現(xiàn)狀， 介紹了課題研究背景以及可以研究所用的開發(fā)工具。 Matlab 創(chuàng)建一個(gè)圖形對象時(shí)總會給該對象制定一個(gè)獨(dú)一無二的標(biāo)識符，這個(gè)標(biāo)識符就稱為句柄。 Matlab 有一系列繪圖函數(shù)命令，功能強(qiáng)大，使用方便。在支持向量回歸算法中包含了大量的數(shù)學(xué)模型和復(fù)雜的運(yùn)算公式，所以用 Matlab 語言進(jìn)行代碼編寫比較簡單，編程效率比較高。并且Matlab 語言還像其他語言一樣規(guī)定了矩陣的算術(shù)運(yùn)算符，關(guān)系運(yùn)算符，邏輯運(yùn)算符，條件運(yùn)算符及賦值運(yùn)算符。 Matlab 語言是一種解釋執(zhí)行的語言，與其他語言相比，它把編輯，編譯，連接和執(zhí)行融為一體，提高了程序的運(yùn)行速度，同時(shí)也便于修改和調(diào)試。本課題研究 用MATLAB 程序編寫回歸算法和 GUI 組件編寫用戶界面來實(shí)現(xiàn)支持向量回歸模型的設(shè)計(jì)。它為數(shù)據(jù)分析和數(shù)據(jù)可視化、算法和應(yīng)用程序開發(fā)提供了最核心的數(shù)學(xué)和高級圖形工具。從而熟悉了 MATLAB 編程、 GUI 組件編寫用戶界面以及回歸算法的程序?qū)崿F(xiàn)，同時(shí)也了解了支持向量回歸算法在實(shí)際問題預(yù)測模型中的應(yīng)用。圍繞這一字符識別實(shí)驗(yàn)，還提出了一些對 SVM 的改進(jìn)，比如引入關(guān)于不變性的知識、識別和去除樣本集中的野值、通過樣本集預(yù)處理提高識別速度等，相關(guān)的應(yīng)用還包括 SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進(jìn)行在線適應(yīng) .除此之外， MIT 用 SVM 進(jìn)行的人臉檢測實(shí)驗(yàn)也取得了 較好的效果，可以較好地學(xué)會在圖像中找出可能的人臉位置 .其它有報(bào)道的實(shí)驗(yàn)領(lǐng)域還包括文本識別、人臉識別、三維物體識別、遙感圖像分析等，在函數(shù)回歸估計(jì)方面主要用于非線性系統(tǒng)識別問題、時(shí)間序列預(yù)測、機(jī)場游客吞吐量的預(yù)測問題及多維自由曲面的重建問題等。說明了 SVM 方法較傳統(tǒng)方法有明顯的優(yōu)勢 , 同時(shí)也得到了不同的 SVM 方 法可以得到性能相近的結(jié)果。另外，一些學(xué)者還擴(kuò)展了支持向量機(jī)概念，如 Mangasarian（ 1997）等人的通用支持向量機(jī)（ GeneralisedSVMs）。如 Anthony et 第 1 章 緒論 2 al.(1999）等人給出了關(guān)于硬鄰域支持向量機(jī)學(xué)習(xí)誤差的嚴(yán)格理論界限， ShaweTaylor（ 2020）和 Cristianini （ 2020）也給出了類似的關(guān)于軟鄰域支持向量機(jī)和回歸情況下的誤差界限； Weston et al.（ 1998）和 Vapnik（ 1995， 1998）等研究了支持向量機(jī)的泛化性能及其在多值分類和回歸問題的擴(kuò)展問題； Smola（ 1998）和 Schoelkopf（ 1999）提出了支持向量機(jī)一般意義下的損失函數(shù)數(shù)學(xué)描述；脊回歸是由 Tikhonov 提出的一種具有特殊形式的正則化網(wǎng)絡(luò)， Girosi（ 1990）、 Poggio（ 1975）等將其應(yīng)用到正則化網(wǎng)絡(luò)的學(xué)習(xí)中， Smola et al.（ 1999）研究了狀態(tài)空間中脊回歸的應(yīng)用， Girosi（ 1990）、 Smola（ 1998）、 Schoelkopf（ 1999）等討論了正則化網(wǎng)絡(luò)和支持向量機(jī)的關(guān)系。雖然支持向量機(jī)發(fā)展時(shí)間很短，但是由于它的產(chǎn)生是基于統(tǒng)計(jì)學(xué)習(xí)理論的，因此具有堅(jiān)實(shí)的理論基礎(chǔ)。本課題就是研究它在回歸估計(jì)中的應(yīng)用。從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本分類、手寫體識別、人臉檢測等） 都取得了成功的應(yīng)用，并且在研究過程中，取得了與傳統(tǒng)方法可比或更好的結(jié)果，還豐富了自身的內(nèi)容（如快速訓(xùn)練算法等），從而更加推動(dòng)了它在其他模式識別領(lǐng)域的應(yīng)用。 統(tǒng)計(jì)學(xué)習(xí)理論是建立在一套較堅(jiān)實(shí)的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了一個(gè)統(tǒng)一的框架 .它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點(diǎn)問題等）；同時(shí)，在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法 —— 支持向量機(jī)（ Support Vector Machine 或 SVM），它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。 課題研究背景 基于支持向量的學(xué)習(xí)是現(xiàn)代 智能技術(shù)中的重要方面，研究從觀測數(shù)據(jù)（樣本）出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測 .包括模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有支持向量機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué) .傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無窮大時(shí)的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè) .但在實(shí)際問題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)卻可能不盡人意 。 SVM 已經(jīng)成為目前國內(nèi)外研究的熱點(diǎn)。支持向量機(jī)（ SVM ）是一種比較好的實(shí)現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化思想的方法。 Kernel Function。 線性判別 ABSTRACT Support vector machine (SVM) is a new method of study based on stati