【導(dǎo)讀】意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力的一種算法。廠再熱系統(tǒng)的汽溫進(jìn)行預(yù)測(cè)。推廣應(yīng)用到函數(shù)擬合建模等其他機(jī)器學(xué)習(xí)問題中。

　　

【正文】 過最大分類間隔獲得最好的推廣性能。當(dāng)最優(yōu)分類平面不能把兩類點(diǎn)完全分開時(shí)，希望在經(jīng)驗(yàn)風(fēng)險(xiǎn)和推廣性能之間求取某種平衡，則可 以通過引入松弛因子 ? ，允許錯(cuò)分樣本的存在，此時(shí)分類平面 0w x b? ? ? 滿足 [4]： ? ? 1 , 1 , ,i i iy w x b i l?? ? ? ? ????? （ ） 該式考慮了最小化錯(cuò)分樣本數(shù)和最優(yōu)推廣能力，目標(biāo)函數(shù)改為 [4]： 21|| ||( w , ) = + C2 l iiw? ? ??? （ ） 式中， C 是一個(gè)正數(shù)，稱為懲罰因子，式（ ）可通過如下的二次規(guī)劃來實(shí)現(xiàn) [4]： 1 1 111m a x ( )2. . 0: 0 , 1 , 2 , ...,l l lj i j i j i jj i jliiiiy y x xs t yi C i l?? ? ???? ? ???????????? ? ? ? ???? ? ?? （ ） 支持向量機(jī)的原理是基于線性劃分的。但是可以想象，并非所有數(shù)據(jù)都可以線性劃分。如二維空間中的兩個(gè)類別的點(diǎn)可能需要一條曲線來劃分它們的邊界。支持向量機(jī)的原理是將低維空間中的點(diǎn)映射到高維空間中，使它們成為線性可分的，再使用線性劃分的原理來判斷分類邊界 [2]。在高維空間中，它是一種線性劃分，而在原有的數(shù)據(jù)空 間中，它是一種非線性劃分。但是討論支持向量機(jī)的算法時(shí)，并不是討論如何定義低維到高維空間的映射算法（該算法隱含在其“核函數(shù)”如圖 23 中），而是從最優(yōu)化問題（尋找某個(gè)目標(biāo)的最優(yōu)解）的角度來考慮的 [4]。 低維數(shù)據(jù)空間 高維數(shù)據(jù)空間 圖 23 SVM基本思路示意圖 因而線性不可分問題映射到高維空間變成線性可分問題，因而無論是尋找目標(biāo)函數(shù)，還是尋找最優(yōu)分類面，都只涉及到點(diǎn)積的運(yùn)算 iixy? 。 而我們只用關(guān)注優(yōu)化問題而不用考慮對(duì)應(yīng)關(guān)系。 因此目標(biāo)函數(shù)變?yōu)椋? 華東交通大學(xué)畢業(yè)設(shè)計(jì) 第 21 頁(yè) 共 63 頁(yè) 1 1 11( ) ( )2l l lj i j i j i jj i jQ y y K x x? ? ? ?? ? ?? ? ?? ? ? （ ） 分類函數(shù)也變?yōu)椋? ? ?**1s g n ,l i i iiy y K x x b??????????? （ ） 所以 SVM 分類函數(shù)可以類似于一個(gè)神經(jīng)網(wǎng)絡(luò)，輸出的每一個(gè)線性組合的每一個(gè)中間節(jié)點(diǎn)都對(duì)應(yīng)一個(gè)支持向量機(jī)，如下圖 24 所示。 y *11y? *22y? *ssy? 圖 24 SVM基本 分類 示意圖 由于最終的判別函數(shù)中實(shí)際只包含未知向量與支持向量?jī)?nèi)積的線性組合，因此， 在模式 識(shí)別時(shí) 要 計(jì) 算特征函數(shù)的 復(fù)雜度取決于支持向量的個(gè)數(shù)。概括的說，支持向量就是首先通過用內(nèi)積函數(shù)定義的非線性變化將輸入空間變換到一個(gè)高維空間， 然后在這個(gè)空間中求廣義的最優(yōu)分類面 [4]。 核函數(shù) 根據(jù)模式識(shí)別理論，低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實(shí)現(xiàn)線性可分，但是如果直接采用這種技術(shù)在高維空間進(jìn)行分類或回歸，則存在確定非線性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問題 [8]。而最大的障礙則是在高維特征空間運(yùn)算時(shí)如 （ ） 存在的“維數(shù)災(zāi)難”，而這種問題最有效的解決辦法是運(yùn)用核函數(shù)技術(shù)。核函數(shù)將 m 維高維空間的內(nèi)積運(yùn)算轉(zhuǎn)化為 n 維低維輸入空間的核函數(shù)計(jì)算，從而巧妙地解決了在高維特征空間中計(jì)算的“維數(shù)災(zāi)難”等問題，從而 為在高維特征空間解決復(fù)雜的分類或回歸問題奠定了理論基礎(chǔ) [2]。 ? ? ? ?11m a x ( ) ( )2. . 0l l li i j i j i ji i jliiiW y y x xs t y? ? ? ? ? ???? ? ? ????? ???? ? ?? （ ） 核函數(shù)是這樣定義的：對(duì)所有訓(xùn)練樣本而言，而 Yz? ， XR? ，若函數(shù) K 滿足： ? ?**1s g n ,l i i iiy y K x x b??????????? ? ?1,Kx x ? ?2,K x x ? ?,sK x x 1x nx 2x 學(xué)生姓名：蔣淑潔 畢業(yè)論文題目： 支持向量機(jī)在發(fā)電廠鍋爐建模中的應(yīng)用 第 22 頁(yè) 共 63 頁(yè) ? ? ? ?( , ) ijk x y x x??? ，則稱函數(shù) K 是核函數(shù)。其中是 ( , )kxy 從輸入空間 x 到內(nèi)積特征空間的映射， (． )表示內(nèi)積。單從核 函數(shù)的定義，我們并不能很容易的選擇和確定核函數(shù)，但可以通過 Mercer 定理從理論上去確定核函數(shù)并了解其特性，事實(shí)上任何一個(gè)函數(shù)只要滿足 Mercer 條件，就可用得到原輸入空間中對(duì)應(yīng)的非線性算法。 目前研究最多的核函數(shù)主要有三類： ① 多項(xiàng)式核函數(shù) ? ?( , ) ( ) 1qiik x x x x? ? ? ② 徑向基函數(shù) 22|| ||( , ) e x p ii xxk x x p??????????? ③ Sigmoid 核函數(shù) ? ?( , ) ( , )iik x x S v x x c?? 其中由于徑向基核函數(shù)對(duì)應(yīng)的特征空間是無窮維的，有限的樣本在該特征空間中肯定是線性可分的，因此徑向基核是最普遍使用的核函數(shù)。 支持向量機(jī)的經(jīng)典 分類 問題 （ 1）線性可分的二分類問題 [4] 線性可分的二分類問題是指： 訓(xùn)練樣本 可以用一條直線（如果數(shù)據(jù)只有二維）或一個(gè)超平面劃分開。用一個(gè)多維空間中的超平面將數(shù)據(jù)分隔為兩個(gè)類有三種基本方法： ① 平方最近點(diǎn)法：用兩類點(diǎn)中最近的兩點(diǎn)連線的平分線作 為分類線（面） ； ② 最大間隔法：求分類面，使分類邊界的間隔最大。分類邊界是值從分類面分別向兩個(gè)類的點(diǎn)平移，直到遇到第一個(gè)數(shù)據(jù)點(diǎn)。兩個(gè)類的分類邊界的距離就是分類間隔。 分類平面表示為： ( ) 0w x b? ? ? 。注意， x 是多維向量。分類間隔的倒數(shù)為： 212w 。所以該最優(yōu)化問題表達(dá)為： 2, 1m in ,2. . ( ( ) ) 1 ) 1 , 1 , ,wbiiws t y w x b i l????? ? ? ? ?? （ ） 其中的約束是指：要求各數(shù)據(jù)點(diǎn) ( , )iixy 到分類面的距離大于等于 1。其中， iy 為數(shù)據(jù)的分類。 ③ 線性支持向量分類機(jī)： 分類面 ( ) 0w x b? ? ? 要求， 華東交通大學(xué)畢業(yè)設(shè)計(jì) 第 23 頁(yè) 共 63 頁(yè) 1 1 111m in ( ) ,2. . 0: 0 , 1 , 2 , .. .,l l li j i j i j ji j jliiiiy y x xs t yi C i l?? ? ???? ? ???????????? ? ? ? ???? ? ?? （ ） 據(jù)此求出 *? （最優(yōu)解，算法另述）后： **1li i iiw y a x???， *1 ()lj i i i jib y y x x??? ? ?? （ ） 說明：線性支持向量機(jī)是基于最大間隔法的 ， 該問題是一個(gè)二次規(guī)劃問題，使用拉格朗日函數(shù)合并優(yōu)化問題和約束，再使用對(duì)偶理論得到上述的分類優(yōu)化問題。 （ 2）線性不可分問題 [4] ① 線性軟間隔分類機(jī) 基本思路：由于樣本線性不可分，原來對(duì)間隔的要求不能達(dá)到。引入松弛變量 i? ，使約束條件弱化為： ( ( ) ) 1 ) 1i i iy w x b ?? ? ? ? ? （ ） 但是，我們?nèi)匀幌Ｍ撍沙谧兞?i? 最小化（如果 0i?? ，則就是原線性硬間隔分類機(jī)）。于是，在優(yōu)化目標(biāo)函數(shù)中使用懲罰參數(shù) C 來引入對(duì) i? 最小化的目標(biāo)。這樣，該分類機(jī)的模型為： 分類面 ( ) 0w x b? ? ? 要求： 2, 11m i n ,2. . (( ) ) 1 ) 1 , 1 , ,liwbii i iwCs t y w x b i l???? ???? ? ? ? ? ? ??? （ ） 以此為原問題，其對(duì)偶問 題為： 學(xué)生姓名：蔣淑潔 畢業(yè)論文題目： 支持向量機(jī)在發(fā)電廠鍋爐建模中的應(yīng)用 第 24 頁(yè) 共 63 頁(yè) 1 1 11* * *111m i n ( ) ,2. . 0: 0 , 1 , 2 , ..., ( )l l li j i j i j ji j jliiiilli i i j i i i jiiy y x xs t yi C i lw y a x b y y x x?? ? ????? ? ?????????????? ? ? ? ???? ? ? ?? ? ???? （ ） 通過對(duì)偶理論的條件極值計(jì)算方法減少系統(tǒng)參數(shù)，若系統(tǒng)的方程參數(shù) *1li i ii ya x??的矩陣形式其未知數(shù)為 i 個(gè)，運(yùn)用上述方法系統(tǒng)的方程參數(shù)減少為 *w 時(shí)，使系統(tǒng)方程參數(shù)大大減少。 ② 非線性硬間隔分類機(jī) [4] 基本思路是：可以將低維空間中的曲線（曲面）映射為高維空間中的直線或平面。數(shù)據(jù)經(jīng)這種 映射后，在高維空間中是線性可分的。設(shè)映射為： ()xx??? ，則高維空間中的線性支持向量機(jī)模型為 ： 分類面 ( ) 0w x b? ? ? 要求： 1 1 111m i n ( ( ) ( ) ) ,2. . 0: 0 , 1 , 2 , ...,l l li j i j i j ji j jliiiiy y x xs t yi C i l?? ? ? ? ???? ? ???????????? ? ? ? ???? ? ?? （ ） 需要注意的是，由于數(shù)據(jù)被映射到高維空間， ( ) ( )ijxx??? 的計(jì)算量比 ijxx? 大得多。此時(shí)引入了所謂核函數(shù)： ( , ) ( ) ( )i j i jK x x x x???? （ ） 由上式可見，核函數(shù)的作用是，在將 x 映射到高維空間的同時(shí)，也計(jì)算了兩個(gè)數(shù)據(jù)的在高維空間的內(nèi)積，使計(jì)算量回歸到 ijxx? 的量級(jí)。 ③ 非線性軟間隔分類機(jī)（ C支持向量分類機(jī)） 華東交通大學(xué)畢業(yè)設(shè)計(jì) 第 25 頁(yè) 共 63 頁(yè) 非線性硬間隔分類機(jī)雖然將訓(xùn)練數(shù)據(jù)映射到高維空間中，但核函數(shù)的選擇只有幾種，它們并不能保證在任何情況下都可以將訓(xùn)練數(shù)據(jù)映射到足夠高的維度，以使它們成為線性可分的。因此，有理由在此基礎(chǔ)上引入線性軟間隔分類機(jī)中的松弛變量。 這樣，原問 題為： 映射： 11{( , ) , ( , ) }llT x y x y? 其中： ()iixx?? 分類面： ( ) 0w x b? ? ? 2, 11m i n ,2. . (( ) ) 1 ) 1 , 1 , ,liwbii i iwCs t y w x b i l???? ???? ? ? ? ? ? ??? （ ） 其對(duì)偶問題為： 1 1 111m i n ( , ) ,2. . 0: 0 , 1 , 2 , .. .,l l li j i j i j ji j jliiiiy y K x xs t yi C i l?? ? ???? ? ??????????? ? ? ? ???? ? ?? （ ） ? ?**1**,( ) s g n ( , )lj i i i