【正文】 實(shí)驗(yàn)總結(jié)：通過本次試驗(yàn)，初步學(xué)會(huì)了SVM在matlab中的應(yīng)用。試驗(yàn)步驟：把數(shù)據(jù)分為2部分，訓(xùn)練數(shù)據(jù)每類40個(gè)，測(cè)試數(shù)據(jù)每類10個(gè)。原因是svm在訓(xùn)練的過程中采用的是默認(rèn)參數(shù)，實(shí)際上我們應(yīng)該對(duì)這些參數(shù)進(jìn)行尋有，或者采用暴力查找。試驗(yàn)說明：訓(xùn)練數(shù)據(jù)樣本數(shù)為1600個(gè)，即每個(gè)格子中隨機(jī)產(chǎn)生100個(gè)數(shù)據(jù)點(diǎn)，分為2類，2種顏色分布在16個(gè)格子中，相交分布。與多層感知器、徑向基函數(shù)網(wǎng)絡(luò)等方法比較，LSSVM的識(shí)別率最高，％?；谄つw顏色模型進(jìn)行手勢(shì)分割，并用傅立葉描述子描述輪廓，采用最小二乘支持向量機(jī)(LSSVM)作為分類器。任何網(wǎng)頁(yè)可以通過比較其與聚類中心的距離決定采用無監(jiān)督聚類方法或SVM分類器進(jìn)行分類。劉學(xué)軍等提出利用SVM進(jìn)行鍵入特性的驗(yàn)真，并通過實(shí)驗(yàn)將其與BP、RBF、PNN和LVQ 4種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比。陳光英等設(shè)計(jì)并實(shí)現(xiàn)了一種基于SVM分類機(jī)的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)。目前3D虛擬物體圖像應(yīng)用越來越廣泛，肖俊等提出了一種基于SVM對(duì)相似3D物體識(shí)別與檢索的算法。實(shí)驗(yàn)表明該方法取得了良好的效果。(2)視頻字幕提取。另外，在手寫漢字識(shí)別方面，高學(xué)等提出了一種基于SVM的手寫漢字的識(shí)別方法，表明了SVM對(duì)手寫漢字識(shí)別的有效性。實(shí)驗(yàn)表明HMM和SVM的結(jié)合達(dá)到了很好的效果。為此，忻棟等引入隱式馬爾可夫模型HMM，建立了SVM和HMM的混合模型。凌旭峰等及張燕昆等分別提出基于PCA與SVM相結(jié)合的人臉識(shí)別算法，充分利用了PCA在特征提取方面的有效性以及SVM在處理小樣本問題和泛化能力強(qiáng)等方面的優(yōu)勢(shì)，通過SVM與最近鄰距離分類器相結(jié)合，使得所提出的算法具有比傳統(tǒng)最近鄰分類器和BP網(wǎng)絡(luò)分類器更高的識(shí)別率。葉航軍等提出了利用支持向量機(jī)方法進(jìn)行人臉姿態(tài)的判定，將人臉姿態(tài)劃分成6個(gè)類別，從一個(gè)多姿態(tài)人臉庫(kù)中手工標(biāo)定訓(xùn)練樣本集和測(cè)試樣本集，訓(xùn)練基于支持向量機(jī)姿態(tài)分類器，％。由于SVM的訓(xùn)練需要大量的存儲(chǔ)空間，并且非線性SVM分類器需要較多的支持向量，速度很慢。第三章 支持向量機(jī)的應(yīng)用研究現(xiàn)狀 應(yīng)用概述SVM方法在理論上具有突出的優(yōu)勢(shì)，貝爾實(shí)驗(yàn)室率先對(duì)美國(guó)郵政手寫數(shù)字庫(kù)識(shí)別研究方面應(yīng)用了SVM方法，取得了較大的成功。在上述幾種常用的核函數(shù)中，最為常用的是多項(xiàng)式核函數(shù)和徑向基核函數(shù)。(2)徑向基函數(shù)(RBF) (215)所得的SVM是一種徑向基分類器，它與傳統(tǒng)徑向基函數(shù)方法的基本區(qū)別是，這里每一個(gè)基函數(shù)的中心對(duì)應(yīng)于一個(gè)支持向量，它們以及輸出權(quán)值都是由算法自動(dòng)確定的。概括地說SVM就是通過某種事先選擇的非線性映射將輸入向量映射到一個(gè)高維特征空間，在這個(gè)特征空間中構(gòu)造最優(yōu)分類超平面。因此，如果能夠找到一個(gè)函數(shù)K使得 (211)這樣在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算，而這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí)現(xiàn)的，我們甚至沒有必要知道變換中的形式。求解這一優(yōu)化問題的方法與求解最優(yōu)分類面時(shí)的方法相同，都是轉(zhuǎn)化為一個(gè)二次函數(shù)極值問題，其結(jié)果與可分情況下得到的(12)到(15)幾乎完全相同，但是條件(12b)變?yōu)椋? (210) SVM的非線性映射對(duì)于非線性問題，可以通過非線性交換轉(zhuǎn)化為某個(gè)高維空間中的線性問題，在變換空間求最優(yōu)分類超平面。從前面的分析可以看出，最優(yōu)分類面是在線性可分的前提下討論的，在線性不可分的情況下，就是某些訓(xùn)練樣本不能滿足式(21)的條件，因此可以在條件中增加一個(gè)松弛項(xiàng)參數(shù)，變成： (26)對(duì)于足夠小的s0，只要使 (27)最小就可以使錯(cuò)分樣本數(shù)最小。根據(jù)k252。將判別函數(shù)進(jìn)行歸一化，使兩類所有樣本都滿足，也就是使離分類面最近的樣本的，此時(shí)分類間隔等于，因此使間隔最大等價(jià)于使 (或)最小。推廣到高維空間，最優(yōu)分類線就成為最優(yōu)分類面。對(duì)于一維空間中的點(diǎn)，二維空間中的直線，三維空間中的平面，以及高維空間中的超平面，圖中實(shí)心點(diǎn)和空心點(diǎn)代表兩類樣本，H為它們之間的分類超平面，H1，H2分別為過各類中離分類面最近的樣本且平行于分類面的超平面，它們之間的距離△叫做分類間隔(margin)。(3)核函數(shù)的成功應(yīng)用，將非線性問題轉(zhuǎn)化為線性問題求解。在線性不可分的情況下，加入了松弛變量進(jìn)行分析，通過使用非線性映射將低維輸入空間的樣本映射到高維屬性空間使其變?yōu)榫€性情況，從而使得在高維屬性空間采用線性算法對(duì)樣本的非線性進(jìn)行分析成為可能，并在該特征空間中尋找最優(yōu)分類超平面。該理論是針對(duì)小樣本統(tǒng)計(jì)問題建立起的一套新型理論體系，在該體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在有限信息條件下得到最優(yōu)結(jié)果。例如，Suykens提出的最小二乘支持向量機(jī) (Least Square Support Vector Machine，LS—SVM)算法，Joachims等人提出的SVM1ight，張學(xué)工提出的中心支持向量機(jī) (Central Support Vector Machine，CSVM)，Scholkoph和Smola基于二次規(guī)劃提出的vSVM等。 支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC 維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy）和學(xué)習(xí)能力（即無錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。 2. 一對(duì)一法(one against one)。另一類方法是間接法，主要是通過組合多個(gè)二分類器來實(shí)現(xiàn)多分類器的構(gòu)造，常見的方法有一對(duì)多法和一對(duì)一法兩種： 1. 一對(duì)多法(one against all)。求解支持向量機(jī)決策函數(shù)的參數(shù)可以通過求解對(duì)偶問題得到，即： 最大化公式得到解參數(shù)，對(duì)非支持向量數(shù)據(jù)點(diǎn)對(duì)應(yīng)的αi，取值為 0。其基本思想是：首先選擇一個(gè)非線性映射，將輸入空間映射到一個(gè)高維特征空間，在此高維空間中，利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，構(gòu)造最優(yōu)決策函數(shù)，尋找輸入變量和輸出變量之間的非線性關(guān)系。 描述了遺傳算法的基本流程。遺傳算法初始時(shí)，隨機(jī)產(chǎn)生一些個(gè)體。 3. 采用概率化的尋優(yōu)方法，能夠自動(dòng)獲取和指導(dǎo)優(yōu)化的搜索空間，自適應(yīng)調(diào)整搜索方向，不需要確定的規(guī)則。 遺傳算法遺傳算法(Genetic Algorithm, GA)最早由 Holland 于 1975 年首次提出。經(jīng)過長(zhǎng)期的研究，Bayes分類方法在理論上論證得比較充分，在應(yīng)用上也是非常廣泛的。（6）式(6)是最大后驗(yàn)概率判決準(zhǔn)則，將式(5)代入式(6)，則有：若。Bayes法是一種在已知先驗(yàn)概率與類條件概率的情況下的模式分類方法，待分樣本的分類結(jié)果取決于各類域中樣本的全體。常見的ANN模型有：多層前向神經(jīng)網(wǎng)絡(luò)MLFN、自組織神經(jīng)網(wǎng)絡(luò)—SOM和ART、Hopfield神經(jīng)網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)FNN等。隨即，研究人員圍繞著Hopfield提出的方法展開了進(jìn)一步的研究工作，形成了80年代中期以來ANN的研究熱潮。1948年，馮ANN學(xué)習(xí)對(duì)于訓(xùn)練數(shù)據(jù)中的擬合效果很好，且已經(jīng)成功地涉及到醫(yī)學(xué)、生理學(xué)、