統(tǒng)計(jì)學(xué)習(xí)理論與svm支持向量機(jī)-資料下載頁(yè)
【導(dǎo)讀】統(tǒng)計(jì)學(xué)習(xí)理論中的基本概念。統(tǒng)計(jì)學(xué)習(xí)理論的發(fā)展簡(jiǎn)況。是統(tǒng)計(jì)學(xué)習(xí)方法的優(yōu)秀代表。有嚴(yán)密的數(shù)學(xué)依據(jù)，得到了嚴(yán)格的數(shù)學(xué)證明。有力反駁——“復(fù)雜的理論是沒(méi)有用的，有用的。充分表明——“沒(méi)有什么比一個(gè)好的理論更實(shí)用。概率論與數(shù)理統(tǒng)計(jì)。傳統(tǒng)的估計(jì)高維函數(shù)依賴關(guān)系的方法所堅(jiān)持的信念。因此，需要仔細(xì)地選擇一個(gè)低。術(shù)來(lái)求解一個(gè)逼近。實(shí)際問(wèn)題中存在較大數(shù)目的一些“弱特征”，SVM方法則是自動(dòng)地選擇（構(gòu)造）一些數(shù)。構(gòu)造復(fù)合特征的一個(gè)通用模型。是構(gòu)造特征的一種標(biāo)準(zhǔn)途徑。的機(jī)器代表整個(gè)訓(xùn)練集。嚴(yán)格地說(shuō)，應(yīng)該稱為“有限樣本”。主要研究從采集樣本出發(fā)得出目前尚不能通過(guò)。數(shù)據(jù)或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)?，F(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過(guò)程。解決不適定問(wèn)題的正則化原則的發(fā)現(xiàn)。機(jī)器學(xué)習(xí)問(wèn)題的表示。中,選擇出能夠最好地逼近訓(xùn)練器響應(yīng)的函數(shù)。上述原則意味著，當(dāng)解決模式識(shí)別或回歸估計(jì)問(wèn)。對(duì)于未知的概率分布,最小化風(fēng)險(xiǎn)函數(shù),只有樣本。來(lái)逼近期望風(fēng)險(xiǎn)。
【正文】 ? 貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn) 分類器 錯(cuò)誤率 人工表現(xiàn) % 決策樹 % 最好的兩層神經(jīng)網(wǎng)絡(luò) % SVM % SVM與神經(jīng)網(wǎng)絡(luò)（ NN） 的對(duì)比 ?SVM的理論基礎(chǔ)比 NN更堅(jiān)實(shí)，更像一門嚴(yán)謹(jǐn)?shù)摹?科學(xué) ” （三要素：?jiǎn)栴}的表示、問(wèn)題的解決、證明） ?SVM —— 嚴(yán)格的數(shù)學(xué)推理 ?NN —— 強(qiáng)烈依賴于工程技巧 ?推廣能力 取決于“經(jīng)驗(yàn)風(fēng)險(xiǎn)值”和“置信范圍值”， NN不能控制兩者中的任何一個(gè)。 ?NN設(shè)計(jì)者用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷 ——設(shè)計(jì)特殊的結(jié)構(gòu)，利用啟發(fā)式算法，有時(shí)能得到出人意料的好結(jié)果。 “我們必須從一開始就澄清一個(gè)觀點(diǎn)，就是如果某事不是科學(xué)，它并不一定不好。比如說(shuō)，愛情就不是科學(xué)。因此， 如果我們說(shuō)某事不是科學(xué)，并不是說(shuō)它有什么不對(duì)，而只是說(shuō)它不是科學(xué) 。” —— by R. Feynman from The Feynman Lectures on Physics, AddisonWesley 同理，與 SVM相比， NN不像一門科學(xué)，更像一門工程技巧，但并不意味著它就一定不好！ 主要應(yīng)用領(lǐng)域 ?手寫數(shù)字識(shí)別 ?語(yǔ)音識(shí)別 ?人臉識(shí)別 ?文本分類 支持向量機(jī)研究 ? 如何針對(duì)不同的問(wèn)題選擇不同的核函數(shù)仍然是一個(gè)懸而未決的問(wèn)題。 ? 標(biāo)準(zhǔn)的 SVM對(duì)噪聲是不具有魯棒性的 ,如何選擇合適的目標(biāo)函數(shù)以實(shí)現(xiàn)魯棒性是至關(guān)重要的。 支持向量機(jī)算法研究 ? 支持向量機(jī)的本質(zhì)是解一個(gè) 二次規(guī)劃問(wèn)題 ,雖然有一些經(jīng)典（如對(duì)偶方法、內(nèi)點(diǎn)算法等） ,但當(dāng)訓(xùn)練集規(guī)模很大時(shí) ,這些算法面臨著維數(shù)災(zāi)難問(wèn)題。為此 ,人們提出了許多針對(duì)大規(guī)模數(shù)據(jù)集的 SVM訓(xùn)練算法。 支持向量機(jī)算法研究（續(xù) 1） ? 思路 1：分解子問(wèn)題 ?塊算法 ?SMO算法 (Sequential Minimal Optimization) ? 思路 2：序列優(yōu)化 ? 思路 3：近鄰 SVM 支持向量機(jī)算法研究（續(xù) 2） ? 訓(xùn)練 SVM的絕大多數(shù)算法都是針對(duì)分類問(wèn)題 ,只有一小部分算法考慮了回歸函數(shù)的估計(jì)問(wèn)題。 ? 提高算法效率、降低復(fù)雜度。 支持向量機(jī)算法研究（續(xù) 3） ? SVM增量學(xué)習(xí)算法的研究 ? 超球面 SVM算法研究 ? Oneclass SVM算法 ? …… ? SVM多值分類器算法 ? Oneagainsttherest（一對(duì)多方法） ? Oneagainstone（一對(duì)一方法） ? Multiclass Objective Functions（多類 SVM） ? Decision Directed Acyclic Graph, DDAG ? SVM Decision Tree ? 超球面 SVM多值分類器 ? …… 總結(jié) ? SVM在模式識(shí)別、回歸函數(shù)估計(jì)、預(yù)測(cè)等大量應(yīng)用中取得了良好的效果 ? SVM存在兩個(gè)主要問(wèn)題： ?二次規(guī)劃的訓(xùn)練速度 ?核函數(shù)的選擇 ? 前途是光明的，道路是曲折的。 課后編程實(shí)現(xiàn)題目（二選一）： ?設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡(jiǎn)單的用于文本分類的SVM。 ?設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡(jiǎn)單的基于 SVM的“ 新聞分離器 ”，主要用于對(duì)浙大 BBS“縹緲?biāo)崎g”中 news版上的新聞進(jìn)行分類 。 主要參考文獻(xiàn)： ? A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery,1998,2(2) ? Vapnik V N. The Nature of Statistical Learning Theory, NY: SpringerVerlag, 1995（ 中譯本： 張學(xué)工譯 .《統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)》 .清華大學(xué)出版社 ,2020） 【說(shuō)明】：該書附帶介紹了很多科學(xué)研究的基本原則，很有啟發(fā)、借鑒意義。 ? Introduction to Support Vector Machine. ? Vapnik V N. 著，張學(xué)工譯 . 統(tǒng)計(jì)學(xué)習(xí)理論 .人民郵電出版社 . ? 張學(xué)工 . 關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī) . 自動(dòng)化學(xué)報(bào) , 2020年第 1期 . ? 史朝輝 . SVM算法研究及在 HRRP分類中的應(yīng)用 . 空軍工程大學(xué)碩士學(xué)位論文 , 2020. 主要參考文獻(xiàn)（續(xù)）： THANKS FOR YOUR PRESENCE! “ A righteous man may have many troubles, but the LORD delivers him from them all。 he protects all his bones, not one of them will be broken.” from Psalms 34:1920 NIV
鄂ICP備17016276號(hào)-1