浙江大學(xué)svm(支持向量機(jī))-資料下載頁
2025-05-15 11:59本頁面
【正文】 ?支持向量機(jī)算法研究 應(yīng)用研究 ? SVM的應(yīng)用主要于模式識(shí)別領(lǐng)域 ? 貝爾實(shí)驗(yàn)室對(duì)美國郵政手寫數(shù)字庫進(jìn)行的實(shí)驗(yàn) 分類器 錯(cuò)誤率 人工表現(xiàn) % 決策樹 % 最好的兩層神經(jīng)網(wǎng)絡(luò) % SVM % SVM與神經(jīng)網(wǎng)絡(luò)（ NN） 的對(duì)比 ?SVM的理論基礎(chǔ)比 NN更堅(jiān)實(shí)，更像一門嚴(yán)謹(jǐn)?shù)摹?科學(xué) ” （三要素：問題的表示、問題的解決、證明） ?SVM —— 嚴(yán)格的數(shù)學(xué)推理 ?NN —— 強(qiáng)烈依賴于工程技巧 ?推廣能力 取決于“經(jīng)驗(yàn)風(fēng)險(xiǎn)值”和“置信范圍值”， NN不能控制兩者中的任何一個(gè)。 ?NN設(shè)計(jì)者用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷 ——設(shè)計(jì)特殊的結(jié)構(gòu)，利用啟發(fā)式算法，有時(shí)能得到出人意料的好結(jié)果。 “我們必須從一開始就澄清一個(gè)觀點(diǎn)，就是如果某事不是科學(xué)，它并不一定不好。比如說，愛情就不是科學(xué)。因此， 如果我們說某事不是科學(xué)，并不是說它有什么不對(duì)，而只是說它不是科學(xué) ?！? —— by R. Feynman from The Feynman Lectures on Physics, AddisonWesley 同理，與 SVM相比， NN不像一門科學(xué)，更像一門工程技巧，但并不意味著它就一定不好！ 主要應(yīng)用領(lǐng)域 ?手寫數(shù)字識(shí)別 ?語音識(shí)別 ?人臉識(shí)別 ?文本分類 支持向量機(jī)研究 ? 如何針對(duì)不同的問題選擇不同的核函數(shù)仍然是一個(gè)懸而未決的問題。 ? 標(biāo)準(zhǔn)的 SVM對(duì)噪聲是不具有魯棒性的 ,如何選擇合適的目標(biāo)函數(shù)以實(shí)現(xiàn)魯棒性是至關(guān)重要的。 支持向量機(jī)算法研究 ? 支持向量機(jī)的本質(zhì)是解一個(gè) 二次規(guī)劃問題 ,雖然有一些經(jīng)典（如對(duì)偶方法、內(nèi)點(diǎn)算法等） ,但當(dāng)訓(xùn)練集規(guī)模很大時(shí) ,這些算法面臨著維數(shù)災(zāi)難問題。為此 ,人們提出了許多針對(duì)大規(guī)模數(shù)據(jù)集的 SVM訓(xùn)練算法。 支持向量機(jī)算法研究（續(xù) 1） ? 思路 1：分解子問題 ?塊算法 ?SMO算法 (Sequential Minimal Optimization) ? 思路 2：序列優(yōu)化 ? 思路 3：近鄰 SVM 支持向量機(jī)算法研究（續(xù) 2） ? 訓(xùn)練 SVM的絕大多數(shù)算法都是針對(duì)分類問題 ,只有一小部分算法考慮了回歸函數(shù)的估計(jì)問題。 ? 提高算法效率、降低復(fù)雜度。 支持向量機(jī)算法研究（續(xù) 3） ? SVM增量學(xué)習(xí)算法的研究 ? 超球面 SVM算法研究 ? Oneclass SVM算法 ? …… ? SVM多值分類器算法 ? Oneagainsttherest（一對(duì)多方法） ? Oneagainstone（一對(duì)一方法） ? Multiclass Objective Functions（多類 SVM） ? Decision Directed Acyclic Graph, DDAG ? SVM Decision Tree ? 超球面 SVM多值分類器 ? …… 總結(jié) ? SVM在模式識(shí)別、回歸函數(shù)估計(jì)、預(yù)測等大量應(yīng)用中取得了良好的效果 ? SVM存在兩個(gè)主要問題： ?二次規(guī)劃的訓(xùn)練速度 ?核函數(shù)的選擇 ? 前途是光明的，道路是曲折的。 課后編程實(shí)現(xiàn)題目（二選一）： ?設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡單的用于文本分類的SVM。 ?設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡單的基于 SVM的“ 新聞分離器 ”，主要用于對(duì)浙大 BBS“縹緲?biāo)崎g”中 news版上的新聞進(jìn)行分類 。 主要參考文獻(xiàn)： ? A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery,1998,2(2) ? Vapnik V N. The Nature of Statistical Learning Theory, NY: SpringerVerlag, 1995（ 中譯本： 張學(xué)工譯 .《統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)》 .清華大學(xué)出版社 ,2021） 【說明】：該書附帶介紹了很多科學(xué)研究的基本原則，很有啟發(fā)、借鑒意義。 ? Introduction to Support Vector Machine. ? Vapnik V N. 著，張學(xué)工譯 . 統(tǒng)計(jì)學(xué)習(xí)理論 .人民郵電出版社 . ? 張學(xué)工 . 關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī) . 自動(dòng)化學(xué)報(bào) , 2021年第 1期 . ? 史朝輝 . SVM算法研究及在 HRRP分類中的應(yīng)用 . 空軍工程大學(xué)碩士學(xué)位論文 , 2021. 主要參考文獻(xiàn)（續(xù)）： THANKS FOR YOUR PRESENCE! “ A righteous man may have many troubles, but the LORD delivers him from them all。 he protects all his bones, not one of them will be broken.” from Psalms 34:1920 NIV
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1