后驗(yàn)支持向量機(jī)學(xué)習(xí)報(bào)告(已修改)
2025-06-04 18:12 本頁(yè)面
【正文】 后驗(yàn)支持向量機(jī)學(xué)習(xí)報(bào)告1 后驗(yàn)支持向量機(jī)支持向量機(jī)（SVM）是在由Vapnik等人發(fā)展的統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來(lái)的一類學(xué)習(xí)算法，通過對(duì)線性可分訓(xùn)練集按類間最大間隔設(shè)計(jì)分類器的方法來(lái)達(dá)到較好的推廣能力。對(duì)于非線性可分的數(shù)據(jù)集引入了松弛變量來(lái)控制樣本的誤分率構(gòu)造線性分類器，利用核方法推廣線性分類器為非線性分類器。SVM能夠較好的泛化能力，在許多問題上表現(xiàn)得很好，于是對(duì)SVM的研究受到人們很大的關(guān)注，同時(shí)SVM的使用也越來(lái)越廣泛，但SVM僅能給出分類結(jié)果，而不能給出確切的各類的概率，而在很多應(yīng)用場(chǎng)合中，人們不僅關(guān)注分類的結(jié)果，更關(guān)注分為各類的概率。如銀行的信用欺詐檢測(cè)，銀行不僅想知道哪些人存在欺詐的可能，更希望能知道每個(gè)人欺詐的概率，這樣有助于銀行做出更好地決策。貝葉斯分類器雖然能提供各類的后驗(yàn)概率，但貝葉斯分類器需要預(yù)先知道類條件概率密度，通常在實(shí)際問題中這是無(wú)法獲取的。Vapnik提出一種將SVM的離散輸出映射為概率的方法，Wahha研究再生核Hilbert空間的表示定理，應(yīng)用到統(tǒng)計(jì)學(xué)習(xí)理論和SVM中。Platt等提出一種將支持向量機(jī)決策函數(shù)的輸出映射為類后驗(yàn)概率的算法（PPSVM），這是本次學(xué)習(xí)的主要內(nèi)容。2 后驗(yàn)支持向量機(jī)PPSVMPlatt提出PPSVM，主要思想是用擬合一個(gè)后驗(yàn)概率的參數(shù)模型，將標(biāo)準(zhǔn)SVM的輸出結(jié)果映射為后驗(yàn)概率。設(shè)SVM的輸入為，其中，誤差函數(shù)：，Platt的主要工作就是找到Sigmoid函數(shù)用于近似支持向量機(jī)的后驗(yàn)概率，Sigmoid函數(shù)轉(zhuǎn)換形式如下： 其中，f為標(biāo)準(zhǔn)SVM的輸出結(jié)果，表示在輸出值f的條件下分類正確的概率。A和B是需要估計(jì)的參數(shù)值，其優(yōu)化策略可以通過解最大似然問題來(lái)解決：其中，l為樣本的數(shù)量，和分別是正類和負(fù)類樣本的數(shù)量。 這種參數(shù)估計(jì)方法會(huì)出現(xiàn)一些問題，分別是Sigmoid函數(shù)訓(xùn)練集的選擇和如何避免擬合出錯(cuò)。最早訓(xùn)練Sigmoid函數(shù)所用的訓(xùn)練集是簡(jiǎn)單的和訓(xùn)練SVM共用訓(xùn)練集，但是這種方法容易f的估計(jì)造成偏差，對(duì)于非線性SVM這種偏差甚
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1