svm調(diào)研報(bào)告范文--資料下載頁(yè)
2025-03-30 22:44本頁(yè)面
【正文】 ）與集合N中的樣本j（即ai=0，jN）交換，不會(huì)改變子問(wèn)題與原問(wèn)題的可行性（即仍然滿(mǎn)足約束條件）；而且，當(dāng)且僅當(dāng)樣本滿(mǎn)足條件KKT條件時(shí)，替換后的子問(wèn)題的最優(yōu)解不變。于是可以按照以下步驟迭代求解： ，構(gòu)造子問(wèn)題； ，iB及b，并置aj=0，jN； ，與B中滿(mǎn)足ai=0的樣本i交換，構(gòu)成新的子問(wèn)題。[7]證實(shí)了這種迭代算法的收斂性，并給出了兩階多項(xiàng)式分類(lèi)器在人臉識(shí)別問(wèn)題中的應(yīng)用結(jié)果。需要說(shuō)明的是，文中沒(méi)有說(shuō)明集合B的大小是否改變。 前面提到，固定樣本集方法的要害在于選擇一種合適的換入換出策略。Joachims指出假如采用某種啟發(fā)式的迭代策略將會(huì)提高算法的收斂速度。[5]中提出SMO（SequentialMinimalOptimization或SMO）算法。將樣本集的規(guī)模減到最小——兩個(gè)樣本。之所以需要兩個(gè)樣本是因?yàn)榈仁骄€(xiàn)性約束的存在使得同時(shí)至少有兩個(gè)Lagrange乘子發(fā)生變化。由于只有兩個(gè)變量，而且應(yīng)用等式約束可以將其中一個(gè)用另一個(gè)表示出來(lái)，所以迭代過(guò)程中每一步的子問(wèn)題的最優(yōu)解可以直接用解析的方法求出來(lái)。這樣，算法避開(kāi)了復(fù)雜的數(shù)值求解優(yōu)化問(wèn)題的過(guò)程；此外，Platt[5]還設(shè)計(jì)了一個(gè)兩層嵌套循環(huán)分別選擇進(jìn)入樣本集的樣本，這種啟發(fā)式策略大大加快了算法的收斂速度。標(biāo)準(zhǔn)樣本集的實(shí)驗(yàn)結(jié)果證實(shí)，SMO表現(xiàn)出在速度方面的良好性能。子問(wèn)題的規(guī)模和迭代的次數(shù)是一對(duì)矛盾，SMO將樣本集的規(guī)模減少到2，一個(gè)直接的后果就是迭代次數(shù)的增加。所以SMO實(shí)際上是將求解子問(wèn)題的耗費(fèi)轉(zhuǎn)嫁到迭代上，然后在迭代上尋求快速算法。但是，SMO迭代策略的思想是可以用到其他迭代算法中的，可見(jiàn)，SMO還有改進(jìn)的余地?！ ”疚牡牡诙糠謱⒎謩e就幾種聞名的軟件進(jìn)行介紹，給出其基于的理論基礎(chǔ)。第三部分就第二部分進(jìn)行分析，對(duì)比各軟件之間的差異，給出分析結(jié)論。最后對(duì)其應(yīng)用前景和改進(jìn)空間進(jìn)行討論。7
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1