svm調(diào)研報告范文--資料下載頁
2025-03-30 22:44本頁面
【正文】 ）與集合N中的樣本j（即ai=0，jN）交換，不會改變子問題與原問題的可行性（即仍然滿足約束條件）；而且，當(dāng)且僅當(dāng)樣本滿足條件KKT條件時，替換后的子問題的最優(yōu)解不變。于是可以按照以下步驟迭代求解： ，構(gòu)造子問題； ，iB及b，并置aj=0，jN； ，與B中滿足ai=0的樣本i交換，構(gòu)成新的子問題。[7]證實了這種迭代算法的收斂性，并給出了兩階多項式分類器在人臉識別問題中的應(yīng)用結(jié)果。需要說明的是，文中沒有說明集合B的大小是否改變。 前面提到，固定樣本集方法的要害在于選擇一種合適的換入換出策略。Joachims指出假如采用某種啟發(fā)式的迭代策略將會提高算法的收斂速度。[5]中提出SMO（SequentialMinimalOptimization或SMO）算法。將樣本集的規(guī)模減到最小——兩個樣本。之所以需要兩個樣本是因為等式線性約束的存在使得同時至少有兩個Lagrange乘子發(fā)生變化。由于只有兩個變量，而且應(yīng)用等式約束可以將其中一個用另一個表示出來，所以迭代過程中每一步的子問題的最優(yōu)解可以直接用解析的方法求出來。這樣，算法避開了復(fù)雜的數(shù)值求解優(yōu)化問題的過程；此外，Platt[5]還設(shè)計了一個兩層嵌套循環(huán)分別選擇進入樣本集的樣本，這種啟發(fā)式策略大大加快了算法的收斂速度。標(biāo)準(zhǔn)樣本集的實驗結(jié)果證實，SMO表現(xiàn)出在速度方面的良好性能。子問題的規(guī)模和迭代的次數(shù)是一對矛盾，SMO將樣本集的規(guī)模減少到2，一個直接的后果就是迭代次數(shù)的增加。所以SMO實際上是將求解子問題的耗費轉(zhuǎn)嫁到迭代上，然后在迭代上尋求快速算法。但是，SMO迭代策略的思想是可以用到其他迭代算法中的，可見，SMO還有改進的余地。 本文的第二部分將分別就幾種聞名的軟件進行介紹，給出其基于的理論基礎(chǔ)。第三部分就第二部分進行分析，對比各軟件之間的差異，給出分析結(jié)論。最后對其應(yīng)用前景和改進空間進行討論。7
化學(xué)相關(guān)推薦
鄂ICP備17016276號-1