svm分類器中的最優(yōu)化問題(編輯修改稿)
2025-09-01 00:04 本頁面
【文章內(nèi)容簡介】 這是個凸優(yōu)化問題。構(gòu)造Lagrange函數(shù)將其變?yōu)闊o約束的最優(yōu)化問題，給每一個約束條件加上一個Lagrange乘子α=(α1,α2,……,αn)T(其中αi≥0,i=1,2,……,n)： ()令 maxαi≥0 ()容易驗證，當(dāng)某個約束條件不滿足時，例如，那么顯然有+∞（此時αi= +∞）。而當(dāng)所有約束條件都滿足時，則有（此時αi=0），亦即我們最初要最小化的量。因此，在要求約束條件得到滿足的情況下最小化，實際上等價于直接最小化（因為如果約束條件沒有得到滿足，會等于無窮大，自然不會是我們所要求的最小值。）具體寫出來，我們現(xiàn)在的目標(biāo)函數(shù)變成了： min,b=min,bmaxαi≥0=p* ()這里用p*表示這個問題的最優(yōu)值，也是原問題的最優(yōu)值?，F(xiàn)在我們把最小和最大的位置交換一下： maxαi≥0min,b=q* ()式（）是（）的對偶問題，p*是的上確界（即最小上界），q*是的下確界（最大下界），顯然p*≥q*，當(dāng)且僅當(dāng)原問題滿足Slater條件（即存在xi使得原規(guī)劃的約束條件嚴格成立，即yi1=0）時，等號成立。上文已說明此優(yōu)化為凸優(yōu)化，所以KuhnTucker條件為某個數(shù)據(jù)點x*是最優(yōu)解的充要條件。所以當(dāng)xi滿足KKT條件時，xi才是min,b的最優(yōu)解。當(dāng)同時滿足Slater條件和KKT條件時，原規(guī)劃可以取到最優(yōu)值且為p*（p*=q*）。求解過程：要求解這個對偶問題，先求出關(guān)于ω，b的最小值，再對求最大。 先把當(dāng)做常數(shù)，求出關(guān)于ω，b的偏導(dǎo)（即求min,b）∵關(guān)于ω，b求最小值，也是極值 ∴?L?ω=ω i=1nαiyixi=0 () ?L?b=i=1nαiyi=0 () ∴ω=i=1nαiyi
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1