機(jī)器學(xué)習(xí)常用模型及優(yōu)化-資料下載頁
2025-06-26 15:23本頁面
【正文】 度下降法一句話來說就是求損失函數(shù)或似然函數(shù)的極值，我們自己算的話就是求個(gè)導(dǎo)就完事了，但是有些函數(shù)的導(dǎo)數(shù)特別難求，這時(shí)候就需要梯度下降法，交給電腦迭代幾次就算出來了 舉例來說，求損失函數(shù)的最小值： 牛頓法對于非線性優(yōu)化，假設(shè)任務(wù)是優(yōu)化一個(gè)目標(biāo)函數(shù)，求解其極大極小值，轉(zhuǎn)化為求問題，是不是回到了上面的問題？二階泰勒級數(shù)：二階泰勒級數(shù)成立的充要條件是無限趨于0，兩邊約去和，并對求導(dǎo)，得到：解得：所以得到迭代式：紅色是牛頓法，綠色是梯度下降法，牛頓法更容易收斂。高維情況的牛頓迭代公式：其中，是hessian矩陣：Hessian矩陣的引入使得高維情況下牛頓法較為少用，但是有人已提出解決方案QuasiNewton method。
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1