gbdt總結(jié)(編輯修改稿)
2025-09-01 01:43 本頁面
【文章內(nèi)容簡介】 樹的參數(shù)。當采用平方誤差損失函數(shù)時，其損失變?yōu)椋哼@里，稱為當前模型擬合數(shù)據(jù)的殘差。☆ 算法（回歸問題的提升樹算法）輸入：訓練數(shù)據(jù)集輸出：提升樹（1） 初始化（2） 對 （a）計算殘差 （b）擬合殘差學習一個回歸樹，得到 （c）更新（3） 得到回歸提升樹當損失函數(shù)是平方損失和指數(shù)損失，每一步的優(yōu)化是很簡單的。但針對一般損失函數(shù)而言，往往每一步優(yōu)化并不容易。針對這一問題，F(xiàn)reidman提出了梯度提升（gradient boosting）算法。這是利用最速下降的近似方法，其關(guān)鍵是利用損失函數(shù)的負梯度在當前模型的值作為回歸問題提升樹算法中的參差近似值，擬合一棵回歸樹。☆ 算法（梯度提升算法）輸入：訓練數(shù)據(jù)集損失函數(shù)；輸出：回歸樹（1） 初始化（2） 對（a）對，計算（b）對擬合一
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1