gbdt總結(jié)(編輯修改稿)
2024-09-01 01:43 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 樹的參數(shù)。當(dāng)采用平方誤差損失函數(shù)時(shí)，其損失變?yōu)椋哼@里，稱為當(dāng)前模型擬合數(shù)據(jù)的殘差?！?算法（回歸問題的提升樹算法）輸入：訓(xùn)練數(shù)據(jù)集輸出：提升樹（1） 初始化（2） 對(duì) （a）計(jì)算殘差 （b）擬合殘差學(xué)習(xí)一個(gè)回歸樹，得到 （c）更新（3） 得到回歸提升樹當(dāng)損失函數(shù)是平方損失和指數(shù)損失，每一步的優(yōu)化是很簡(jiǎn)單的。但針對(duì)一般損失函數(shù)而言，往往每一步優(yōu)化并不容易。針對(duì)這一問題，F(xiàn)reidman提出了梯度提升（gradient boosting）算法。這是利用最速下降的近似方法，其關(guān)鍵是利用損失函數(shù)的負(fù)梯度在當(dāng)前模型的值作為回歸問題提升樹算法中的參差近似值，擬合一棵回歸樹?！?算法（梯度提升算法）輸入：訓(xùn)練數(shù)據(jù)集損失函數(shù)；輸出：回歸樹（1） 初始化（2） 對(duì)（a）對(duì)，計(jì)算（b）對(duì)擬合一
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1