gbdt總結(jié)(完整版)
【正文】 分類問題，對于多分類問題可以使用決策樹或者隨機(jī)森林。注意，每個(gè)損失函數(shù)適用于一個(gè)分類或回歸中，而不是兩者。 訓(xùn)練誤差當(dāng)訓(xùn)練很多樹時(shí)，提升樹會(huì)出現(xiàn)過擬合。當(dāng)訓(xùn)練誤差落在某一范圍時(shí)，停止訓(xùn)練。損失函數(shù)任務(wù)公式對數(shù)損失函數(shù)分類均方誤差回歸絕對誤差回歸 使用技巧① 損失函數(shù)：見上一節(jié)關(guān)于損失函數(shù)及其對任務(wù)（分類與回歸）的適用性的信息。當(dāng)采用平方誤差損失函數(shù)時(shí)，其損失變?yōu)椋哼@里，稱為當(dāng)前模型擬合數(shù)據(jù)的殘差。 ③ 隨機(jī)森林可以更容易調(diào)整樹的數(shù)量，因?yàn)樗阅茈S著樹的數(shù)量單調(diào)遞增（然而，如果GBTs樹的數(shù)量變得太大，則其性能開始降低）。但是它們的學(xué)習(xí)過程卻不一樣： ① GBTs一次只能訓(xùn)練一棵樹（個(gè)體學(xué)習(xí)器間存在強(qiáng)依賴關(guān)系，必須使用串行生成序列化方法），而隨機(jī)森林個(gè)體學(xué)習(xí)器間不存在強(qiáng)依賴關(guān)系，可同時(shí)生成并行化，所以G
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1