3第三章決策樹-免費(fèi)閱讀
【正文】 2023/2/13 ? 集合 T包含 N個類別的記錄，那么其 Gini指標(biāo)就是 ? 如果集合 T分成兩部分 N1 和 N2。通過刪除節(jié)點(diǎn)的分枝，剪掉葉節(jié)點(diǎn)。 ? 如何處理過度擬合呢？對決策樹進(jìn)行修剪。 二、決策 樹 (Decision Tree) （一） 決策樹的結(jié)構(gòu) 11 根部節(jié)點(diǎn) (root node) 中間節(jié)點(diǎn) (nonleaf node) (代表測試的條件 ) 分支 (branches) (代表測試的結(jié)果 ) 葉節(jié)點(diǎn) (leaf node) (代表分類后所獲得 的分類標(biāo)記 ) 2023/2/13 2023/2/13 12 （二）決策樹的形成 例： 13 ? 根部節(jié)點(diǎn) ? 中間節(jié)點(diǎn) ? 停止分支 ？ 2023/2/13 （三） ID3算法 (,) 14 2023/2/13 ? Quinlan(1979)提出，以 Shannon(1949)的信息論為依據(jù)。 2023/2/13 2023/2/13 9 ? 速度 ：指產(chǎn)生和使用模型的計(jì)算花費(fèi)。 ?建模的速度、預(yù)測的速度 ? 強(qiáng)壯性：指給定噪聲數(shù)據(jù)或具有缺失值的數(shù)據(jù)，模型正確預(yù)測的能力。 ? ID3算法的屬性選擇度量就是使用信息增益，選擇最高信息增益的屬性作為當(dāng)前節(jié)點(diǎn)的測試屬性。 ? 樹的修剪有幾種解決的方法，主要為先剪枝和后剪枝方法。 ? 案例數(shù)修剪是在產(chǎn)生完全生長的樹后，根據(jù)最小案例數(shù)閥值，將案例數(shù)小于閥值的樹節(jié)點(diǎn)剪掉。則此分割的Gini就是 ? 提供最小 Gini split就被選擇作為分割的標(biāo)準(zhǔn) (對于每個屬性都要經(jīng)過所有可以的分割方法 )。著重解決當(dāng)訓(xùn)練集數(shù)據(jù)量巨大，無法全部放人內(nèi)存時，如何高速準(zhǔn)確地生成更快的，更小的決策樹。 2023/2/13 （ 2）后剪枝方法 23 ? 后剪枝方法是由“完全生長”的樹剪去分枝。 2023/2/13 決策樹的剪枝 (pruning) 21 ? 決策樹學(xué)習(xí)可能遭遇 模型過度 擬合 （ over fitting）的問題，過度擬合是指模型過度訓(xùn)練，導(dǎo)致模型記住的不是訓(xùn)練集的一般性，反而是訓(xùn)練集的局部特
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1