決策樹培訓講義(參考版)
2025-01-15 19:36本頁面
【正文】 ? CART與 ：其在每一個節(jié)點上都是采用二分法，也就是一次只能夠有兩個子節(jié)點， 可以產(chǎn)生不同數(shù)量的分枝。則此分割的Gini就是 ? 提供最小 Gini split就被選擇作為分割的標準 (對于每個屬性都要經(jīng)過所有可以的分割方法 )。著重解決當訓練集數(shù)據(jù)量巨大，無法全部放人內(nèi)存時，如何高速準確地生成更快的，更小的決策樹。 2023/1/31 類別屬性的信息熵 Gini Index算法 37 ? ID3 and PRISM適用于類別屬性的分類方法。反之，保留。 ? 案例數(shù)修剪是在產(chǎn)生完全生長的樹后，根據(jù)最小案例數(shù)閥值，將案例數(shù)小于閥值的樹節(jié)點剪掉。 2023/1/31 （ 2）后剪枝方法 23 ? 后剪枝方法是由“完全生長”的樹剪去分枝。如果在一個節(jié)點劃分樣本將導致低于預定義閥值的分裂，則給定子集的進一步劃分將停止。一旦停止，節(jié)點成為樹葉。 ? 樹的修剪有幾種解決的方法，主要為先剪枝和后剪枝方法。 2023/1/31 決策樹的剪枝 (pruning) 21 ? 決策樹學習可能遭遇 模型過度 擬合 （ over fitting） 的問題，過度擬合是指模型過度訓練，導致模型記住的不是訓練集的一般性，反而是訓練集的局部特性。 ?該群數(shù)據(jù)已經(jīng)沒有辦法再找到新的屬性來進行節(jié)點分割。則此事件發(fā)生后所得到 的信息量 I(視為 Entropy)為： I=(p1*log2(p1)+ p2*log2(p2)+…+ pk*log2(pk)) Example 1： ? 設 k=4?p1=,p2=,p3=,p4= I=(.25*log2(.25)*4)=2 Example 2： ? 設 k=4?p1=0,p2=,p3=0,p4= I=(.5*log2(.5)*2)=1 Example 3： ? 設 k=4?p1=1,p2=0,p3=0,p4=0 I=(1*log2(1))=0 2023/1/31 15 2023/1/31 16 信息增益 17 Example(Gain) n=16 n1=4 I(16,4)=－ ((4/16)*log2(4/16)+(1
環(huán)評公示相關推薦
鄂ICP備17016276號-1