決策樹算法總結(jié)(更新版)
【正文】 特征，開始分裂數(shù)據(jù)集 for value in uniqueFeatureValues: 當i屬性等于value時的分裂結(jié)果 subDataSet = spliteDataSet(dataSet, i, value) print(subDataSet) 計算占比 p = float(len(subDataSet)) / float(len(dataSet)) newEntropy += p * entropy(subDataSet) spliteInfo += p * log(p, 2) 計算信息增益 infoGain = baseEntropy newEntropy 計算信息增益率 if spliteInfo == 0: continue infoGainRatio = infoGain / spliteInfo if infoGainRatio maxInfoGainRatio: maxInfoGainRatio = infoGainRatio bestFeatureId = i return bestFeatureId：1. 如果存在連續(xù)值的特征需要做排序等處理，計算比較耗時2. 只能用于分類使用于是有了CART算法CART算法：也是基于ID3算法優(yōu)化而來，支持分類和回歸，使用基尼系數(shù)（分類樹）或者均方差（回歸樹）替代熵的作用，減少運算難度。表面誤差率增益值計算：R(t)表示非葉子節(jié)點的錯誤率，比如，總樣本20，在A節(jié)點上a類5個，b類2個，所以可以認為A節(jié)點代表的是a類，那么錯誤率就是2 / 7 * 7 / 20R(T)表示葉子節(jié)點的錯誤率累積和N(T)表示葉子節(jié)點的個數(shù)剪枝步驟：1． 構(gòu)建子樹序列2． 找到最優(yōu)子樹，作為我們的決策樹（交叉驗證等）舉例：t1是根節(jié)點t2，t3，t4，t5是非葉子節(jié)點t6，t7，t8，t9，t10，t11是葉子節(jié)點首先我們計算所有非葉子節(jié)點誤差率增益值t4: (4/50 * 50/80 – 1/45 * 45/80 – 2/5 * 5/80) / (2 – 1) = t5: (4/10 * 10/80 – 0 0) / (2 1) = t2: (10/60 * 60/80 – 1/45 * 45/80 – 2/5 * 5/80 – 0 0) / (4 1) = t3: 因此得到第1顆子樹：T0 = t4（），t5（），t2（），t3（）比較發(fā)現(xiàn)可以將t4裁剪掉得到第2顆子樹t5: t3: t2: (10/60 * 60/80 – 4/50 * 50/80 – 0 0) / (3 1) = 此時t2與t3相同，那么裁剪葉子節(jié)點較多的，因此t2被裁剪得到第3顆樹然后對上面3顆子樹進行驗證，找到效果最后的作為剪枝之后的決
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1