決策樹c45算法總結(jié)-資料下載頁(yè)
2025-01-14 19:39本頁(yè)面
【正文】 樹規(guī)模的方法稱為剪枝，一種是先剪枝，一種是后剪枝。所謂先剪枝，實(shí)際上是控制決策樹的生長(zhǎng)；后剪枝 是指，對(duì)完全生成的決策樹進(jìn)行修剪 。 先 剪枝： 1) 數(shù)據(jù)劃分法。劃分?jǐn)?shù)據(jù)成訓(xùn)練樣本和測(cè)試樣本，使用用訓(xùn)練樣本進(jìn)行訓(xùn)練，使用測(cè)試樣本進(jìn)行樹生長(zhǎng)檢驗(yàn)。 2) 閾值法。當(dāng)某節(jié)點(diǎn)的信息增益小于某閾值時(shí)，停止樹生長(zhǎng)。 3) 信息增益的統(tǒng)計(jì)顯著性分析。從已有節(jié)點(diǎn)獲得的所有信息增益統(tǒng)計(jì)其分布，如果繼續(xù)生長(zhǎng)得到的信息增 益與該分布相比不顯著，則停止樹的生長(zhǎng)。 優(yōu)點(diǎn)： 簡(jiǎn)單直接； 缺點(diǎn)： 對(duì)于不回溯的貪婪算法，缺乏后效性考慮，可能導(dǎo)致樹 提前停止 。 過(guò)擬合問(wèn)題 后剪枝： 1) 減少分類錯(cuò)誤修剪法。使用獨(dú)立的剪枝集估計(jì)剪 枝前后的分類錯(cuò)誤率，基于此進(jìn)行剪枝。 2) 最小代價(jià)與復(fù)雜性折中的剪枝。對(duì)剪枝后的樹綜 合評(píng)價(jià)錯(cuò)誤率和復(fù)雜性，決定是否剪枝。 3) 最小描述長(zhǎng)度準(zhǔn)則。最簡(jiǎn)單的樹就是最好的樹。對(duì)決策樹進(jìn)行編碼，通過(guò)剪枝得到編碼最小的樹。 4) 規(guī)則 后剪枝。將訓(xùn)練完的決策樹轉(zhuǎn)換成規(guī)則，通過(guò)刪除不會(huì)降低估計(jì)精度的前件修剪每一條規(guī)則。 優(yōu)點(diǎn) : 實(shí)際應(yīng)用中有效 缺點(diǎn)： 數(shù)據(jù)量大時(shí)，計(jì)算代價(jià)較大。 ，它使用訓(xùn)練集生成決策樹又用它來(lái)進(jìn)行剪枝，不需要獨(dú)立的剪枝集 。 Weka J48算法參數(shù) 是否對(duì)離散屬性進(jìn)行二元分裂 ? 剪枝過(guò)程中的置信因子，值越小剪枝越多 ? 設(shè)置為 true，控制臺(tái)會(huì)輸出調(diào)試信息 ? 葉節(jié)點(diǎn)的最小實(shí)例數(shù) ? 定義用來(lái)剪枝的樣本比例 ? 是否使用減少誤差剪枝法 ? 是否保存訓(xùn)練樣本數(shù)據(jù) ? 使用減小誤差剪枝法中的隨機(jī)種子參數(shù) ? 修剪時(shí)是否考慮子樹上升 ? 是否剪枝 ? 是否在對(duì)葉子計(jì)數(shù)時(shí)使用拉普拉斯平滑 Weka J48算法源碼解析 Weka J48算法源碼解析 高級(jí)類 J48 Weka J48算法源碼解析 可剪枝的 Weka J48算法源碼解析 分類樹 Weka J48算法源碼解析 分類樹 Weka J48算法源碼解析 Weka J48算法源碼解析 Weka J48算法源碼解析 Weka J48算法源碼解析 選擇分裂屬性 Weka J48算法源碼解析 處理離散屬性 Weka J48算法源碼解析 計(jì)算增益 Weka J48算法源碼解析 計(jì)算增益率 Weka J48算法源碼解析 熵和條件熵 Weka J48算法源碼解析 屬性熵 Weka J48算法源碼解析 處理連續(xù)屬性 Weka J48算法源碼解析 處理連續(xù)屬性 Weka J48算法源碼解析 處理所有可能的分裂點(diǎn) Weka J48算法源碼解析 剪枝算法 Weka J48算法源碼解析 剪枝算法 Weka J48算法源碼解析 計(jì)算錯(cuò)誤率
外語(yǔ)相關(guān)推薦
鄂ICP備17016276號(hào)-1