決策樹簡介-資料下載頁
2025-01-13 19:37本頁面
【正文】 樹的建模過程 3 有效性和風(fēng)險(xiǎn)性 基本的決策樹算法沒有考慮噪聲 , 生成的決策樹完全與訓(xùn)練例子擬合。 這樣雖然能降低算法的時(shí)間復(fù)雜度，但也使算法在 較深層次的樣本劃分中，專注于訓(xùn)練樣本集某個(gè)子集的統(tǒng)計(jì)信息，而忽視各類樣本的整體分布情況，造成了對(duì)噪聲敏感。 所以，雖然一棵完整的決策樹能夠非常準(zhǔn)確地反映 訓(xùn)練樣本集 中數(shù)據(jù)的特征，但因失去了一般代表性而無法 對(duì)新數(shù)據(jù)進(jìn)行準(zhǔn)確的分類或預(yù)測，出現(xiàn)了過 匹配現(xiàn)象 。 樹的剪枝 過匹配 指的是模型由于過度訓(xùn)練，導(dǎo)致其記住的不是訓(xùn)練數(shù)據(jù)的一般特性，而是訓(xùn)練集的局部特性。 當(dāng)將這個(gè)模型應(yīng)用到新的測試集上時(shí)就導(dǎo)致預(yù)測結(jié)果的不準(zhǔn)確。 因此，一個(gè)完整的決策樹構(gòu)造過程將包含 決策樹的創(chuàng)建 和 決策樹的剪枝 這兩方面。 剪枝是一種克服噪聲的技術(shù)，用于解決過匹配問題， 同時(shí)它也能使樹得到簡化而變得更容易理解。 樹的剪枝 剪枝的原則包括 : ? 奧卡姆剃刀原則 ——“如無必要，勿增實(shí)體”。即在與 觀察相容的情況下，應(yīng)當(dāng)選擇最簡單的一棵決策樹。 ? 決策樹越小就越容易理解，其存儲(chǔ)與傳輸?shù)拇鷥r(jià)也就 越小。 ? 決策樹越復(fù)雜，節(jié)點(diǎn)越多，每個(gè)節(jié)點(diǎn)包含的訓(xùn)練樣本個(gè)數(shù)越少，則支持每個(gè)節(jié)點(diǎn)的假設(shè)的樣本個(gè)數(shù)就越少，可能導(dǎo)致決策樹在測試集上的 分類錯(cuò)誤率就會(huì)增大 。 但決策樹過小也會(huì)導(dǎo)致錯(cuò)誤率較大。因此， 需要在樹的大小與正確率之間尋找均衡點(diǎn) 樹的剪枝 常用的剪枝技術(shù)有預(yù)剪枝 (prepruning)和后剪枝 (postpruning)兩種。 ? 預(yù)剪枝 ：在構(gòu)造決策樹時(shí)，決定不再對(duì) 不純的訓(xùn)練子集 進(jìn)行進(jìn)一步劃分的剪枝方法 預(yù)剪枝技術(shù)限制了決策樹的過度生長 如 CHAID, ID3系列的 ID ? 后剪枝 ：在樹完全生成之后的剪枝策略 如 CART算法等 剪枝的目的就是刪除由于噪聲數(shù)據(jù)而引起的分枝，從而避免決策樹的過匹配。 樹的剪枝 預(yù)剪枝中最直接而簡單的方法是事先指定決策樹生長的 最大深度 ，使決策樹不能得到充分生長。這種停止標(biāo)準(zhǔn)一般能夠取得比較好的效果。不過指定樹的高度的方法要求用戶對(duì)數(shù)據(jù)的取值分布有較為清晰的把握，而且須對(duì)參數(shù)值進(jìn)行反復(fù)嘗試，否則無法給出一個(gè)較為合理的樹高度閾值。 樹的剪枝 后剪枝技術(shù)允許決策樹過度生長，然后根據(jù)一定的 規(guī)則，剪去決策樹中那些不具有 一般代表性 的葉節(jié)點(diǎn)或分枝。 后剪枝算法有 自上而下 和 自下而上 兩種剪枝策略。 自下而上的算法首先從最底層的內(nèi)節(jié)點(diǎn)開始，剪去滿足一定條件的內(nèi)節(jié)點(diǎn)，在生成的新決策樹上遞歸調(diào)用這個(gè)算法，直到?jīng)]有可以剪枝的節(jié)點(diǎn)為止。 自上而下的算法是從根節(jié)點(diǎn)開始向下逐個(gè)考慮節(jié)點(diǎn)的剪枝問題，只要節(jié)點(diǎn)滿足剪枝的條件就進(jìn)行剪枝。 樹的剪枝 目前，決策樹修剪策略主要有三種 : 悲觀修剪(pessimistic pruning)， 代價(jià)復(fù)雜度修剪 (costplexity pruning)和 基于最小描述長度 (minimum description length，MDL)原理的修剪 。 TO BE CONTINUED……
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1