決策樹建模概述(參考版)
2025-01-16 19:43本頁面
【正文】 TO BE CONTINUED…… 。 不同的決策樹算法采用不同的統(tǒng)計(jì)度量，主要有 : ? 信息增益 ——Information Gain ( ID3和 )， 所有屬性假設(shè)都是 種類字段 ，經(jīng)過修改之后可以適用于 數(shù)值字段 。 167。在訓(xùn)練樣本數(shù)目較少的情況下，需要將所有的樣本既用于樹的構(gòu)建，又用于樹的修剪。 悲觀修剪是 Quinlan在 1987年提出的，該方法將所有的樣本用于樹的構(gòu)建和修剪，但是這種方法產(chǎn)生的樹太大，并且有時(shí)候精度不高。 自上而下的算法是從根節(jié)點(diǎn)開始向下逐個(gè)考慮節(jié)點(diǎn)的剪枝問題，只要節(jié)點(diǎn)滿足剪枝的條件就進(jìn)行剪枝。 后剪枝算法有自上而下和自下而上兩種剪枝策略。不過指定樹的高度的方法要求用戶對(duì)數(shù)據(jù)的取值分布有較為清晰的把握，而且須對(duì)參數(shù)值進(jìn)行反復(fù)嘗試，否則無法給出一個(gè)較為合理的樹高度閾值。 有效性和風(fēng)險(xiǎn)性 預(yù)剪枝中最直接而簡(jiǎn)單的方法是事先指定決策樹生長(zhǎng)的最大深度，使決策樹不能得到充分生長(zhǎng)。因此， 需要在樹的大小與正確率之間尋找均衡點(diǎn) 有效性和風(fēng)險(xiǎn)性 常用的剪枝技術(shù)有預(yù)剪枝 (prepruning)和后剪枝 (postpruning)兩種。 ? 決策樹越復(fù)雜，節(jié)點(diǎn)越多，每個(gè)節(jié)點(diǎn)包含的訓(xùn)練樣本個(gè)數(shù)越少，則支持每個(gè)節(jié)點(diǎn)的假設(shè)的樣本個(gè)數(shù)就越少，可能導(dǎo)致決策樹在測(cè)試集上的 分類錯(cuò)誤率就會(huì)增大 。即在與 觀察相容的情況下，應(yīng)當(dāng)選擇最簡(jiǎn)單的一棵決策樹。 剪枝是一種克服噪聲的技術(shù)，用于解決過匹配問題， 同時(shí)它也能使樹得到簡(jiǎn)化而變得更容易理解。 當(dāng)將這個(gè)模型應(yīng)用到新的測(cè)試集上時(shí)就導(dǎo)致預(yù)測(cè)結(jié)果的不準(zhǔn)確。 所以，雖然一棵完整的決策樹能夠非常準(zhǔn)確地反映 訓(xùn)練樣本集 中數(shù)據(jù)的特征，但因失去了一般代表性而無法 對(duì)新數(shù)據(jù)進(jìn)行準(zhǔn)確的分類或預(yù)測(cè)，出現(xiàn)了過匹配現(xiàn)象。 樹的建模過程 3 有效性和風(fēng)險(xiǎn)性 基本的決策樹算法沒有考慮噪聲 , 生成的決策樹完全與訓(xùn)練例子擬合。 停止分割的條件 : 一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都是屬于同一個(gè) 類別或沒有屬性可以再用于對(duì)數(shù)據(jù)進(jìn)行分割。 所有記錄用所選屬性遞歸地進(jìn)行分割 。去掉一些可能是噪音或者異常的數(shù)據(jù)或節(jié)點(diǎn) 樹的生長(zhǎng) 其通用的基本算法 (貪心算法 )為 : 以自上而下分而治之的方法，開始時(shí)，所有的數(shù)據(jù)都在根節(jié)點(diǎn) 。重復(fù)第一步，直至每個(gè)葉節(jié)點(diǎn) 內(nèi)的記錄都屬于同一類，或達(dá)到其他停止準(zhǔn)則。一般的做法是窮盡所有的屬性域，對(duì)每個(gè)屬性域分裂的好壞做出量化，計(jì)算出最好的一個(gè)分裂。整個(gè) 訓(xùn)練集 作為產(chǎn)生決策樹的集合， 訓(xùn)練集每個(gè)記錄必須是已經(jīng)分好類的。 決策樹的 功能 是 預(yù)測(cè)一個(gè)新的記錄屬于哪一類 。每個(gè)葉節(jié)點(diǎn)是屬于 單一類別 的記錄。 如果 A是分類屬性，那么 q 的形式是 A∈ S’, 其中 S’是 S(A)的子集。 而分類屬性的取值范圍則是離散值的集合 S(A)，比如性別屬性的取值范圍就是集合 {男，女 }。每個(gè)內(nèi)部節(jié)點(diǎn)都對(duì)應(yīng) 一個(gè)分枝方案，它包括用于節(jié)點(diǎn)分裂的屬性 A 和分枝的 判斷規(guī)則 q。 167。 決策樹的每個(gè)節(jié)點(diǎn)有 0或 2個(gè)子節(jié)點(diǎn)，除了根節(jié)點(diǎn)以外，每個(gè)節(jié)點(diǎn)有且僅有一個(gè)父節(jié)點(diǎn)。 167。 Hunt等人于 1966年提出的概念學(xué)習(xí)系統(tǒng) (concept learning system ， CLS)是最早的決策樹算法，以后的許多決策樹算法都是對(duì) CLS算法的改進(jìn)或由 CLS衍生而來。 樹的建模過程 樹的生長(zhǎng) 決策樹算法是一種常用的數(shù)據(jù)挖掘算法，它是從 機(jī)器學(xué)習(xí)領(lǐng)域中逐漸發(fā)展起來的一種分類函數(shù)逼近方法。 。由于泛化操作壓縮了原來的數(shù)據(jù)集，從而可以幫助有效減少學(xué)習(xí)過程所涉及的輸入輸出操作。例如，屬
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1