決策樹簡介-wenkub.com
2025-01-11 19:37 本頁面
【正文】 自上而下的算法是從根節(jié)點開始向下逐個考慮節(jié)點的剪枝問題，只要節(jié)點滿足剪枝的條件就進行剪枝。不過指定樹的高度的方法要求用戶對數(shù)據(jù)的取值分布有較為清晰的把握，而且須對參數(shù)值進行反復(fù)嘗試，否則無法給出一個較為合理的樹高度閾值。因此， 需要在樹的大小與正確率之間尋找均衡點 樹的剪枝 常用的剪枝技術(shù)有預(yù)剪枝 (prepruning)和后剪枝 (postpruning)兩種。即在與 觀察相容的情況下，應(yīng)當(dāng)選擇最簡單的一棵決策樹。 當(dāng)將這個模型應(yīng)用到新的測試集上時就導(dǎo)致預(yù)測結(jié)果的不準確。 樹的建模過程 3 有效性和風(fēng)險性 基本的決策樹算法沒有考慮噪聲 , 生成的決策樹完全與訓(xùn)練例子擬合。 所有記錄用所選屬性遞歸地進行分割 。重復(fù)第一步，直至每個葉節(jié)點 內(nèi)的記錄都屬于同一類，或達到其他停止準則。整個 訓(xùn)練集 作為產(chǎn)生決策樹的集合， 訓(xùn)練集每個記錄必須是已經(jīng)分好類的。目前，利用決策樹進行數(shù)據(jù)分類的方法已經(jīng)被深入研究，并且形成了許多決策樹算法。 167。 數(shù)據(jù)準備 數(shù)據(jù)轉(zhuǎn)換 利用概念層次樹，數(shù)據(jù)能夠被泛化到更高的層次。 數(shù)據(jù)準備 相關(guān)分析 由于數(shù)據(jù)集中的許多屬性與挖掘任務(wù)本身可能是無關(guān)的，例如記錄銀行貸款申請 (單 )填寫時的星期數(shù) (屬性 )，就可能與申請成功與否的描述無關(guān)。 167。 樹的建模過程 —總體步驟 決策樹的構(gòu)造基本可以分為如下兩步 : ?決策樹的生成 決策樹的生成是指由 訓(xùn)練樣本數(shù)據(jù)集 生成決策樹的過程。 (2)基于 信息理論 的方法，以 ID3算法為代表，此類算法中，非終端的節(jié)點的分枝由樣本類別個數(shù)決定 。 ? 在醫(yī)學(xué)領(lǐng)域，決策樹方法可用于疾病診斷治疔、 基因與高分子序列分析、醫(yī)院信息系統(tǒng)挖掘及醫(yī)療政策分析等。決策樹在 商業(yè)、工業(yè)、天文、醫(yī)學(xué)、風(fēng)險分析、社會科學(xué)和分類學(xué) 等領(lǐng)域的應(yīng)用已經(jīng)取得了很好的經(jīng)濟和社會效益。 ? 通常僅根據(jù)單個屬性來分類 : 決策樹方法根據(jù)單個屬性對數(shù)據(jù)進行 分類，而在實際的分類系統(tǒng)中，類的劃分不僅僅與單個屬性有關(guān)，往往與一個屬性集有關(guān)。 決策樹的基本知識 2 決策樹方法的缺點 : ? 對于具有連續(xù)值的屬性預(yù)測比較困難。 決策樹的基本知識 2 決策樹方法的 (相對 )優(yōu)點 : ? 可以生成可理解的規(guī)則 數(shù)據(jù)挖掘產(chǎn)生的模式的可理解度是判別數(shù)據(jù)挖掘算法的主要指標(biāo)之一，相比于一些數(shù)據(jù)挖掘算法，決策樹算法產(chǎn)生的規(guī)則比較容易理解，并且決策樹模型的建立過程也很直觀。 它的最大優(yōu)點是，在學(xué)習(xí)過程中不需要使用者了解很多背景知識，只要訓(xùn)練樣本集能夠用 “屬性 值” 的方式表達 出來就能使用決策樹學(xué)習(xí)算法來分類。 ? 每個屬性可能是值類型 (連續(xù)值 )，也可能是枚舉類型 (離散值 )。 根據(jù)決策樹各種不同的屬性，可分為以下幾類 : ? 決策樹內(nèi)節(jié)點的測試屬性可能是單變量的，即每個內(nèi)節(jié)點只包含一個 屬性 。 決策樹的基本知識 2 先根據(jù) 訓(xùn)練子集 形成決策樹，如果該樹不能對所有對象給出正確的分類，那么選擇一些例外 加入到訓(xùn)練集中，重復(fù)該過程一直到形成正確的決策集。 這個假定是歸納學(xué)習(xí) 有效性的前提條件 。 歸納學(xué)習(xí)的過程就是尋找一般化描述 (歸納斷言 )的過程。新算法在對預(yù)測變量的缺失值處理、剪枝技術(shù)、派生規(guī)則等方面作了較大的改進， 。 1975年和 1984年，分別有人提出了 CHAID和 CART算
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1