分類挖掘之決策樹-文庫吧資料
2025-01-31 05:05本頁面
【正文】 (X)－ H(X/Y)是不確定性的消除，即互信息才是接收端所獲得的信息量。信息量的數(shù)學定義：信息熵是信息量的數(shù)學期望，是信源發(fā)出信息前的平均不確定性，也稱先驗熵，信息熵的數(shù)學定義為：信息論的基本概念信源熵 H(X)信源熵是度量整個信源 X整體的平均不確定性，也稱先驗熵。2023/5/4屬性選擇度量標準－－分支指標? 信息增益信息增益 ——Information gain （ ID3）? 增益比率增益比率 ——Gain ration（ ,）? 基尼指數(shù)基尼指數(shù) ——Gini index (SLIQ， SPRINT) …………2023/5/4 信息是用來消除隨機不確定性的度量。 Partition (S1)。Partition (Data S) if (all points in S are in the same class) then return。 ? 驗證集 (Validation):用于模型誤差的估計。其中 vi表示屬性值 ,c表示類別。一個具體樣本的形式可為 :( v1, v2, ..., vn。? 過度擬和（ Overfitting）? 預修剪（ prepruning）、后修剪（ postpruning） ? 訓練集 (Train)： 數(shù)據(jù)庫中為建立模型而被分析的數(shù)據(jù)元組形成訓練集。 ? 開始，數(shù)據(jù)都在根節(jié)點? 遞歸的進行數(shù)據(jù)分片? 2 修剪決策樹 去掉一些可能是噪音或者異常的數(shù)據(jù)? 3 使用決策樹 對未知數(shù)據(jù)進行分類 按照決策樹上采用的分割屬性逐層往下，直 到一個葉子節(jié)點使用決策樹進行分類使用決策樹進行分類判定樹分類算法 output訓練集 決策樹input2023/5/4決策樹的核心問題? 第一，決策樹的生長，即利用訓練樣本集完成決策樹的建立過程；最佳的分組變量；最佳的分割點 。? 特點：分類預測是基于邏輯的 。? 回歸決策樹：樹葉結點所含樣本的輸出變量的平均值就是預測結果。根結點葉結點內部結點兄弟結點2叉樹多叉樹分類預測? 分類預測，就是通過向現(xiàn)有數(shù)據(jù)學習，使模型具備對未來新數(shù)據(jù)的分類預測能力。分類挖掘：決策樹 2023/5/4決策樹算法概述? 決策樹算法最早源于人工智能的機器學習技術，用以實現(xiàn)數(shù)據(jù)內在規(guī)律的探究和新數(shù)據(jù)對象的分類預測。? 決策樹算法屬于有指導的學習。? 數(shù)據(jù)包含：? 輸入變量? 輸出變量? 分類和預測? 分類：分類型輸出變量? 預測：數(shù)值型輸出變量決策樹算法概述? 決策樹的種類：? 分類決策樹：樹葉結點所含樣本的輸出變量的眾數(shù)就是分類結果。? 利用決策樹進行分類預測：? 對新數(shù)據(jù)進行分類預測時，只需按照決策樹的層次，從根結點開始依次對新數(shù)據(jù)輸入變量值進行判斷并進入不同的決策樹分支，直至葉結點為止 。? IF THEN? 每個葉節(jié)點對應一條推理規(guī)則? 1 建立決策樹，利用訓練樣本生成決策樹模型。決策樹的核心問題? 第二，決策樹的修剪，即利用檢驗樣本集對形成的決策樹進行優(yōu)化處。訓練集中的單個元組稱為訓練樣本 ,每個訓練樣本有一個類別標記。 c )。? 測試集 (Test)： 用于模型參數(shù)的估計，評估分類模型的準確率。訓訓練練集集與與測測試試集集2023/5/4 訓練集 分類階段評估準確率（測試集）對類標號未知的新數(shù)據(jù)分類 分類的兩個階段分類的兩個階段2023/5/4? 基本算法–自上而下分而治之的方法–開始時，所有的數(shù)據(jù)都在根節(jié)點–所有記錄用所選屬性遞歸的進行分割–屬性的選擇是基于一個啟發(fā)式規(guī)則或者一個統(tǒng)計的度量 (如 , information gain)? 停止分割的條件–一個節(jié)點上的數(shù)據(jù)都是屬于同一個類別–沒有屬性可以再用于對數(shù)據(jù)進行分割2023/5/4建樹階段MakeTree (Training Data T) Partition (T)。 ev
范文總結相關推薦
鄂ICP備17016276號-1