數(shù)據(jù)分類決策樹ppt課件-資料下載頁
2025-04-30 18:13本頁面
【正文】 2/5 log2(2/5) ）=用系數(shù) F進行修正得：Gain(X1) = 13/14（ – ） = 特 原來為 Date 53考慮未知值的影響：Split_Info (X1)＝ 5/13 log2(5/13) 3/13 log2(3/13) 5/13log2(5/13) 1/13 log2(1/13) =由 Gain_ratio(X) = Gain(X)/ Split_Info (X)計算，則：Gain_ratio(X) = 同時，每個樣本都有一個相關的新參數(shù)，即概率：當一個值已知的樣本從 T分配給 Ti時，它屬于 Ti的概率是 1，屬于其它所有子集的概率是 0；當一個值是未知的，只能得出不穩(wěn)定的概率描述。作為單獨一組Date 54用屬性 1的檢驗 X1把集 T分區(qū)成子集后，丟失值的記錄被表示在 3個子集中。T1：（ 屬性 1=A）屬性2屬性3類 w70 真 類 1 190 真 類 2 185 假 類 2 195 假 類 2 170 假 類 1 190 真 類 1 5/13屬性 2屬性 3類 w90 真 類 1 3/1378 假 類 1 165 真 類 1 175 假 類 1 1屬性 2 屬性 3 類 w80 真 類 2 170 真 類 2 180 假 類 1 180 假 類 1 196 假 類 1 190 真 類 1 5/13T2：（ 屬性 1=B） T3：（ 屬性 1=C）在子集中的權值在 ， |Ti|可以重新解釋為子集 Ti的所有權重 w的和，而不再是集 Ti中的元素數(shù)。Date 55因此有：|T1| = 5 + 5/13|T2| = 3 + 3/13|T3| = 5 + 5/13Date 56If 屬性 1 = A then if 屬性 2=70 then 類別 = 類 1 （ ） 。else 類別 = 類 2 （ ） 。Else if 屬性 1 = B then類別 = 類 1 （ ） 。else if 屬性 1 = C thenif 屬性 3 = 真 then類別 = 類 2 （ ） 。else類別 = 類 1 （ ） . 再把這些子集按屬性 2和屬性 3的檢驗進一步分區(qū)，最終得到的決策樹如下左。因最終分類的不明確性，每個決策都用到 |Ti|/E表示。 |Ti|是達到葉結點的部分樣本和， E是 屬于除了指定類以外的類的樣本數(shù)量。其中 ：達到葉結點，其中（ 5/13）個并不屬于分配給葉的類。Date 57剪枝常常利用統(tǒng)計學方法，去掉最不可靠、可能是噪音的一些枝條。q 提供兩種基本的剪枝策略：216。 子樹替代法：用葉結點替代子樹。216。 子樹上升法：用一棵子樹中最常用的子樹來代替這棵子樹。結果：最終生成一個更簡單、更容易理解的樹結果：最終生成一個更簡單、更容易理解的樹4. 修剪決策樹（剪枝）Date 58（ 1）先剪枝（ prepruning）在建樹的過程中，如滿足下列條件：q Information Gain或者某些有效統(tǒng)計量達到某個預先設定的閾值時，結點不再繼續(xù)分裂，內(nèi)部結點成為一個葉結點。q 如果分區(qū)前后分類精度沒有顯著的不同，可用當前的點作為葉。由于決策在分區(qū)前提前做出，因此該方法也叫預剪枝。Date 59 （ 2）后剪枝（ pospruning）用所選的精度準則回頭去除樹的一些點。在構建完樹之后做的決策，所以稱之為后剪枝。當建樹時的訓練數(shù)據(jù)進入決策樹并到達葉結點時，訓練數(shù)據(jù)的 class label與葉結點的 class label不同，這時稱為發(fā)生了分類錯誤。當樹建好之后，對每個內(nèi)部結點，算法通過每個枝條的出錯率進行加權平均，計算如果不剪枝該結點的錯誤率。如果裁減能夠降低錯誤率，那么該結點的所有兒子就被剪掉，而該結點成為一片葉。出錯率用與訓練集數(shù)據(jù)獨立的測試數(shù)據(jù)校驗。最終形成一棵錯誤率盡可能小的決策樹。Date 60為了使決策樹模型更易讀，可以提取由決策樹表示的分類規(guī)則，并以 IF－ THEN的形式表示。具體方法是：從根結點到葉結點的每一條路徑創(chuàng)建一條分類規(guī)則，路徑上的每一個 “屬性－值 ”對為規(guī)則的前件（即 IF部分）的一個合取項，葉結點為規(guī)則的后件（即THEN部分）。 生成決策規(guī)則決策樹Date 61〖 例 〗 對于 buys_puter的決策樹可提取以下分類規(guī)則：IF age＝ ‘=30’ AND student＝ ‘no’ THEN buys_puter＝ ‘noIF age＝ ‘=30’ AND student＝ ‘yes’ THEN buys_puter＝ ‘yes’IF age ＝ ‘30…40 ’ THEN buys_puter＝ ‘yes’IF age ＝ ‘40’ AND credit_rating＝ ‘excellent’ THEN buys_puter＝ ‘no’IF age ＝ ‘40’AND credit _rating＝ ‘fair’ THEN buys_puter＝ ‘yes’Date 62 SQL Server 2022中的決策樹應用 n 創(chuàng)建 Analysis Services 項目 n 創(chuàng)建數(shù)據(jù)源 n 創(chuàng)建數(shù)據(jù)源視圖 n 創(chuàng)建決策樹挖掘結構 n 設置決策樹挖掘結構的相關參數(shù) n 建立決策樹挖掘模型 n 查看挖掘結果 Date 63數(shù)據(jù)集 X屬性 1 屬性 2 類T 1 C2T 2 C1F 1 C2F 2 C2作業(yè) 1給出一個 3維分類的樣本的數(shù)據(jù)集 X， 表示如下：用 。Date 64數(shù)據(jù)集 YA B C 類15 1 A C120 3 B C225 2 A C130 4 A C135 2 B C225 4 A C115 2 B C220 3 B C2作業(yè) 2給出一個訓練數(shù)據(jù)集 Y， 表示如下：A） 求出屬性 A的最優(yōu)閾值（根據(jù)最大增益）。B） 求出屬性 B的最優(yōu)閾值（根據(jù)最大增益）。C） 求數(shù)據(jù)集 Y的決策樹。D） 從決策樹中導出決策規(guī)則。Date 65
教學課件相關推薦
鄂ICP備17016276號-1