數(shù)據(jù)分類決策樹ppt課件-資料下載頁
2025-04-30 18:13本頁面
【正文】 2/5 log2(2/5) ）=用系數(shù) F進(jìn)行修正得：Gain(X1) = 13/14（ – ） = 特 原來為 Date 53考慮未知值的影響：Split_Info (X1)＝ 5/13 log2(5/13) 3/13 log2(3/13) 5/13log2(5/13) 1/13 log2(1/13) =由 Gain_ratio(X) = Gain(X)/ Split_Info (X)計(jì)算，則：Gain_ratio(X) = 同時(shí)，每個(gè)樣本都有一個(gè)相關(guān)的新參數(shù)，即概率：當(dāng)一個(gè)值已知的樣本從 T分配給 Ti時(shí)，它屬于 Ti的概率是 1，屬于其它所有子集的概率是 0；當(dāng)一個(gè)值是未知的，只能得出不穩(wěn)定的概率描述。作為單獨(dú)一組Date 54用屬性 1的檢驗(yàn) X1把集 T分區(qū)成子集后，丟失值的記錄被表示在 3個(gè)子集中。T1：（ 屬性 1=A）屬性2屬性3類 w70 真 類 1 190 真 類 2 185 假 類 2 195 假 類 2 170 假 類 1 190 真 類 1 5/13屬性 2屬性 3類 w90 真 類 1 3/1378 假 類 1 165 真 類 1 175 假 類 1 1屬性 2 屬性 3 類 w80 真 類 2 170 真 類 2 180 假 類 1 180 假 類 1 196 假 類 1 190 真 類 1 5/13T2：（ 屬性 1=B） T3：（ 屬性 1=C）在子集中的權(quán)值在 ， |Ti|可以重新解釋為子集 Ti的所有權(quán)重 w的和，而不再是集 Ti中的元素?cái)?shù)。Date 55因此有：|T1| = 5 + 5/13|T2| = 3 + 3/13|T3| = 5 + 5/13Date 56If 屬性 1 = A then if 屬性 2=70 then 類別 = 類 1 （ ） 。else 類別 = 類 2 （ ） 。Else if 屬性 1 = B then類別 = 類 1 （ ） 。else if 屬性 1 = C thenif 屬性 3 = 真 then類別 = 類 2 （ ） 。else類別 = 類 1 （ ） . 再把這些子集按屬性 2和屬性 3的檢驗(yàn)進(jìn)一步分區(qū)，最終得到的決策樹如下左。因最終分類的不明確性，每個(gè)決策都用到 |Ti|/E表示。 |Ti|是達(dá)到葉結(jié)點(diǎn)的部分樣本和， E是 屬于除了指定類以外的類的樣本數(shù)量。其中 ：達(dá)到葉結(jié)點(diǎn)，其中（ 5/13）個(gè)并不屬于分配給葉的類。Date 57剪枝常常利用統(tǒng)計(jì)學(xué)方法，去掉最不可靠、可能是噪音的一些枝條。q 提供兩種基本的剪枝策略：216。 子樹替代法：用葉結(jié)點(diǎn)替代子樹。216。 子樹上升法：用一棵子樹中最常用的子樹來代替這棵子樹。結(jié)果：最終生成一個(gè)更簡單、更容易理解的樹結(jié)果：最終生成一個(gè)更簡單、更容易理解的樹4. 修剪決策樹（剪枝）Date 58（ 1）先剪枝（ prepruning）在建樹的過程中，如滿足下列條件：q Information Gain或者某些有效統(tǒng)計(jì)量達(dá)到某個(gè)預(yù)先設(shè)定的閾值時(shí)，結(jié)點(diǎn)不再繼續(xù)分裂，內(nèi)部結(jié)點(diǎn)成為一個(gè)葉結(jié)點(diǎn)。q 如果分區(qū)前后分類精度沒有顯著的不同，可用當(dāng)前的點(diǎn)作為葉。由于決策在分區(qū)前提前做出，因此該方法也叫預(yù)剪枝。Date 59 （ 2）后剪枝（ pospruning）用所選的精度準(zhǔn)則回頭去除樹的一些點(diǎn)。在構(gòu)建完樹之后做的決策，所以稱之為后剪枝。當(dāng)建樹時(shí)的訓(xùn)練數(shù)據(jù)進(jìn)入決策樹并到達(dá)葉結(jié)點(diǎn)時(shí)，訓(xùn)練數(shù)據(jù)的 class label與葉結(jié)點(diǎn)的 class label不同，這時(shí)稱為發(fā)生了分類錯(cuò)誤。當(dāng)樹建好之后，對每個(gè)內(nèi)部結(jié)點(diǎn)，算法通過每個(gè)枝條的出錯(cuò)率進(jìn)行加權(quán)平均，計(jì)算如果不剪枝該結(jié)點(diǎn)的錯(cuò)誤率。如果裁減能夠降低錯(cuò)誤率，那么該結(jié)點(diǎn)的所有兒子就被剪掉，而該結(jié)點(diǎn)成為一片葉。出錯(cuò)率用與訓(xùn)練集數(shù)據(jù)獨(dú)立的測試數(shù)據(jù)校驗(yàn)。最終形成一棵錯(cuò)誤率盡可能小的決策樹。Date 60為了使決策樹模型更易讀，可以提取由決策樹表示的分類規(guī)則，并以 IF－ THEN的形式表示。具體方法是：從根結(jié)點(diǎn)到葉結(jié)點(diǎn)的每一條路徑創(chuàng)建一條分類規(guī)則，路徑上的每一個(gè) “屬性－值 ”對為規(guī)則的前件（即 IF部分）的一個(gè)合取項(xiàng)，葉結(jié)點(diǎn)為規(guī)則的后件（即THEN部分）。 生成決策規(guī)則決策樹Date 61〖 例 〗 對于 buys_puter的決策樹可提取以下分類規(guī)則：IF age＝ ‘=30’ AND student＝ ‘no’ THEN buys_puter＝ ‘noIF age＝ ‘=30’ AND student＝ ‘yes’ THEN buys_puter＝ ‘yes’IF age ＝ ‘30…40 ’ THEN buys_puter＝ ‘yes’IF age ＝ ‘40’ AND credit_rating＝ ‘excellent’ THEN buys_puter＝ ‘no’IF age ＝ ‘40’AND credit _rating＝ ‘fair’ THEN buys_puter＝ ‘yes’Date 62 SQL Server 2022中的決策樹應(yīng)用 n 創(chuàng)建 Analysis Services 項(xiàng)目 n 創(chuàng)建數(shù)據(jù)源 n 創(chuàng)建數(shù)據(jù)源視圖 n 創(chuàng)建決策樹挖掘結(jié)構(gòu) n 設(shè)置決策樹挖掘結(jié)構(gòu)的相關(guān)參數(shù) n 建立決策樹挖掘模型 n 查看挖掘結(jié)果 Date 63數(shù)據(jù)集 X屬性 1 屬性 2 類T 1 C2T 2 C1F 1 C2F 2 C2作業(yè) 1給出一個(gè) 3維分類的樣本的數(shù)據(jù)集 X， 表示如下：用 。Date 64數(shù)據(jù)集 YA B C 類15 1 A C120 3 B C225 2 A C130 4 A C135 2 B C225 4 A C115 2 B C220 3 B C2作業(yè) 2給出一個(gè)訓(xùn)練數(shù)據(jù)集 Y， 表示如下：A） 求出屬性 A的最優(yōu)閾值（根據(jù)最大增益）。B） 求出屬性 B的最優(yōu)閾值（根據(jù)最大增益）。C） 求數(shù)據(jù)集 Y的決策樹。D） 從決策樹中導(dǎo)出決策規(guī)則。Date 65
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1