5決策樹-資料下載頁
2026-01-05 06:46本頁面
【正文】 例 : 192/384= I(64,0)=0 比例 : 64/384= 注意 決策樹算法 第 6章 決策樹 計數(shù) 年齡 收入 學(xué)生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 年齡 青年 中年 老年 學(xué)生 買 信譽 葉子 否 是 優(yōu) 良 買 不買 買 / 不買 買 葉子 葉子 葉子 決策樹算法 ID3 決策樹建立算法 1 決定分類屬性； 2 對目前的數(shù)據(jù)表，建立一個節(jié)點 N 3 如果數(shù)據(jù)庫中的數(shù)據(jù)都屬于同一個類， N就是樹葉，在樹葉上 標出所屬的類 4 如果數(shù)據(jù)表中沒有其他屬性可以考慮，則 N也是樹葉，按照少 數(shù)服從多數(shù)的原則在樹葉上標出所屬類別 5 否則，根據(jù)平均信息期望值 E或 GAIN值選出一個最佳屬性作 為節(jié)點 N的測試屬性 6 節(jié)點屬性選定后，對于該屬性中的每個值： 從 N生成一個分支，并將數(shù)據(jù)表中與該分支有關(guān)的數(shù)據(jù)收集形 成分支節(jié)點的數(shù)據(jù)表，在表中刪除節(jié)點屬性那一欄 如果分支數(shù)據(jù)表非空，則運用以上算法從該節(jié)點建立子樹。 決策樹算法 （四） Decision Tree的建立過程 37 決策樹的停止 ? 決策樹是通過 遞歸分割 (recursive partitioning)建立而成，遞歸分割是一種把數(shù)據(jù)分割成不同小的部分 的迭代過程 。 ? 如果有以下情況發(fā)生，決策樹將 停止分割： ?該群數(shù)據(jù)的每一筆數(shù)據(jù)都已經(jīng)歸類到同一類別。 ?該群數(shù)據(jù)已經(jīng)沒有辦法再找到新的屬性來進行節(jié)點分割。 ?該群數(shù)據(jù)已經(jīng)沒有任何尚未處理的數(shù)據(jù)。 2023/1/29 決策樹的剪枝 (pruning) 38 ? 決策樹學(xué)習(xí)可能遭遇 模型過度 擬合 （ over fitting）的問題，過度擬合是指模型過度訓(xùn)練，導(dǎo)致模型記住的不是訓(xùn)練集的一般性，反而是訓(xùn)練集的局部特性。 ? 如何處理過度擬合呢？對決策樹進行修剪。 ? 樹的修剪有幾種解決的方法，主要為先剪枝和后剪枝方法。 2023/1/29 （ 1）先剪枝方法 39 ? 在先剪枝方法中，通過提前停止樹的構(gòu)造（例如，通過決定在給定的節(jié)點上不再分裂或劃分訓(xùn)練樣本的子集）而對樹“剪枝”。一旦停止，節(jié)點成為樹葉。 ? 確定閥值法：在構(gòu)造樹時，可將信息增益用于評估岔的優(yōu)良性。如果在一個節(jié)點劃分樣本將導(dǎo)致低于預(yù)定義閥值的分裂，則給定子集的進一步劃分將停止。 ? 測試組修剪法：在使用訓(xùn)練組樣本產(chǎn)生新的分岔時，就立刻使用測試組樣本去測試這個分岔規(guī)則是否能夠再現(xiàn)，如果不能，就被視作過度擬合而被修剪掉，如果能夠再現(xiàn)，則該分岔予以保留而繼續(xù)向下分岔。 2023/1/29 （ 2）后剪枝方法 40 ? 后剪枝方法是由“完全生長”的樹剪去分枝。通過刪除節(jié)點的分枝，剪掉葉節(jié)點。 ? 案例數(shù)修剪是在產(chǎn)生完全生長的樹后，根據(jù)最小案例數(shù)閥值，將案例數(shù)小于閥值的樹節(jié)點剪掉。 ? 成本復(fù)雜性修剪法是當(dāng)決策樹成長完成后，演算法計算所有葉節(jié)點的總和錯誤率，然后計算去除某一葉節(jié)點后的總和錯誤率，當(dāng)去除該葉節(jié)點的錯誤率降低或者不變時，則剪掉該節(jié)點。反之，保留。 2023/1/29 應(yīng)用案例：在農(nóng)業(yè)中的應(yīng)用 2023/1/29 41 第一步：屬性離散化 2023/1/29 42 第二步：概化（泛化） 2023/1/29 43 第三步：計算各屬性的期望信息 2023/1/29 44 =(17/30)*LOG((17/30),2)+(10/30)*LOG((10/30),2)+(3/30)*LOG((3/30),2) 計算各屬性的信息增益 2023/1/29 45 第四步：決策樹 2023/1/29 46 案例 2：銀行違約率 2023/1/29 47 2023/1/29 48 案例 3 對電信客戶的流失率分析 2023/1/29 49 數(shù)據(jù)倉庫 條件屬性 類別屬性 客戶是否流失 案例 4：在銀行中的應(yīng)用 2023/1/29 50 案例 5：個人信用評級 2023/1/29 51 個人信用評級決策樹 （五） 其他算法 52 ? ? Gini Index算法 ? CART算法 ? PRISM算法 ? CHAID算法 2023/1/29 演講完畢，謝謝觀看！
公司管理相關(guān)推薦
鄂ICP備17016276號-1