5決策樹(shù)-資料下載頁(yè)
2025-01-14 06:46本頁(yè)面
【正文】 例 : 192/384= I(64,0)=0 比例 : 64/384= 注意 決策樹(shù)算法 第 6章 決策樹(shù) 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 青 高 否 良 不買(mǎi) 64 青 高 否 優(yōu) 不買(mǎi) 128 中 高 否 良 買(mǎi) 60 老 中 否 良 買(mǎi) 64 老 低 是 良 買(mǎi) 64 老 低 是 優(yōu) 不買(mǎi) 64 中 低 是 優(yōu) 買(mǎi) 128 青 中 否 良 不買(mǎi) 64 青 低 是 良 買(mǎi) 132 老 中 是 良 買(mǎi) 64 青 中 是 優(yōu) 買(mǎi) 32 中 中 否 優(yōu) 買(mǎi) 32 中 高 是 良 買(mǎi) 63 老 中 否 優(yōu) 不買(mǎi) 1 老 中 否 優(yōu) 買(mǎi) 年齡 青年 中年 老年 學(xué)生 買(mǎi) 信譽(yù) 葉子 否 是 優(yōu) 良 買(mǎi) 不買(mǎi) 買(mǎi) / 不買(mǎi) 買(mǎi) 葉子 葉子 葉子 決策樹(shù)算法 ID3 決策樹(shù)建立算法 1 決定分類(lèi)屬性； 2 對(duì)目前的數(shù)據(jù)表，建立一個(gè)節(jié)點(diǎn) N 3 如果數(shù)據(jù)庫(kù)中的數(shù)據(jù)都屬于同一個(gè)類(lèi)， N就是樹(shù)葉，在樹(shù)葉上 標(biāo)出所屬的類(lèi) 4 如果數(shù)據(jù)表中沒(méi)有其他屬性可以考慮，則 N也是樹(shù)葉，按照少 數(shù)服從多數(shù)的原則在樹(shù)葉上標(biāo)出所屬類(lèi)別 5 否則，根據(jù)平均信息期望值 E或 GAIN值選出一個(gè)最佳屬性作 為節(jié)點(diǎn) N的測(cè)試屬性 6 節(jié)點(diǎn)屬性選定后，對(duì)于該屬性中的每個(gè)值： 從 N生成一個(gè)分支，并將數(shù)據(jù)表中與該分支有關(guān)的數(shù)據(jù)收集形 成分支節(jié)點(diǎn)的數(shù)據(jù)表，在表中刪除節(jié)點(diǎn)屬性那一欄 如果分支數(shù)據(jù)表非空，則運(yùn)用以上算法從該節(jié)點(diǎn)建立子樹(shù)。 決策樹(shù)算法 （四） Decision Tree的建立過(guò)程 37 決策樹(shù)的停止 ? 決策樹(shù)是通過(guò) 遞歸分割 (recursive partitioning)建立而成，遞歸分割是一種把數(shù)據(jù)分割成不同小的部分 的迭代過(guò)程 。 ? 如果有以下情況發(fā)生，決策樹(shù)將 停止分割： ?該群數(shù)據(jù)的每一筆數(shù)據(jù)都已經(jīng)歸類(lèi)到同一類(lèi)別。 ?該群數(shù)據(jù)已經(jīng)沒(méi)有辦法再找到新的屬性來(lái)進(jìn)行節(jié)點(diǎn)分割。 ?該群數(shù)據(jù)已經(jīng)沒(méi)有任何尚未處理的數(shù)據(jù)。 2023/1/29 決策樹(shù)的剪枝 (pruning) 38 ? 決策樹(shù)學(xué)習(xí)可能遭遇 模型過(guò)度 擬合 （ over fitting）的問(wèn)題，過(guò)度擬合是指模型過(guò)度訓(xùn)練，導(dǎo)致模型記住的不是訓(xùn)練集的一般性，反而是訓(xùn)練集的局部特性。 ? 如何處理過(guò)度擬合呢？對(duì)決策樹(shù)進(jìn)行修剪。 ? 樹(shù)的修剪有幾種解決的方法，主要為先剪枝和后剪枝方法。 2023/1/29 （ 1）先剪枝方法 39 ? 在先剪枝方法中，通過(guò)提前停止樹(shù)的構(gòu)造（例如，通過(guò)決定在給定的節(jié)點(diǎn)上不再分裂或劃分訓(xùn)練樣本的子集）而對(duì)樹(shù)“剪枝”。一旦停止，節(jié)點(diǎn)成為樹(shù)葉。 ? 確定閥值法：在構(gòu)造樹(shù)時(shí)，可將信息增益用于評(píng)估岔的優(yōu)良性。如果在一個(gè)節(jié)點(diǎn)劃分樣本將導(dǎo)致低于預(yù)定義閥值的分裂，則給定子集的進(jìn)一步劃分將停止。 ? 測(cè)試組修剪法：在使用訓(xùn)練組樣本產(chǎn)生新的分岔時(shí)，就立刻使用測(cè)試組樣本去測(cè)試這個(gè)分岔規(guī)則是否能夠再現(xiàn)，如果不能，就被視作過(guò)度擬合而被修剪掉，如果能夠再現(xiàn)，則該分岔予以保留而繼續(xù)向下分岔。 2023/1/29 （ 2）后剪枝方法 40 ? 后剪枝方法是由“完全生長(zhǎng)”的樹(shù)剪去分枝。通過(guò)刪除節(jié)點(diǎn)的分枝，剪掉葉節(jié)點(diǎn)。 ? 案例數(shù)修剪是在產(chǎn)生完全生長(zhǎng)的樹(shù)后，根據(jù)最小案例數(shù)閥值，將案例數(shù)小于閥值的樹(shù)節(jié)點(diǎn)剪掉。 ? 成本復(fù)雜性修剪法是當(dāng)決策樹(shù)成長(zhǎng)完成后，演算法計(jì)算所有葉節(jié)點(diǎn)的總和錯(cuò)誤率，然后計(jì)算去除某一葉節(jié)點(diǎn)后的總和錯(cuò)誤率，當(dāng)去除該葉節(jié)點(diǎn)的錯(cuò)誤率降低或者不變時(shí)，則剪掉該節(jié)點(diǎn)。反之，保留。 2023/1/29 應(yīng)用案例：在農(nóng)業(yè)中的應(yīng)用 2023/1/29 41 第一步：屬性離散化 2023/1/29 42 第二步：概化（泛化） 2023/1/29 43 第三步：計(jì)算各屬性的期望信息 2023/1/29 44 =(17/30)*LOG((17/30),2)+(10/30)*LOG((10/30),2)+(3/30)*LOG((3/30),2) 計(jì)算各屬性的信息增益 2023/1/29 45 第四步：決策樹(shù) 2023/1/29 46 案例 2：銀行違約率 2023/1/29 47 2023/1/29 48 案例 3 對(duì)電信客戶(hù)的流失率分析 2023/1/29 49 數(shù)據(jù)倉(cāng)庫(kù) 條件屬性 類(lèi)別屬性 客戶(hù)是否流失 案例 4：在銀行中的應(yīng)用 2023/1/29 50 案例 5：個(gè)人信用評(píng)級(jí) 2023/1/29 51 個(gè)人信用評(píng)級(jí)決策樹(shù) （五） 其他算法 52 ? ? Gini Index算法 ? CART算法 ? PRISM算法 ? CHAID算法 2023/1/29 演講完畢，謝謝觀(guān)看！
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1