決策樹算法介紹(編輯修改稿)
2025-09-01 03:50 本頁面
【文章內(nèi)容簡(jiǎn)介】 “優(yōu)”If（年齡40）and（職業(yè)!=“學(xué)生” and 職業(yè)!=“教師”）Then 信用等級(jí)=“良”If（年齡=40）and（月薪1000）Then 信用等級(jí)=“差”If（年齡=40）and（月薪=1000 and 月薪=3000）Then 信用等級(jí)=“良”If（年齡=40）and（月薪3000）Then 信用等級(jí)=“優(yōu)”這些規(guī)則即可應(yīng)用到對(duì)未來觀測(cè)樣本的分類中了。 IDID3算法是最有影響力的決策樹算法之一，由Quinlan提出。；，使其綜合性能大幅度提高。，其算法細(xì)節(jié)屬于商業(yè)機(jī)密，因此沒有被公開，包括Clementine。 ID3任何一個(gè)決策樹算法，其核心步驟都是為每一次分裂確定一個(gè)分裂屬性，即究竟按照哪一個(gè)屬性來把當(dāng)前數(shù)據(jù)集劃分為若干個(gè)子集，從而形成若干個(gè)“樹枝”。ID3算法采用“信息增益”為度量來選擇分裂屬性的。哪個(gè)屬性在分裂中產(chǎn)生的信息增益最大，就選擇該屬性作為分裂屬性。那么什么是信息增益呢？這需要首先了解“熵”這個(gè)概念。熵，是數(shù)據(jù)集中的不確定性、突發(fā)性或隨機(jī)性的程度的度量。當(dāng)一個(gè)數(shù)據(jù)集中的記錄全部都屬于同一類的時(shí)候，則沒有不確定性，這種情況下的熵為0。決策樹分類的基本原則是，數(shù)據(jù)集被分裂為若干個(gè)子集后，要使每個(gè)子集中的數(shù)據(jù)盡可能的“純”，也就是說子集中的記錄要盡可能屬于同一個(gè)類別。如果套用熵的概念，即要使分裂后各子集的熵盡可能的小。例如在一次分裂中，數(shù)據(jù)集D被按照分裂屬性“年齡”分裂為兩個(gè)子集D1和D2。ID3算法是一個(gè)從上到下、分而治之的歸納過程。ID3算法的核心是：在決策樹各級(jí)節(jié)點(diǎn)上選擇分裂屬性時(shí)，通過計(jì)算信息增益來選擇屬性，以使得在每一個(gè)非葉節(jié)點(diǎn)進(jìn)行測(cè)試時(shí)，能獲得關(guān)于被測(cè)試樣本最大的類別信息。其具體方法是：檢測(cè)所有的屬性，選擇信息增益最大的屬性產(chǎn)生決策樹節(jié)點(diǎn)，由該屬性的不同取值建立分支，再對(duì)各分支的子集遞歸調(diào)用該方法建立決策樹節(jié)點(diǎn)的分支，直到所有子集僅包括同一類別的數(shù)據(jù)為止。最后得到一棵決策樹，它可以用來對(duì)新的樣本進(jìn)行分類。下面通過一個(gè)實(shí)例來了解一下決策樹的構(gòu)建過程。表32是一個(gè)假想的銀行貸款客戶歷史信息（略去了客戶姓名），包含14個(gè)樣本?，F(xiàn)要求以這14個(gè)樣本為訓(xùn)練數(shù)據(jù)集，以“提供貸款”為類標(biāo)號(hào)屬性，用ID3算法構(gòu)造決策樹。ID3算法是一種典型的決策樹分析算法，后來發(fā)展的許多決策樹算法都是以ID3算法為基礎(chǔ)發(fā)展而來的。ID3算法的優(yōu)點(diǎn)在于它構(gòu)建決策樹的速度比較快，它的計(jì)算時(shí)間隨問題的難度只是線性地增加，適合處理大批量數(shù)據(jù)集。同時(shí)，ID3算
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1