決策樹算法介紹(編輯修改稿)
2024-09-01 03:50 本頁面
【文章內(nèi)容簡介】 “優(yōu)”If（年齡40）and（職業(yè)!=“學生” and 職業(yè)!=“教師”）Then 信用等級=“良”If（年齡=40）and（月薪1000）Then 信用等級=“差”If（年齡=40）and（月薪=1000 and 月薪=3000）Then 信用等級=“良”If（年齡=40）and（月薪3000）Then 信用等級=“優(yōu)”這些規(guī)則即可應用到對未來觀測樣本的分類中了。 IDID3算法是最有影響力的決策樹算法之一，由Quinlan提出。；，使其綜合性能大幅度提高。，其算法細節(jié)屬于商業(yè)機密，因此沒有被公開，包括Clementine。 ID3任何一個決策樹算法，其核心步驟都是為每一次分裂確定一個分裂屬性，即究竟按照哪一個屬性來把當前數(shù)據(jù)集劃分為若干個子集，從而形成若干個“樹枝”。ID3算法采用“信息增益”為度量來選擇分裂屬性的。哪個屬性在分裂中產(chǎn)生的信息增益最大，就選擇該屬性作為分裂屬性。那么什么是信息增益呢？這需要首先了解“熵”這個概念。熵，是數(shù)據(jù)集中的不確定性、突發(fā)性或隨機性的程度的度量。當一個數(shù)據(jù)集中的記錄全部都屬于同一類的時候，則沒有不確定性，這種情況下的熵為0。決策樹分類的基本原則是，數(shù)據(jù)集被分裂為若干個子集后，要使每個子集中的數(shù)據(jù)盡可能的“純”，也就是說子集中的記錄要盡可能屬于同一個類別。如果套用熵的概念，即要使分裂后各子集的熵盡可能的小。例如在一次分裂中，數(shù)據(jù)集D被按照分裂屬性“年齡”分裂為兩個子集D1和D2。ID3算法是一個從上到下、分而治之的歸納過程。ID3算法的核心是：在決策樹各級節(jié)點上選擇分裂屬性時，通過計算信息增益來選擇屬性，以使得在每一個非葉節(jié)點進行測試時，能獲得關(guān)于被測試樣本最大的類別信息。其具體方法是：檢測所有的屬性，選擇信息增益最大的屬性產(chǎn)生決策樹節(jié)點，由該屬性的不同取值建立分支，再對各分支的子集遞歸調(diào)用該方法建立決策樹節(jié)點的分支，直到所有子集僅包括同一類別的數(shù)據(jù)為止。最后得到一棵決策樹，它可以用來對新的樣本進行分類。下面通過一個實例來了解一下決策樹的構(gòu)建過程。表32是一個假想的銀行貸款客戶歷史信息（略去了客戶姓名），包含14個樣本?，F(xiàn)要求以這14個樣本為訓練數(shù)據(jù)集，以“提供貸款”為類標號屬性，用ID3算法構(gòu)造決策樹。ID3算法是一種典型的決策樹分析算法，后來發(fā)展的許多決策樹算法都是以ID3算法為基礎發(fā)展而來的。ID3算法的優(yōu)點在于它構(gòu)建決策樹的速度比較快，它的計算時間隨問題的難度只是線性地增加，適合處理大批量數(shù)據(jù)集。同時，ID3算
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1