決策樹(詳細易懂,很多例子)-文庫吧在線文庫
【正文】 ? ： 使用 “分裂信息（ split information） ”值將 gain規(guī)范化 表示屬性 A第 j個劃分的權(quán)重。這相當于降低系統(tǒng)的熵。 一種度量不純性的可能函數(shù)是熵函數(shù) （ entropy)。然后使用對應的子集遞歸地進行劃分，直到不需要劃分，此時，創(chuàng)建一個樹葉節(jié)點標記它。 簡介 決策樹的結(jié)構(gòu) 決策樹算法以樹狀結(jié)構(gòu)表示數(shù)據(jù)分類的結(jié)果。決策樹 Decision Tree 決策樹算法是一種歸納分類算法 ,它通過對訓練集的學習 ,挖掘出有用的規(guī)則 ,用于對新集進行預測 。通過屬性選擇度量，選擇出最好的將樣本分類的屬性。 決策樹根據(jù)所選取的屬性是數(shù)值型還是離散型，每次將數(shù)據(jù)劃分成兩個或 n個子集。當?shù)竭_節(jié)點 m的所有實例都不屬于 類時， 為 0，當?shù)竭_節(jié)點 m的所有實例都屬于 類時， 為 1。 ? 通過分裂，得到盡可能純的節(jié)點。 最終的決策樹 ? Weather數(shù)據(jù) overcast high normal false true sunny rain No No Yes Yes Yes Outlook Humidity Windy ? ID3如何選擇具有最高信息增益的屬性 ： ? pi 是 D中任意元組屬于類 Ci 的概率，用 |Ci,D|/|D| 估計 ? D中的元組分類所需的期望信息 Expected information (entropy)： ? Information needed (after using A to split D into v partitions) to classify D: ? Information gained by branching on attribute A )(log)( 21imii ppDInfo ???? )(||||)(1jvjjA DIDDDInf o ?? ?? (D)InfoInfo(D)G ai n(A ) A??使用屬性 A得到準確分類所需信息 思考： 如果考慮充當唯一識別的屬性，如 product_ID。 如果檢驗 x有 n個輸出， Split_Info (X)按照檢驗把數(shù)據(jù)集分區(qū)成 n + 1個子集計算。用以前的方法是顯然不行的。 (3) 非參數(shù)學習，不需要設置參數(shù)。 ?缺失數(shù)據(jù)的考慮：在構(gòu)建決策樹時 ， 可以簡單地忽略缺失數(shù)據(jù) ， 即在計算增益時 ， 僅考慮具有屬性值的記錄 。 ? 濕度是次佳選擇，它產(chǎn)生了一個幾乎完全純的較大的子女節(jié)點。 ? 構(gòu)造決策樹，熵定義為無序性度量 。 輸出：一棵決策樹 方法： （ 1） 創(chuàng)建結(jié)點 N； （ 2） if samples 都在同一個類 C then （ 3） 返回 N作為葉結(jié)點 ， 用類 C標記； （ 4） if attribute_list 為空 then （ 5） 返回 N作為葉結(jié)點 ， 標記 samples中最普通的類； //多數(shù)表決 （ 6） 選擇 attribute_list中的 最優(yōu)分類 屬性 test_attribute； //用信息增益作為屬性選擇度量 （ 7） 標記結(jié)點 N為 test_attribute； （ 8） for each test_attribute中的已知值 ai //劃分 samples （ 9） 由結(jié)點 N生長出一個條件為 test_attribute＝ ai的分枝； （ 10） 設 si為 samples中 test_attribute＝ ai的樣本集合； //一個劃分 （ 11） if si為空 then （ 12） 加上一個葉結(jié)點 ， 標記為標記 samples中最普通的類； //多數(shù)表決 （ 13） else 加上一個由 Generate_decision_tree（ si, attribute_listtest_attribute） 返回的結(jié)點； 例子：算法過程 Ti d Re f un d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es10Refund Yes No 1. samples = { 1,2,3,4,5,6,7,8,9,10 } attribute_list = {Refund, MarSt, TaxInc } 假設選擇 Refund為最優(yōu)分割屬性： 2. samples = { 1,4,7 } attribute_list = { MarSt, TaxInc }
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1