決策樹技術(shù)培訓(xùn)課程-免費(fèi)閱讀
【正文】 ID3算法的基本思想是，以信息熵為度量，用于決策樹節(jié)點(diǎn)的屬性選擇，每次優(yōu)先選取信息量最多的屬性，亦即能使熵值變?yōu)樽钚〉膶傩?，以?gòu)造一顆熵值下降最快的決策樹，到葉子節(jié)點(diǎn)處的熵值為 0。 假設(shè)有 n個(gè)互不相容的事件 a1,a2,a3,….,an,它們中有且僅有一個(gè)發(fā)生，則其平均的信息量可如下度量： ??????ni iiniin apapaIaaaI12121 )(1log)()(),.. .,(???????ni iiniin apapaIaaaIsEntr op y12121 )(1log)()(),.. .,()(上式，對(duì)數(shù)底數(shù)可以為任何數(shù)，不同的取值對(duì)應(yīng)了熵的不同單位。 每個(gè)決策結(jié)點(diǎn)代表一個(gè)問題或者決策通常對(duì)應(yīng)待分類對(duì)象的屬性。本質(zhì)上決策樹是通過(guò)一系列規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類的過(guò)程。決策樹技術(shù) Decision Trees 組 員：賈小彥 鄧蓓蓓 戴維 內(nèi)容提要 ?簡(jiǎn)介 ?決策樹基本概念 ?決策樹的優(yōu)缺點(diǎn) ?經(jīng)典算法 簡(jiǎn)介 ?決策樹和決策規(guī)則是解決實(shí)際應(yīng)用中分類問題的數(shù)據(jù)挖掘方法。 下圖 是 一個(gè)簡(jiǎn)單的決策樹。 每個(gè)葉結(jié)點(diǎn)代表一種可能的分類結(jié)果 在沿著決策樹從上到下的遍歷過(guò)程中，在每個(gè)結(jié)點(diǎn)都有一個(gè)測(cè)試。 通常取 2，并規(guī)定當(dāng) p(ai)=0時(shí) =0 )(1log)()(2iii apapaI ?公式 1 在決策樹分類中，假設(shè) S是訓(xùn)練樣本集合， |S|是訓(xùn)練樣本數(shù)，樣本劃分為 n個(gè)不同的類 C1,C2,….Cn，這些類的大小分別標(biāo)記為 |C1|， |C2|， …..,|Cn|。此時(shí)，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中的實(shí)例屬于同一類。 第 21步計(jì)算年齡的熵 年齡共分三個(gè)組： 青年、中年、老年 青年買與不買比例為 128/256 S1(買 )=128 S2（不買） = 256 S=S1+S2=384 P1=128/384 P2=256/384 I(S1,S2)=I(128,256) =P1Log2P1P2Log2P2 =(P1Log2P1+P2Log2P2) = 第 22步計(jì)算年齡的熵 年齡共分三個(gè)組： 青年、中年、老年 中年買與不買比例為 256/0 S1(買 )=256 S2（不買） = 0 S=S1+S2=256 P1=256/256 P2=0/256 I(S1,S2)=I(256， 0) =P1Log2P1P2Log2P2 =(P1Log2P1+P2Log2P2) =0 第 23
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1