決策樹技術(shù)培訓(xùn)課程-全文預(yù)覽
【正文】 S1(買 )=128 S2（不買） = 256 S=S1+S2=384 P1=128/384 P2=256/384 I(S1,S2)=I(128,256) =P1Log2P1P2Log2P2 =(P1Log2P1+P2Log2P2) = 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類：買計(jì)算機(jī)？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 青 中 否 良 不買 64 青 低 是 良 買 64 青 中 是 優(yōu) 買 如果選擇收入作為節(jié)點(diǎn)分高、中、低 I(0,128)=0 比例 : 128/384= I(64,128)= 比例 : 192/384= I(64,0)=0 比例 : 64/384= 平均信息期望（加權(quán)總和）： E(收入） = * 0 + * + * 0 = Gain(收入 ) = I(128, 256) E(收入 )= – = 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類：買計(jì)算機(jī)？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 ID3算法小結(jié) ID3算法是一種經(jīng)典的決策樹學(xué)習(xí)算法。信息增益的缺點(diǎn)是傾向于選擇取值較多的屬性，在有些情況下這類屬性可能不會(huì)提供太多有價(jià)值的信息。此時(shí)，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中的實(shí)例屬于同一類。分別是年齡、 收入、學(xué)生、信譽(yù)。 通常取 2，并規(guī)定當(dāng) p(ai)=0時(shí) =0 )(1log)()(2iii apapaI ?公式 1 在決策樹分類中，假設(shè) S是訓(xùn)練樣本集合， |S|是訓(xùn)練樣本數(shù)，樣本劃分為 n個(gè)不同的類 C1,C2,….Cn，這些類的大小分別標(biāo)記為 |C1|， |C2|， …..,|Cn|。 不是全局最優(yōu)。 每個(gè)葉結(jié)點(diǎn)代表一種可能的分類結(jié)果 在沿著決策樹從上到下的遍歷過程中，在每個(gè)結(jié)點(diǎn)都有一個(gè)測試。 決策樹的表示 決策樹的基本組成部分：決策結(jié)點(diǎn)、分支和葉子。 下圖 是 一個(gè)簡單的決策樹。它可以根據(jù)有效的屬性輸入值預(yù)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1