決策樹技術(shù)-閱讀頁
2025-01-22 21:57本頁面
【正文】 停止分割的條件 一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都是屬于同一個(gè)類別 沒有屬性可以再用于對(duì)數(shù)據(jù)進(jìn)行分割 重要問題：哪個(gè)屬性作為當(dāng)前的測試節(jié)點(diǎn) 信息論相關(guān)內(nèi)容 Shannon1948年提出的信息論理論。 假設(shè)有 n個(gè)互不相容的事件 a1,a2,a3,….,an,它們中有且僅有一個(gè)發(fā)生，則其平均的信息量可如下度量： ??????ni iiniin apapaIaaaI12121 )(1log)()(),.. .,(???????ni iiniin apapaIaaaIsEntr op y12121 )(1log)()(),.. .,()(上式，對(duì)數(shù)底數(shù)可以為任何數(shù)，不同的取值對(duì)應(yīng)了熵的不同單位。則任意樣本 S屬于類 Ci的概率為： ||||)(SCSp ii ?Entropy（ S， A） =∑（ |Sv|/|S|） * Entropy(Sv) 公式 2 ∑是屬性 A的所有可能的值 v,Sv是屬性 A有 v值的 S子集 |Sv|是 Sv 中元素的個(gè)數(shù)； |S|是 S中元素的個(gè)數(shù)。該屬性分 兩類：買 /不買 S1(買 )=641 S2（不買） = 383 S=S1+S2=1024 P1=641/1024= P2=383/1024= I(S1,S2)=I(641,383) =P1Log2P1P2Log2P2 =(P1Log2P1+P2Log2P2) = 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類：買計(jì)算機(jī)？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 第 2步計(jì)算條件屬性的熵 條件屬性共有 4個(gè)。 分別計(jì)算不同屬性的信息增益。 ID3算法的基本思想是，以信息熵為度量，用于決策樹節(jié)點(diǎn)的屬性選擇，每次優(yōu)先選取信息量最多的屬性，亦即能使熵值變?yōu)樽钚〉膶傩?，以?gòu)造一顆熵值下降最快的決策樹，到葉子節(jié)點(diǎn)處的熵值為 0。 ID3算法存在的缺點(diǎn) （ 1） ID3算法在選擇根節(jié)點(diǎn)和各內(nèi)部節(jié)點(diǎn)中的分支屬性時(shí)，采用信息增益作為評(píng)價(jià)標(biāo)準(zhǔn)。 （ 2） ID3算法只能對(duì)描述屬性為離散型屬性的數(shù)據(jù)集構(gòu)造決策樹 針對(duì) ID3算法存在的不足它被改進(jìn)為
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1