決策樹c45算法總結(jié)(編輯修改稿)
2025-02-01 19:39 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 2）建立新節(jié)點(diǎn)，劃分?jǐn)?shù)據(jù)集 3）判斷節(jié)點(diǎn)是否到生長(zhǎng)停止條件，如果是，終止生長(zhǎng)，如果不是，轉(zhuǎn)到1） 選擇節(jié)點(diǎn)分裂屬性的問題 熵（ Entropy）： 我們把一個(gè)事件的不確定程度叫做“熵”，熵越大表明這個(gè)事件的結(jié)果越難以預(yù)測(cè)，同 時(shí)事件的發(fā)生將給我們帶來越多的信息 。 ? 增益（ Information Gain）： 在信息增益中，衡量標(biāo)準(zhǔn)是看特征能夠?yàn)榉诸愊到y(tǒng)帶來多少信息，帶來的信息越多，該特征越重要。對(duì)一個(gè)特征而言，系統(tǒng)有它和沒它時(shí)信息量將發(fā)生變化，而前后信息量的差值就是這個(gè)特征給系統(tǒng)帶來的信息量。所謂信息量，就是熵 。 系統(tǒng)原先的熵是 H(X)，在條件 Y已知的情況下系統(tǒng)的熵（條件熵）為 H(X|Y)，信息增益就是這兩個(gè)熵的 差值。 outlook temperature humidity windy play sunny hot high FALSE no sunny hot high TRUE no overcast hot high FALSE yes rainy mild high FALSE yes rainy cool normal FALSE yes rainy cool normal TRUE no overcast cool normal TRUE yes sunny mild high FALSE no sunny cool normal FALSE yes rainy mild normal FALSE yes sunny mild normal TRUE yes overcast mild high TRUE yes overcast hot normal FALSE yes rainy mild high TRUE no 只看最后一列我們得到打球的概率是 9/14，不打球的概率是 5/14。因此在沒有任何先驗(yàn)信息的情況下，系統(tǒng)的熵（不確定性） 為： outlook temperature humidity windy play yes no yes no yes no yes no yes no sunny 2 3 hot 2 2 high 3 4 FALSE 6 2 9 5 overcast 4 0 mild 4 2 normal 6 1 TRUE 3 3 rainy 3 2 cool 3 1 如果選 outlook作為決策樹的根節(jié)點(diǎn)，（ 7）式中的 Y為集合 {sunny、 overcast、rainy}，此時(shí)的條件熵為 即選擇 outlook作為決策樹的根節(jié)點(diǎn)時(shí)，信息增益為 =，然后計(jì)算outlook屬性的熵，得增益比。同樣 方法計(jì)算當(dāng)選擇 temperature、 humidity、windy作為根節(jié)點(diǎn)時(shí)系統(tǒng)的信息 增益和屬性熵，選擇增益比最大 的作為最終的根節(jié)點(diǎn)。 選擇節(jié)點(diǎn)分裂屬性的問題 ID3算法：使用信息增益作為選擇節(jié)點(diǎn)分裂屬性的指標(biāo)。增益準(zhǔn)則的一個(gè)缺陷是它偏向
外語(yǔ)相關(guān)推薦
鄂ICP備17016276號(hào)-1