決策樹(shù)c45算法總結(jié)-在線瀏覽
2025-02-15 19:39本頁(yè)面
【正文】 er for data mining》 J Shafer, R Agrawal, M Mehta Proc. 1996 Int. Conf. Very Large Data …, 1996 Citeseer）， PUBLIC（ 《 PUBLIC: A decision tree classifier that integrates building and pruning》 R Rastogi, K Shim VLDB, 1998 ）等。采用屬性的線性組合策略的一個(gè)典型的決策樹(shù)分類器是 OC1（ 《 A system for induction of oblique decision trees》 SK Murthy, S Kasif, S Salzberg arXiv preprint cs/9408103, 1994 ） ） 。（ 《 Popular ensemble methods: An empirical study》R Maclin, D Opitz arXiv preprint arXiv:, 2023 算法流程： 1）選擇哪個(gè)屬性進(jìn)行節(jié)點(diǎn)分裂？ 2）何時(shí)停止樹(shù)生長(zhǎng)？ 3）怎么處理連續(xù)型屬性？ 4）怎么處理缺失值？ 5）怎么處理過(guò)擬合問(wèn)題？ 問(wèn)題： 1）選擇節(jié)點(diǎn)分裂屬性 2）建立新節(jié)點(diǎn)，劃分?jǐn)?shù)據(jù)集 3）判斷節(jié)點(diǎn)是否到生長(zhǎng)停止條件，如果是，終止生長(zhǎng)，如果不是，轉(zhuǎn)到1） 選擇節(jié)點(diǎn)分裂屬性的問(wèn)題 熵（ Entropy）： 我們把一個(gè)事件的不確定程度叫做“熵”，熵越大表明這個(gè)事件的結(jié)果越難以預(yù)測(cè)，同 時(shí)事件的發(fā)生將給我們帶來(lái)越多的信息 。對(duì)一個(gè)特征而言，系統(tǒng)有它和沒(méi)它時(shí)信息量將發(fā)生變化，而前后信息量的差值就是這個(gè)特征給系統(tǒng)帶來(lái)的信息量。 系統(tǒng)原先的熵是 H(X)，在條件 Y已知的情況下系統(tǒng)的熵（條件熵）為 H(X|Y)，信息增益就是這兩個(gè)熵的 差值。因此在沒(méi)有任何先驗(yàn)信息的情況下，系統(tǒng)的熵（不確定性） 為： outlook temperature humidity windy play yes no yes no yes no yes no yes no sunny 2 3 hot 2 2 high 3 4 FALSE 6 2 9 5 overcast 4 0 mild 4 2 normal 6 1 TRUE 3 3 rainy 3 2 cool 3 1 如果選 outlook作為決策樹(shù)的根節(jié)點(diǎn)，（ 7）式中的 Y為集合 {sunny、 overcast、rainy}，此時(shí)的條件熵為 即選擇 outlook作為決策樹(shù)的根節(jié)點(diǎn)時(shí)，信息增益為 =，然后計(jì)算outlook屬性的熵，得增益比。 選擇節(jié)點(diǎn)分裂屬性的問(wèn)題 ID3算法：使用信息增益作為選擇節(jié)點(diǎn)分裂屬性的指標(biāo)。 ：使用信息增益率作為選擇節(jié)點(diǎn)分裂屬性的指標(biāo)，克服了 ID3算法的缺點(diǎn)。 2）節(jié)點(diǎn)內(nèi)測(cè)數(shù)據(jù)
外語(yǔ)相關(guān)推薦
鄂ICP備17016276號(hào)-1