4分類和預(yù)測(cè)(1)決策樹(參考版)
2025-02-19 12:56本頁面
【正文】 可以按上述過程獲得依次信息增益比最大的分割點(diǎn)、次大的分割點(diǎn)等等。 ? 例如：當(dāng)最佳分割點(diǎn)為 37時(shí)，數(shù)據(jù)集中的樣本可以根據(jù) age取值分成兩類，一類是 ≤37，另一類是＞ 37。 51 —— 離散化示例 ? 將 ―buy_puter‖中的屬性 age的取值由 {youth, middle_aged, senior}改為具體年齡 {32, 25, 46, 56, 60, 52, 42, 36, 23, 51, 38, 43, 41, 65}， 法離散化的具體過程。 ? 例如：對(duì)于第一個(gè)分割點(diǎn)，可以計(jì)算得到年齡在區(qū)間 [23, 24]和 (24, 65]的樣本數(shù)量以及每個(gè)區(qū)間的樣本屬于各個(gè)類別的數(shù)量，從而計(jì)算第一個(gè)分割點(diǎn)的 信息增益比 。 50 —— 離散化示例 ? 將 ―buy_puter‖中的屬性 age的取值由 {youth, middle_aged, senior}改為具體年齡 {32, 25, 46, 56, 60, 52, 42, 36, 23, 51, 38, 43, 41, 65}， 法離散化的具體過程。 ? (1) 對(duì)年齡序列由小到大排序，新的序列為 {23, 25, 32, 36, 38, 41, 42, 43, 46, 51, 52, 56, 60, 65}； ? (2) 對(duì)新的年齡序列生成分割點(diǎn)：由于樣本數(shù)量為 14，因此可生成 13個(gè)分割點(diǎn)。 其中：最佳分割點(diǎn)具有 最大信息增益比 。 ? 當(dāng)處理離散型屬性時(shí) ， ID3算法相同； ? 當(dāng)處理連續(xù)型屬性時(shí) ， 性轉(zhuǎn)換成離散型屬性 。 ? 對(duì)于連續(xù)值屬性 Ac， 假設(shè)在某個(gè)結(jié)點(diǎn)上的樣本數(shù)量為 total， 則 ： ? (2) 在 {A1c, A2c, ..., Atotalc}中生成 total1個(gè)分割點(diǎn) 其中：第 i個(gè) (1≤i≤total1)分割點(diǎn)的取值設(shè)置為vi=(Aic+A(i+1)c)/2。 ? 對(duì)于連續(xù)值屬性 Ac， 假設(shè)在某個(gè)結(jié)點(diǎn)上的樣本數(shù)量為 total， 則 ： ? (1) 將該結(jié)點(diǎn)上的所有樣本按照屬性的取值 由小到大 排序 ， 得到排序結(jié)果 {A1c, A2c, ..., Atotalc}； 47 ? ， 也可以處理連續(xù)型描述屬性 。 46 ? ， 也可以處理連續(xù)型描述屬性 。 45 ? ， 也可以處理連續(xù)型描述屬性 。 44 ? 信息增益比 來確定分枝屬性 ， 能夠克服 ID3算法使用信息增益時(shí)偏向于取值類型較多屬性的不足 。 ? 信息增益更傾向于選擇取值種類較多的屬性進(jìn)行劃分，而不一定是 最優(yōu)屬性 進(jìn)行劃分。 ?從 ID3算法構(gòu)建的決策樹中，很容易獲得相應(yīng)的決策規(guī)則。 ? 由于子集 X1, X2和 X3各自的期望信息分別為Info(n11,n12)， Info(n12,n22)和 Info(n13,n23)，因此，屬性 age劃分?jǐn)?shù)據(jù)集的熵為： E(age) = 5/14*Info(n11,n12) + 4/14*Info(n12,n22) + 5/14*Info(n13,n23) ≈ ? 計(jì)算屬性 age的信息增益為： Gain(age) = Info(Yes,No) – E(age) = – = 40 ID3算法 —— 示例（ buy_puter） ? 其次，計(jì)算各屬性劃分?jǐn)?shù)據(jù)集時(shí)的信息增益： ? 按上述方式，可依次計(jì)算其他屬性的信息增益分別為： ? Gain(ine) = ? Gain(student) = ? Gain(credit_rating) = ? 在 4個(gè)屬性中， age的信息增益最大 ()，因此先以該屬性來劃分?jǐn)?shù)據(jù)集。 ? 對(duì)于子集 X3(age=senior)，它的樣本數(shù)量為 n3=5，其中類標(biāo)號(hào)為 Yes的數(shù)量 n13=3，類標(biāo)號(hào)為 No的數(shù)量n23=2，則這兩類樣本在子集 X3中所占的比例分別為： p13=n13/n3=3/5= p23=n23/n3=2/5= ? 這樣，子集 X3的期望信息為： Info(n13,n23)=p13*log(p13)p23*log(p23) =*log()*log() 39 ID3算法 —— 示例（ buy_puter） ? 其次，計(jì)算各屬性劃分?jǐn)?shù)據(jù)集時(shí)的信息增
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1