4分類和預(yù)測(1)決策樹(文件)
【正文】 3) =*log()*log() 39 ID3算法 —— 示例（ buy_puter） ? 其次，計算各屬性劃分?jǐn)?shù)據(jù)集時的信息增益： ? 先計算屬性 age的熵。 ?從 ID3算法構(gòu)建的決策樹中，很容易獲得相應(yīng)的決策規(guī)則。 44 ? 信息增益比 來確定分枝屬性 ， 能夠克服 ID3算法使用信息增益時偏向于取值類型較多屬性的不足 。 46 ? ， 也可以處理連續(xù)型描述屬性 。 ? 對于連續(xù)值屬性 Ac， 假設(shè)在某個結(jié)點上的樣本數(shù)量為 total， 則 ： ? (2) 在 {A1c, A2c, ..., Atotalc}中生成 total1個分割點 其中：第 i個 (1≤i≤total1)分割點的取值設(shè)置為vi=(Aic+A(i+1)c)/2。 其中：最佳分割點具有 最大信息增益比 。 50 —— 離散化示例 ? 將 ―buy_puter‖中的屬性 age的取值由 {youth, middle_aged, senior}改為具體年齡 {32, 25, 46, 56, 60, 52, 42, 36, 23, 51, 38, 43, 41, 65}， 法離散化的具體過程。 51 —— 離散化示例 ? 將 ―buy_puter‖中的屬性 age的取值由 {youth, middle_aged, senior}改為具體年齡 {32, 25, 46, 56, 60, 52, 42, 36, 23, 51, 38, 43, 41, 65}， 法離散化的具體過程?？梢园瓷鲜鲞^程獲得依次信息增益比最大的分割點、次大的分割點等等。 ? 例如：當(dāng)最佳分割點為 37時，數(shù)據(jù)集中的樣本可以根據(jù) age取值分成兩類，一類是 ≤37，另一類是＞ 37。 ? 例如：對于第一個分割點，可以計算得到年齡在區(qū)間 [23, 24]和 (24, 65]的樣本數(shù)量以及每個區(qū)間的樣本屬于各個類別的數(shù)量，從而計算第一個分割點的 信息增益比 。 ? (1) 對年齡序列由小到大排序，新的序列為 {23, 25, 32, 36, 38, 41, 42, 43, 46, 51, 52, 56, 60, 65}； ? (2) 對新的年齡序列生成分割點：由于樣本數(shù)量為 14，因此可生成 13個分割點。 ? 當(dāng)處理離散型屬性時 ， ID3算法相同； ? 當(dāng)處理連續(xù)型屬性時 ， 性轉(zhuǎn)換成離散型屬性 。 ? 對于連續(xù)值屬性 Ac， 假設(shè)在某個結(jié)點上的樣本數(shù)量為 total， 則 ： ? (1) 將該結(jié)點上的所有樣本按照屬性的取值 由小到大 排序 ， 得到排序結(jié)果 {A1c, A2c, ..., Atotalc}； 47 ? ， 也可以處理連續(xù)型描述屬性 。 45 ? ， 也可以處理連續(xù)型描述屬性 。 ? 信息增益更傾向于選擇取值種類較多的屬性進行劃分，而不一定是 最優(yōu)屬性 進行劃分。 ? 由于子集 X1, X2和 X3各自的期望信息分別為Info(n11,n12)， Info(n12,n22)和 Info(n13,n23)，因此，屬性 age劃分?jǐn)?shù)據(jù)集的熵為： E(age) = 5/14*Info(n11,n12) + 4/14*Info(n12,n22) + 5/14*Info(n13,n23) ≈ ? 計算屬性 age的信息增益為： Gain(age) = Info(Yes,No) – E(age) = – = 40 ID3算法 —— 示例（ buy_puter） ? 其次，計算各屬性劃分?jǐn)?shù)據(jù)集時的信息增益： ? 按上述方式，可依次計算其他屬性的信息增益分別為： ? Gain(ine) = ? Gain(student) = ? Gain(credit_rating) = ? 在 4個屬性中， age的信息增益最大 ()，因此先以該屬性來劃分?jǐn)?shù)據(jù)集。 ? 對于子集 X2(age=middle_aged)，它的樣本數(shù)量為n2=4，其中類標(biāo)號為 Yes的數(shù)量 n12=4，類標(biāo)號為 No的數(shù)量 n22=0，則這兩類樣本在子集 X2中所占的比例分別為： p21=n12/n2=4/4=1 p22=n22/n2=0/4=0 ? 這樣，子集 X2的期望信息為： Info(n12,
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號-1