決策樹學(xué)習(xí)-資料下載頁
2025-01-13 18:39本頁面
【正文】 快的決策樹，到葉子節(jié)點(diǎn)處的熵值為 0。此時，每個葉子節(jié)點(diǎn)對應(yīng)的實(shí)例集中的實(shí)例屬于同一類。（ 1） 信息熵和條件熵 設(shè) S是一個實(shí)例集 (S也可以是子實(shí)例集 ),A為 S中實(shí)例的一個屬性。 H(S)和 H(S|A)分別稱為實(shí)例集S的信息熵和條件熵 , 其計算公式如下 : 其中 ,μi(i=1, 2, …, n)為 S中各實(shí)例所有可能的結(jié)論；lb即 log2。 其中 ,ak(k=1, 2, …, m)為屬性 A的取值 , Sak為按屬性A對實(shí)例集 S進(jìn)行分類時所得諸子類中與屬性值 ak對應(yīng)的那個子類。 （ 2） 基于條件熵的屬性選擇按性別劃分 , 實(shí)例集 S被分為兩個子類 : S男 ={(3,C), (4,B), (7,C), (8,B), (11,B), (12,B)} S女 ={(1,C), (2,C), (5,A), (6,A), (9,A), (10,A)} 從而 , 對子集 S男 而言 , 對子集 S女 而言 , 于是 , 由公式 (91)有 : 又 將以上 3式代入公式 (92)得 : 用同樣的方法可求得 : 可見 , 條件熵 H(S|性別 )為最小 ,所以 ,應(yīng)取 “ 性別 ” 這一屬性對實(shí)例集進(jìn)行分類 , 即以 “ 性別 ” 作為決策樹的根節(jié)點(diǎn)。
試題試卷相關(guān)推薦
鄂ICP備17016276號-1