決策樹(shù)學(xué)習(xí)相關(guān)資料-資料下載頁(yè)
2025-01-13 18:39本頁(yè)面
【正文】 快的決策樹(shù)，到葉子節(jié)點(diǎn)處的熵值為 0。此時(shí)，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中的實(shí)例屬于同一類(lèi)。（ 1） 信息熵和條件熵 設(shè) S是一個(gè)實(shí)例集 (S也可以是子實(shí)例集 ),A為 S中實(shí)例的一個(gè)屬性。 H(S)和 H(S|A)分別稱(chēng)為實(shí)例集S的信息熵和條件熵 , 其計(jì)算公式如下 : 其中 ,μi(i=1, 2, …, n)為 S中各實(shí)例所有可能的結(jié)論；lb即 log2。 其中 ,ak(k=1, 2, …, m)為屬性 A的取值 , Sak為按屬性A對(duì)實(shí)例集 S進(jìn)行分類(lèi)時(shí)所得諸子類(lèi)中與屬性值 ak對(duì)應(yīng)的那個(gè)子類(lèi)。 （ 2） 基于條件熵的屬性選擇按性別劃分 , 實(shí)例集 S被分為兩個(gè)子類(lèi) : S男 ={(3,C), (4,B), (7,C), (8,B), (11,B), (12,B)} S女 ={(1,C), (2,C), (5,A), (6,A), (9,A), (10,A)} 從而 , 對(duì)子集 S男 而言 , 對(duì)子集 S女 而言 , 于是 , 由公式 (91)有 : 又 將以上 3式代入公式 (92)得 : 用同樣的方法可求得 : 可見(jiàn) , 條件熵 H(S|性別 )為最小 ,所以 ,應(yīng)取 “ 性別 ” 這一屬性對(duì)實(shí)例集進(jìn)行分類(lèi) , 即以 “ 性別 ” 作為決策樹(shù)的根節(jié)點(diǎn)。
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1