4分類和預(yù)測(cè)(1)決策樹(shù)-文庫(kù)吧資料
2025-02-21 12:56本頁(yè)面
【正文】 益： ? 先計(jì)算屬性 age的熵。 ? 對(duì)于子集 X2(age=middle_aged)，它的樣本數(shù)量為n2=4，其中類標(biāo)號(hào)為 Yes的數(shù)量 n12=4，類標(biāo)號(hào)為 No的數(shù)量 n22=0，則這兩類樣本在子集 X2中所占的比例分別為： p21=n12/n2=4/4=1 p22=n22/n2=0/4=0 ? 這樣，子集 X2的期望信息為： Info(n12,n22)=p12*log(p12)p22*log(p22)=0 38 ID3算法 —— 示例（ buy_puter） ? 其次，計(jì)算各屬性劃分?jǐn)?shù)據(jù)集時(shí)的信息增益： ? 先計(jì)算屬性 age的熵。 ? 對(duì)于子集 X1(age=youth)，它的樣本數(shù)量為 n1=5，其中類標(biāo)號(hào)為 Yes的數(shù)量 n11=2，類標(biāo)號(hào)為 No的數(shù)量n12=3，則這兩類樣本在子集 X1中所占的比例分別為： p11=n11/n1=2/5= p12=n12/n1=3/5= ? 這樣，子集 X1的期望信息為： Info(n11,n12)=p11*log(p11)p12*log(p12) =*log()*log() 37 ID3算法 —— 示例（ buy_puter） ? 其次，計(jì)算各屬性劃分?jǐn)?shù)據(jù)集時(shí)的信息增益： ? 先計(jì)算屬性 age的熵。 )(),...,()( 21 fmf AEnnnInfoAGain ??34 age ine student credit_rating buy_puter youth high no fair no youth high no excellent no middle_aged high no fair yes senior medium no fair yes senior low yes fair yes senior low yes excellent no middle_aged low yes excellent yes youth medium no fair no youth low yes fair yes senior medium yes fair yes youth medium yes excellent yes middle_aged medium no excellent yes middle_aged high yes fair yes senior medium no excellent no ID3算法 —— 示例（ buy_puter） 35 ID3算法 —— 示例（ buy_puter） ? 首先，計(jì)算數(shù)據(jù)集分類所需的期望信息： ? 在數(shù)據(jù)集中，給定的樣本數(shù)量為 14，類標(biāo)號(hào)為 Yes (表示購(gòu)買電腦 )的樣本數(shù)量為 n1=9，類標(biāo)號(hào)為 No (表示不購(gòu)買電腦 )的樣本數(shù)量為 n2=5，因此數(shù)據(jù)集中兩個(gè)類別的先驗(yàn)概率分別為： p(Yes)=n1/total=9/14 p(No)=n2/total=5/14 ? 對(duì)數(shù)據(jù)集分類所需的期望信息為： Info(n1,n2)=p(Yes)*log(p(Yes))p(No)*log(p(No)) =9/14*log(9/14)5/14*log(5/14) ≈ 36 ID3算法 —— 示例（ buy_puter） ? 其次，計(jì)算各屬性劃分?jǐn)?shù)據(jù)集時(shí)的信息增益： ? 先計(jì)算屬性 age的熵。 ? ID3算法是通過(guò)選擇具有 最高信息增益 的屬性作為數(shù)據(jù)集的劃分，從而可創(chuàng)建決策樹(shù)中的一個(gè)結(jié)點(diǎn)，根據(jù)該屬性的不同取值可形成該結(jié)點(diǎn)的不同分枝。 ? 假設(shè) nj是數(shù)據(jù)集 X中屬于類別 cj的樣本數(shù)量，則各類別的 先驗(yàn)概率 為： ? 對(duì)于數(shù)據(jù)集 X，將其分為 m類的 期望信息 為： ))((l og)(),... ,( 2121 jmj jm cPcPnnnInf o ????.,... ,2,1,/)( mjtot alncP jj ??32 ID3算法 ? 計(jì)算屬性 Af劃分?jǐn)?shù)據(jù)集 X所得的 熵 ： ? 假設(shè) Af有 q個(gè)不同取值 ， 可按 q的不同取值將 X劃分為 q個(gè)不同的子集 {X1, X2, … , Xs, … , Xq}； ?
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1