[理學(xué)]第6講分類和預(yù)測-展示頁
2024-10-28 00:54本頁面
【正文】 ? 需要一些其他的工具 ,像聚類 ,來得到可能的分裂值 ? 修正后可以用在分類屬性上 屬性選擇度量 ? 信息增益 (ID3/) ? 在樹的每個節(jié)點上使用信息增益度量選擇測試屬性；選擇具有最高信息增益（或最大熵壓縮）的屬性作為當(dāng)前節(jié)點的測試屬性。（即根據(jù)當(dāng)前節(jié)點對應(yīng)的訓(xùn)練樣本，計算各屬性的信息增益，然后選用具有最高信息增益的屬性來做樣本劃分） 信息增益 (ID3/) ? 選擇具有 高信息增益 的屬性 ? 假定有兩個類 , P 和 N ? 假定樣本集 S包含類 P的 p個元素和類 N的 n個元素 ? 如果 S中任意的例子屬于 P或 N，則需要決定的信息數(shù)量 被定義為 判定樹歸納的信息增益 ? 假設(shè)用 屬性 A將 集合 S被劃分為 V個 子集 {S1, S2 , …, Sv} ? 如果 Si 包含 P中的 pi 個樣本和 N中的 ni 個樣本 , 則 熵 , 或所有用來 分類所有子樹 Si 中對象的 期望信息由以下式給出 ： ? 由 A上分支將獲得編碼信息 g g 用信息增益計算進行屬性選擇 類 P: buys_puter = “yes” 類 N: buys_puter = “no” I(p, n) = I(9, 5) =9/14*log2(9/14 ) 5/4*log2(5/14 ) = age i n c o m e s t u d e n t c r e d i t _ r a t i n g c l a s s : b u y s _ c o m p u t e r = 3 0 h i g h no f a i r no = 3 0 h i g h no e x c e l l e n t no3 1 …4 0 h i g h no f a i r y e s 4 0 m e d i u m no f a i r y e s 4 0 l o w y e s f a i r y e s 4 0 l o w y e s e x c e l l e n t no3 1 …4 0 l o w y e s e x c e l l e n t y e s = 3 0 m e d i u m no f a i r no = 3 0 l o w y e s f a i r y e s 4 0 m e d i u m y e s f a i r y e s = 3 0 m e d i u m y e s e x c e l l e n t y e s3 1 …4 0 m e d i u m no e x c e l l e n t y e s3 1 …4 0 h i g h y e s f a i r y e s 4 0 m e d i u m no e x c e l l e n t no用信息增益計算進行屬性選擇 ? 用 age進行劃分 age? overcast =30 40 30..40 age buys_puter =30 no =30 no =30 no =30 yes =30 yes age buys_puter 31?40 yes 31?40 yes 31?40 yes 31?40 yes age buys_puter 40 yes 40 yes 40 no 40 yes 40 no E(age) = 5/14*I(2, 3)+4/14*I(4,0)+5/14*I(3,2) =5/14*(2/5*(log2 (2/5)3/5*(log2 (3/5)) +4/14*(4/4log2 (4/4)0/4log2 (0/4)) +5/14*(3/5log2 (3/5)2/5log2 (2/5)) = Gain(age) = I ( p, n) E (age) = = 用信息增益計算進行屬性選擇 ? 用 ine進行劃分 ine? overcast high low m dium E(ine) = 4/14*I(2, 2)+6/14*I(4,2)+4/14*I(3,1) = ine buys_puter high no high no high yes high yes ine buys_puter medium yes medium no medium yes medium yes medium yes medium no ine buys_puter low yes low no low yes low yes Gain(ine) = I ( p, n) E (ine) = = 用信息增益計算進行屬性選擇 ? 用 student進行劃分 student? yes no student buys_puter yes Yes yes
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1