【正文】 低 良 買(mǎi) 64 中 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 132 中 是 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 青 中 老 買(mǎi) 學(xué)生 計(jì)數(shù) 收入 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 高 良 不買(mǎi) 64 高 優(yōu) 不買(mǎi) 128 中 良 不買(mǎi) 否 是 樹(shù)葉 決策樹(shù)的建立 決策樹(shù)建立步驟（例） 37 1/31/2023 年齡 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 132 中 是 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 青 中 老 買(mǎi) 學(xué)生 否 是 買(mǎi) 不買(mǎi) 決策樹(shù)的建立 老年組 數(shù)據(jù)表分析（例） 1. 假定選擇 收入 作節(jié)點(diǎn) I(257,127) = E(收入） = * 1 + * = Gain(收入 ) = I(257, 127) E(收入 )= – = 38 1/31/2023 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 132 中 是 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 132 中 是 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 決策樹(shù)的建立 老年組 數(shù)據(jù)表分析（例） 2. 假定選擇 學(xué)生 作節(jié)點(diǎn) I(257,127) = E(學(xué)生） = * + * = Gain(學(xué)生 ) = I(257, 127) E(學(xué)生 )= – = 39 1/31/2023 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 132 中 是 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 132 中 是 良 買(mǎi) 決策樹(shù)的建立 老年組 數(shù)據(jù)表分析（例） 3. 假定選擇信譽(yù)作節(jié)點(diǎn) I(257,127) = E(信譽(yù)） = * 0 + * = Gain(信譽(yù) ) = I(257, 127) E(信譽(yù) )= – = 40 1/31/2023 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 64 低 是 良 買(mǎi) 64 低 是 優(yōu) 不買(mǎi) 132 中 是 良 買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 低 是 優(yōu) 不買(mǎi) 63 中 否 優(yōu) 不買(mǎi) 1 中 否 優(yōu) 買(mǎi) 計(jì)數(shù) 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 良 買(mǎi) 64 低 是 良 買(mǎi) 132 中 是 良 買(mǎi) 決策樹(shù)的建立 決策樹(shù)建立步驟（例） 41 1/31/2023 年齡 計(jì)數(shù) 收入 學(xué)生 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 中 否 買(mǎi) 64 低 是 買(mǎi) 132 中 是 買(mǎi) 青 中 老 買(mǎi) 學(xué)生 否 是 買(mǎi) 不買(mǎi) 信譽(yù) 計(jì)數(shù) 收入 學(xué)生 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 低 是 不買(mǎi) 63 中 否 不買(mǎi) 1 中 否 買(mǎi) 優(yōu) 良 樹(shù)葉 決策樹(shù)的建立 決策樹(shù)建立步驟（例） 42 1/31/2023 年齡 青 中 老 買(mǎi) 學(xué)生 否 是 買(mǎi) 不買(mǎi) 信譽(yù) 計(jì)數(shù) 收入 學(xué)生 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 低 是 不買(mǎi) 63 中 否 不買(mǎi) 1 中 否 買(mǎi) 優(yōu) 良 買(mǎi) …… 決策樹(shù)算法流程（ ID3） 1. 選擇節(jié)點(diǎn)分裂屬性； 2. 建立新節(jié)點(diǎn)，劃分?jǐn)?shù)據(jù)集； 3. 判斷節(jié)點(diǎn)是否到 生長(zhǎng)停止條件 ，如果是，終止生長(zhǎng)，如果不是，轉(zhuǎn)到第 1步。 ()||( , ) ( ) ( )||vvv V alue s ASG ain S A En tr opy S En tr opy SS??? ?決策樹(shù)的建立 決策樹(shù)建立的關(guān)鍵 18 1/31/2023 樹(shù)根？ 計(jì) 數(shù) 年 齡 收 入 學(xué) 生 信 譽(yù) 歸類(lèi)： 買(mǎi)計(jì)算機(jī)？ 64 青 高 否 良 不買(mǎi) 64 青 高 否 優(yōu) 不買(mǎi) 128 中 高 否 良 買(mǎi) 60 老 中 否 良 買(mǎi) 64 老 低 是 良 買(mǎi) 64 老 低 是 優(yōu) 不買(mǎi) 64 中 低 是 優(yōu) 買(mǎi) 128 青 中 否 良 不買(mǎi) 64 青 低 是 良 買(mǎi) 132 老 中 是 良 買(mǎi) 64 青 中 是 優(yōu) 買(mǎi) 32 中 中 否 優(yōu) 買(mǎi) 32 中 高 是 良 買(mǎi) 63 老 中 否 優(yōu) 不買(mǎi) 1 老 中 否 優(yōu) 買(mǎi) 決策樹(shù)的建立 對(duì)測(cè)試樣例的信息期望 信息期望？ ? 張三屬于哪一類(lèi)？為了回答該問(wèn)題，對(duì)張三的信息期望值是多少？ 19 1/31/2023 年齡 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 64 青 高 否 良 不買(mǎi) 64 青 高 否 優(yōu) 不買(mǎi) 128 青 中 否 良 不買(mǎi) 64 青 低 是 良 買(mǎi) 64 青 中 是 優(yōu) 買(mǎi) 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 128 中 高 否 良 買(mǎi) 64 中 低 是 優(yōu) 買(mǎi) 32 中 中 否 優(yōu) 買(mǎi) 32 中 高 是 良 買(mǎi) 計(jì)數(shù) 年齡 收入 學(xué)生 信譽(yù) 歸類(lèi)：買(mǎi)計(jì)算機(jī)？ 60 老 中 否 良 買(mǎi) 64 老 低 是 良 買(mǎi) 64 老 低 是 優(yōu) 不買(mǎi) 132 老 中 是 良 買(mǎi) 63 老 中 否 優(yōu) 不買(mǎi) 1 老 中 否 優(yōu) 買(mǎi) 計(jì) 數(shù) 年 齡 收 入 學(xué) 生 信 譽(yù) 歸類(lèi)： 買(mǎi)計(jì)算機(jī)？ 64 青 高 否 良 不買(mǎi) 64 青 高 否 優(yōu) 不買(mǎi) 128 中 高 否 良 買(mǎi) 60 老 中 否 良 買(mǎi) 64 老 低 是 良 買(mǎi) 64 老 低 是 優(yōu) 不買(mǎi) 64 中 低 是 優(yōu) 買(mǎi) 128 青 中 否 良 不買(mǎi) 64 青 低 是 良 買(mǎi) 132 老 中 是 良 買(mǎi) 64 青 中 是 優(yōu) 買(mǎi) 32 中 中 否 優(yōu) 買(mǎi) 32 中 高 是 良 買(mǎi) 63 老 中 否 優(yōu) 不買(mǎi) 1 老 中 否 優(yōu) 買(mǎi) 決策樹(shù)的建立 對(duì)測(cè)試樣例的信息期望 所需要研究的屬性為“ 分類(lèi)屬性 ” 假設(shè)該屬性共分 m類(lèi)，每一類(lèi)的個(gè)數(shù)分別為 s1, s2 …, sm 令 s = s1+ s2 + …+ sm 決定測(cè)試樣例所屬類(lèi)別的信息期望： I(s1, s2 …, sm) = pi log2(pi) 其中 pi = si /s 20 1/31/2023 ? i=1