【文章內容簡介】 老 中 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 計 數(shù) 年 齡 收 入 學 生 信 譽 歸類： 買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 中 高 否 良 買 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 64 中 低 是 優(yōu) 買 128 青 中 否 良 不買 64 青 低 是 良 買 132 老 中 是 良 買 64 青 中 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 決策樹的建立 對測試樣例的信息期望 信息期望的減少 (又稱 Gain，信息增益 ) = 信息期望 – 平均信息期望 信息期望 基于節(jié)點數(shù)據(jù)表 平均信息期望 基于該節(jié)點的所有直系分支數(shù)據(jù)表 26 1/31/2023 決策樹的建立 對測試樣例的信息期望 平均信息期望 E，是節(jié)點各直系分支的信息期望值的加權總和。 1. 假定選擇年齡作樹根節(jié)點，則： 青年組 : I(128,256)= 中年組 : I(256,0)=0 老年組 : I(257,127)= 青年組 比例 : (128+256)/1024= 中年組比例 : 256/1024= 老年組比例 : (257+127)/1024= 平均信息期望 （加權總和）： E(年齡） = * +*0+* = Gain(年齡 ) = I(641, 383)E(年齡 ) = – = 27 1/31/2023 計數(shù) 年齡 收入 學生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 青 中 否 良 不買 64 青 低 是 良 買 64 青 中 是 優(yōu) 買 計數(shù) 年齡 收入 學生 信譽 歸類：買計算機？ 128 中 高 否 良 買 64 中 低 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 計數(shù) 年齡 收入 學生 信譽 歸類：買計算機？ 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 132 老 中 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 決策樹的建立 對測試樣例的信息期望 2. 假定選擇 收入 作樹根節(jié)點，則： 高收入組 : I(160,128)= 中收入組 : I(289,191)= 低收入組 : I(192,64)= 高收入組 比例 : 288/1024= 中收入組比例 : 480/1024= 低收入組比例 : 256/1024= 平均信息期望（加權總和）： E(收入） = * + * + * = Gain(收入 ) ： I(641, 383)E(收入 )= – = 28 1/31/2023 決策樹的建立 對測試樣例的信息期望 3. 假定選擇 學生 作樹根節(jié)點，則： 學生組 : I(420,64)= 非學生組 : I(221,319)= 學生組比例 : 484/1024= 非學生組比例 : 540/1024= 平均信息期望（加權總和）： E(學生） = * + * = Gain(學生 ) ： = I(641, 383)E(學生 )= – = 29 1/31/2023 決策樹的建立 對測試樣例的信息期望 4. 假定選擇 信譽 作樹根節(jié)點，則： 良好組 : I(480,192)= 優(yōu)秀組 : I(161,191)= 良好組比例 : 672/1024= 優(yōu)秀組比例 : 352/1024= 平均信息期望（加權總和）： E(信譽） = * + * = Gain(信譽 ) ： = I(641, 383)E(信譽 ) = – = 30 1/31/2023 決策樹的建立 對測試樣例的信息期望 決定樹根節(jié)點 E(年齡 ) = ， Gain(年齡 ) = E(收入 ) = ， Gain(收入 ) = E(學生 ) = ， Gain(學生 ) = E(信譽 ) = ， Gain(信譽 ) = 31 1/31/2023 決策樹的建立 決策樹建立步驟（例） 32 1/31/2023 年齡 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 60 中 否 良 買 64 低 是 良 買 64 低 是 優(yōu) 不買 132 中 是 良 買 63 中 否 優(yōu) 不買 1 中 否 優(yōu) 買 青 中 老 樹葉 計數(shù) 收入 學生 信譽 歸類：買計算機？ 128 高 否 良 買 64 低 是 優(yōu) 買 32 中 否 優(yōu) 買 32 高 是 良 買 決策樹的建立 決策樹建立步驟（例） 33 1/31/2023 年齡 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 60 中 否 良 買 64 低 是 良 買 64 低 是 優(yōu) 不買 132 中 是 良 買 63 中 否 優(yōu) 不買 1 中 否 優(yōu) 買 青 中 老 買 決策樹的建立 青年組 數(shù)據(jù)表分析（例） 1. 假定選擇 收入 作節(jié)點 I(128,256) = E(收入） = * 0 + * + * 0 = Gain(收入 ) = I(128, 256) E(收入 )= – = 34 1/31/2023 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 128 中 否 良 不買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 低 是 良 買 決策樹的建立 青年組 數(shù)據(jù)表分析（例） 2. 假定選擇 學生 作節(jié)點 I(128,256) = E(學生） = * 0 + * 0 = 0 Gain(學生 ) = I(128, 256) E(學生 )= – 0 = 35 1/31/2023 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 低 是 良 買 64 中 是 優(yōu) 買 決策樹的建立 決策樹建立步驟（例） 36 1/31/2023 年齡 計數(shù) 收入 信譽 歸類：買計算機？ 64 低 良 買 64 中 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 60 中 否 良 買 64 低 是 良 買 64 低 是 優(yōu) 不買 132 中 是 良 買 63 中 否 優(yōu) 不買 1 中 否 優(yōu) 買 青 中