【正文】 缺點：在構造樹的過程中，需要對數(shù)據(jù)集進行多次的順序掃描和排序，因而導致算法的低效。 因此，溫度 26為溫度的最佳劃分點；信息增益率為 . 56 －選屬性 屬性“濕度”的信息增益率 GainRatio(濕度 =50, S)= . 屬性“風力”的信息增益率； GainRatio(風力 =1, S)= . GainRatio(濕度 50, S)最大，所以選擇濕度作為根節(jié)點，最佳劃分點為濕度為 50%. 57 ID3的改進 1) 用信息 增益率 來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足； 2)能夠完成對 連續(xù)屬性 的離散化處理； 3)在樹構造過程中進行剪枝； 4) 能夠對不完整數(shù)據(jù)進行處理。 GainRatio(溫度 = 33, S)= 。 GainRatio(溫度 = 30, S)= 。 GainRatio(溫度 = 25, S)= 。而實際上，這個屬性可能是無關或者無用的。這個屬性所形成的劃分，使得每個子集都僅有一個實例。 21 12( , ) l og ( lo) ) )( g(CvCiiv V ofFvjjijpG ai pv pn S F p p? ??? ? ??? ?ID3信息增益存在的問題 在極端情況下，比如在是否打高爾夫球的例子中，“日期”這個屬性。 從 ID3到 從 ID3到 ： 通過自頂向下構造決策樹進行學習； 構造過程的開始：哪一個屬性將在樹的根節(jié)點被 測試 ？ 區(qū)別：選擇 測試屬性 時的準則 ID3: 增益準則 (Gain criterion)—衡量給定屬性區(qū)分訓練樣例的能力。 節(jié)點內測數(shù)據(jù)樣本數(shù)低于某一閾值。 1. 假定選擇年齡作樹根節(jié)點，則： 青年組 : I(128,256)= 中年組 : I(256,0)=0 老年組 : I(257,127)= 青年組 比例 : (128+256)/1024= 中年組比例 : 256/1024= 老年組比例 : (257+127)/1024= 平均信息期望 （加權總和）： E(年齡） = * +*0+* = Gain(年齡 ) = I(641, 383)E(年齡 ) = – = 27 1/31/2023 計數(shù) 年齡 收入 學生 信譽 歸類：買計算機？ 64 青 高 否 良 不買 64 青 高 否 優(yōu) 不買 128 青 中 否 良 不買 64 青 低 是 良 買 64 青 中 是 優(yōu) 買 計數(shù) 年齡 收入 學生 信譽 歸類：買計算機？ 128 中 高 否 良 買 64 中 低 是 優(yōu) 買 32 中 中 否 優(yōu) 買 32 中 高 是 良 買 計數(shù) 年齡 收入 學生 信譽 歸類：買計算機？ 60 老 中 否 良 買 64 老 低 是 良 買 64 老 低 是 優(yōu) 不買 132 老 中 是 良 買 63 老 中 否 優(yōu) 不買 1 老 中 否 優(yōu) 買 決策樹的建立 對測試樣例的信息期望 2. 假定選擇 收入 作樹根節(jié)點，則： 高收入組 : I(160,128)= 中收入組 : I(289,191)= 低收入組 : I(192,64)= 高收入組 比例 : 288/1024= 中收入組比例 : 480/1024= 低收入組比例 : 256/1024= 平均信息期望（加權總和）： E(收入） = * + * + * = Gain(收入 ) ： I(641, 383)E(收入 )= – = 28 1/31/2023 決策樹的建立 對測試樣例的信息期望 3. 假定選擇 學生 作樹根節(jié)點，則： 學生組 : I(420,64)= 非學生組 : I(221,319)= 學生組比例 : 484/1024= 非學生組比例 : 540/1024= 平均信息期望（加權總和）： E(學生） = * + * = Gain(學生 ) ： = I(641, 383)E(學生 )= – = 29 1/31/2023 決策樹的建立 對測試樣例的信息期望 4. 假定選擇 信譽 作樹根節(jié)點，則： 良好組 : I(480,192)= 優(yōu)秀組 : I(161,191)= 良好組比例 : 672/1024= 優(yōu)秀組比例 : 352/1024= 平均信息期望（加權總和）： E(信譽） = * + * = Gain(信譽 ) ： = I(641, 383)E(信譽 ) = – = 30 1/31/2023 決策樹的建立 對測試樣例的信息期望 決定樹根節(jié)點 E(年齡 ) = ， Gain(年齡 ) = E(收入 ) = ， Gain(收入 ) = E(學生 ) = ， Gain(學生 ) = E(信譽 ) = ， Gain(信譽 ) = 31 1/31/2023 決策樹的建立 決策樹建立步驟（例） 32 1/31/2023 年齡 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 60 中 否 良 買 64 低 是 良 買 64 低 是 優(yōu) 不買 132 中 是 良 買 63 中 否 優(yōu) 不買 1 中 否 優(yōu) 買 青 中 老 樹葉 計數(shù) 收入 學生 信譽 歸類：買計算機？ 128 高 否 良 買 64 低 是 優(yōu) 買 32 中 否 優(yōu) 買 32 高 是 良 買 決策樹的建立 決策樹建立步驟（例） 33 1/31/2023 年齡 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 60 中 否 良 買 64 低 是 良 買 64 低 是 優(yōu) 不買 132 中 是 良 買 63 中 否 優(yōu) 不買 1 中 否 優(yōu) 買 青 中 老 買 決策樹的建立 青年組 數(shù)據(jù)表分析（例） 1. 假定選擇 收入 作節(jié)點 I(128,256) = E(收入） = * 0 + * + * 0 = Gain(收入 ) = I(128, 256) E(收入 )= – = 34 1/31/2023 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 128 中 否 良 不買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 低 是 良 買 決策樹的建立 青年組 數(shù)據(jù)表分析（例） 2. 假定選擇 學生 作節(jié)點 I(128,256) = E(學生） = * 0 + * 0 = 0 Gain(學生 ) = I(128, 256) E(學生 )= – 0 = 35 1/31/2023 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 64 低 是 良 買 64 中 是 優(yōu) 買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 高 否 良 不買 64 高 否 優(yōu) 不買 128 中 否 良 不買 計數(shù) 收入 學生 信譽 歸類：買計算機？ 64 低 是 良 買 64 中 是 優(yōu) 買 決策樹的建立 決策樹建立步驟（例） 36 1/31/2023 年齡 計數(shù) 收入 信譽 歸類：買計算機？ 64