決策樹(文件)
【正文】 u 4P ( )v4?13u 2P ( )v5?22uP ( ) 0v ?23u 3P( )v5?2 2 2225 5 3 52 4 4 4H ( U V ) ( ) ( ) l o g ( ) + ( ) l o g ( ) ( ) ( ) l o g ( ) + 01 4 5 2 5 3 1 4 4 45 5 3 52( ) ( ) l o g ( ) + ( ) l o g ( ) 0 . 6 9 b it1 4 5 2 5 3?? ???? ??????????3．互信息計算 對 A1＝天氣，有 ： 類似 可得： （ 氣溫）＝ （ 濕度）＝ （ 風）＝ 決策樹算法 三 實例 決策樹算法 三 實例 天氣 氣溫 濕度 風1 晴 熱 高 無風 N2 晴 熱 高 有風 N3 多云 熱 高 無風 P4 雨 適中 高 無風 P5 雨 冷 正常 無風 P6 雨 冷 正常 有風 N7 多云 冷 正常 有風 P8 晴 適中 高 無風 N9 晴 冷 正常 無風 P10 雨 適中 正常 無風 P11 晴 適中 正常 有風 P12 多云 適中 高 有風 P13 多云 熱 正常 無風 P14 雨 適中 高 有風 NN O . 類別屬性4．建決策樹的樹根和分支 ID3算法將選擇互信息最大的屬性“ 天氣 ” 作為樹根，在 14個例子中對 “ 天氣 ” 的 3個取值進行分支， 3個分支對應 3個子集，分別是： F1晴 ＝｛ 1， 2， 8， 9， 11｝， F2多云 ＝｛ 3， 7， 12， 13｝， F3雨 ＝｛ 4， 5， 6， 10， 14｝ 其中， F2中的例子全屬于 P類，因此對應分支標記為 P， 其余兩個子集既含有正例 P又含有反例，將遞歸調用建樹算法 決策樹算法 三 實例 5．遞歸建樹 分別對 F1和 F3子集利用 ID3算法，在每個子集中對各屬性（仍為 4個屬性）求互信息。 決策樹算法 ID3基本思想 決策樹算法 天氣 氣溫 濕度 風1 晴 熱 高 無風 N2 晴 熱 高 有風 N3 多云 熱 高 無風 P4 雨 適中 高 無風 P5 雨 冷 正常 無風 P6 雨 冷 正常 有風 N7 多云 冷 正常 有風 P8 晴 適中 高 無風 N9 晴 冷 正常 無風 P10 雨 適中 正常 無風 P11 晴 適中 正常 有風 P12 多云 適中 高 有風 P13 多云 熱 正常 無風 P14 雨 適中 高 有風 NN O . 類別屬性ID3基本思想 決策樹算法 晴 多云 雨 P 正常 P N N P 有風 無風 濕度 風 天氣 高 ID3基本思想 決策樹算法 P N 多云 (12) 雨 (14) 風 有風
畢業(yè)設計相關推薦
鄂ICP備17016276號-1