決策樹信息論c45算法-在線瀏覽
2025-02-15 19:41本頁面
【正文】 ∑j=1,2,3 P(vj) H(U | vj)= ? 互信息（對 A1）： – I (A1)= H(U) H(U | V) = ? 同理，有： – I (A2)=， I (A3)=， I (A4)= ? I (A1)值最大，所以選擇“天氣”作為決策樹的根節(jié)點，將其三個取值分別作為三個分支，并劃分原數(shù)據(jù)集合為三個子集 ? 判斷子集中各記錄是否屬于同一類別，若是則在樹上作標記，否則對子集重復上述步驟 ID3算法（選擇掌握） ID3算法 ? 每個名字都有它的意義 ? 御手洗！ ！ ￥ ￥ …… ? Fox電影公司 = 狐貍電影公司 ? Paramount電影公司 = 最牛的電影公司 ? 美國總統(tǒng) Bush = 美國總統(tǒng)灌木叢 ? ID3為什么是 Iterative Dichotomiser迭代二分器 ID3算法 Iterative（迭代） 當前的輸出結果會返回到程序開始作自變量。 ID3算法 知識結構 決策樹基礎 信息論基礎 決策樹基礎 ? 女孩家長 安排相親 ? 女孩 不厭其煩 ? 女孩 提出決策樹 ? 父母篩選 候選男士 決策樹基礎 有向無環(huán) 二叉 /多叉樹 ?父節(jié)點：沒有子節(jié)點的節(jié)點 ?內(nèi)部節(jié)點：有父節(jié)點、子節(jié)點的節(jié)點 ?葉節(jié)點：有父節(jié)點沒有子節(jié)點的節(jié)點 父節(jié)點 內(nèi)部節(jié)點 葉節(jié)點 分割屬性 +判斷規(guī)則 類別標識 決策樹基礎 父節(jié)點 內(nèi)部節(jié)點 葉節(jié)點 （類別標識） （分割屬性 +判斷規(guī)則） 決策樹基礎 訓練集： 數(shù)據(jù)的集合，用于生成樹（模型） 測試集： 用于測試樹（模型）的性能 決策樹作用： ?通過訓練集 ?算法指導下 ?生成決策樹 ?新數(shù)據(jù)進行劃分 ?否則是 “三拍” 決策 訓練集 算法 決策樹 新數(shù)據(jù) 決策 決策樹基礎 實例 No. 頭痛 肌肉痛 體溫 患流感 1 是 (1) 是 (1) 正常 (0) N(0) 2 是 (1) 是 (1) 高 (1) Y(1) 3 是 (1) 是 (1) 很高 (2) Y(1) 4 否 (0) 是 (1) 正常 (0) N(0) 5 否 (0) 否 (0) 高 (1) N(0) 6 否 (0) 是 (1) 很高 (2) N(1) 7 是 (1) 否 (0) 高 (1) Y(1) 決策樹怎么做？誰是父節(jié)點？ 誰是下一層子節(jié)點？為什么是它？ ?頭 肌肉 體溫 ?頭 體溫 肌肉 ?肌肉 頭 體溫 ?肌肉 體溫 頭 ?體溫 頭 肌肉 ?體溫 肌肉 頭 33 3! 6P ??三 拍 決 策 決策樹基礎 …… ）￥ —— JK)I*^Fkl9*^%*UIDOFGJ No. 天氣 氣溫 濕度 風 類別 1 晴 熱 高 無 N 2 晴 熱 高 有 N 3 多云 熱 高 無 P 4 雨 適中 高 無 P 5 雨 冷 正常 無 P 6 雨 冷 正常 有 N 7 多云 冷 正常 有 P No. 天氣 氣溫 濕度 風 類別 8 晴 適中 高 無 N 9 晴 冷 正常 無 P 10 雨 適中 正常 無 P 11 晴 適中 正常 有 P 12 多云 適中 高 有 P 13 多云 熱 正常 無 P 14 雨 適中 高 有 N 怎么生成好的？ 哪個好？ 種決策樹方案 決策樹基礎 N個分割屬性的訓練集 ( ! )nnPn? 決策樹基礎 好的決策樹 ： （ MDL準則下為例） Minimum Description Length ?訓練集中大多數(shù)數(shù)據(jù)符合這棵樹 ?例外的數(shù)據(jù)單獨編碼 描述決策樹用的 bit 描述例外數(shù)據(jù)用 bit M in哪個好？ 決策樹基礎（選擇掌握） ? 如何描述決策樹 體溫 頭痛 很高 正常 高 Y N Y N 否 是 流感決策樹 ?深度優(yōu)先遍歷決策樹 ?用 1標注父子節(jié)點 ?用 0標注葉節(jié)點 ?記錄分割屬性 ?1,體溫 ,0,Y,1,頭疼 ,0,Y,0,N,0,N 層次少 +分枝少 ?占用存儲空間小 ?決策計算時間快 決策樹基礎 ID3算法 決策樹基礎 信息論基礎 選哪個？？ 怎么生成好的？ Next One! 信息論基礎 2I ( x ) = l og P ( x )ii辨析 ? 先驗概率 ? 信息量 P(x )i 信息論基礎 — 先驗概率 P ( x )Xxii 先 驗 概 率事 件 發(fā) 生 前 ， 猜 測 結 果 為 的 可 能 性? 對事件 X的某一結果進行討論： 例：在沒有任何幫助的情況下，奧 /羅誰贏的概率 P（ x1=奧） = P（ x2=羅） 信息論基礎 — 信息量 I ( ) I ( ) I ( )習 近 平 奧 巴 馬 薄 熙 來主 席 總 統(tǒng) 主 席2X x P ( x )X I ( x )I ( x ) = l og P ( x )iiiiii事 件 的 可 能 結 果 出 現(xiàn) 的 概 率則 可 能 結 果 的 信 息 量 為 信息論基礎 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗概率 ? 信息量 ? 先驗熵 信息論基礎 ? 先驗熵 —— 自信息量 —— 熵 H
規(guī)章制度相關推薦
鄂ICP備17016276號-1