決策樹學(xué)習(xí)講義-在線瀏覽
2025-02-15 19:42本頁面
【正文】 陰天 炎熱 高 弱 去 4 下雨 適中 高 弱 去 5 下雨 寒冷 正常 弱 去 6 下雨 寒冷 正常 強(qiáng) 不去 7 陰天 寒冷 正常 強(qiáng) 去 8 晴天 適中 高 弱 不去 9 晴天 寒冷 正常 弱 去 10 下雨 適中 正常 弱 去 11 晴天 適中 正常 強(qiáng) 去 12 陰天 適中 高 強(qiáng) 去 13 陰天 炎熱 正常 弱 去 14 下雨 適中 高 強(qiáng) 不去 表 1：是否去打球的數(shù)據(jù)統(tǒng)計(jì) —訓(xùn)練數(shù)據(jù) 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 濕度 高 正常 (3+, 4) (6+, 1) S: (9+, 5) 風(fēng) 弱 強(qiáng) (6+, 2) (3+, 3) S: (9+, 5) 問題：哪一個(gè)屬性（特征）更好？ 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 熵 :物理學(xué)概念 ?? 宏觀上：熱力學(xué)定律 —體系的熵變等于可逆過程吸收或耗散的熱量除以它的絕對(duì)溫度（克勞修斯， 1865） ?? 微觀上：熵是大量微觀粒子的位置和速度的分布概率的函數(shù)，是描述系統(tǒng)中大量微觀粒子的無序性的宏觀參數(shù)（波爾茲曼， 1872） ?? 結(jié)論：熵是描述事物無序性的參數(shù)，熵越大則無序性越強(qiáng) ,在信息領(lǐng)域定義為“熵越大，不確定性越大”（香濃，1948年） 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 隨機(jī)變量的熵 熵 比較多的用于信源編碼，數(shù)據(jù)壓縮，假設(shè) 是最有效的編碼方式是使用 位編碼 于是對(duì)于隨即變量的最有效編碼位之和： Xi?21( ) ( ) l og ( )niI X P X i P X i?? ? ? ??決策樹學(xué)習(xí)原理簡介 —(ID3, ) 表示訓(xùn)練集合中的樣本 表示訓(xùn)練集合中反例樣本的比例 p?表示訓(xùn)練集合中正例樣本的比例 p? 22( ) l og ( ) l og ( )I S p p p p? ? ? ?? ? ?表示訓(xùn)練集合的熵 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 信息增益： information gain ?? 信息的增加意味著不確定性的減少，也就是熵的減小，信息增益在諸多系統(tǒng)中定義為： 在某一個(gè)操作之前的系統(tǒng)熵與操作之后的系統(tǒng)熵的差值，也即是不確定性的減小量 信息增益 (Information Gain) ? 原來的不確定性 ? 知道 x之后的不確定性 ? 信息增益 : 原來 知道 x之后的 原來不確定性 經(jīng)過屬性 x劃分以后的不確定性 信息增益 (Information Gain) ? 選擇屬性的標(biāo)準(zhǔn)：選擇具有最高信息增益 (Information Gain)的屬性 ? 假設(shè)有兩個(gè)類 , + 和 ?假設(shè)集合 S中含有 p個(gè)類別為 +的樣本 ,n個(gè)類別為 的樣本 ?將 S中已知樣本進(jìn)行分類所需要的期望信息定義為 : npnnpnnppnppnpI??????? 22 loglog),(信息增益在決策樹中的使用 ? 假設(shè)屬性 x將把集合 S劃分成 K份 {S1, S2 , …, SK} ?如果 Si 中包含 pi 個(gè)類別為 “+”的樣本 , ni 個(gè)類別為 “”,的樣本。 決策樹學(xué)習(xí)及 overfitting ?導(dǎo)致過度擬合的原因 ?一種可能原因是訓(xùn)練樣例含有隨機(jī)錯(cuò)誤或噪聲 ?當(dāng)訓(xùn)練數(shù)據(jù)沒有噪聲時(shí)，過度擬合也有可能發(fā)生，特別是當(dāng)少量的樣例被關(guān)聯(lián)到葉子節(jié)點(diǎn)時(shí)，很可能出現(xiàn)巧合的規(guī)律性，使得一些
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1