人工智能之決策樹(ppt33頁)-資料下載頁
2025-02-22 14:43本頁面
【正文】 值多的 Feature會有相對較大的信息增益 ?(信息增益反映的給定一個條件以后不確定性減少的程度 ,必然是分得越細的數(shù)據(jù)集確定性更高 ,也就是條件熵越小 ,信息增益越大 )。為了避免這個不足 益比率 (gain ratio)來作為選擇分支的準則。信息增益比率通過引入一個被稱作分裂信息 (Split information)的項來懲罰取值較多的 Feature。除此之外， ID3中不能處理特征屬性值連續(xù)的問題。但是，對連續(xù)屬性值需要掃描排序，會使 ，有興趣可以參考博客。 3. 應(yīng)用實例及 ID3算法 信息增益比率定義 3. 應(yīng)用實例及 ID3算法 ? ，是一種基本的分類與回歸方法。 ? ：可讀性強，分類速度快，容易轉(zhuǎn)換成 ifthen分類規(guī)則 ? 3個步驟：特征（屬性）選擇、決策樹的生成、決策樹的修剪。 ? ，又叫屬性選擇度量，把數(shù)據(jù)劃分成較小的分區(qū)。 ? 。 ? （即非回溯的、局部最優(yōu)的）方法，以自頂向下遞歸的分治方式構(gòu)造，只考慮局部最優(yōu)。 ? ，考慮全局最優(yōu)。 ? 。 ? ： ID3算法， CART算法。 決策樹總結(jié) (1/2) 4. 決策樹總結(jié) ? ，沒有對決策樹進行剪枝。CART算法包括決策樹的剪枝。 ? ，各個算法采用的選擇分裂準則不同 : ? ID3算法使用信息增益準則，選擇信息增益最大 (熵最小 )的特征作為分裂屬性。 ? ，選擇信息增益比最大的特征作為分裂屬性。 ? CART算法使用基尼指數(shù)準則，選擇基尼指數(shù)最小的特征作為分裂屬性。 ? ，偏向于選擇屬性取值較多的作為分裂屬性；信息增益比準則調(diào)整了這種偏倚，但它傾向于產(chǎn)生不平衡的劃分，其中一個分區(qū)比其他分區(qū)小得多；基尼指數(shù)準則也是偏向于多值屬性，并且當類的數(shù)量很大時會有困難。 ? 。 ? 。因此，傾向于產(chǎn)生較淺的樹（如多路劃分而不是二元劃分）的度量可能更可取。但是，較淺的樹趨向于具有大量樹葉和較高的準確率。 ? ：熵。熵越大，隨機變量的不確定性就越大，分類能力就越低 . 決策樹總結(jié) (2/2) 4. 決策樹總結(jié) ? ，沒有對決策樹進行剪枝。CART算法包括決策樹的剪枝。 ? ，各個算法采用的選擇分裂準則不同 : ? ID3算法使用信息增益準則，選擇信息增益最大 (熵最小 )的特征作為分裂屬性。 ? ，選擇信息增益比最大的特征作為分裂屬性。 ? CART算法使用基尼指數(shù)準則，選擇基尼指數(shù)最小的特征作為分裂屬性。 ? ，偏向于選擇屬性取值較多的作為分裂屬性；信息增益比準則調(diào)整了這種偏倚，但它傾向于產(chǎn)生不平衡的劃分，其中一個分區(qū)比其他分區(qū)小得多；基尼指數(shù)準則也是偏向于多值屬性，并且當類的數(shù)量很大時會有困難。 ? 。 ? 。因此，傾向于產(chǎn)生較淺的樹（如多路劃分而不是二元劃分）的度量可能更可取。但是，較淺的樹趨向于具有大量樹葉和較高的準確率。 ? ：熵。熵越大，隨機變量的不確定性就越大，分類能力就越低 . 決策樹總結(jié) (2/2) 4. 決策樹總結(jié) ? 決策樹僅僅是一種分類算法，其實并不能體現(xiàn)決策過程。 ? 決策樹算法的基本原理是每次選擇與類別相關(guān)性最大的屬性進行分裂。 ? ID3算法使用了熵，熵是對概率倒數(shù)的對數(shù)求數(shù)學(xué)期望。由于條件熵是對條件概率的熵求數(shù)學(xué)期望，本質(zhì)上條件熵反映了兩個隨機變量的相關(guān)性。ID3算法的的實質(zhì)仍是選擇與類別相關(guān)性最大的屬性來進行分裂。只是這個相關(guān)性是用互信息量來衡量的。 ? 決策樹算法并沒有考慮各屬性之間的相關(guān)性。 ? 盡管有剪枝等等方法，一棵樹的生成肯定還是不如多棵樹，因此就有了隨機森林，解決決策樹泛化能力弱的缺點（三個臭裨將頂個諸葛亮）。 一些思考 5. 一些思考 演講完畢，謝謝觀看！
電大資料相關(guān)推薦
鄂ICP備17016276號-1