決策樹技術(shù)培訓(xùn)課程-wenkub.com
2025-01-11 19:46 本頁面
【正文】 ID3算法存在的缺點(diǎn) （ 1） ID3算法在選擇根節(jié)點(diǎn)和各內(nèi)部節(jié)點(diǎn)中的分支屬性時(shí)，采用信息增益作為評(píng)價(jià)標(biāo)準(zhǔn)。 分別計(jì)算不同屬性的信息增益。則任意樣本 S屬于類 Ci的概率為： ||||)(SCSp ii ?Entropy（ S， A） =∑（ |Sv|/|S|） * Entropy(Sv) 公式 2 ∑是屬性 A的所有可能的值 v,Sv是屬性 A有 v值的 S子集 |Sv|是 Sv 中元素的個(gè)數(shù)； |S|是 S中元素的個(gè)數(shù)。 決策樹的優(yōu) 、 缺點(diǎn) 經(jīng)典算法 ——ID3學(xué)習(xí)算法 決策樹的生成 基本算法 自上而下分而治之的方法 開始時(shí)，所有的數(shù)據(jù)都在根節(jié)點(diǎn) 屬性都是種類字段 (如果是連續(xù)的，將其離散化 ) 所有記錄用所選屬性遞歸的進(jìn)行分割 屬性的選擇是基于一個(gè)啟發(fā)式規(guī)則或者一個(gè)統(tǒng)計(jì)的度量 停止分割的條件 一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都是屬于同一個(gè)類別 沒有屬性可以再用于對(duì)數(shù)據(jù)進(jìn)行分割 重要問題：哪個(gè)屬性作為當(dāng)前的測(cè)試節(jié)點(diǎn) 信息論相關(guān)內(nèi)容 Shannon1948年提出的信息論理論。對(duì)每個(gè)結(jié)點(diǎn)上問題的不同測(cè)試輸出導(dǎo)致不同的分枝，最后會(huì)達(dá)到一個(gè)葉子結(jié)點(diǎn)。 決策樹中最上面的結(jié)點(diǎn)稱為根結(jié)點(diǎn)是整個(gè)決策樹的開始。該問題有兩個(gè)屬性 X,Y。是一個(gè)在樣本其他屬性已知的情況下預(yù)測(cè)另外一個(gè)屬性 (樣本的類 )的模型 (分類的結(jié)果 )。 ?一般來說，分類是把數(shù)據(jù)項(xiàng)映射到其中一個(gè)事先定義的類中的這樣一個(gè)學(xué)習(xí)函數(shù)的過程。由一組輸入的屬性值向量 (也叫屬性向量 )和相應(yīng)的類，用基于歸納學(xué)習(xí)算法得出分類。 (a) 決策樹方法的起源是概念學(xué)習(xí)系統(tǒng) CLS (b) 機(jī)器學(xué)習(xí)領(lǐng)域前輩及大牛之一 Quinlan, 在 1983提出 ID3決策樹算法； 1993年正式提出了 ,并公布了源代碼 2023年發(fā)表 （ See5）商業(yè)版 決策樹的另一類家族： CART 1984， Friedman Breiman 決策樹基本概念 決策樹是一種典型的分類方法，首先對(duì)數(shù)據(jù)進(jìn)行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對(duì)新數(shù)據(jù)進(jìn)行分析。所有屬性值 X1和 YB的樣本屬于類 2。每個(gè)分支是一個(gè)新的決策結(jié)點(diǎn)，或者是樹的葉子。這一過程就是利用決策樹進(jìn)行分類的過程，利用若干個(gè)變量來判斷屬性的類別 決策樹的優(yōu)點(diǎn) 推理過程容易理解，決策推理過程可以表示成 If Then形式； 推理過程完全依賴于屬性變量的取值特點(diǎn)； 可自動(dòng)忽略目標(biāo)變量沒有貢獻(xiàn)的屬性變量，也為判斷屬性變量的重要性，減少變量的數(shù)目提供參考。事件 ai的信息 I （ ai ）可如下度量： )(1log)()(2iii apapaI ?其中 p(ai)表示事件 ai發(fā)生的概率。 Gain（ S， A）是屬性 A在集合 S上的信息增益 Gain（ S， A） =
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1