決策樹技術(shù)培訓(xùn)課程(完整版)
【正文】 nlan, 在 1983提出 ID3決策樹算法； 1993年正式提出了 ,并公布了源代碼 2023年發(fā)表 （ See5）商業(yè)版 決策樹的另一類家族： CART 1984， Friedman Breiman 決策樹基本概念 決策樹是一種典型的分類方法，首先對數(shù)據(jù)進(jìn)行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對新數(shù)據(jù)進(jìn)行分析。 ?一般來說，分類是把數(shù)據(jù)項(xiàng)映射到其中一個(gè)事先定義的類中的這樣一個(gè)學(xué)習(xí)函數(shù)的過程。該問題有兩個(gè)屬性 X,Y。對每個(gè)結(jié)點(diǎn)上問題的不同測試輸出導(dǎo)致不同的分枝，最后會達(dá)到一個(gè)葉子結(jié)點(diǎn)。則任意樣本 S屬于類 Ci的概率為： ||||)(SCSp ii ?Entropy（ S， A） =∑（ |Sv|/|S|） * Entropy(Sv) 公式 2 ∑是屬性 A的所有可能的值 v,Sv是屬性 A有 v值的 S子集 |Sv|是 Sv 中元素的個(gè)數(shù)； |S|是 S中元素的個(gè)數(shù)。 ID3算法存在的缺點(diǎn) （ 1） ID3算法在選擇根節(jié)點(diǎn)和各內(nèi)部節(jié)點(diǎn)中的分支屬性時(shí)，采用信息增益作為評價(jià)標(biāo)準(zhǔn)。 分別計(jì)算不同屬性的信息增益。 決策樹的優(yōu) 、 缺點(diǎn) 經(jīng)典算法 ——ID3學(xué)習(xí)算法 決策樹的生成 基本算法 自上而下分而治之的方法 開始時(shí)，所有的數(shù)據(jù)都在根節(jié)點(diǎn) 屬性都是種類字段 (如果是連續(xù)的，將其離散化 ) 所有記錄用所選屬性遞歸的進(jìn)行分割 屬性的選擇是基于一個(gè)啟發(fā)式規(guī)則或者一個(gè)統(tǒng)計(jì)的度量 停止分割的條件 一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都是屬于同一個(gè)類別 沒有屬性可以再用于對數(shù)據(jù)進(jìn)行分割 重要問題：哪個(gè)屬性作為當(dāng)前的測試節(jié)點(diǎn) 信息論相關(guān)內(nèi)容 Shannon1948年提出的信息論理論。 決策樹中最上面的結(jié)點(diǎn)稱為根結(jié)點(diǎn)是整個(gè)決策樹的開始。是一個(gè)在樣本其他屬性已知的情況下預(yù)測另外一個(gè)屬性 (樣本的類 )的模型 (分類的結(jié)果 )。由一組輸入的屬性值向量 (也叫屬性向量 )和相應(yīng)的類，用基于歸納學(xué)習(xí)算法得出分類。所有屬性值 X1和 YB的樣本屬于類 2。這一過程就是利用決策樹進(jìn)行分類的過程，利用若干個(gè)變量來判斷屬性的類別 決策樹的優(yōu)點(diǎn) 推理過程容易理解，決策推理過程可以表示成 If Then形式； 推理過程完全依賴于屬性變量的取值特點(diǎn)； 可自動(dòng)忽略目標(biāo)變量沒有貢獻(xiàn)的屬性變量，也為判斷屬性變量的重要性，減少變量的數(shù)目提供參考。 Gain（ S， A）是屬性 A在集合 S上的信息增益 Gain（ S， A） = Entropy(s)Entropy（ S， A） 公式 3 Gain（ S， A）越大，說明選擇測試屬性對分類提供的信息越多 熵的計(jì)算 Eg1: Eg2: 假定公司收集了左表數(shù)據(jù)，那么對于任意給定的客人（測試樣例），你能幫助公司將這位客人歸類嗎？ 即：你能預(yù)測這位客人是
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1