3第三章決策樹(存儲(chǔ)版)
【正文】 性。 ? 根據(jù)分割方法的不同，決策樹可以分為兩類：基于信息論的方法（較有代表性的是 ID ）和最小 GINI指標(biāo)方法（常用的有 CART、 SLIQ及SPRINT算法等）。即是將數(shù)據(jù)集分成十分，輪流將其中 9份做訓(xùn)練 1份做測試， 10次的結(jié)果的均值作為對算法精度的估計(jì)，一般還需要進(jìn)行多次 10倍交叉驗(yàn)證求均值，例如 10次 10倍交叉驗(yàn)證，更精確一點(diǎn)。 ? 可詮釋性 ：指模型的解釋能力。 ? 信息論 ： 若一事件有 k種結(jié)果 ，對應(yīng)的概率為 Pi。 2023/2/13 （ 1）先剪枝方法 22 ? 在先剪枝方法中，通過提前停止樹的構(gòu)造（例如，通過決定在給定的節(jié)點(diǎn)上不再分裂或劃分訓(xùn)練樣本的子集）而對樹“剪枝”。 ? 成本復(fù)雜性修剪法是當(dāng)決策樹成長完成后，演算法計(jì)算所有葉節(jié)點(diǎn)的總和錯(cuò)誤率，然后計(jì)算去除某一葉節(jié)點(diǎn)后的總和錯(cuò)誤率，當(dāng)去除該葉節(jié)點(diǎn)的錯(cuò)誤率降低或者不變時(shí)，則剪掉該節(jié)點(diǎn)。 Gini Index算法 38 2( ) 11jNgini T p jp jj?? ??為 類 別出 現(xiàn) 的 頻 率)()()( 2211 TginiNNTginiNNTgini spli t ??2023/2/13 案例：在汽車銷售中的應(yīng)用 2023/2/13 39 2023/2/13 40 2023/2/13 41 N N Y Y Y N Y Y Y N N N CART算法 42 ? 由 Friedman等人提出， 1980年以來就開始發(fā)展，是基于樹結(jié)構(gòu)產(chǎn)生分類和回歸模型的過程，是一種產(chǎn)生二元樹的技術(shù)。 ? Gini Index能數(shù)值型屬性的變量來做分類。 ? 測試組修剪法：在使用訓(xùn)練組樣本產(chǎn)生新的分岔時(shí)，就立刻使用測試組樣本去測試這個(gè)分岔規(guī)則是否能夠再現(xiàn)，如果不能，就被視作過度擬合而被修剪掉，如果能夠再現(xiàn)，則該分岔予以保留而繼續(xù)向下分岔。 ?該群數(shù)據(jù)已經(jīng)沒有任何尚未處理的數(shù)據(jù)。通過屬性選擇度量，選擇出最好的將樣本分類的屬性。 ? 訓(xùn)練測試法 (trainingandtesting) ? 交 叉 驗(yàn)證法 (crossvalida
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1