3第三章決策樹(shù)(存儲(chǔ)版)
【正文】 性。 ? 根據(jù)分割方法的不同，決策樹(shù)可以分為兩類(lèi)：基于信息論的方法（較有代表性的是 ID ）和最小 GINI指標(biāo)方法（常用的有 CART、 SLIQ及SPRINT算法等）。即是將數(shù)據(jù)集分成十分，輪流將其中 9份做訓(xùn)練 1份做測(cè)試， 10次的結(jié)果的均值作為對(duì)算法精度的估計(jì)，一般還需要進(jìn)行多次 10倍交叉驗(yàn)證求均值，例如 10次 10倍交叉驗(yàn)證，更精確一點(diǎn)。 ? 可詮釋性 ：指模型的解釋能力。 ? 信息論 ： 若一事件有 k種結(jié)果 ，對(duì)應(yīng)的概率為 Pi。 2023/2/13 （ 1）先剪枝方法 22 ? 在先剪枝方法中，通過(guò)提前停止樹(shù)的構(gòu)造（例如，通過(guò)決定在給定的節(jié)點(diǎn)上不再分裂或劃分訓(xùn)練樣本的子集）而對(duì)樹(shù)“剪枝”。 ? 成本復(fù)雜性修剪法是當(dāng)決策樹(shù)成長(zhǎng)完成后，演算法計(jì)算所有葉節(jié)點(diǎn)的總和錯(cuò)誤率，然后計(jì)算去除某一葉節(jié)點(diǎn)后的總和錯(cuò)誤率，當(dāng)去除該葉節(jié)點(diǎn)的錯(cuò)誤率降低或者不變時(shí)，則剪掉該節(jié)點(diǎn)。 Gini Index算法 38 2( ) 11jNgini T p jp jj?? ??為 類(lèi) 別出 現(xiàn) 的 頻 率)()()( 2211 TginiNNTginiNNTgini spli t ??2023/2/13 案例：在汽車(chē)銷(xiāo)售中的應(yīng)用 2023/2/13 39 2023/2/13 40 2023/2/13 41 N N Y Y Y N Y Y Y N N N CART算法 42 ? 由 Friedman等人提出， 1980年以來(lái)就開(kāi)始發(fā)展，是基于樹(shù)結(jié)構(gòu)產(chǎn)生分類(lèi)和回歸模型的過(guò)程，是一種產(chǎn)生二元樹(shù)的技術(shù)。 ? Gini Index能數(shù)值型屬性的變量來(lái)做分類(lèi)。 ? 測(cè)試組修剪法：在使用訓(xùn)練組樣本產(chǎn)生新的分岔時(shí)，就立刻使用測(cè)試組樣本去測(cè)試這個(gè)分岔規(guī)則是否能夠再現(xiàn)，如果不能，就被視作過(guò)度擬合而被修剪掉，如果能夠再現(xiàn)，則該分岔予以保留而繼續(xù)向下分岔。 ?該群數(shù)據(jù)已經(jīng)沒(méi)有任何尚未處理的數(shù)據(jù)。通過(guò)屬性選擇度量，選擇出最好的將樣本分類(lèi)的屬性。 ? 訓(xùn)練測(cè)試法 (trainingandtesting) ? 交 叉 驗(yàn)證法 (crossvalida
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1