決策樹(shù)培訓(xùn)講義(ppt50頁(yè))-文庫(kù)吧資料
2025-01-17 19:35本頁(yè)面
【正文】 E3最小時(shí)，采用“嫁接” (grafting)策略，即用 這 個(gè)最大分枝代替 t 代價(jià) 復(fù)雜度剪枝 CCP(CostComplexity Pruning) CCP又叫 CART剪枝法 代 價(jià) (cost) 樣本錯(cuò)分率 復(fù) 雜 度 (plexity) 樹(shù) t的葉節(jié)點(diǎn)數(shù) (Breiman…)定義 t的代價(jià)復(fù)雜度 (costplexity): ( ) *ttEc c t L e afNNle af t???其 中 ， 是 決 策 樹(shù) 訓(xùn) 練 樣 本 個(gè) 數(shù)E 是 決 策 樹(shù) 錯(cuò) 分 樣 本 數(shù)是 子 樹(shù) 的 葉 子 樹(shù)參 數(shù) α：用于衡 量代價(jià)與復(fù)雜度之間關(guān) 系 表示剪枝后樹(shù)的復(fù)雜度降低程度與代價(jià)間的關(guān) 系 如 何定義 α? 對(duì) t來(lái)說(shuō)，剪掉它的子樹(shù) s，以 t中最優(yōu)葉節(jié)點(diǎn)代替，得到新樹(shù)new_t。這種情況可以處理數(shù)據(jù)中的數(shù)據(jù)沖突問(wèn)題 ； 計(jì) 算每 次 生長(zhǎng) 對(duì) 系統(tǒng)性能的增益，如果這個(gè)增益值小于某個(gè)閾值則不進(jìn)行生長(zhǎng)。 C_R= CART_regression(DS_R featureList, alpha, delta) 將節(jié)點(diǎn) C_L和 C_R添 加為 R的左右子 節(jié)點(diǎn) CART 回歸 樹(shù)算法步驟示意 CART 后剪枝： 代 價(jià) 復(fù)雜度剪枝 CCP(CostComplexity Pruning) CART回 歸 樹(shù) 與 多 元線(xiàn)性回歸的區(qū)別 ： 空間劃分！非 線(xiàn)性 /線(xiàn)性 其他決策樹(shù) Quest(quick unbiased efficient statistical tree)算法 Gini系 數(shù) SLIQ (Supervised Learning In Quest)算 法 Gini系數(shù) SPRINT (Scalable Parallelizable Induction of Classification Tree)算法 Gini系數(shù) 并行 PUBLIC(Pruning and Building Integrated in Classification)算法 Gini系數(shù) 預(yù)剪枝、 MDL剪枝算 法 CHAID(Chisquared Automatic Interaction Detector)算法 Chisquare 決策樹(shù)剪枝 數(shù)據(jù)噪音 訓(xùn)練數(shù)據(jù)量少 過(guò)擬合 決策樹(shù)剪枝 預(yù) 剪 枝（前剪枝） 通過(guò)提前停止樹(shù)的構(gòu)造來(lái)對(duì)決策樹(shù)進(jìn)行剪枝 一 旦停止該節(jié)點(diǎn)下樹(shù)的繼續(xù)構(gòu)造，該節(jié)點(diǎn)就成了葉 節(jié)點(diǎn)。節(jié)點(diǎn) t的應(yīng)變量的均值： 節(jié)點(diǎn) t內(nèi)的平方殘差最小化 (squared residuals minimization algorithm)： ()1,1()iNtii X tyyNt ??? ? () 21,( ) ( ( ) )iNtii X tSS t y y t?????CART 回歸樹(shù) 劃 分 (屬性 )F將 t劃分成左右節(jié)點(diǎn) tL和 tR， phi值： 能最 大 化上式的就是最佳的 (屬性 )劃分。 CART 分類(lèi)樹(shù) ? 節(jié)點(diǎn) t的類(lèi) classify(t): c os ( | ) ( ) ( )()c os ( | ) ( ) ( )()( | )iijjiit j i p i N t Nc ost jc las si fy tt i j p j N t Nitiiijj??其 中 p(i) 是 類(lèi) i 的 先 驗(yàn) 概 率 ,N 是 總 訓(xùn) 練 數(shù) 據(jù) 集 中 類(lèi) 的 樣 本 個(gè) 數(shù) ，N 是 節(jié) 點(diǎn) t 的 數(shù) 據(jù)若 對(duì) 于 除集 中 類(lèi) i 的 樣 本 個(gè) 數(shù)是 誤 分 類(lèi) 成 本 ：表 示 實(shí)類(lèi) 以 外 的 所 有際 上 屬類(lèi) 都 成 立于 類(lèi) ， 被 錯(cuò)， 則 將 N 標(biāo) 記 為 類(lèi)分 成i類(lèi) 的 概 率? CART_classification(DataSet, featureList, alpha,)： – 創(chuàng)建根節(jié)點(diǎn) R – 如果當(dāng)前 DataSet中的數(shù)據(jù)的類(lèi)別相同，則標(biāo)記 R的類(lèi)別標(biāo)記為該類(lèi) – 如果決策樹(shù)高度大于 alpha，則不再分解，標(biāo) 記 R的類(lèi)別 classify(DataSet) – 遞歸情況： ? 標(biāo)記 R的類(lèi)別 classify(DataSet) ? 從 featureList中選擇屬性 F（選擇 Gini(DataSet, F)最小的屬性劃分，連續(xù)屬性參考 (以 Gini最 小 作為劃分標(biāo)準(zhǔn) )） ? 根據(jù) F，將 DataSet做二元?jiǎng)澐?DS_L 和 DS_R： – 如果 DS_L或 DS_R為空，則不再分解 – 如果 DS_L和 DS_R都不為空，節(jié)點(diǎn) C_L= CART_classification(DS_L, featureList, alpha)。（或使用其他不純度） 對(duì)于連續(xù)值屬性，必須考慮所有可能的劃分點(diǎn)。 CART CART 二元?jiǎng)澐? 二叉樹(shù)不易產(chǎn)生數(shù)據(jù)碎片，精確度往往也會(huì)高于多叉樹(shù)，所以在 CART算法中，采用了二元?jiǎng)澐? 不純性度量 分 類(lèi)目標(biāo)： Gini指標(biāo)、 Towing、 order Towing 連 續(xù)目標(biāo)：最小平方殘差、最小絕對(duì)殘差
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1