決策樹(shù)培訓(xùn)講義(ppt50頁(yè))(編輯修改稿)
2025-01-31 19:35 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 in} 去 除不代表任何分裂的集合：空集 {}和全集 {sunny, overcast, rain}。則基于 Outlook的劃分方式有 3種： 分別計(jì)算每種劃分的 Gini指標(biāo)： 32 3( 2 2) / 2 = 3? ?? ?? ?, ,( { } { }2 2 2 2, ,){}( { } )( { } , )()95= ( ) ( )14 149 6 3 5 2 3( 1 ( ( ) ( ) ) ) ( 1 ( ( ) ( ) ) )14 9 9 14 5 50() .3571(sun ny ov e rc ast rainsun ny ov e rc ast rainsun n ov e rc astov e rc asty rainsun ny rainG ini SG ini S G ini SG iniG iniS????? ? ? ? ? ???劃 分劃 分劃 分0. 7) 393S ?選擇劃分 CART 分類樹(shù) 對(duì) 于離散值屬性，在算法中遞歸的選擇該屬性產(chǎn)生最小 Gini指標(biāo)的子集作為它的分裂子集 。（或使用其他不純度） 對(duì)于連續(xù)值屬性，必須考慮所有可能的劃分點(diǎn)。其策略類似于 ，利用 Gini指數(shù)最小原則，選擇劃分點(diǎn) 。 CART 分類樹(shù) ? 節(jié)點(diǎn) t的類 classify(t): c os ( | ) ( ) ( )()c os ( | ) ( ) ( )()( | )iijjiit j i p i N t Nc ost jc las si fy tt i j p j N t Nitiiijj??其 中 p(i) 是 類 i 的 先 驗(yàn) 概 率 ,N 是 總 訓(xùn) 練 數(shù) 據(jù) 集 中 類 的 樣 本 個(gè) 數(shù) ，N 是 節(jié) 點(diǎn) t 的 數(shù) 據(jù)若 對(duì) 于 除集 中 類 i 的 樣 本 個(gè) 數(shù)是 誤 分 類 成 本 ：表 示 實(shí)類 以 外 的 所 有際 上 屬類 都 成 立于 類 ， 被 錯(cuò)， 則 將 N 標(biāo) 記 為 類分 成i類 的 概 率? CART_classification(DataSet, featureList, alpha,)： – 創(chuàng)建根節(jié)點(diǎn) R – 如果當(dāng)前 DataSet中的數(shù)據(jù)的類別相同，則標(biāo)記 R的類別標(biāo)記為該類 – 如果決策樹(shù)高度大于 alpha，則不再分解，標(biāo) 記 R的類別 classify(DataSet) – 遞歸情況： ? 標(biāo)記 R的類別 classify(DataSet) ? 從 featureList中選擇屬性 F（選擇 Gini(DataSet, F)最小的屬性劃分，連續(xù)屬性參考 (以 Gini最 小 作為劃分標(biāo)準(zhǔn) )） ? 根據(jù) F，將 DataSet做二元?jiǎng)澐?DS_L 和 DS_R： – 如果 DS_L或 DS_R為空，則不再分解 – 如果 DS_L和 DS_R都不為空，節(jié)點(diǎn) C_L= CART_classification(DS_L, featureList, alpha)。 C_R= CART_classification(DS_R featureList, alpha) – 將節(jié)點(diǎn) C_L和 C_R添加為 R的左右子節(jié)點(diǎn) CART 分 類 樹(shù)算法步驟示意 CART 回歸樹(shù) 樣本 ： (X, y) y為分類 = 分類樹(shù) y為實(shí)數(shù) = 回歸樹(shù) 設(shè) t代 表樹(shù)的某個(gè)節(jié)點(diǎn)， t中的樣本集合為： {(X1,y1), (X2,y2) …}， 應(yīng)變 量為實(shí)數(shù)， N(t)是節(jié)點(diǎn) t中 的 樣本個(gè)數(shù)。節(jié)點(diǎn) t的應(yīng)變量的均值： 節(jié)點(diǎn) t內(nèi)的平方殘差最小化 (squared residuals minimization algorithm)： ()1,1()iNtii X tyyNt ??? ? () 21,( ) ( ( ) )iNtii X tSS t y y t?????CART 回歸樹(shù) 劃 分 (屬性 )F將 t劃分成左右節(jié)點(diǎn) tL和 tR， phi值： 能最 大 化上式的就是最佳的 (屬性 )劃分。 ( , ) ( ) ( ) ( )LRt F SS t SS t SS t? ? ? ?*( , ) m a x ( ( , ) )Ft F t F?? ???CART_regression(DataSet, featureList, alpha, delta)： 創(chuàng)建根節(jié)點(diǎn) R 如果當(dāng)前 DataSet中的數(shù) 據(jù)的值都相同， 則標(biāo)記 R的 值 為該值 如 果最大的 phi值小于設(shè)定閾值 delta，則標(biāo)記 R的值為 DataSet應(yīng)變量均值 如 果其中一個(gè)要產(chǎn)生的節(jié)點(diǎn)的樣本數(shù)量小于 alpha，則不再分解，標(biāo) 記 R的值為 DataSet應(yīng)變量均值 遞 歸情況： 從 featureList中選擇屬性 F（選 擇 phi(DataSet, F)最大的屬性，連續(xù)屬 性（或使 用多個(gè)屬性的線性組合 ）參 考 離散化過(guò) 程 (以 phi最大作為劃分標(biāo)準(zhǔn) )） 根據(jù) F， 將 DataSet做 二元?jiǎng)?分 DS_L 和 DS_R： 如果 DS_L或 DS_R為空，則標(biāo)記節(jié)點(diǎn) R的值為 DataSet應(yīng)變量均值
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1