決策樹培訓(xùn)講義-在線瀏覽
2025-02-14 19:36本頁面
【正文】 下最好/優(yōu)的選擇。通過屬性選擇度量，選擇出最好的將樣本分類的屬性。 二、決策 樹 (Decision Tree) （一） 決策樹的結(jié)構(gòu) 11 根部節(jié)點(diǎn) (root node) 中間節(jié)點(diǎn) (nonleaf node) (代表測試的條件 ) 分支 (branches) (代表測試的結(jié)果 ) 葉節(jié)點(diǎn) (leaf node) (代表分類后所獲得 的分類標(biāo)記 ) 2023/1/31 2023/1/31 12 （二）決策樹的形成 例： 13 ? 根部節(jié)點(diǎn) ? 中間節(jié)點(diǎn) ? 停止分支 ？ 2023/1/31 （三） ID3算法 (,) 14 2023/1/31 ? Quinlan(1979)提出，以 Shannon(1949)的信息論為依據(jù)。 ? 信息論 ： 若一事件有 k種結(jié)果 ，對應(yīng)的概率為 Pi。 ? 如果有以下情況發(fā)生，決策樹將 停止分割： ?該群數(shù)據(jù)的每一筆數(shù)據(jù)都已經(jīng)歸類到同一類別。 ?該群數(shù)據(jù)已經(jīng)沒有任何尚未處理的數(shù)據(jù)。 ? 如何處理過度擬合呢？對決策樹進(jìn)行修剪。 2023/1/31 （ 1）先剪枝方法 22 ? 在先剪枝方法中，通過提前停止樹的構(gòu)造（例如，通過決定在給定的節(jié)點(diǎn)上不再分裂或劃分訓(xùn)練樣本的子集）而對樹“剪枝”。 ? 確定閥值法：在構(gòu)造樹時(shí)，可將信息增益用于評估岔的優(yōu)良性。 ? 測試組修剪法：在使用訓(xùn)練組樣本產(chǎn)生新的分岔時(shí)，就立刻使用測試組樣本去測試這個(gè)分岔規(guī)則是否能夠再現(xiàn)，如果不能，就被視作過度擬合而被修剪掉，如果能夠再現(xiàn)，則該分岔予以保留而繼續(xù)向下分岔。通過刪除節(jié)點(diǎn)的分枝，剪掉葉節(jié)點(diǎn)。 ? 成本復(fù)雜性修剪法是當(dāng)決策樹成長完成后，演算法計(jì)算所有葉節(jié)點(diǎn)的總和錯(cuò)誤率，然后計(jì)算去除某一葉節(jié)點(diǎn)后的總和錯(cuò)誤率，當(dāng)去除該葉節(jié)點(diǎn)的錯(cuò)誤率降低或者不變時(shí)，則剪掉該節(jié)點(diǎn)。 2023/1/31 應(yīng)用案例：在農(nóng)業(yè)中的應(yīng)用 2023/1/31 24 第一步：屬性離散化 2023/1/31 25 第二步：概化（泛化） 2023/1/31 26 第三步：計(jì)算各屬性的期望信息 2023/1/31 27 =(17/30)*LOG
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1