決策樹分析技巧培訓課件(編輯修改稿)
2025-01-31 19:35 本頁面
【文章內(nèi)容簡介】 一個節(jié)點中選擇最佳分隔變數(shù)，我們依次考量每一個自變數(shù)。假設這個變數(shù)遇上多個數(shù)值，我們進行二分式研究，希望找出降低分散度最多的最佳分隔法。我們從每個變數(shù)中找出最能降低分散度的最佳分隔變數(shù)，勝利者就被選為根節(jié)點的分隔變數(shù)。 26 分類與迴歸樹 （ CART） 培養(yǎng)出整棵樹 : 一開始的分隔製造出兩個節(jié)點，現(xiàn)在我們再以分隔根節(jié)點的方法將每個節(jié)點予以分隔。再一次，我們檢視所有輸入變數(shù)，找出雀屏中選的分隔變數(shù)。如果這個變數(shù)只遇上一個數(shù)值，我們就將其排除，因為它無法被用來創(chuàng)造一個分隔。 一個類別變數(shù)若被用來作為決策樹中較高層的分隔變數(shù)時，比較有可能很快的變成單一數(shù)值化。對每一個剩下的變數(shù)最好的分隔就確定了。當我們無法找到任何分隔可以顯著降低一個節(jié)點的分散度，我們就將其標示為葉部節(jié)點。到了最後，存在的只剩下葉部節(jié)點，而我們也完成決策樹。 27 分類與迴歸樹 （ CART） 計算每個節(jié)點的錯誤率： 每一個葉部如今都分配到一個類別以及一個錯誤率?；仡櫱皥D，圖中選取了從根部到標示為『女性』的葉部路徑。該節(jié)點是一個葉部節(jié)點，表示找不到任何分隔變數(shù)可以顯著的降低其分散性。然而，這並不表示所有祗達這個葉部的資料都屬於同一類。使用簡單機率的定義，我們可以看到 11個葉部中有 9個是正確分類。這告訴我們，以這個訓練組而言，抵達這個節(jié)點的資料是女性的機率為 。相對的，這個葉部的錯誤率 1 。 28 分類與迴歸樹 （ CART） 計算整個決策樹的錯誤率： 整個決策樹的錯誤率是所有葉部錯誤率的加權總數(shù)。每一個葉部的錯誤率乘上資料抵達葉部的機率 (分配到資料的比例 )，加起來的總數(shù)就是整個決策樹的錯誤率。 29 分類與迴歸樹 （ CART） 修剪決策樹 : 只要能發(fā)現(xiàn)新的分隔，改善決策樹將訓練組資料分類的能力，決策樹就會繼續(xù)成長。 如果我們試圖預測身高，而我們來到一個節(jié)點，包含一個名叫馬丁的高個子，和幾個比較矮的人，我們可以訂出一個新規(guī)則『名叫馬丁的人是高個子』，來降低分散度。這個規(guī)則有助於將訓練資料分類，但如果在更寬廣的世界上，馬丁是一個很少見的名，而且這個名字和身高又沒有特別的關連，那麼這個規(guī)則比沒用還糟糕。 30 分類與迴歸樹 （ CART） 修剪決策樹 : 下圖顯示出會發(fā)的狀況。圖中的箱子變得很小，而且每一個都不大，只容得下訓組資料，不太可能再容納新資料。很顯的。我們需要修剪這個決策樹以便在一般性的案例中獲得更正確的預測。問題是要決定該倒推回去修剪多少，以及這些分支的決策樹中哪些表現(xiàn)很好。 31 分類與迴歸樹 （ CART） 32 分類與迴歸樹 （ CART） 確認入選的分支決策樹： 我們的目標是首先將提供最少額外預測能力的分支先修剪掉。為了確認這些最沒用的分支，我們引入一個決策樹的『調(diào)節(jié)錯誤率』（ adjust error rate）的觀念。這是一種衡量方法，逐一檢視每一個葉部，確認最弱勢的分支（那些無法有效降低整棵決策樹錯誤率的分支），然後將它們標示出來加以修剪 33 分類與迴歸樹 （ CART） 34 分類與迴歸樹 （ CART） 35 分類與迴歸樹 （ CART） 評估分支樹： 最後工作是從入選的分支樹中選出最能分類新資料的決策樹。為達到此目的，我們使用第二個預先分好的資料組，即『測試組資料』（ test set）。測試組和訓練組來自同一群母體，但包含的資料不同。入選分支樹中每一個都被用來分類測試組資，得出最低的整體錯誤率的就是勝利者。 36 分類與迴歸樹 （ CART） 評估最佳的分支樹： 最後工作是從利用第三組資料，將測試組和訓練組打散，即『評估組資料』（ evaluation set）。入選分支樹
黨政相關相關推薦
鄂ICP備17016276號-1