決策樹(shù)分析及spss實(shí)現(xiàn)(編輯修改稿)
2025-02-01 19:41 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 一個(gè)節(jié)點(diǎn)中選擇最佳分隔變數(shù)，我們依次考量每一個(gè)自變數(shù)。假設(shè)這個(gè)變數(shù)遇上多個(gè)數(shù)值，我們進(jìn)行二分式研究，希望找出降低分散度最多的最佳分隔法。我們從每個(gè)變數(shù)中找出最能降低分散度的最佳分隔變數(shù)，勝利者就被選為根節(jié)點(diǎn)的分隔變數(shù)。 26 分類與迴歸樹(shù) （ CART） 培養(yǎng)出整棵樹(shù) : 一開(kāi)始的分隔製造出兩個(gè)節(jié)點(diǎn)，現(xiàn)在我們?cè)僖苑指舾?jié)點(diǎn)的方法將每個(gè)節(jié)點(diǎn)予以分隔。再一次，我們檢視所有輸入變數(shù)，找出雀屏中選的分隔變數(shù)。如果這個(gè)變數(shù)只遇上一個(gè)數(shù)值，我們就將其排除，因?yàn)樗鼰o(wú)法被用來(lái)創(chuàng)造一個(gè)分隔。 一個(gè)類別變數(shù)若被用來(lái)作為決策樹(shù)中較高層的分隔變數(shù)時(shí)，比較有可能很快的變成單一數(shù)值化。對(duì)每一個(gè)剩下的變數(shù)最好的分隔就確定了。當(dāng)我們無(wú)法找到任何分隔可以顯著降低一個(gè)節(jié)點(diǎn)的分散度，我們就將其標(biāo)示為葉部節(jié)點(diǎn)。到了最後，存在的只剩下葉部節(jié)點(diǎn)，而我們也完成決策樹(shù)。 27 分類與迴歸樹(shù) （ CART） 計(jì)算每個(gè)節(jié)點(diǎn)的錯(cuò)誤率： 每一個(gè)葉部如今都分配到一個(gè)類別以及一個(gè)錯(cuò)誤率?；仡櫱皥D，圖中選取了從根部到標(biāo)示為『女性』的葉部路徑。該節(jié)點(diǎn)是一個(gè)葉部節(jié)點(diǎn)，表示找不到任何分隔變數(shù)可以顯著的降低其分散性。然而，這並不表示所有祗達(dá)這個(gè)葉部的資料都屬於同一類。使用簡(jiǎn)單機(jī)率的定義，我們可以看到 11個(gè)葉部中有 9個(gè)是正確分類。這告訴我們，以這個(gè)訓(xùn)練組而言，抵達(dá)這個(gè)節(jié)點(diǎn)的資料是女性的機(jī)率為 。相對(duì)的，這個(gè)葉部的錯(cuò)誤率 1 。 28 分類與迴歸樹(shù) （ CART） 計(jì)算整個(gè)決策樹(shù)的錯(cuò)誤率： 整個(gè)決策樹(shù)的錯(cuò)誤率是所有葉部錯(cuò)誤率的加權(quán)總數(shù)。每一個(gè)葉部的錯(cuò)誤率乘上資料抵達(dá)葉部的機(jī)率 (分配到資料的比例 )，加起來(lái)的總數(shù)就是整個(gè)決策樹(shù)的錯(cuò)誤率。 29 分類與迴歸樹(shù) （ CART） 修剪決策樹(shù) : 只要能發(fā)現(xiàn)新的分隔，改善決策樹(shù)將訓(xùn)練組資料分類的能力，決策樹(shù)就會(huì)繼續(xù)成長(zhǎng)。 如果我們?cè)噲D預(yù)測(cè)身高，而我們來(lái)到一個(gè)節(jié)點(diǎn)，包含一個(gè)名叫馬丁的高個(gè)子，和幾個(gè)比較矮的人，我們可以訂出一個(gè)新規(guī)則『名叫馬丁的人是高個(gè)子』，來(lái)降低分散度。這個(gè)規(guī)則有助於將訓(xùn)練資料分類，但如果在更寬廣的世界上，馬丁是一個(gè)很少見(jiàn)的名，而且這個(gè)名字和身高又沒(méi)有特別的關(guān)連，那麼這個(gè)規(guī)則比沒(méi)用還糟糕。 30 分類與迴歸樹(shù) （ CART） 修剪決策樹(shù) : 下圖顯示出會(huì)發(fā)的狀況。圖中的箱子變得很小，而且每一個(gè)都不大，只容得下訓(xùn)組資料，不太可能再容納新資料。很顯的。我們需要修剪這個(gè)決策樹(shù)以便在一般性的案例中獲得更正確的預(yù)測(cè)。問(wèn)題是要決定該倒推回去修剪多少，以及這些分支的決策樹(shù)中哪些表現(xiàn)很好。 31 分類與迴歸樹(shù) （ CART） 32 分類與迴歸樹(shù) （ CART） 確認(rèn)入選的分支決策樹(shù)： 我們的目標(biāo)是首先將提供最少額外預(yù)測(cè)能力的分支先修剪掉。為了確認(rèn)這些最沒(méi)用的分支，我們引入一個(gè)決策樹(shù)的『調(diào)節(jié)錯(cuò)誤率』（ adjust error rate）的觀念。這是一種衡量方法，逐一檢視每一個(gè)葉部，確認(rèn)最弱勢(shì)的分支（那些無(wú)法有效降低整棵決策樹(shù)錯(cuò)誤率的分支），然後將它們標(biāo)示出來(lái)加以修剪 33 分類與迴歸樹(shù) （ CART） 34 分類與迴歸樹(shù) （ CART） 35 分類與迴歸樹(shù) （ CART） 評(píng)估分支樹(shù)： 最後工作是從入選的分支樹(shù)中選出最能分類新資料的決策樹(shù)。為達(dá)到此目的，我們使用第二個(gè)預(yù)先分好的資料組，即『測(cè)試組資料』（ test set）。測(cè)試組和訓(xùn)練組來(lái)自同一群母體，但包含的資料不同。入選分支樹(shù)中每一個(gè)都被用來(lái)分類測(cè)試組資，得出最低的整體錯(cuò)誤率的就是勝利者。 36 分類與迴歸樹(shù) （ CART） 評(píng)估最佳的分支樹(shù)： 最後工作是從利用第三組資料，將測(cè)試組和訓(xùn)練組打散，即『評(píng)估組資料』（ evaluation set）。入選分支樹(shù)
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1