決策樹分析及spss實(shí)現(xiàn)(ppt61頁)(文件)
【正文】 一開始的分隔製造出兩個(gè)節(jié)點(diǎn)，現(xiàn)在我們再以分隔根節(jié)點(diǎn)的方法將每個(gè)節(jié)點(diǎn)予以分隔。對每一個(gè)剩下的變數(shù)最好的分隔就確定了?；仡櫱皥D，圖中選取了從根部到標(biāo)示為『 女性 』 的葉部路徑。這告訴我們，以這個(gè)訓(xùn)練組而言，抵達(dá)這個(gè)節(jié)點(diǎn)的資料是女性的機(jī)率為 。 30 分類與迴歸樹 （ CART） 修剪決策樹 : 只要能發(fā)現(xiàn)新的分隔，改善決策樹將訓(xùn)練組資料分類的能力，決策樹就會繼續(xù)成長。圖中的箱子變得很小，而且每一個(gè)都不大，只容得下訓(xùn)組資料，不太可能再容納新資料。 32 分類與迴歸樹 （ CART） 33 分類與迴歸樹 （ CART） 確認(rèn)入選的分支決策樹： 我們的目標(biāo)是首先將提供最少額外預(yù)測能力的分支先修剪掉。測試組和訓(xùn)練組來自同一群母體，但包含的資料不同。 38 分類與迴歸樹 （ CART） 將代價(jià)列入考量 : 我們討論至此，只使用錯(cuò)誤率作為評估一個(gè)分支樹良莠的依據(jù)。我們可以把問題列入考量，以一個(gè)使用加權(quán)方式將錯(cuò)誤分類的機(jī)率加倍的代價(jià)函數(shù)，來取代錯(cuò)誤率。 40 修剪決策樹： CART使用決策樹的分散度為度量，來標(biāo)記不同的分支樹，然後以沒有見過的預(yù)先分類好的資料（測試組）來測試這些分支樹。下圖的決策樹部分得出以下的規(guī)則： ?看球賽加上地主隊(duì)獲勝加上跟朋友出門，就會得出 啤酒 。 42 43 CHAID CHAID是哈根（ . Hartigan）在 1975年率先提出的演算法，這是本章所討論的最古老的演算法。 另一個(gè)差異是 CHAID只限於類別變數(shù)使用，連續(xù)變數(shù)必頇被區(qū)隔成幾個(gè)區(qū)段範(fàn)圍，或是以高，中，低等類別來取代。第二步，三個(gè)或更多的預(yù)測變數(shù)群組以二分法被重新分隔。根據(jù)檢驗(yàn)，能夠產(chǎn)生最大差異分類的預(yù)測變數(shù)，就被選為當(dāng)前這個(gè)節(jié)點(diǎn)的分隔變數(shù)。其中之一會造成決策樹擁有超過我們所需的節(jié)點(diǎn)。 52 其他決策樹的變化 53 其他決策樹的變化 我們將這個(gè)情形當(dāng)成訓(xùn)練資料， CART或其他任何可以根據(jù)單一屬性的數(shù)值來分隔建構(gòu)二分法決策樹的演算法，都會建構(gòu)出下圖的決策樹。這個(gè)決策樹如今更能夠表現(xiàn)分類上顯示的無異議的觀念： 『 當(dāng)所有投票人意見一致，這項(xiàng)決策就是無異議。在一個(gè)二維空間， Y ? N這種測試形式，形成一個(gè)由與 Y軸垂直且與 X軸平行的直線所界定的區(qū)域。真正的辦法是用屬性的線性合併輕易解決問題。Torrent Systems的一套資料探礦套裝軟體其中一項(xiàng)工具就有使用這個(gè)方法。 ●決策樹不需要太多計(jì)算就可進(jìn)行分類。 ●對非方型區(qū)域無能為力。 ●決策樹提供清楚的指引，告訴我們在進(jìn)行預(yù) 測和分類時(shí)哪一個(gè)變是最重要。從使用者的觀點(diǎn)，這種混合技術(shù)在類神經(jīng)網(wǎng)路領(lǐng)域在決策樹領(lǐng)域更常見，因?yàn)榕c類神經(jīng)網(wǎng)路結(jié)後，決策樹將無法解釋其決策，即使如以下形式(W1X1+W2X2+W3X3+…) ? N，其規(guī)則以藉由每一個(gè)節(jié)點(diǎn)變數(shù)的線性組合來以決策樹方法獲得，但在類神經(jīng)網(wǎng)就很容易讓人迷惑。這些衍生變數(shù)可能是多個(gè)其他變數(shù)的函數(shù)，或者可能是對數(shù)，平方根，立方，絕對值，或其他單一變數(shù)函數(shù)。同樣的，在一個(gè)多維的空間，根據(jù)單一變數(shù)所做的檢驗(yàn)定義出一個(gè)超平面，這個(gè)平面和用來進(jìn)行檢驗(yàn)的這個(gè)變數(shù)所代表的軸垂直，而與其他所有軸平行。機(jī)械學(xué)習(xí)領(lǐng)域的一些研究者，非常強(qiáng)調(diào)這個(gè)觀念，但似乎只有在這些學(xué)者以一些小型的，組織完整的資料在建構(gòu)他們的研究時(shí)，才能獲得這樣完美的結(jié)果。 若以邏輯和函數(shù)來合併特性形成結(jié)合，我們就可以獲得如下圖那樣更簡化的決策樹。每一個(gè)節(jié)點(diǎn)的案例越少，得出的分類可靠性就越低。 51 其他決策樹的變化 一次使用超過一個(gè)變數(shù)： 至今我們討論的三個(gè)演算法都是用在測試單一變項(xiàng)來形成每一個(gè)分隔。 卡方分析 (chisquared )這是對應(yīng)於 CHAID的
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號-1