決策樹分析技巧培訓(xùn)課件(參考版)
2025-01-15 19:35本頁面
【正文】 ●對非方型區(qū)域無能為力。 ●決策樹提供清楚的指引，告訴我們在進(jìn)行預(yù) 測和分類時哪一個變是最重要。 ●決策樹不需要太多計算就可進(jìn)行分類。從使用者的觀點(diǎn)，這種混合技術(shù)在類神經(jīng)網(wǎng)路領(lǐng)域在決策樹領(lǐng)域更常見，因為與類神經(jīng)網(wǎng)路結(jié)後，決策樹將無法解釋其決策，即使如以下形式(W1X1+W2X2+W3X3+…) ? N，其規(guī)則以藉由每一個節(jié)點(diǎn)變數(shù)的線性組合來以決策樹方法獲得，但在類神經(jīng)網(wǎng)就很容易讓人迷惑。Torrent Systems的一套資料探礦套裝軟體其中一項工具就有使用這個方法。這些衍生變數(shù)可能是多個其他變數(shù)的函數(shù)，或者可能是對數(shù)，平方根，立方，絕對值，或其他單一變數(shù)函數(shù)。真正的辦法是用屬性的線性合併輕易解決問題。同樣的，在一個多維的空間，根據(jù)單一變數(shù)所做的檢驗定義出一個超平面，這個平面和用來進(jìn)行檢驗的這個變數(shù)所代表的軸垂直，而與其他所有軸平行。在一個二維空間， Y ? N這種測試形式，形成一個由與 Y軸垂直且與 X軸平行的直線所界定的區(qū)域。機(jī)械學(xué)習(xí)領(lǐng)域的一些研究者，非常強(qiáng)調(diào)這個觀念，但似乎只有在這些學(xué)者以一些小型的，組織完整的資料在建構(gòu)他們的研究時，才能獲得這樣完美的結(jié)果。這個決策樹如今更能夠表現(xiàn)分類上顯示的無異議的觀念：『當(dāng)所有投票人意見一致，這項決策就是無異議。 若以邏輯和函數(shù)來合併特性形成結(jié)合，我們就可以獲得如下圖那樣更簡化的決策樹。 51 其他決策樹的變化 52 其他決策樹的變化 我們將這個情形當(dāng)成訓(xùn)練資料， CART或其他任何可以根據(jù)單一屬性的數(shù)值來分隔建構(gòu)二分法決策樹的演算法，都會建構(gòu)出下圖的決策樹。每一個節(jié)點(diǎn)的案例越少，得出的分類可靠性就越低。其中之一會造成決策樹擁有超過我們所需的節(jié)點(diǎn)。 50 其他決策樹的變化 一次使用超過一個變數(shù)： 至今我們討論的三個演算法都是用在測試單一變項來形成每一個分隔。根據(jù)檢驗，能夠產(chǎn)生最大差異分類的預(yù)測變數(shù)，就被選為當(dāng)前這個節(jié)點(diǎn)的分隔變數(shù)。 卡方分析 (chisquared )這是對應(yīng)於 CHAID的前兩個字母縮寫。第二步，三個或更多的預(yù)測變數(shù)群組以二分法被重新分隔。這些子節(jié)點(diǎn)被選擇的方式是輸出變數(shù)遇上某個特定數(shù)值的機(jī)率隨著節(jié)點(diǎn)不同而有所差異。 另一個差異是 CHAID只限於類別變數(shù)使用，連續(xù)變數(shù)必頇被區(qū)隔成幾個區(qū)段範(fàn)圍，或是以高，中，低等類別來取代。CHAID是從更早的一套自動互動偵測系統(tǒng) AID衍生而來，後者是摩根（ . Man）與桑奎斯特 (. Sonquist)在 1963年提出。 41 42 CHAID CHAID是哈根（ . Hartigan）在 1975年率先提出的演算法，這是本章所討論的最古老的演算法。 ?看球賽加上地主隊輸球加上跟朋友出門，就會得出 啤酒 。下圖的決策樹部分得出以下的規(guī)則： ?看球賽加上地主隊獲勝加上跟朋友出門，就會得出 啤酒 。因此， 樹的相同資料來決定該如何加以修剪。 39 修剪決策樹： CART使用決策樹的分散度為度量，來標(biāo)記不同的分支樹，然後以沒有見過的預(yù)先分類好的資料（測試組）來測試這些分支樹。 與 CART差異 ： 培養(yǎng)決策樹： CART之間的第一個差異是 CART在每一個節(jié)點(diǎn)都呈現(xiàn)二分法，因此產(chǎn)生二分式?jīng)Q策樹，而 個節(jié)點(diǎn)產(chǎn)不同數(shù)目的分支。我們可以把問題列入考量，以一個使用加權(quán)方式將錯誤分類的機(jī)率加倍的代價函數(shù)，來取代錯誤率。 當(dāng)然在醫(yī)療診斷上，一個錯誤的陰性診斷（ negative）也許會比錯誤的陽性診斷（ positive）傷害更大。 37 分類與迴歸樹 （ CART） 將代價列入考量 : 我們討論至此，只使用錯誤率作為評估一個分支樹良莠的依據(jù)。 36 分類與迴歸樹 （ CART） 評估最佳的
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1