決策樹(詳細(xì)易懂,很多例子)(已修改)
2025-02-01 02:50 本頁(yè)面
【正文】 決策樹 Decision Tree 決策樹算法是一種歸納分類算法 ,它通過(guò)對(duì)訓(xùn)練集的學(xué)習(xí) ,挖掘出有用的規(guī)則 ,用于對(duì)新集進(jìn)行預(yù)測(cè) 。 有監(jiān)督的學(xué)習(xí)。 非參數(shù)學(xué)習(xí)算法。對(duì)每個(gè)輸入使用由該區(qū)域的訓(xùn)練數(shù)據(jù)計(jì)算得到的對(duì)應(yīng)的局部模型。 決策樹歸納的基本算法是貪心算法，自頂向下遞歸方式構(gòu)造決策樹。 ?貪心算法：在每一步選擇中都采取在當(dāng)前狀態(tài)下最好 /優(yōu)的選擇。 在其生成過(guò)程中，分割方法即 屬性選擇度量 是關(guān)鍵。通過(guò)屬性選擇度量，選擇出最好的將樣本分類的屬性。 簡(jiǎn)介 決策樹的結(jié)構(gòu) 決策樹算法以樹狀結(jié)構(gòu)表示數(shù)據(jù)分類的結(jié)果。 每個(gè)決策點(diǎn)實(shí)現(xiàn)一個(gè)具有離散輸出的測(cè)試函數(shù)，記為分支。 根節(jié)點(diǎn) 非葉子節(jié)點(diǎn)（決策點(diǎn)） 葉子節(jié)點(diǎn) 分支 決策樹的結(jié)構(gòu) 4 根部節(jié)點(diǎn) (root node) 非葉子 節(jié)點(diǎn) (nonleaf node) (代表測(cè)試的條件 ，對(duì) 數(shù)據(jù)屬性的測(cè)試 ) 分支 (branches)(代表測(cè)試的結(jié)果 ) 葉節(jié)點(diǎn) (leaf node) (代表分類后所獲得 的分類標(biāo)記 ) 2023/2/10 單變量樹 每個(gè)內(nèi)部節(jié)點(diǎn)中的測(cè)試只使用一個(gè)輸入維。如果使用的輸入維 是離散的，取 n個(gè)可能的值之一，則該節(jié)點(diǎn)檢測(cè) 的值，并取相應(yīng)的分支，實(shí)現(xiàn)一個(gè) n路劃分。 決策點(diǎn)具有離散分支，而數(shù)值輸入應(yīng)當(dāng)離散化。如果 是數(shù)值的（有序的），則測(cè)試函數(shù)是比較： 其中 是適當(dāng)選擇閾值。該決策節(jié)點(diǎn)將輸入空間一份為二： 和 ，稱為一個(gè)二元?jiǎng)澐帧? 決策樹根據(jù)所選取的屬性是數(shù)值型還是離散型，每次將數(shù)據(jù)劃分成兩個(gè)或 n個(gè)子集。然后使用對(duì)應(yīng)的子集遞歸地進(jìn)行劃分，直到不需要?jiǎng)澐?，此時(shí)，創(chuàng)建一個(gè)樹葉節(jié)點(diǎn)標(biāo)記它。 0:)( mjm wxxf ?0mw ? ?0 | mjm wxxL ?? 決策樹分類 1. 訓(xùn)練階段 從給定的訓(xùn)練數(shù)據(jù)集 DB，構(gòu)造出一棵決策樹 class = DecisionTree( DB ) 2. 分類階段 從根開始，按照決策樹的分類屬性逐層往下劃分，直到葉節(jié)點(diǎn)，獲得概念（決策、分類）結(jié)果。 y = DecisionTree( x ) Example of a Decision Tree Another Example of Decision Tree Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Start from the root of tree. Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S ta
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1