決策樹(詳細(xì)易懂,很多例子)-免費(fèi)閱讀
【正文】 一個(gè)例子：在 Irvine 機(jī)器學(xué)習(xí)知識(shí)庫中，最大可以允許的數(shù)據(jù)集僅僅為 700KB ， 2023 條記錄。 例子 ： 60 70 75 85 90 95 100 120 125 220 60 70 75 85 90 95 100 120 125 220 分割成 TaxIn=80 和 TaxIn80 分割成 TaxIn= 和 TaxIn ? 實(shí)際上 , 這就是 “離散化 ”過程 連續(xù)值的處理 Ti d Re f un d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es102. 對 每個(gè) 候選的分界點(diǎn)，分別計(jì)算熵 例子 : 測試以 80分界的情形 e ntr op y ( ) 0 bitsc he at ?37I nf o( T a xI n|80) 0 5 0 bit s10 10? ? ? ? ?(1). TaxIn=80 (2). TaxIn80 223 3 4 4e ntr opy ( ) l og l og =0 .985 bit s7 7 7 7c he at ? ? ?(3). 加權(quán)平均 同理 , 測試以 95分界的情形 , Info(TaxIn|95)= bits 3. 比較取 每個(gè) 分界點(diǎn)的信息增益，選擇最大的一個(gè) ：有未知值的樣本是按照已知值的相對頻率隨機(jī)分布的。 ? 可能無法達(dá)到這種結(jié)果，因?yàn)闊o法避免訓(xùn)練集包含兩個(gè)具有相同屬性集，但具有不同類的實(shí)例。 ? 如果一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)類值在可能的類值上均勻分布，則稱節(jié)點(diǎn)的熵（無序性）最大。對于節(jié)點(diǎn) m，令 為到達(dá)節(jié)點(diǎn) m的訓(xùn)練實(shí)例數(shù)， 個(gè)實(shí)例中 個(gè)屬于 類，而 。如果 是數(shù)值的（有序的），則測試函數(shù)是比較： 其中 是適當(dāng)選擇閾值。 ?貪心算法：在每一步選擇中都采取在當(dāng)前狀態(tài)下最好 /優(yōu)的選擇。 非參數(shù)學(xué)習(xí)算法。 根節(jié)點(diǎn) 非葉子節(jié)點(diǎn)（決策點(diǎn)） 葉子節(jié)點(diǎn) 分支 決策樹的結(jié)構(gòu) 4 根部節(jié)點(diǎn) (root node) 非葉子 節(jié)點(diǎn) (nonleaf node) (代表測試的條件 ，對 數(shù)據(jù)屬性的測試 ) 分支 (branches)(代表測試的結(jié)果 ) 葉節(jié)點(diǎn) (leaf node) (代表分類后所獲得 的分類標(biāo)記 ) 2023/2/10 單變量樹 每個(gè)內(nèi)部節(jié)點(diǎn)中的測試只使用一個(gè)輸入維。 y = DecisionTree( x ) Example of a Decision Tree Another Example of Decision Tree Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Start from the root of tree. Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1