決策樹(詳細(xì)易懂,很多例子)-文庫吧
2025-01-14 02:50 本頁面
【正文】 tu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Ref un d M ari tal S tatu s Tax abl e I nco m e Chea t No M arri ed 80K ? 10 Test Data Assign Cheat to “No” 決策樹原理 ? 基本算法（貪心算法） ? 自上而下分而治之的方法 ? 開始時(shí)，所有的數(shù)據(jù)都在根節(jié)點(diǎn) ? 屬性都是離散值字段 (如果是連續(xù)的，將其離散化 ) ? 所有記錄用所選屬性遞歸的進(jìn)行分割 ? 屬性的選擇是基于一個(gè)啟發(fā)式規(guī)則或者一個(gè)統(tǒng)計(jì)的度量 (如 , information gain) ? 停止分割的條件 ? 一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都是屬于同一個(gè)類別 ? 沒有屬性可以再用于對數(shù)據(jù)進(jìn)行分割 算法： Generate_decision_tree由給定的訓(xùn)練數(shù)據(jù)產(chǎn)生一棵決策樹 輸入：訓(xùn)練數(shù)據(jù)集 samples， 用離散值屬性表示；候選屬性的集合 attribute_list。 輸出：一棵決策樹 方法： （ 1） 創(chuàng)建結(jié)點(diǎn) N； （ 2） if samples 都在同一個(gè)類 C then （ 3） 返回 N作為葉結(jié)點(diǎn) ， 用類 C標(biāo)記； （ 4） if attribute_list 為空 then （ 5） 返回 N作為葉結(jié)點(diǎn) ， 標(biāo)記 samples中最普通的類； //多數(shù)表決 （ 6） 選擇 attribute_list中的 最優(yōu)分類 屬性 test_attribute； //用信息增益作為屬性選擇度量 （ 7） 標(biāo)記結(jié)點(diǎn) N為 test_attribute； （ 8） for each test_attribute中的已知值 ai //劃分 samples （ 9） 由結(jié)點(diǎn) N生長出一個(gè)條件為 test_attribute＝ ai的分枝； （ 10） 設(shè) si為 samples中 test_attribute＝ ai的樣本集合； //一個(gè)劃分 （ 11） if si為空 then （ 12） 加上一個(gè)葉結(jié)點(diǎn) ， 標(biāo)記為標(biāo)記 samples中最普通的類； //多數(shù)表決 （ 13） else 加上一個(gè)由 Generate_decision_tree（ si, attribute_listtest_attribute） 返回的結(jié)點(diǎn)； 例子：算法過程 Ti d Re f un d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es10Refund Yes No 1. samples = { 1,2,3,4,5,6,7,8,9,10 } attribute_list = {Refund, MarSt, TaxInc } 假設(shè)選擇 Refund為最優(yōu)分割屬性： 2. samples = { 1,4,7 } attribute_list = { MarSt, TaxInc } 3. samples = {2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc } 例子：算法過程 Ti d Re f un d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2 No M arr i ed 10 0 K No3 No S i n gl e 70K No4 Y es M arr i ed 12 0 K No5 No Di v orc ed 95K Y es6 No M arr i ed 60K No7 Y es Di v orc ed 22 0 K No8 No S i n gl e 85K Y es9 No M arr i ed 75K No10 No S i n gl e 90K Y es10Refund Yes No samples中所有樣本屬于同一個(gè)類 Cheat=No 2. samples = {1,4,7 } attribute_list = { MarSt, TaxInc } NO 例子：算法過程 Ti d Re f un d M ar italS t atu sT ax ableIne Chea t1 Y es S i n gl e 12 5 K No2
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1