決策樹(shù)培訓(xùn)講義-文庫(kù)吧資料
2025-01-17 19:36本頁(yè)面
【正文】 2/16)*log2(12/16))= E(年齡 )=(6/16)*I(6,1)+(10/16)*I(10,3)= Gain(年齡 )=I(16,4)E(年齡 )= ? Gain(年齡 )= ? Max:作為第一個(gè)分類依據(jù) 2023/1/31 ? Gain(性別 )= ? Gain(家庭所得 )= Example(續(xù) ) 18 ? Gain(家庭所得 )= I(7,3)=((3/7)*log2(3/7)+(4/7)*log2(4/7))= ? Gain(年齡 )= ? Gain(年齡 )= I(9,1)=((1/9)*log2(1/9)+(8/9)*log2(8/9))= ? Gain(家庭所得 )= 2023/1/31 Example(end)ID3算法 19 分類規(guī)則 ： IF性別 =Female AND家庭所得 = 低所得 THEN購(gòu)買 RV房車 =否 IF性別 =Female AND家庭所得 = 小康 THEN購(gòu)買 RV房車 =否 IF性別 =Female AND家庭所得 = 高所得 THEN購(gòu)買 RV房車 =是 IF性別 =Male AND年齡 35 THEN購(gòu)買 RV房車 =否 IF性別 =Male AND年齡 ≧ 35 THEN購(gòu)買 RV房車 =是 ? 資料 ? Decision Tree 2023/1/31 （四） Decision Tree的建立過(guò)程 20 決策樹(shù)的停止 ? 決策樹(shù)是通過(guò) 遞歸分割 (recursive partitioning)建立而成，遞歸分割是一種把數(shù)據(jù)分割成不同小的部分 的迭代過(guò)程 。 ? ID3算法的屬性選擇度量就是使用信息增益，選擇最高信息增益的屬性作為當(dāng)前節(jié)點(diǎn)的測(cè)試屬性。 ? 根據(jù)分割方法的不同，決策樹(shù)可以分為兩類：基于信息論的方法（較有代表性的是 ID ）和最小 GINI指標(biāo)方法（常用的有 CART、 SLIQ及SPRINT算法等）。 ? 在其生成過(guò)程中，分割方法即屬性選擇度量是關(guān)鍵。 10 2023/1/31 ? 決策樹(shù)歸納的基本算法是貪心算法，它以自頂向下遞歸各個(gè)擊破的方式構(gòu)造決策樹(shù)。 ?建模的速度、預(yù)測(cè)的速度
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1