3第三章決策樹-wenkub
2023-02-13 21:06:58 本頁面
【正文】 策樹可以分為兩類：基于信息論的方法（較有代表性的是 ID ）和最小 GINI指標(biāo)方法（常用的有 CART、 SLIQ及SPRINT算法等）。則此事件發(fā)生后所得到 的信息量 I(視為 Entropy)為： I=(p1*log2(p1)+ p2*log2(p2)+…+ pk*log2(pk)) Example 1： ? 設(shè) k=4?p1=,p2=,p3=,p4= I=(.25*log2(.25)*4)=2 Example 2： ? 設(shè) k=4?p1=0,p2=,p3=0,p4= I=(.5*log2(.5)*2)=1 Example 3： ? 設(shè) k=4?p1=1,p2=0,p3=0,p4=0 I=(1*log2(1))=0 2023/2/13 15 2023/2/13 16 信息增益 17 Example(Gain) n=16 n1=4 I(16,4)=－ ((4/16)*log2(4/16)+(12/16)*log2(12/16))= E(年齡 )=(6/16)*I(6,1)+(10/16)*I(10,3)= Gain(年齡 )=I(16,4)E(年齡 )= ? Gain(年齡 )= ? Max:作為第一個分類依據(jù) 2023/2/13 ? Gain(性別 )= ? Gain(家庭所得 )= Example(續(xù) ) 18 ? Gain(家庭所得 )= I(7,3)=((3/7)*log2(3/7)+(4/7)*log2(4/7))= ? Gain(年齡 )= ? Gain(年齡 )= I(9,1)=((1/9)*log2(1/9)+(8/9)*log2(8/9))= ? Gain(家庭所得 )= 2023/2/13 Example(end)ID3算法 19 分類規(guī)則 ： IF性別 =Female AND家庭所得 = 低所得 THEN購買 RV房車 =否 IF性別 =Female AND家庭所得 = 小康 THEN購買 RV房車 =否 IF性別 =Female AND家庭所得 = 高所得 THEN購買 RV房車 =是 IF性別 =Male AND年齡 35
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1