3第三章決策樹(編輯修改稿)
2025-02-12 21:06 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 I(16,4)=－ ((4/16)*log2(4/16)+(12/16)*log2(12/16))= E(年齡 )=(6/16)*I(6,1)+(10/16)*I(10,3)= Gain(年齡 )=I(16,4)E(年齡 )= ? Gain(年齡 )= ? Max:作為第一個(gè)分類依據(jù) 2023/2/13 ? Gain(性別 )= ? Gain(家庭所得 )= Example(續(xù) ) 18 ? Gain(家庭所得 )= I(7,3)=((3/7)*log2(3/7)+(4/7)*log2(4/7))= ? Gain(年齡 )= ? Gain(年齡 )= I(9,1)=((1/9)*log2(1/9)+(8/9)*log2(8/9))= ? Gain(家庭所得 )= 2023/2/13 Example(end)ID3算法 19 分類規(guī)則 ： IF性別 =Female AND家庭所得 = 低所得 THEN購(gòu)買 RV房車 =否 IF性別 =Female AND家庭所得 = 小康 THEN購(gòu)買 RV房車 =否 IF性別 =Female AND家庭所得 = 高所得 THEN購(gòu)買 RV房車 =是 IF性別 =Male AND年齡 35 THEN購(gòu)買 RV房車 =否 IF性別 =Male AND年齡 ≧ 35 THEN購(gòu)買 RV房車 =是 ? 資料 ? Decision Tree 2023/2/13 （四） Decision Tree的建立過(guò)程 20 決策樹的停止 ? 決策樹是通過(guò) 遞歸分割 (recursive partitioning)建立而成，遞歸分割是一種把數(shù)據(jù)分割成不同小的部分 的迭代過(guò)程 。 ? 如果有以下情況發(fā)生，決策樹將 停止分割： ?該群數(shù)據(jù)的每一筆數(shù)據(jù)都已經(jīng)歸類到同一類別。 ?該群數(shù)據(jù)已經(jīng)沒(méi)有辦法再找到新的屬性來(lái)進(jìn)行節(jié)點(diǎn)分割。 ?該群數(shù)據(jù)已經(jīng)沒(méi)有任何尚未處理的數(shù)據(jù)。 2023/2/13 決策樹的剪枝 (pruning) 21 ? 決策樹學(xué)習(xí)可能遭遇 模型過(guò)度 擬合 （ over fitting）的問(wèn)題，過(guò)度擬合是指模型過(guò)度訓(xùn)練，導(dǎo)致模型記住的不是訓(xùn)練集的一
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1