數(shù)據(jù)分類-決策樹-在線瀏覽
2025-04-10 11:30本頁面
【正文】 ，將原始樣本空間劃分成若干更小的樣本空間 ? 再對他們單獨進(jìn)行處理 ? 其中，選擇哪一個描述屬性作為新建節(jié)點，依據(jù)是考察該描述屬性的信息增益是否最大 44 45 ID3的不足（ 1/2） ?使用信息增益作為屬性選擇依據(jù) ? 帶有傾向性，傾向于選擇取值較多的屬性 ? 為什么？ ? 一種可能的解釋是：對于較難分類的集合，優(yōu)先將樣本分割到盡可能多的分支中將極大簡化分類工作 46 ID3的不足（ 2/2） ?無法處理未知值的樣本 ? 對于個別樣本缺失了某項描述屬性的情況，無法處理 ?無法處理連續(xù)值的樣本 ? 對于描述屬性是連續(xù)值的情況，無法處理 47 變化一：使用信息增益比 48 ??????qsssfffffjsjssssffsqfqfffftot alntot alnAspli tAspli tAGainArati oGainXAcXnXnaAXXXXqXAaaadfA122121)(log)()()()(_},{},{q),2,1(其中所得的信息增益比為：劃分則描述屬性的樣本數(shù)量中屬于類別表示子集中的樣本數(shù)量表示子集設(shè)上具有相同取值中的樣本在其中個子集劃分為可以將利用個不同的取值具有設(shè)描述屬性???變化二：處理未知值的訓(xùn)練樣本（ 1/2） ?思想 ? 將未知值用最常用的值來替代（較容易） ? 或，依據(jù)現(xiàn)有取值的概率分布來估計未知值（較真實） ?顯然：依據(jù)思想一，在已知樣本中年齡的三個區(qū)間分布是 ? =40， 4人 ? 41~50， 4人 ? 50， 5人 ? 則可以直接指定未知值為“ 50” 49 A2年齡 C買保險 =40 c2 =40 c2 41~50 c1 50 c1 50 c1 50 c2 41~50 c1 =40 c2 =40 c1 50 c1 ？ c1 41~50 c1 41~50 c1 50 c2 變化二：處理未知值的訓(xùn)練樣本（ 2/2） ?思想 ? 將未知值用最常用的值來替代（較容易） ? 或，依據(jù)現(xiàn)有取值的概率分布來估計未知值（較真實） ?顯然：依據(jù)思想二，在已知樣本中年齡的三個區(qū)間分布是 ? =40， 4人 ? 41~50， 4人 ? 50， 5人 ?考慮未知值樣本后，分布更新為 ? =40， 4+4/13人 ? 41~50， 4+4/13人 ? 50， 5+5/13人 50 A2年齡 C買保險 =40 c2 =40 c2 41~50 c1 50 c1 50 c1 50 c2 41~50 c1 =40 c2 =40 c1 50 c1 ？ c1 41~50 c1 41~50 c1 50 c2 變化三：處理連續(xù)值的訓(xùn)練樣本（ 1/10） ?思想 ? 將所有數(shù)據(jù)樣本按照連續(xù)型描述屬性 Ac的具體取值，由小到大進(jìn)行升序排列，得到的屬性值取值序列 {A1c,A2c,...,Atotalc} ? 在 {A1c,A2c,...,Atotalc}中生成 total1個分割點，第 i個分割點的取值設(shè)置為 vi=(Aic+A(i+1)c)/2或者 vi=Aic ? 該分割點將數(shù)據(jù)集劃分為兩個子集，即描述屬性 Ac的取值在區(qū)間[A1c,vi]的數(shù)據(jù)樣本和在區(qū)間 (vi,Atotalc]的數(shù)據(jù)樣本，顯然劃分共有total1種方式 ? 從 total1個分割點中選擇最佳分割點。對于每一個分割點劃分?jǐn)?shù)據(jù)集的方式，計算其信息增益比，從中選擇信息增益比最大的分割點來劃分?jǐn)?shù)據(jù)集 51 變化三：處理連續(xù)值的訓(xùn)練樣本（ 2/10） ?示例 ? 求利用 A上的 最佳分割點 ?解： ? 第 0步，將 A的取值升序排列 {65,70,70,70,75,78,80,80,80,85,90,90,95,96} ? 第 1步，計算 vi=65時的信息增益比 52 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 ))145(log145)149(log149())((log)(),(2221221?????? ??jjjcPcPnnI變化三：處理連續(xù)值的訓(xùn)練樣本（ 3/10） ?解： ? 第 1步，計算 vi=65時的信息增益比 53 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 0))10(log10)11(log11()(log),(22211212111?????? ??jjj ppnnI))135(log135)138(log138()(log),(22212222212?????? ??jjj ppnnI14130141),()( 2121211??????? ??sssss nnItot alnnAE變化三：處理連續(xù)值的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1