2機(jī)器學(xué)習(xí)-決策樹學(xué)習(xí)-閱讀頁(yè)
2025-01-30 23:50本頁(yè)面
【正文】 葉結(jié)點(diǎn)標(biāo)號(hào)為主要的分類big, red, circle, (實(shí)際上為 +)? 若屬性不完備且不足以判別分類時(shí)，也可能導(dǎo)致樣本的沖突2023年 6月 2日避免過度擬合的方法? 需要修剪時(shí)的兩個(gè)基本方法– 預(yù)修剪 ：支持度不夠則停止樹的增長(zhǎng)– 后修剪 ：置信度不夠則修剪掉該分支? 子樹是否需要修剪的判別方法：– 交叉檢驗(yàn) ：保留部分訓(xùn)練數(shù)據(jù)用于驗(yàn)證– 統(tǒng)計(jì)測(cè)試 ：通過訓(xùn)練集的統(tǒng)計(jì)來判別– 最小描述長(zhǎng)度 (MDL)： 判別該假設(shè)的復(fù)雜度是否比記憶例外情況的復(fù)雜度更高2023年 6月 2日減小誤差的修剪? 一種后修剪，交叉驗(yàn)證的方法將訓(xùn)練數(shù)據(jù)分割為兩個(gè)集合： “生長(zhǎng) ”和 “驗(yàn)證 ”用 “生長(zhǎng) ”數(shù)據(jù)構(gòu)建一棵完全樹Until 驗(yàn)證數(shù)據(jù)集合上的精度降低 do： For each 樹中非葉結(jié)點(diǎn) n 臨時(shí)修剪掉 n下子樹，用標(biāo)號(hào)為主要分類的葉子代替 在驗(yàn)證集上計(jì)算該樹的精度 修剪掉那些對(duì)精度影響最大的分支? 當(dāng)訓(xùn)練集很小時(shí)，可能會(huì)嚴(yán)重?fù)p害分類精度? 最好能給定合適的結(jié)點(diǎn)數(shù)，達(dá)到最佳折衷2023年 6月 2日連續(xù)屬性? 用分區(qū)方法，將連續(xù)值映射為離散值? 結(jié)點(diǎn)分裂，以獲得最大信息增益? 達(dá)到最大信息增益的單閾值分裂算法For each 連續(xù)特征 Ai 根據(jù) Ai的值對(duì)樣本排序 For each 序列中的每對(duì) Xi,Xi+1 If Xi和 Xi+1的 分類不同 將 Xi和 Xi+1的中點(diǎn)作為可能的閾值進(jìn)行檢驗(yàn)，即例如：長(zhǎng)度 (L): 10 15 21 28 32 40 50 (已排序 )分類 : + + + + 檢查閾值： L, L, L30, L452023年 6月 2日替代屬性選取啟發(fā)策略 (增益比率 )? 信息增益缺點(diǎn)：偏愛那些有大量值的屬性，產(chǎn)生很多小而純的子集，如病人 ID、 姓名、日期等? 要降低這些情況下的增益? 首先計(jì)算與分類無關(guān)屬性的信息量，即該屬性的熵其中 Si為 S中具有屬性 A第 i個(gè)值的子集。? 例如，給定一個(gè)缺失了顏色屬性值的正例，它將被視為 red正例、 blue正例和 green正例
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1