決策樹學(xué)習(xí)算法概要-資料下載頁
2025-01-12 21:57本頁面
【正文】 yes 30..40 用信息增益度量期望熵最低 舉例 用 ID3算法得到的有關(guān)氣候的決策樹 ? 某市屬建筑公司面臨 A, B兩項(xiàng)工 .本單位 資源條件 限制，只能選擇其中一項(xiàng)工程投標(biāo)或者這兩項(xiàng)過程均不參加投標(biāo)。根據(jù)過去類似工程投標(biāo)的經(jīng)驗(yàn)數(shù)據(jù)， A工程投高標(biāo)的中標(biāo)概率為 ,投低標(biāo)的中標(biāo)概率為 ,編制該工程 投標(biāo)文件 的費(fèi)用為 4萬元； B工程投高標(biāo)的中標(biāo)概率為 ,投低標(biāo)的中標(biāo)概率為 ，編制該工程投標(biāo)文件的費(fèi)用為 萬元各方案承包的效果、概率、損益值如表 1所示 ID3算法的優(yōu)缺點(diǎn) ? ID3算法的優(yōu)點(diǎn)：分類和測試速度快 ? 缺點(diǎn)： ? ； ? 2. 兩棵決策樹是否等價(jià)的判定問題是 NP問題； ? 。 ? ID3的改進(jìn)算法 ? 對連續(xù)值的處理 ? 對未知特征值的處理 ? 對決策樹進(jìn)行剪枝 ? 規(guī)則的派生 決策樹學(xué)習(xí)中的假設(shè)空間搜索 ? 假設(shè)空間 ? ID3算法中的假設(shè)空間包含所有的決策樹 ? 當(dāng)遍歷決策樹空間時(shí)， ID3僅維護(hù)單一的當(dāng)前假設(shè)。 ? 基本的 ID3算法在搜索中不進(jìn)行回溯 ? ID3算法在搜索的每一步都使用當(dāng)前的所有訓(xùn)練樣例 決策樹學(xué)習(xí)的常見問題 (1) ? 避免過度擬合數(shù)據(jù) ? 基本的決策樹構(gòu)造算法沒有考慮噪聲，生成的決策樹完全與訓(xùn)練例子擬合。有噪聲情況下，完全擬合將導(dǎo)致過分?jǐn)M合（ overfitting），即對訓(xùn)練數(shù)據(jù)的完全擬合反而不具有很好的預(yù)測性能。 解決方法 ? 剪枝是一種克服噪聲的技術(shù)，同時(shí)它也能使樹得到簡化而變得更容易理解。 ? 向前剪枝（ forward pruning） ? 向后剪枝（ backward pruning） ? 理論上講，向后剪枝好于向前剪枝，但計(jì)算復(fù)雜度大。剪枝過程中一般要涉及一些統(tǒng)計(jì)參數(shù)或閾值，如停機(jī)閾值；有人提出了一種和統(tǒng)計(jì)參數(shù)無關(guān)的基于最小描述長（ MDL）的有效剪枝法 決策樹學(xué)習(xí)的常見問題（ 2） ? 合并連續(xù)值屬性 ? 屬性選擇的其他度量標(biāo)準(zhǔn) ? 信息增益比（ gain ratio）、 Giniindex、距離度量（ distance measure）等。不同的度量有不同的效果，特別是對于多值屬性 。 決策樹學(xué)習(xí)的常見問題（ 3） ? 處理缺少屬性值的訓(xùn)練樣例 ? 處理不同代價(jià)的屬性 決策樹的優(yōu)點(diǎn) ? 可以生成可以理解的規(guī)則； ? 計(jì)算量相對來說不是很大； ? 可以處理連續(xù)和離散字段； ? 決策樹可以清晰的顯示哪些字段比較重要 不足之處 ? 對連續(xù)性的字段比較難預(yù)測 ? 當(dāng)類別太多時(shí)，錯(cuò)誤可能會(huì)增加的比較快 ? 一般的算法分類的時(shí)候，只是根據(jù)一個(gè)屬性來分類。 ? 不是全局最優(yōu)。
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號-1