《決策樹與隨機(jī)森林》ppt課件(文件)
【正文】 總結(jié)：一個(gè)屬性的信息增益越大，表明屬性對樣本的熵減少的能力更強(qiáng)，這個(gè)屬性使得數(shù)據(jù)由不確定性變成確定性的能力越強(qiáng)。“ pull up by your own bootstraps” 即“通過拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。 ? 舉例 43/60 回歸問題 ? 離散點(diǎn)是樣本集合，描述了臭氧 (橫軸 )和溫度 (縱軸 )的關(guān)系 ? 試擬合二者的變化曲線 44/60 使用 Bagging ? 算法過程 ? 做 100次 bootstrap，每次得到的數(shù)據(jù) Di， Di的長度為 N ? 對于每一個(gè) Di，使用 局部回歸 (LOESS)擬合一條曲線 (圖中灰色線是其中的 10條曲線 ) ? 將這些曲線取平均，即得到紅色的最終擬合曲線 ? 顯然，紅色的曲線更加穩(wěn)定，并且沒有過擬合明顯減弱 記原始數(shù)據(jù)為 D，長度為N(即圖中有 N個(gè)離散點(diǎn) ) 45/60 附：局部加權(quán)線性回歸 ? LWR： Locally Weighted linear Regression ? LOESS : LOcal regrESSion 46/60 附：線性回歸與局部加權(quán)回歸 ? 黑色是樣本點(diǎn) ? 紅色是線性回歸曲線 ? 綠色是局部加權(quán)回歸曲線 47/60 投票機(jī)制 ? 簡單投票機(jī)制 ? 一票否決 (一致表決 ) ? 少數(shù)服從多數(shù) ? 有效多數(shù) (加權(quán) ) ? 閾值表決 ? 貝葉斯投票機(jī)制 48/60 貝葉斯投票機(jī)制 ? 簡單投票法假設(shè)每個(gè)分類器都是平等的。 ? 如何根據(jù)用戶投票，對電影排序？ ? 本質(zhì)仍然是分類問題：對于某個(gè)電影，有 N個(gè)決策樹，每個(gè)決策樹對該電影有 1個(gè)分類 ( 5類 )，求這個(gè)電影應(yīng)該屬于哪一類 (可以是小數(shù)：分類問題變成了回歸問題 ) 50/60 一種可能的方案 ? WR：加權(quán)得分 (weighted rating) ? R：該電影的用戶投票的平均得分 (Rating) ? C：所有電影的平均得分 ? v：該電影的投票人數(shù) (votes) ? m：排名前 250名的電影的最低投票數(shù) ? 根據(jù)總投票人數(shù)， 250可能有所調(diào)整 ? 按照 v=0和 m=0分別分析 51/60 評價(jià)指標(biāo) ? 以下近考慮二分類問題，即將實(shí)例分成正類(positive)或負(fù)類 (negative)。 52/60 混淆矩陣 (Confusion Matrix) ? TP：正確肯定 ——實(shí)例是正例，劃分為正例 ? FN：漏報(bào) ——實(shí)際是正例，卻劃分成了負(fù)例 ? FP：誤報(bào) ——實(shí)際是負(fù)例，卻劃分成了正例 ? TN：正確拒絕 ——實(shí)例是負(fù)例，劃分為負(fù)例 53/60 ? 誤分率 Error Rate： (FN+FP) / C ? 準(zhǔn)確度 Accuracy ： (TP+TN) / C ? 查準(zhǔn)率 Recall： TP / (TP + FP) ? 假正類率 (False Positive Rate, FPR)： FP/ (FP + TN) ? 虛報(bào)概率，代價(jià) (costs) ? 真正類率 (true positive rate ,TPR)： TP/(TP+FN) ? 擊中概率，收益 (benefits) ? 思考：可否按此模式，定義“真負(fù)類率 TNR”？ 54/60 使用 TPR和 FPR分析二分類模型 ? 對于一個(gè)二分類模型，假設(shè)已確定一個(gè)閥值，比如說 ，大于這個(gè)值的實(shí)例劃歸為正類，小于這個(gè)值則劃到負(fù)類中。 57/60 ROC曲線實(shí)例 58/60 使用 ROC曲線評價(jià)分類器 ? 在 ROC曲線中，通常，如果曲線 X始終位于曲線 Y的左上方，則曲線 X優(yōu)于曲線 Y。 ? Area Under roc Curve 59/60 參考文獻(xiàn) ? Elements of Information Theory (Cover
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1