決策樹與隨機(jī)森林ppt課件(參考版)
2025-01-09 05:07本頁面
【正文】 ? Area Under roc Curve 59/60 參考文獻(xiàn) ? Elements of Information Theory (Cover amp。 ? 如果一條 ROC曲線是經(jīng)過 (0,0)和 (1,1)的直線，則該分類器為隨機(jī)猜測(cè)分類器。 57/60 ROC曲線實(shí)例 58/60 使用 ROC曲線評(píng)價(jià)分類器 ? 在 ROC曲線中，通常，如果曲線 X始終位于曲線 Y的左上方，則曲線 X優(yōu)于曲線 Y。 ? 根據(jù)不同的閾值，將離散點(diǎn) (TPR,FPR)繪制成曲線，就得到 ROC曲線，可以用于評(píng)價(jià)一個(gè)分類器。 52/60 混淆矩陣 (Confusion Matrix) ? TP：正確肯定 ——實(shí)例是正例，劃分為正例 ? FN：漏報(bào) ——實(shí)際是正例，卻劃分成了負(fù)例 ? FP：誤報(bào) ——實(shí)際是負(fù)例，卻劃分成了正例 ? TN：正確拒絕 ——實(shí)例是負(fù)例，劃分為負(fù)例 53/60 ? 誤分率 Error Rate： (FN+FP) / C ? 準(zhǔn)確度 Accuracy ： (TP+TN) / C ? 查準(zhǔn)率 Recall： TP / (TP + FP) ? 假正類率 (False Positive Rate, FPR)： FP/ (FP + TN) ? 虛報(bào)概率，代價(jià) (costs) ? 真正類率 (true positive rate ,TPR)： TP/(TP+FN) ? 擊中概率，收益 (benefits) ? 思考：可否按此模式，定義“真負(fù)類率 TNR”？ 54/60 使用 TPR和 FPR分析二分類模型 ? 對(duì)于一個(gè)二分類模型，假設(shè)已確定一個(gè)閥值，比如說 ，大于這個(gè)值的實(shí)例劃歸為正類，小于這個(gè)值則劃到負(fù)類中。如果一個(gè)實(shí)例是正類并且也被 預(yù)測(cè)成正類，即為真正類 (True positive),如果實(shí)例是負(fù)類被預(yù)測(cè)成正類，稱之為假正類 (False positive)。 ? 如何根據(jù)用戶投票，對(duì)電影排序？ ? 本質(zhì)仍然是分類問題：對(duì)于某個(gè)電影，有 N個(gè)決策樹，每個(gè)決策樹對(duì)該電影有 1個(gè)分類 ( 5類 )，求這個(gè)電影應(yīng)該屬于哪一類 (可以是小數(shù)：分類問題變成了回歸問題 ) 50/60 一種可能的方案 ? WR：加權(quán)得分 (weighted rating) ? R：該電影的用戶投票的平均得分 (Rating) ? C：所有電影的平均得分 ? v：該電影的投票人數(shù) (votes) ? m：排名前 250名的電影的最低投票數(shù) ? 根據(jù)總投票人數(shù)， 250可能有所調(diào)整 ? 按照 v=0和 m=0分別分析 51/60 評(píng)價(jià)指標(biāo) ? 以下近考慮二分類問題，即將實(shí)例分成正類(positive)或負(fù)類 (negative)。 ? 貝葉斯投票機(jī)制基于每個(gè)基本分類器在過去的分類表現(xiàn)設(shè)定一個(gè)權(quán)值，然后按照這個(gè)權(quán)值進(jìn)行投票。 ? 舉例 43/60 回歸問題 ? 離散點(diǎn)是樣本集合，描述了臭氧 (橫軸 )和溫度 (縱軸 )的關(guān)系 ? 試擬合二者的變化曲線 44/60 使用 Bagging ? 算法過程 ? 做 100次 bootstrap，每次得到的數(shù)據(jù) Di， Di的長(zhǎng)度為 N ? 對(duì)于每一個(gè) Di，使用 局部回歸 (LOESS)擬合一條曲線 (圖中灰色線是其中的 10條曲線 ) ? 將這些曲線取平均，即得到紅色的最終擬合曲線 ? 顯然，紅色的曲線更加穩(wěn)定，并且沒有過擬合明顯減弱 記原始數(shù)據(jù)為 D，長(zhǎng)度為N(即圖中有 N個(gè)離散點(diǎn) ) 45/60 附：局部加權(quán)線性回歸 ? LWR： Locally Weighted linear Regression ? LOESS : LOcal regrESSion 46/60 附：線性回歸與局部加權(quán)回歸 ? 黑色是樣本點(diǎn) ? 紅色是線性回歸曲線 ? 綠色是局部加權(quán)回歸曲線 47/60
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1