決策樹與隨機(jī)森林ppt課件(存儲版)
【正文】 源，稱為自助法，它是一種有放回的抽樣方法。 ? 貝葉斯投票機(jī)制基于每個(gè)基本分類器在過去的分類表現(xiàn)設(shè)定一個(gè)權(quán)值，然后按照這個(gè)權(quán)值進(jìn)行投票。 ? 根據(jù)不同的閾值，將離散點(diǎn) (TPR,FPR)繪制成曲線，就得到 ROC曲線，可以用于評價(jià)一個(gè)分類器。 ? Area Under roc Curve 59/60 參考文獻(xiàn) ? Elements of Information Theory (Cover amp。 52/60 混淆矩陣 (Confusion Matrix) ? TP：正確肯定 ——實(shí)例是正例，劃分為正例 ? FN：漏報(bào) ——實(shí)際是正例，卻劃分成了負(fù)例 ? FP：誤報(bào) ——實(shí)際是負(fù)例，卻劃分成了正例 ? TN：正確拒絕 ——實(shí)例是負(fù)例，劃分為負(fù)例 53/60 ? 誤分率 Error Rate： (FN+FP) / C ? 準(zhǔn)確度 Accuracy ： (TP+TN) / C ? 查準(zhǔn)率 Recall： TP / (TP + FP) ? 假正類率 (False Positive Rate, FPR)： FP/ (FP + TN) ? 虛報(bào)概率，代價(jià) (costs) ? 真正類率 (true positive rate ,TPR)： TP/(TP+FN) ? 擊中概率，收益 (benefits) ? 思考：可否按此模式，定義“真負(fù)類率 TNR”？ 54/60 使用 TPR和 FPR分析二分類模型 ? 對于一個(gè)二分類模型，假設(shè)已確定一個(gè)閥值，比如說 ，大于這個(gè)值的實(shí)例劃歸為正類，小于這個(gè)值則劃到負(fù)類中。 ? 舉例 43/60 回歸問題 ? 離散點(diǎn)是樣本集合，描述了臭氧 (橫軸 )和溫度 (縱軸 )的關(guān)系 ? 試擬合二者的變化曲線 44/60 使用 Bagging ? 算法過程 ? 做 100次 bootstrap，每次得到的數(shù)據(jù) Di， Di的長度為 N ? 對于每一個(gè) Di，使用 局部回歸 (LOESS)擬合一條曲線 (圖中灰色線是其中的 10條曲線 ) ? 將這些曲線取平均，即得到紅色的最終擬合曲線 ? 顯然，紅色的曲線更加穩(wěn)定，并且沒有過擬合明顯減弱 記原始數(shù)據(jù)為 D，長度為N(即圖中有 N個(gè)離散點(diǎn) ) 45/60 附：局部加權(quán)線性回歸 ? LWR： Locally Weighted linear Regression ? LOESS : LOcal regrESSion 46/60 附：線性回歸與局部加權(quán)回歸 ? 黑色是樣本點(diǎn) ? 紅色是線性回歸曲線 ? 綠色是局部加權(quán)回歸曲線 47/60 投票機(jī)制 ? 簡單投票機(jī)制 ? 一票否決 (一致表決 ) ? 少數(shù)服從多數(shù) ? 有效多數(shù) (加權(quán) ) ? 閾值表決 ? 貝葉斯投票機(jī)制 48/60 貝葉斯投票機(jī)制 ? 簡單投票法假設(shè)每個(gè)分類器都是平等的。 ? ：信息增益率 gr(D,A) = g(D,A) / H(A) ? CART：基尼指數(shù) ? 總結(jié)：一個(gè)屬性的信息增益越大，表明屬性對樣本的熵減少的能力更強(qiáng)，這個(gè)屬性使得數(shù)據(jù)由不確定性變成確定性的能力越強(qiáng)。 18/60 基本記號 ? 設(shè)訓(xùn)練數(shù)據(jù)集為 D， |D|表示其容量，即樣本個(gè)數(shù)。在學(xué)習(xí)的過程中，不需要使用者了解過多背景知識，只需要對訓(xùn)練實(shí)例進(jìn)行較好的標(biāo)注，就能夠進(jìn)行學(xué)習(xí)。 ? 在不引起混淆的情況下，下面談到的“概率分布函數(shù)”，其含義是： ? 若 X為離散隨機(jī)變量，則該名稱為 概率分布函數(shù) ； ? 若 X為連續(xù)隨機(jī)變量，則該名稱為 概率密度函數(shù) 。 4/60 復(fù)習(xí)：熵 ? 將離散隨機(jī)變量 X的概率分布為 P(X=xi)，則定義熵為： ? 若 P為連續(xù)隨機(jī)變量，則概率分布變成概率密度函數(shù)，求和符號變成積分符號。 15/60 決策樹學(xué)習(xí)算法的特點(diǎn) ? 決策
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1