【正文】 51 混淆矩陣 (Confusion Matrix) ? TP：正確肯定 ——實(shí)例是正例，劃分為正例 ? FN：漏報(bào) ——實(shí)際是正例，卻劃分成了負(fù)例 ? FP：誤報(bào) ——實(shí)際是負(fù)例，卻劃分成了正例 ? TN：正確拒絕 ——實(shí)例是負(fù)例，劃分為負(fù)例 52 ? 誤分率 Error Rate： (FN+FP) / C ? 準(zhǔn)確度 Accuracy ： (TP+TN) / C ? 查準(zhǔn)率 Recall： TP / (TP + FP) ? 假 正類率 (False Positive Rate, FPR)： FP/ (FP + TN) ? 虛報(bào)概率，代價(jià) (costs) ? 真正類率 (true positive rate ,TPR)： TP/(TP+FN) ? 擊中概率，收益 (benefits) ? 思考：可否按此模式，定義 ―真負(fù)類率 TNR‖？ 53 使用 TPR和 FPR分析二分類模型 ? 對于一個(gè)二分類模型，假設(shè)已確定一個(gè)閥值，比如說 ，大于這個(gè)值的實(shí)例劃歸為正類，小于這個(gè)值則劃到負(fù)類中。 ? ：信息增益率 gr(D,A) = g(D,A) / H(A) ? CART：基尼指數(shù) ? 總結(jié)：一個(gè)屬性的信息增益越大，表明屬性對樣本的熵減少的能力更強(qiáng)，這個(gè)屬性使得數(shù)據(jù)由不確定性變成確定性的能力越強(qiáng)。在學(xué)習(xí)的過程中，不需要使用者了解過多背景知識(shí)，只需要對訓(xùn)練實(shí)例進(jìn)行較好的標(biāo)注，就能夠進(jìn)行學(xué)習(xí)。 ?????????Xx xpxpXH 1log4 對熵的理解 ? 熵是隨機(jī)變量 不確定性 的度量，不確定性越大，熵值越大；若隨機(jī)變量退化成定值，熵為 0 ? 均勻分布是“最不確定”的分布 ? 熵其實(shí)定義了一個(gè)函數(shù) (概率分布函數(shù) )到一個(gè)值 (信息熵 )的映射。設(shè)有 K個(gè)類 Ck， k=1,2,…,K ， |Ck|為屬于類 Ck的樣本個(gè)數(shù)。 ? 在實(shí)際生活中，我們聽取一個(gè)人的意見，會(huì)考慮這個(gè)人過去的意見是否有用，從而加大或者減少權(quán)值。 ? 如果 X并不總是位于 Y的左上側(cè)，可以使用 ROC曲線下方的面積作為度量，即： AUC值。 ? 從樣本集中用 Bootstrap采樣選出 n個(gè)樣本； ? 從所有屬性中隨機(jī)選擇 k個(gè)屬性，選擇最佳分割屬性作為節(jié)點(diǎn)建立 CART決策樹； ? 重復(fù)以上兩步 m次，即建立了 m棵 CART決策樹 ? 這 m個(gè) CART形成隨機(jī)森林，通過投票表決結(jié)果，決定數(shù)據(jù)屬于哪一類 40 應(yīng)用實(shí)例： Kinect RealTime Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2023, 41 隨機(jī)森林 /Bagging和決策樹的關(guān)系 ? 當(dāng)然可以使用決策樹作為基本分類器 ? 但也可以使用 SVM、 Logistic回歸等其他分類器，習(xí)慣上，這些分類器組成的“總分類器”，仍然叫做隨機(jī) 森林 。 ? 定義：特征 A對訓(xùn)練數(shù)據(jù)集 D的信息增益 g(D,A)，定義為集合 D的經(jīng)驗(yàn)熵 H(D)與特征 A給定條件下 D的經(jīng)驗(yàn)條件熵 H(D|A)之差，即： ? g(D,A)=H(D) – H(D|A) ? 顯然，這即為訓(xùn)練數(shù)據(jù)集 D和特征 A的互信息。 3 復(fù)習(xí)：熵 ? 將離散隨機(jī)變量 X的概率分布為 P(X=xi)，則定義熵為： ? 若 P為連續(xù)隨機(jī)變量，則概率分布變成概率密度函數(shù)，求和符號(hào)變成積分符號(hào)。 ? 從一類無序、無規(guī)則的事物 (概念 )中推理出決策樹表示的分類規(guī)則。 ? 剪枝 ? 隨機(jī)森林 34 Bootstraping ? Bootstraping的名稱來自成語“ pull up by your own bootstraps”，