4分類和預(yù)測(cè)(1)決策樹(shù)-展示頁(yè)
2025-02-23 12:56本頁(yè)面
【正文】 假設(shè) ns表示 Xs中的樣本數(shù)量 ， njs表示 Xs中屬于類別 cj的樣本數(shù)量 ， 則由屬性 Af劃分?jǐn)?shù)據(jù)集 X的熵為： ? 其中： ),... ,()( 2111msssqsmssf nnnInf otot alnnAE ????????。 31 ID3算法 ? 給定數(shù)據(jù)集 X = {(xi, yi) | i=1, 2, …, total} 。 ? 先剪枝方法 ? 后剪枝方法 30 ID3算法 ? 特點(diǎn)：在選擇根結(jié)點(diǎn)和各個(gè)內(nèi)部結(jié)點(diǎn)的分枝屬性時(shí)，采用 信息增益 作為度量標(biāo)準(zhǔn) ，因此每次都會(huì)選擇具有 最高信息增益 的屬性作為分枝屬性。 如何從訓(xùn)練數(shù)據(jù)集生成 相應(yīng)決策樹(shù)，是本節(jié)所 關(guān)注的內(nèi)容。 ? 由樹(shù)的根結(jié)點(diǎn)到某個(gè)葉結(jié)點(diǎn)的屬性的 合取 可形成一條分類規(guī)則；所有規(guī)則的 析取 可形成一整套分類規(guī)則。 NTPAccu racym1jj???19 第四章 分類和預(yù)測(cè) ? 分類和預(yù)測(cè)的定義 ? 數(shù)據(jù)分類方法 ? 決策樹(shù) ? 神經(jīng)網(wǎng)絡(luò) ? SVM ? 貝葉斯網(wǎng)絡(luò) ? 數(shù)據(jù)預(yù)測(cè)方法 ? 線性回歸 ? 非線性回歸 20 決策樹(shù) ? 什么是決策樹(shù)？ ? 由數(shù)據(jù)的 不同屬性 逐次劃分?jǐn)?shù)據(jù)集，直至得到的 數(shù)據(jù)子集 只包含同一類數(shù)據(jù)為止，這樣可形成一棵樹(shù)，稱為決策樹(shù)。 18 分類的評(píng)價(jià)標(biāo)準(zhǔn) ? 精確度（正確率） ：表示測(cè)試集中被正確分類的數(shù)據(jù)所占的比例。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ? 數(shù)據(jù)變換 在模式識(shí)別領(lǐng)域 特征提取與 特征選擇 17 分類的評(píng)價(jià)標(biāo)準(zhǔn) ? 假設(shè)：給定測(cè)試集 Xtest={(xi, yi) | i=1, 2, … , N} ? N表示測(cè)試集中的樣本個(gè)數(shù)； ? xi表示測(cè)試集中第 i個(gè)樣本； ? yi表示樣本 xi的類標(biāo)號(hào) 。 ? 例如： [, ]（神經(jīng)網(wǎng)絡(luò)中常用）。 ? 例如：主成分分析（ PCA） ? 數(shù)據(jù)變換 15 分類過(guò)程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過(guò)程之前，通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過(guò)程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 相關(guān)分析 ? 數(shù)據(jù)變換 14 分類過(guò)程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過(guò)程之前，通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過(guò)程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ? 數(shù)據(jù)變換 13 分類過(guò)程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過(guò)程之前，通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過(guò)程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 第二步 —— 使用模型 ? 對(duì)未知類別的數(shù)據(jù)進(jìn)行分類（分配類別標(biāo)號(hào)）。 ? 從訓(xùn)練數(shù)據(jù)集 ―學(xué)習(xí) ‖相關(guān)知識(shí)來(lái)構(gòu)造分類模型。 7 分類和預(yù)測(cè)的定義 ? 第一步 —— 建立模型 ? 訓(xùn)練數(shù)據(jù)集：由若干數(shù)據(jù)（通常用 n維屬性向量表示）和它們相對(duì)應(yīng)的類標(biāo)號(hào)組成。 ? 構(gòu)造一個(gè)映射（ 模型 ）來(lái)預(yù)測(cè)一個(gè)連續(xù)值。 5 分類和預(yù)測(cè)的定義 ——示例 ? 分類 ? 銀行貸款員需要分析數(shù)據(jù)，來(lái)弄清哪些貸款申請(qǐng)者是安全的，哪些是有風(fēng)險(xiǎn)的。第四章 分類和預(yù)測(cè) 主講教師：魏宏喜 (博士，副教授 ) Email: 2 第四章 分類和預(yù)測(cè) ? 分類和預(yù)測(cè)的定義 ? 數(shù)據(jù)分類方法 ? 決策樹(shù) ? 神經(jīng)網(wǎng)絡(luò) ? SVM ? 貝葉斯網(wǎng)絡(luò) ? 數(shù)據(jù)預(yù)測(cè)方法 ? 線性回歸 ? 非線性回歸 3 第四章 分類和預(yù)測(cè) ? 分類和預(yù)測(cè)的定義 ? 數(shù)據(jù)分類方法 ? 決策樹(shù) ? 神經(jīng)網(wǎng)絡(luò) ? SVM ? 貝葉斯網(wǎng)絡(luò) ? 數(shù)據(jù)預(yù)測(cè)方法 ? 線性回歸 ? 非線性回歸 4 分類和預(yù)測(cè)的定義 ? 分類（ Classification） ? 給定一個(gè)數(shù)據(jù)集 D={t1, t2, …, t n}和一個(gè)類別集合C={C1, C2, …, C m}， 數(shù)據(jù) 分類 就是通過(guò) 定義一個(gè)映射 f : D?C，為數(shù)據(jù)集 D中的每條數(shù)據(jù) ti分配 C中的一個(gè)類 Cj。 ? 預(yù)測(cè)（ Prediction） ? 它是一種分類的泛化，當(dāng)分類的類別是一個(gè)連續(xù)值時(shí)（可看成無(wú)限多類），就是 數(shù)據(jù)預(yù)測(cè) 。 ? 構(gòu)造一個(gè)映射（ 模型 ）將申請(qǐng)者分為兩類：
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1