4分類和預(yù)測(cè)(1)決策樹-文庫(kù)吧
2025-02-07 12:56 本頁(yè)面
【正文】 效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ：消除或減少噪聲，處理空缺值，從而減少學(xué)習(xí)時(shí)的混亂。 ? 相關(guān)分析 ? 數(shù)據(jù)變換 14 分類過程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過程之前，通過對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ：數(shù)據(jù)中的有些屬性可能與當(dāng)前任務(wù)不相關(guān)或者是冗余的，則可以刪除這些屬性以加快學(xué)習(xí)過程，并使學(xué)習(xí)結(jié)果更精確。 ? 例如：主成分分析（ PCA） ? 數(shù)據(jù)變換 15 分類過程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過程之前，通過對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ? 數(shù)據(jù)變換 ：數(shù)據(jù)可以通過規(guī)范化，將給定屬性的所有值按比例進(jìn)行縮放，使其落入一個(gè)較小的指定區(qū)間中。 ? 例如： [, ]（神經(jīng)網(wǎng)絡(luò)中常用）。 16 分類過程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過程之前，通過對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ? 數(shù)據(jù)變換 在模式識(shí)別領(lǐng)域 特征提取與 特征選擇 17 分類的評(píng)價(jià)標(biāo)準(zhǔn) ? 假設(shè)：給定測(cè)試集 Xtest={(xi, yi) | i=1, 2, … , N} ? N表示測(cè)試集中的樣本個(gè)數(shù)； ? xi表示測(cè)試集中第 i個(gè)樣本； ? yi表示樣本 xi的類標(biāo)號(hào) 。 ? 對(duì)于測(cè)試集的第 j個(gè)類別 ， 分類結(jié)果如下： ? 被正確分類的樣本數(shù)量為 TPj ； ? 被錯(cuò)誤分類的樣本數(shù)量為 FNj ； ? 其他類別被錯(cuò)誤分類為該類的樣本數(shù)據(jù)量為 FPj 。 18 分類的評(píng)價(jià)標(biāo)準(zhǔn) ? 精確度（正確率） ：表示測(cè)試集中被正確分類的數(shù)據(jù)所占的比例。 ? 例如：在文字識(shí)別中，經(jīng)常統(tǒng)計(jì) 識(shí)別正確率 ，以此來表示識(shí)別系統(tǒng)的性能。 NTPAccu racym1jj???19 第四章 分類和預(yù)測(cè) ? 分類和預(yù)測(cè)的定義 ? 數(shù)據(jù)分類方法 ? 決策樹 ? 神經(jīng)網(wǎng)絡(luò) ? SVM ? 貝葉斯網(wǎng)絡(luò) ? 數(shù)據(jù)預(yù)測(cè)方法 ? 線性回歸 ? 非線性回歸 20 決策樹 ? 什么是決策樹？ ? 由數(shù)據(jù)的 不同屬性 逐次劃分?jǐn)?shù)據(jù)集，直至得到的 數(shù)據(jù)子集 只包含同一類數(shù)據(jù)為止，這樣可形成一棵樹，稱為決策樹。 ? 結(jié)構(gòu)上類似于程序流程圖； ? 每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的 測(cè)試 ； ? 每個(gè)分枝代表一個(gè)測(cè)試的 輸出 ； ? 每個(gè)葉結(jié)點(diǎn)存放一個(gè) 類標(biāo)號(hào) 。 ? 由樹的根結(jié)點(diǎn)到某個(gè)葉結(jié)點(diǎn)的屬性的 合取 可形成一條分類規(guī)則；所有規(guī)則的 析取 可形成一整套分類規(guī)則。 21 決策樹 生成 目標(biāo)：根據(jù)客戶的如下屬性， 是否有貸款 、 婚姻狀況 、 收入水平 ，來判斷客戶是否存在“金融欺騙”行為。 如何從訓(xùn)練數(shù)據(jù)集生成 相應(yīng)決策樹，是本節(jié)所 關(guān)注的內(nèi)容。 22 決策樹 —— 分類過程 23 決策樹 —— 分類過程 24 決策樹 —— 分類過程 25 決策樹 —— 分類過程 26 決策樹 —— 分類過程 27 決策樹 —— 分類過程 28 決策樹 —— 屬性選擇的次序問題 哪棵樹更好？ or 哪種次序更好？ 29 決策樹 ? 決策樹關(guān)注的主要問題： ? 決策樹的生成算法 ? ID3算法 ? ? 決策樹的剪枝策略：許多分枝反映的是訓(xùn)練數(shù)據(jù)集中的噪聲和離群點(diǎn)，剪枝試圖識(shí)別并剪去這種分枝，以提高對(duì)未知數(shù)據(jù)分類的準(zhǔn)確性。 ? 先剪枝方法 ? 后剪枝方法 30 ID3算法 ? 特點(diǎn)：在選擇根結(jié)點(diǎn)和各個(gè)內(nèi)部結(jié)點(diǎn)的分枝屬性時(shí)，采用 信息增益 作為度量標(biāo)準(zhǔn) ，因此每次都會(huì)選擇具有 最高信息增益 的屬性作為分枝屬性。 ? ID3算法只能處理屬性值為 離散型 的數(shù)據(jù)集的劃分。 31 ID3算法 ? 給定數(shù)據(jù)集 X = {(xi, yi) | i=1, 2, …, total} 。 ? xi (i=1, 2, ..., total)用 d維特征向量 xi = (xi1, xi2, ..., xid)來表示，
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1