4分類和預(yù)測(1)決策樹-文庫吧
2025-02-07 12:56 本頁面
【正文】 效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ：消除或減少噪聲，處理空缺值，從而減少學(xué)習(xí)時的混亂。 ? 相關(guān)分析 ? 數(shù)據(jù)變換 14 分類過程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過程之前，通過對數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ：數(shù)據(jù)中的有些屬性可能與當(dāng)前任務(wù)不相關(guān)或者是冗余的，則可以刪除這些屬性以加快學(xué)習(xí)過程，并使學(xué)習(xí)結(jié)果更精確。 ? 例如：主成分分析（ PCA） ? 數(shù)據(jù)變換 15 分類過程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過程之前，通過對數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ? 數(shù)據(jù)變換 ：數(shù)據(jù)可以通過規(guī)范化，將給定屬性的所有值按比例進(jìn)行縮放，使其落入一個較小的指定區(qū)間中。 ? 例如： [, ]（神經(jīng)網(wǎng)絡(luò)中常用）。 16 分類過程的數(shù)據(jù)預(yù)處理 ? 在執(zhí)行分類過程之前，通過對數(shù)據(jù)進(jìn)行預(yù)處理，可以提高分類過程的 準(zhǔn)確性 、 有效性 和 可伸縮性 。 ? 常用的預(yù)處理操作包括： ? 數(shù)據(jù)清理 ? 相關(guān)分析 ? 數(shù)據(jù)變換 在模式識別領(lǐng)域 特征提取與 特征選擇 17 分類的評價標(biāo)準(zhǔn) ? 假設(shè)：給定測試集 Xtest={(xi, yi) | i=1, 2, … , N} ? N表示測試集中的樣本個數(shù)； ? xi表示測試集中第 i個樣本； ? yi表示樣本 xi的類標(biāo)號 。 ? 對于測試集的第 j個類別 ， 分類結(jié)果如下： ? 被正確分類的樣本數(shù)量為 TPj ； ? 被錯誤分類的樣本數(shù)量為 FNj ； ? 其他類別被錯誤分類為該類的樣本數(shù)據(jù)量為 FPj 。 18 分類的評價標(biāo)準(zhǔn) ? 精確度（正確率） ：表示測試集中被正確分類的數(shù)據(jù)所占的比例。 ? 例如：在文字識別中，經(jīng)常統(tǒng)計 識別正確率 ，以此來表示識別系統(tǒng)的性能。 NTPAccu racym1jj???19 第四章 分類和預(yù)測 ? 分類和預(yù)測的定義 ? 數(shù)據(jù)分類方法 ? 決策樹 ? 神經(jīng)網(wǎng)絡(luò) ? SVM ? 貝葉斯網(wǎng)絡(luò) ? 數(shù)據(jù)預(yù)測方法 ? 線性回歸 ? 非線性回歸 20 決策樹 ? 什么是決策樹？ ? 由數(shù)據(jù)的 不同屬性 逐次劃分?jǐn)?shù)據(jù)集，直至得到的 數(shù)據(jù)子集 只包含同一類數(shù)據(jù)為止，這樣可形成一棵樹，稱為決策樹。 ? 結(jié)構(gòu)上類似于程序流程圖； ? 每個內(nèi)部結(jié)點表示在一個屬性上的 測試 ； ? 每個分枝代表一個測試的 輸出 ； ? 每個葉結(jié)點存放一個 類標(biāo)號 。 ? 由樹的根結(jié)點到某個葉結(jié)點的屬性的 合取 可形成一條分類規(guī)則；所有規(guī)則的 析取 可形成一整套分類規(guī)則。 21 決策樹 生成 目標(biāo)：根據(jù)客戶的如下屬性， 是否有貸款 、 婚姻狀況 、 收入水平 ，來判斷客戶是否存在“金融欺騙”行為。 如何從訓(xùn)練數(shù)據(jù)集生成 相應(yīng)決策樹，是本節(jié)所 關(guān)注的內(nèi)容。 22 決策樹 —— 分類過程 23 決策樹 —— 分類過程 24 決策樹 —— 分類過程 25 決策樹 —— 分類過程 26 決策樹 —— 分類過程 27 決策樹 —— 分類過程 28 決策樹 —— 屬性選擇的次序問題 哪棵樹更好？ or 哪種次序更好？ 29 決策樹 ? 決策樹關(guān)注的主要問題： ? 決策樹的生成算法 ? ID3算法 ? ? 決策樹的剪枝策略：許多分枝反映的是訓(xùn)練數(shù)據(jù)集中的噪聲和離群點，剪枝試圖識別并剪去這種分枝，以提高對未知數(shù)據(jù)分類的準(zhǔn)確性。 ? 先剪枝方法 ? 后剪枝方法 30 ID3算法 ? 特點：在選擇根結(jié)點和各個內(nèi)部結(jié)點的分枝屬性時，采用 信息增益 作為度量標(biāo)準(zhǔn) ，因此每次都會選擇具有 最高信息增益 的屬性作為分枝屬性。 ? ID3算法只能處理屬性值為 離散型 的數(shù)據(jù)集的劃分。 31 ID3算法 ? 給定數(shù)據(jù)集 X = {(xi, yi) | i=1, 2, …, total} 。 ? xi (i=1, 2, ..., total)用 d維特征向量 xi = (xi1, xi2, ..., xid)來表示，
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號-1