數(shù)據(jù)預(yù)處理ppt課件-閱讀頁
2025-05-14 02:09本頁面
【正文】 一類的所有樣本的平均值 ? 使用最可能的值填充空缺值 缺失值 29 ? 分箱： ? 通過考察數(shù)據(jù)的“近鄰”（周圍的值）來光滑有序數(shù)據(jù)的值。 ? 回歸： ? 用一個(gè)函數(shù)（回歸函數(shù)）擬合數(shù)據(jù)來光滑數(shù)據(jù)。 ? 其他： 如數(shù)據(jù)歸約、離散化和概念分層 。局部光滑。 ?線性回歸 ?多元線性回歸 ?聚類： 將類似的值聚集為簇。 ? 商業(yè)工具：數(shù)據(jù)清洗工具、數(shù)據(jù)審計(jì)工具 ? 數(shù)據(jù)變換（糾正偏差） ? 數(shù)據(jù)遷移工具 ? 提取 /變換 /載入（ ETL）工具 ? 加強(qiáng)交互性 ? 數(shù)據(jù)清理工具： Potter’s Wheel ? 開發(fā)數(shù)據(jù)變換操作規(guī)范說明語言 數(shù)據(jù)集成和變換 ? 數(shù)據(jù)集成合并多個(gè)數(shù)據(jù)源中的數(shù)據(jù)，存放在一個(gè)一致的數(shù)據(jù)庫（如數(shù)據(jù)倉庫）中。 ? 數(shù)據(jù)變換將數(shù)據(jù)轉(zhuǎn)換或統(tǒng)一成適合于挖掘的形式。技術(shù)包括分箱、回歸、聚類。 ? 數(shù)據(jù)泛化（概化）： 使用概念分層，用高層概念替換低層或“原始”數(shù)據(jù)。最小 最大、 ZScore、按小數(shù)定標(biāo)規(guī)范化?？梢詭椭岣邷?zhǔn)確率和對(duì)高維數(shù)據(jù)結(jié)構(gòu)的理解。 ?????? 存在問題： ? 若存在離群點(diǎn)，可能影響規(guī)范化 ? 若在規(guī)范化后添加新的數(shù)據(jù)，當(dāng)新數(shù)據(jù)落在原數(shù)據(jù)的區(qū)間 [minA, maxA]之外，將導(dǎo)致“越界”錯(cuò)誤。 ? 對(duì)離群點(diǎn)不敏感 AAvv????39。 ? 數(shù)據(jù)歸約技術(shù)可以用來得到數(shù)據(jù)集的歸約表示，它小得多，但仍接近保持原數(shù)據(jù)的完整性。 數(shù)據(jù)歸約 ? 數(shù)據(jù)歸約策略： ? （ 1）數(shù)據(jù)立方體聚集：對(duì)數(shù)據(jù)立方體做聚集操作 ? （ 2）屬性子集選擇：檢測(cè)并刪除不相關(guān)、弱相關(guān)或冗余的屬性和維。 ? 如：立方體內(nèi)存儲(chǔ)季度銷售額，若對(duì)年銷售額感興趣，可對(duì)數(shù)據(jù)執(zhí)行聚集操作，例如 sum()等。 ? 其目標(biāo)是找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能地接近使用所有屬性得到的原分布。通常采用壓縮搜索空間的啟發(fā)式算法。 ? 逐步向前選擇 ? 逐步向后刪除 ? 向前選擇和向后刪除的結(jié)合 ? 決策樹歸納 維度歸約 ? 維度歸約使用數(shù)據(jù)編碼或變換，以便得到原數(shù)據(jù)的歸約或“壓縮”表示。 ? 主要方法： ? 串壓縮：無損，但只允許有限的數(shù)據(jù)操作。 ? 主成分分析（ PCA）：有損，能更好地處理稀疏數(shù)據(jù)。 ? 可以分為參數(shù)方法和非參數(shù)方法。 ? 抽樣方法 ? s個(gè)樣本無放回簡(jiǎn)單隨機(jī)抽樣（ SRSWOR） ? s個(gè)樣本有放回簡(jiǎn)單隨機(jī)抽樣（ SRSWR） ? 聚類抽樣 ? 分層抽樣 數(shù)據(jù)離散化和概念分層產(chǎn)生 ? 數(shù)據(jù)離散化技術(shù)用少數(shù)區(qū)間標(biāo)記替換連續(xù)屬性的數(shù)值，從而減少和簡(jiǎn)化了原來的數(shù)據(jù)。 ? 概念分層 (concept hierarchy)用于歸約數(shù)據(jù)：用較高層的概念替換較低層的概念。 ? 3．在數(shù)據(jù)清理中，對(duì)缺失值有哪些處理方法？
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1