數(shù)據(jù)預(yù)處理ppt課件(編輯修改稿)
2025-05-26 02:09 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 ? 忽略元組 ? 人工填寫空缺值 ? 使用一個(gè)全局常量填充空缺值 ? 使用屬性的平均值填充空缺值 ? 使用與給定元組屬同一類的所有樣本的平均值 ? 使用最可能的值填充空缺值 缺失值 29 ? 分箱： ? 通過(guò)考察數(shù)據(jù)的“近鄰”（周圍的值）來(lái)光滑有序數(shù)據(jù)的值。局部光滑。 ? 回歸： ? 用一個(gè)函數(shù)（回歸函數(shù)）擬合數(shù)據(jù)來(lái)光滑數(shù)據(jù)。 ? 聚類： 將類似的值聚集為簇。 ? 其他： 如數(shù)據(jù)歸約、離散化和概念分層 。 噪聲數(shù)據(jù) 30 ?分箱： ? 通過(guò)考察數(shù)據(jù)的“近鄰”（周圍的值）來(lái)光滑有序數(shù)據(jù)的值。局部光滑。 ?劃分：等頻、等寬 ?光滑：用箱均值、用箱中位數(shù)、用箱邊界（去替換箱中的每個(gè)數(shù)據(jù)） 噪聲數(shù)據(jù) 分箱法光滑數(shù)據(jù) ? Sorted data for price (in dollars): 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34 * Partition into equalfrequency (equidepth) bins: Bin 1: 4, 8, 9, 15 Bin 2: 21, 21, 24, 25 Bin 3: 26, 28, 29, 34 * Smoothing by bin means: Bin 1: 9, 9, 9, 9 Bin 2: 23, 23, 23, 23 Bin 3: 29, 29, 29, 29 * Smoothing by bin boundaries: Bin 1: 4, 4, 4, 15 Bin 2: 21, 21, 25, 25 Bin 3: 26, 26, 26, 34 ?回歸： 用一個(gè)函數(shù)（回歸函數(shù)）擬合數(shù)據(jù)來(lái)光滑數(shù)據(jù)。 ?線性回歸 ?多元線性回歸 ?聚類： 將類似的值聚集為簇。檢測(cè)離群點(diǎn) 回歸 Regression x y y = x + 1 X1 Y1 Y1’ 聚類 Cluster Analysis 數(shù)據(jù)清理作為一個(gè)過(guò)程 ? 偏差檢測(cè) ? 使用“元數(shù)據(jù)” ? 編碼使用的不一致、數(shù)據(jù)表示的不一致、字段過(guò)載等 ? 一些規(guī)則：唯一性規(guī)則、連續(xù)性規(guī)則、空值規(guī)則。 ? 商業(yè)工具：數(shù)據(jù)清洗工具、數(shù)據(jù)審計(jì)工具 ? 數(shù)據(jù)變換（糾正偏差） ? 數(shù)據(jù)遷移工具 ? 提取 /變換 /載入（ ETL）工具 ? 加強(qiáng)交互性 ? 數(shù)據(jù)清理工具： Potter’s Wheel ? 開發(fā)數(shù)據(jù)變換操作規(guī)范說(shuō)明語(yǔ)言 數(shù)據(jù)集成和變換 ? 數(shù)據(jù)集成合并多個(gè)數(shù)據(jù)源中的數(shù)據(jù)，存放在一個(gè)一致的數(shù)據(jù)庫(kù)（如數(shù)據(jù)倉(cāng)庫(kù)）中。 ? 源數(shù)據(jù)可能包括多個(gè)數(shù)據(jù)庫(kù)，數(shù)據(jù)立方體或一般文件。 ? 數(shù)據(jù)變換將數(shù)據(jù)轉(zhuǎn)換
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1