數(shù)據(jù)挖掘概念與技術(shù)chapter2-數(shù)據(jù)預(yù)處理(編輯修改稿)
2024-11-15 19:44 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 00 300*450)(*)(11 ??? N c o u n tc o u n te 下棋看小說(shuō)28 數(shù)據(jù)變換 Data Transformation ? 光滑 : 去掉噪音，技術(shù)：分箱、回歸、聚類(lèi) ? 聚集 Aggregation:匯總 , 數(shù)據(jù)立方體構(gòu)造 ? 數(shù)據(jù)泛化 Generalization:概念分層 ? 規(guī)范化 Normalization:按比例縮放到一個(gè)具體區(qū)間 ? 最小 最大規(guī)范化 ? zscore 規(guī)范化 ? 小數(shù)定標(biāo)規(guī)范化 ? 屬性 Attribute/特征 feature 構(gòu)造 ? 從給定的屬性構(gòu)造新屬性 ? 機(jī)器學(xué)習(xí)中稱(chēng)為：特征構(gòu)造 數(shù)據(jù)規(guī)約 29 規(guī)范化數(shù)據(jù)的方法 ? 最小 最大規(guī)范化 minmax normalization ? 新數(shù)據(jù)可能“越界” ? zscore normalization ? normalization by decimal scaling ? 移動(dòng)屬性 A的小數(shù)點(diǎn)位置 (移動(dòng)位數(shù)依賴(lài)于屬性 A的最大值 ) AAAAAA m i nn e wm i nn e wm a xn e wm i nm a xm i nvv _)__(39。 ?????A39。標(biāo)準(zhǔn)差均值 Avv??jvv1039。?J為使得 Max(| |)1的整數(shù)中最小的那個(gè) 39。v30 第 2章 : 數(shù)據(jù)預(yù)處理 ? 為什么預(yù)處理數(shù)據(jù) ? ? 數(shù)據(jù)清理 ? 數(shù)據(jù)集成 ? 數(shù)據(jù)歸約 ? 離散化和概念分層產(chǎn)生 ? 小結(jié) 31 數(shù)據(jù)規(guī)約策略 ? 在完整數(shù)據(jù)上的分析 /挖掘耗時(shí)太長(zhǎng)，以至于不現(xiàn)實(shí) ? Data reduction 獲得數(shù)據(jù)集的一個(gè)規(guī)約表示，小很多，接近保持原數(shù)據(jù)的完整性，使得可得到相同 /幾乎相同的分析結(jié)果 ? 數(shù)據(jù)規(guī)約策略如下； ? 數(shù)據(jù)立方體聚集：聚集數(shù)據(jù)立方體結(jié)構(gòu)的數(shù)據(jù) ? 維度規(guī)約 —去除不重要的屬性 ? 主成份分析 Principal Components Analysis (PCA) ? 特征子集選擇 Feature subset selection, ? 屬性產(chǎn)生 ? 數(shù)據(jù)壓縮 Data Compression ? 基于離散小波變換的數(shù)據(jù)壓縮：圖像壓縮 ? 數(shù)值規(guī)約 —用某種表示方式替換 /估計(jì)原數(shù)據(jù) ? Regression and LogLinear Models ? Histograms, clustering, sampling ? 離散化和產(chǎn)生概念分層 32 數(shù)據(jù)立方體聚集 ? 數(shù)據(jù)立方體存儲(chǔ)多維聚集信息 ? 某抽象層上建的數(shù)據(jù)立方體稱(chēng)為方體 (cuboid) ? 最底層建的方體稱(chēng)為基本方體 (base cuboid) ? 最高層的立方體稱(chēng)為 頂點(diǎn)方體 (apex cuboid) ? 每個(gè)更高層的抽象將減少數(shù)據(jù)的規(guī)模 ? 使用合適的抽象層上的數(shù)據(jù) ? 對(duì)數(shù)據(jù)立方體聚集得到與任務(wù)相關(guān)的最小立方體 33 數(shù)據(jù)壓縮 Data Compression ? 字符串壓縮 ? 有豐富的理論和調(diào)優(yōu)的算法 ? 典型的是有損壓縮； ? 但只有有限的操作是可可行的 ? 音頻 /視頻壓縮 ? 通常有損壓縮，逐步細(xì)化 ? 有時(shí)小片段的信號(hào)可重構(gòu)，而不需要重建整個(gè)信號(hào) ? 時(shí)間序列不是音頻 ? 通常短，隨時(shí)間緩慢變化 ? 維度和數(shù)值規(guī)約可以被看成是數(shù)據(jù)壓縮的一種形式 34 數(shù)據(jù)壓縮 Original Data Compressed Data lossless Original Data Approximated 35 DWT for Image Compression ? Image Low Pass High Pass Low Pass High Pass Low Pass High Pass ? Discrete wavelet transform(DWT): 36 維度規(guī)約 特征選擇 ? 特征選擇 Feature selection (., 屬性子集選擇 ): ? 刪除不相關(guān) /冗余屬性，減少數(shù)據(jù)集 ? 找出最小屬性集，類(lèi)別的數(shù)據(jù)分布盡可能接近 使用全部屬性值的原分布 ? 減少了發(fā)現(xiàn)的模式數(shù)目 , 容易理解 ? d個(gè)屬性，有 2d 個(gè)可能的屬性子集 ? 啟發(fā)式方法 Heuristic methods (因?yàn)橹笖?shù)級(jí)的可能性 ): ? 局部最優(yōu)選擇，期望獲得全局最優(yōu)解 ? 逐步向前選擇 ? 逐步向后刪除 stepwise backward elimination ? 向前選擇和向后刪除結(jié)合 ? 決策樹(shù)歸納 decisiontree induction 38 出現(xiàn)在決策樹(shù)中的屬性構(gòu)成最后的屬性子集 最初的屬性集合 : {A1, A2, A3, A4, A5, A6} A4 ? A1? A6? Class 1 Class 2 Class 1 Class 2 最后的集合 : {A1, A4, A6} 維度規(guī)約 決策樹(shù)規(guī)約 39 維度規(guī)約 屬性 /特征產(chǎn)生 ? Feature Generation 產(chǎn)生新的屬性，其可以比 原始屬性 更有效地 表示數(shù)據(jù)的重要信息。 ? 三個(gè)一般方法 : ? 屬性提取 Attribute extraction ?特定領(lǐng)域的 ? 映射數(shù)據(jù)到新空間 ? ., 傅立葉變換 , wavelet transformation, 流形方法( manifold approaches) ? 屬性構(gòu)造 ? 組合特征 ? 數(shù)據(jù)離散化 Data discretization 40 x2 x1 e 主成分分析 (PCA) ? principal ponent analysis， KL變換 ? 找到一個(gè)投影，其能表示數(shù)據(jù)的最大變化 ? 原始數(shù)據(jù)投影到一個(gè)更小的空間中，導(dǎo)致維度減少 . ? 發(fā)現(xiàn)的協(xié)方差矩陣的特征向量，用這些特征向量定義新的空間 41 ? 給定 p維 空間中的 N各點(diǎn) , 找到 k ≤ p 個(gè)正交向量 (principal ponents) 可以很好表示原始數(shù)據(jù)的 ? 歸范化輸入數(shù)據(jù) : 每個(gè)屬性值位于相同的區(qū)間內(nèi) ? 計(jì)算 k 個(gè)標(biāo)準(zhǔn)正交向量 , ., principal ponents ? 每個(gè)輸入的點(diǎn)是這 k 個(gè)主成分的線性組合 ? The principal ponents are sorted in order of decreasing ―significance‖ or strength ? Since the ponents are sorted, the size of the data can be reduced by eliminating the weak ponents(., using the strongest principal ponents, it is possible to reconstruct a good approximation of the original data) ? Works for numeric data only 主成分分析 (Steps) 42 X1 X2 Y1 Y2 Principal Component Analysis 43 數(shù)值規(guī)約 ? 選擇
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1