數(shù)據(jù)倉庫與數(shù)據(jù)挖掘基礎(chǔ)第3章數(shù)據(jù)預處理(趙志升)-文庫吧在線文庫
【正文】 成 是將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個一致的數(shù)據(jù)存儲中。 對于噪聲通常采用數(shù)據(jù)平滑技術(shù)去除噪聲。 ? 數(shù)據(jù)變換：即規(guī)范化，可以改進距離度量的挖掘 算法的精度和有效性。 ? 高質(zhì)量的決策依賴于高質(zhì)量的數(shù)據(jù)，數(shù)據(jù)預處 理是知識發(fā)現(xiàn)過程的重要步驟。聚類將類似的值組織成群或“聚類”，聚類集合之外的值被視為孤立點。 ? 冗余：屬性的冗余以及元組重復。這樣，在歸約后的數(shù)據(jù)集上挖掘?qū)⒏行?，并產(chǎn)生相同或幾乎相同的分析結(jié)果。19650 第四節(jié) 數(shù)據(jù)歸約 數(shù)據(jù)立方體聚集 ? 基本方體：創(chuàng)建在最低層的數(shù)據(jù)立方體。 第四節(jié) 數(shù)據(jù)歸約 維歸約 d個屬性有 2d個可能的子集，通過窮舉搜索找出屬性的最佳子集可能是不現(xiàn)實的，通常使用壓縮搜索空間的 啟發(fā)式算法 ，這些算法是 貪心算法 ，在搜索屬性空間時，總是做看上去是最佳的選擇。 第四節(jié) 數(shù)據(jù)歸約 維歸約 判定樹歸納 ：判定樹算法，如 ID3和 。比較流行的小波變換包括 Haar、 Daubechies變換，應用離散小波變換的典型 金字塔算法 ，在每次迭代將數(shù)據(jù)減半，導致很快的計算速度。 意義 ：原來的數(shù)據(jù)投影到一個較小的空間，導致數(shù)據(jù)壓縮。 ? 無參方法 ：使用存放數(shù)據(jù)歸約表示。當用于高維數(shù)據(jù)時，對數(shù)線性模型表現(xiàn)出很好的伸縮性，可以擴展到 10維左右。通常，類似性基于距離，用對象在空間中的“接近”程度定義。 用于數(shù)據(jù)歸約時，選樣最常用來回答聚集查詢。 ? 由用戶或?qū)＜以谀Ｊ郊夛@式地說明屬性的部分序 ? 通過顯式數(shù)據(jù)分組說明分層結(jié)構(gòu)的一部分 ? 說明屬性集，但不說明它們的偏序 ? 只說明部分屬性集 思考問題： 數(shù)據(jù)預處理的意義是什么？其基本方法主要有哪些？ 什么是數(shù)據(jù)清理？其基本方法主要有哪些？ 什么是數(shù)據(jù)集成？數(shù)據(jù)集成主要涉及哪些問題？ 數(shù)據(jù)變換主要涉及哪些內(nèi)容？ 數(shù)據(jù)歸約的策略主要有哪些？ 簡述維歸約及其屬性子集選擇的基本啟發(fā)式方法。 許多離散化技術(shù)都可以遞歸使用，以便提供屬性值的分層或多分解劃分，即 概念分層 。 ? 在數(shù)據(jù)庫系統(tǒng)中， 多維索引樹 主要用于提供對數(shù)據(jù)的快速訪問；也可用于分層數(shù)據(jù)歸約，提供數(shù)據(jù)的多維聚類；也可用于提供查詢的近似回答。如果每個桶只代表單個 屬性值 /頻率 對，則該桶為 單桶 。對數(shù)線性模型 近似離散的多維概率分布。對于多于 2維的數(shù)據(jù)可以通過將問題歸約為 2維來處理。小波變換的有損壓縮比當前的商業(yè)標準 JPEG壓縮好。 ? 無損數(shù)據(jù)壓縮技術(shù)：原數(shù)據(jù)可以由壓縮數(shù)據(jù)重 新構(gòu)造而不丟失任何信息，所采用的壓縮技術(shù)。隨后每次迭代，將原屬性集剩下的屬性中的最好的屬性添加到該集合中。 第四節(jié) 數(shù)據(jù)歸約 維歸約 用于數(shù)據(jù)分析的數(shù)據(jù)可能包含數(shù)以百計的屬性，其中大部分屬性與挖掘任務(wù)不相關(guān)，是冗余的。4250 165。 ? 數(shù)據(jù)概化：使用概念分層，用高層概念替換低層“原始” 數(shù)據(jù)。 第二節(jié) 數(shù)據(jù)清理 不一致數(shù)據(jù) ?
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1