【正文】 的數(shù)據(jù)不能很好的解決 ? 相同深度 （頻率）數(shù)據(jù)分割 ? 將數(shù)據(jù)分成 N等份，各個等份具有相同的數(shù)據(jù)個數(shù)。 ? 具有較好的可伸縮性 ? 適合于數(shù)據(jù)分類的情況 3/10/2023 69 離散化：直方圖方法 ? 將數(shù)據(jù)分割到若干個桶之中，用桶中的平均值（或求和等）來表示各個桶。 ? 可以通過編程，動態(tài)修改部分參數(shù)，進行合理構(gòu)造。 count 5 10 15 20 25 30 1 2 3 4 5 6 7 8 9 10 110 1120 2130 5 10 15 20 25 13 25 15 Price Price count 3/10/2023 70 離散化：聚類分析方法 ? 將數(shù)據(jù)按照“類內(nèi)最大相似度，類間最小相似度的原則”對數(shù)據(jù)進行有效聚類 ? 利用聚類的中心點來表示該類所包含的對象 ? 數(shù)據(jù)聚類將非常有效，但是必須保證數(shù)據(jù)中沒有噪音數(shù)據(jù) 3/10/2023 71 按照自然分類進行數(shù)據(jù)分割 ? 利用 345 法則對數(shù)字型數(shù)據(jù)分類，將數(shù)據(jù)分成若干個“自然”的區(qū)間： ? 如果在所有數(shù)字的最高位覆蓋 3, 6, 7或 9個不同的值，則將數(shù)據(jù)分成 3段。 3（ 1， 1， 1） 6（ 2， 2， 2） 7（ 2，3， 2） 9（ 3， 3， 3） ? 如果在所有數(shù)字的最高位覆蓋 2, 4, 8個不同的值，則將數(shù)據(jù)分成 4 段。 ? 如果在所有數(shù)字的最高位覆蓋 1, 5, 10個不同的值，則將數(shù)據(jù)分成 5 段。 3/10/2023 72 345 法則舉例 ? 例 1：包含數(shù)據(jù)： 10 1 20 22 30 315 ? 方法：最高位包含 3個值（ 3） ? 分成 [100， 200）， [200， 300）， [300， 400）三段 ? 例 2：包含數(shù)據(jù)： 10 1 10 42 40 415， 400 ? 方法：最高位包含 2個值（ 4） ? 分成 [100， 150）， [150， 200） ， [400， 450） ， [450， 500）四段 ? 例 3：包含數(shù)據(jù)： 10 2 20 32 30 415， 500 ? 方法：最高位包含 5個值（ 5） ? 分成 [100， 200）， [200， 300） ， [300， 400） ， [400， 500）， [500， 600）五段 3/10/2023 73 分類數(shù)據(jù)的概念分層 ? 概念分層是由用戶或?qū)＜覍哂衅蜿P(guān)系的屬性的一種層次關(guān)系的顯式表示。也是一種數(shù)據(jù)分類的顯式表示。 ? 概念層次的獲得 ? 隱式存儲于數(shù)據(jù)庫中。如：地址。 ? 由專家顯式給出。 ? 借助數(shù)據(jù)分析自動生成。 ? 概念層次的表示 ? 基于實例。如： {freshman, ..., senior}?undergraduate.； ? 基于數(shù)據(jù)庫表模式。如： address(city, province, country)。 ? 基于規(guī)則。如： good(x) ? undergraduate(x) ∧ gpa(x) ? 。 3/10/2023 74 概念層次樹舉例 概念層次樹將大大減少挖掘數(shù)據(jù)的數(shù)據(jù)量。 country province_or_ state city street 15 distinct values 65 distinct values 3567 distinct values 674,339 distinct values 3/10/2023 75 主要內(nèi)容 ? 為什么需要數(shù)據(jù)預處理 ? ? 數(shù)據(jù)清洗 ? 數(shù)據(jù)集成與轉(zhuǎn)換 ? 數(shù)據(jù)歸約 ? 數(shù)據(jù)離散化與概念層次的構(gòu)建 ? 本章小結(jié) 3/10/2023 76 本章小結(jié) ? 數(shù)據(jù)的預處理無論對于數(shù)據(jù)倉庫和數(shù)據(jù)挖掘都是非常重要的一個環(huán)節(jié) ? 數(shù)據(jù)預處理包括 ? 數(shù)據(jù)清理 ? 數(shù)據(jù)集成 ? 數(shù)據(jù)歸約和特征選取 ? 數(shù)據(jù)的離散化 ? 數(shù)據(jù)預處理涉及面廣，現(xiàn)已建立了一系列的方法，但是目前仍然是一個非常活躍的研究領(lǐng)域 3/10/2023 77 六，可視化數(shù)據(jù)挖掘 ? 可視化 : 使用計算機圖形學創(chuàng)建可視化圖像，幫助用戶理解復雜，大規(guī)模數(shù)據(jù) ? 可視化數(shù)據(jù)挖掘 : 使用可視化技術(shù)，從大規(guī)模數(shù)據(jù)集中發(fā)現(xiàn)隱含，有用知識的過程 信息 可視化 數(shù)據(jù) 挖掘 可視化 數(shù)據(jù) 挖掘 3/10/2023 78 信息可視化 ? 信息可視化：結(jié)合了科學可視化、人機交互、數(shù)據(jù)挖掘、圖像技術(shù)、圖形學、認知科學等諸多學科的理論和方法，而逐步發(fā)展起來的。 ? 信息可視化參考模型 3/10/2023 79 可視化數(shù)據(jù)挖掘 ?可視化的目的 ?提供對大規(guī)模數(shù)據(jù)集定性的理解 ?查看數(shù)據(jù)中的模式，趨勢，結(jié)構(gòu)，不規(guī)則性，關(guān)系等 ?幫助尋找感興趣的區(qū)域，為進一步定量分析提供合適的參數(shù) ?為計算機得出的結(jié)果提供可視化的證明 3/10/2023 80 可視化數(shù)據(jù)挖掘 ? 可視化與數(shù)據(jù)挖掘的結(jié)合 ?數(shù)據(jù)可視化 ?數(shù)據(jù)挖掘結(jié)果可視化 ?數(shù)據(jù)挖掘過程可視化 ?交互式可視化數(shù)據(jù)挖掘 3/10/2023 81 數(shù)據(jù)可視化 ? 數(shù)據(jù)可視化 ?以下面兩種方式觀察數(shù)據(jù)庫或數(shù)據(jù)倉庫的數(shù)據(jù)： ?在不同的粒度或抽象層面觀察 ?屬性或維度的不同結(jié)合 ?數(shù)據(jù)可以被表示成不同的格式，柱狀圖、餅狀圖、散點圖、三維立方體、曲線、數(shù)據(jù)分布圖表等 3/10/2023 82 MineSet －數(shù)據(jù)可視化 ? 數(shù)據(jù)的直方圖，均值，中值，標準差，四分位數(shù) 3/10/2023 83 數(shù)據(jù)挖掘結(jié)果可視化 ? 以視圖的形式給出由數(shù)據(jù)挖掘算法得出的結(jié)果或知識 ? 例如 ?決策樹 ?貝葉斯網(wǎng)絡(luò) ?關(guān)聯(lián)規(guī)則 ?聚類 ?孤立點 3/10/2023 84 SAS Enterprise Miner: scatter plots 3/10/2023 85 Visualization of association rules in MineSet 3/10/2023 86 Visualization of a decision tree in MineSet 3/10/2023 87 Visualization of cluster groupings in SAS 3/10/2023 88 數(shù)據(jù)挖掘過程可視化 ? 將數(shù)據(jù)挖掘各種處理過程用可視化的方式呈現(xiàn)給用戶，可以看到： ? 數(shù)據(jù)是如何被提取的 ? 是從哪個數(shù)據(jù)庫或數(shù)據(jù)倉庫提取的數(shù)據(jù) ? 被選擇數(shù)據(jù)如何被清理，整合，處理和挖掘的 ? 在數(shù)據(jù)挖掘中采用什么方法 ? 數(shù)據(jù)被存儲在哪里 3/10/2023 89 Visualization of Data Mining Processes by Clementine ? 可視化流程使得數(shù)據(jù)觀察和交互的變得簡單方便 3/10/2023 90 交互式可視化數(shù)據(jù)挖掘 ? 使用可視化工具在數(shù)據(jù)挖掘過程中幫助用戶作出更加合理的挖掘決定 ?更好的理解數(shù)據(jù)和樣本 ?用戶可以根據(jù)理解作出決定 ?用戶可以根據(jù)領(lǐng)域知識作出決定 ?可視化結(jié)果使用戶能夠指導下次算法執(zhí)行 3/10/2023 91 謝謝！ 3/10/2023 92 謝謝觀看 /歡迎下載 BY FAITH I MEAN A VISION OF GOOD ONE CHERISHES AND THE ENTHUSIASM THAT PUSHES ONE TO SEEK ITS FULFILLMENT REGARDLESS OF OBSTACLES. BY FAITH I BY FAITH