數(shù)據(jù)挖掘3數(shù)據(jù)預(yù)處理(浙大)(參考版)
2024-10-22 19:44本頁面
【正文】 屬性集的規(guī)格 ? 根據(jù)在給定屬性集中，每個屬性所包含的不同值的個數(shù)，可以自動的生成概念分成；不同值個數(shù)最多的屬性將被放在概念分層的最底層。 ? 說明屬性集，但不說明它們的偏序，然后系統(tǒng)根據(jù)算法自動產(chǎn)生屬性的序，構(gòu)造有意義的概念分層。 ? 分類數(shù)據(jù)的概念分層生成方法： ? 由用戶或?qū)＜以谀Ｊ郊夛@式的說明屬性的部分序。 ? 聚類分析產(chǎn)生概念分層可能會將一個工資區(qū)間劃分為： [, ] ? 通常數(shù)據(jù)分析人員希望看到劃分的形式為 [50000，60000] ? 自然劃分的 345規(guī)則常被用來將數(shù)值數(shù)據(jù)劃分為相對一致，“更自然”的區(qū)間 自然劃分的 345規(guī)則 ? 規(guī)則的劃分步驟： ? 如果一個區(qū)間最高有效位上包含 3， 6， 7或 9個不同的值，就將該區(qū)間劃分為 3個等寬子區(qū)間； (7?2,3,2) ? 如果一個區(qū)間最高有效位上包含 2， 4，或 8個不同的值，就將該區(qū)間劃分為 4個等寬子區(qū)間； ? 如果一個區(qū)間最高有效位上包含 1， 5，或 10個不同的值，就將該區(qū)間劃分為 5個等寬子區(qū)間； ? 將該規(guī)則遞歸的應(yīng)用于每個子區(qū)間，產(chǎn)生給定數(shù)值屬性的概念分層； ? 對于數(shù)據(jù)集中出現(xiàn)的最大值和最小值的極端分布，為了避免上述方法出現(xiàn)的結(jié)果扭曲，可以在 頂層分段 時，選用一個大部分的概率空間。 ? 聚類分析 ? 將數(shù)據(jù)劃分成簇，每個簇形成同一個概念層上的一個節(jié)點，每個簇可再分成多個子簇，形成子節(jié)點。 ? 概念分層 ? 通過使用高層的概念（比如：青年、中年、老年）來替代底層的屬性值（比如：實際的年齡數(shù)據(jù)值）來規(guī)約數(shù)據(jù) 數(shù)據(jù)數(shù)值的離散化和概念分層生成 ? 分箱（ binning） ? 分箱技術(shù)遞歸的用于結(jié)果劃分，可以產(chǎn)生概念分層。 ? 線性回歸方法： Y=α+βX ? 多元回歸：線性回歸的擴充 ? 對數(shù)線性模型：近似離散的多維數(shù)據(jù)概率分布 ? 無參方法： ? 直方圖 ? 聚類 ? 選樣 直方圖 ? 一種流行的數(shù)據(jù)歸約技術(shù) ? 將某屬性的數(shù)據(jù)劃分為不相交的子集，或桶，桶中放置該值的出現(xiàn)頻率 ? 桶和屬性值的劃分規(guī)則 ? 等寬 ? 等深 ? V最優(yōu) ? MaxDiff 051015202530354010000 30000 50000 70000 90000聚類 ? 將數(shù)據(jù)集劃分為聚類，然后通過聚類來表示數(shù)據(jù)集 ? 如果數(shù)據(jù)可以組成各種不同的聚類，則該技術(shù)非常有效，反之如果數(shù)據(jù)界線模糊，則方法無效 ? 數(shù)據(jù)可以分層聚類，并被存儲在多層索引樹中 ? 聚類的定義和算法都有很多選擇 選樣 ? 允許用數(shù)據(jù)的較小隨機樣本（子集）表示大的數(shù)據(jù)集 ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1