數(shù)據(jù)倉庫第七章-wenkub
2023-03-28 09:06:41 本頁面
【正文】 一步可用下面兩種方法有效實(shí)現(xiàn)： (a)對每個概化元組，通過二分檢索將它插入主關(guān)系 P中。 （續(xù)） 概化過程會產(chǎn)生一系列內(nèi)容相同的數(shù)據(jù)行，相同內(nèi)容的數(shù)據(jù)行被合并成一個，并累計(jì)它們的計(jì)數(shù)值。因此，號碼和街道應(yīng)當(dāng)刪除，將居住地概化到居住城市。但如果假定國家的取值個數(shù)小于概化閾值，則出生地應(yīng)當(dāng)概化到出生國家。則通過對屬性概化和屬性概化控制，專業(yè)屬性被概化到指定的概念（如：科學(xué)，工程，商學(xué)）。 （續(xù)） 例 1（續(xù)）： 對前面得到的 初始工作關(guān)系的每個屬性，概化過程如下： ? 1）姓名： 由于姓名存在大量不同值，并且其上沒有定義概念分層，該屬性被刪除。 （續(xù)） (2)概化關(guān)系閾值控制 為概化關(guān)系設(shè)置一個閾值（通常取值范圍為 10到 30）。 若屬性概化沒有達(dá)到“足夠高的層次”，則“亞概化”也同樣可能使得到的規(guī)則變得失去意義。這就提出一個問題：多大才算“屬性具有大量不同值”？ （續(xù)） 這取決于屬性或應(yīng)用，有的用戶愿意讓屬性留在較低的抽象層，而另一些用戶愿意將它們概化到較高的抽象層。 姓名 性別 專業(yè) 出生地 出生日 居住地 電話 GPA 王東海 男 CS 合肥市 合肥市金寨 路 65號 05513665678 李哲 男 CS 合肥市 合肥市蕪湖 路 186號 05513656012 汪燕 女 PH 上海市 上海市高安 路 1250號 02162381960 初始工作關(guān)系：任務(wù)相關(guān)數(shù)據(jù)的集合 （續(xù)） 對已經(jīng)準(zhǔn)備好的數(shù)據(jù)，如何進(jìn)行基于屬性歸納？ ?AOI方法的第二步： 進(jìn)行數(shù)據(jù)概化操作，可用兩種方法之一進(jìn)行： 屬性刪除 ， 屬性概化 。在這些屬性中，用戶或許只考慮了城市屬性。 （續(xù)） 由于數(shù)據(jù)挖掘查詢通常只涉及 DB的一部分，選擇相關(guān)的數(shù)據(jù)集不僅使得挖掘更有效，而且與在整個 DB挖掘相比，能產(chǎn)生更有意義的規(guī)則。這自然就減少了概化后數(shù)據(jù)集的大小，所獲結(jié)果以圖表、規(guī)則等多種不同形式提供給用戶。如：描述中應(yīng)作用哪些維？概化過程應(yīng)進(jìn)行到哪個抽象層次上？這些問題均是由用戶負(fù)責(zé)提供答案的。 第七章 概念描述 概念描述基本知識 數(shù)據(jù)概化與基于匯總的特征化 解析特征化 — 屬性相關(guān)分析 挖掘概念比較 — 區(qū)分不同的類 數(shù)據(jù)概化與基于匯總的 特征化 數(shù)據(jù)概化是一個分析過程，它將 DB中與任務(wù)相關(guān)的大數(shù)據(jù)集從較低的概念層抽象到較高的概念層。 概念描述基本知識（續(xù)） 大型數(shù)據(jù)庫的概念描述和數(shù)據(jù)倉庫的 OLAP有何差別？ ?概念描述可處理復(fù)雜的數(shù)據(jù)類型和聚集。給定存放在 DB中的大量數(shù)據(jù)，能夠以簡潔的形式在更一般的抽象層描述數(shù)據(jù)是很有用的。 概念描述： 是描述式數(shù)據(jù)挖掘最基本形式，它以簡潔匯總的形式描述給定數(shù)據(jù)集，提供數(shù)據(jù)的有趣的一般特性。這種描述可提供 某類數(shù)據(jù)的概貌 以及 與其他數(shù)據(jù)類的區(qū)別 。此外，用戶希望方便靈活地以不同的粒度和從不同的角度描述數(shù)據(jù)集。 概念描述基本知識（續(xù)） 概念描述的組成： ?特征化 ：提供了一個有關(guān)數(shù)據(jù)整體的簡潔清晰描述。允許數(shù)據(jù)集在多個抽象層概化，便于考察數(shù)據(jù)的一般行為。 ?概念描述是自動處理數(shù)據(jù)挖掘過程。對大量數(shù)據(jù)進(jìn)行有效靈活的概化方法主要有兩種： ?數(shù)據(jù)立方體方法 ?基于屬性的歸納方法 利用 數(shù)據(jù)立方體方法 進(jìn)行數(shù)據(jù)概化，被分析的數(shù)據(jù)存放在一個多維數(shù)據(jù)庫中，通過對多維數(shù)據(jù)立方進(jìn)行上卷或下鉆操作，可完成數(shù)據(jù)概化和數(shù)據(jù)細(xì)化工作。 基本思想： 首先使用 RDB查詢收集任務(wù)相關(guān)的數(shù)據(jù)；然后通過考察任務(wù)相關(guān)數(shù)據(jù)中每個屬性的不同值的個數(shù)，進(jìn)行概化。 （續(xù)） ?例 1： 從一個大學(xué)數(shù)據(jù)庫的學(xué)生數(shù)據(jù)中挖掘出研究生的一般特征。 對用戶而言，指定挖掘的屬性可能比較困難。為了對出生地進(jìn)行概化處理，就必須將出生地概化所涉及到的其它屬性包含進(jìn)來。 （續(xù)） ?屬性刪除 基于如下規(guī)則： 若一個屬性有許多不同數(shù)值，且 (a)該屬性無法進(jìn)行概化操作 （如：沒有定義相應(yīng)的概念分層），或 (b)它的更高層次概念是用其他屬性描述的 ，則該屬性應(yīng)當(dāng)從數(shù)據(jù)集中刪除?？刂茖傩愿呕蕉喔叩某橄髮油ǔＪ窍喈?dāng)主觀的。 因此 在基于屬性歸納時， 掌握概化平衡 非常重要。如果概化關(guān)系中不同元組的個數(shù)超過該閾值，則應(yīng)當(dāng)進(jìn)一步概化；否則，不再進(jìn)一步概化。 ? 2）性別： 由于性別只有兩個不同值，該屬性保留，并不對其進(jìn)行概化。 （續(xù)） ? 4）出生地： 該屬性有大量不同值，因此應(yīng)當(dāng)概化它。 （續(xù)） ? 5）出生日期： 假定存在概念分層，可以將出生日期概化到年齡，而年齡概化到年齡分類，并且年齡分類的區(qū)間數(shù)小于對應(yīng)的屬性概化閾值，則應(yīng)當(dāng)對出生日期進(jìn)行概化。這樣可包含較少的不同值。最終結(jié)果如下表： 性別 專業(yè) 出生國 年齡區(qū)間 出生城市 GPA 累計(jì) 男 科學(xué) 中國 20— 25 合肥 良好 16 女 工程 中國 25— 30 上海 優(yōu)秀 22 對初始關(guān)系的數(shù)據(jù)進(jìn)行基于屬性歸納得到的廣義關(guān)系： ? 算法： 基于屬性的歸納 ? 輸入 ： (1)關(guān)系 D
法律信息相關(guān)推薦
鄂ICP備17016276號-1