數(shù)據(jù)挖掘05數(shù)據(jù)立方體-文庫吧
2025-04-19 03:06 本頁面
【正文】 ? 塊還可以進(jìn)一步被壓縮，以避免空數(shù)組單元導(dǎo)致的空間浪費(fèi)（處理稀疏立方體） ? （ 2）通過訪問立方體單元，計算聚集。 ? 可以優(yōu)化訪問單元組的次序，使得每個單元被訪問的次數(shù)最小化，從而減少內(nèi)存訪問和磁盤 I/O的開銷。 完全立方體計算的多路數(shù)組聚集方法 (2) ? 一個包含 A,B,C的 3D數(shù)組，假定維 A,B,C的基數(shù)分別是 400和4000 A(month) 40個值 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 4000個值 B(city) 400個值 44 28 56 40 24 52 36 20 60 哪個是多路數(shù)組聚集的最佳遍歷次序？ 將要物化的立方體： ?基本方體 ABC，已計算，對應(yīng)于給定的 3D數(shù)組 ?2D方體 AB， AC和 BC ?1D方體 A,B,C ?0D頂點(diǎn)方體，記作 all 完全立方體計算的多路數(shù)組聚集方法 (3) A(month) 40 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 400044 28 56 40 24 52 36 20 60 B(city) 400 通過掃描 ABC的 1～ 4塊，計算出塊 b0c0，然后塊內(nèi)存可以分配給下一刻 b1c0,如此繼續(xù)，可計算整個 BC方體（一次只需一個 BC塊在內(nèi)存） 完全立方體計算的多路數(shù)組聚集方法 (4) A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C 44 28 56 40 24 52 36 20 60 B ?BC方體的計算，必須掃描 64塊中的每一塊；計算其他塊亦然 ?多路數(shù)組聚集方法避免重復(fù)掃描：當(dāng)一個 3D塊在內(nèi)存時，向每一個平面同時聚集 完全立方體計算的多路數(shù)組聚集方法 (5) ? 方法：各平面要按他們大小的升序排列進(jìn)行排序和計算 ? 詳見書 P108例 44 ? 思想：將最小的平面放在內(nèi)存中，對最大的平面每次只是取并計算一塊 A B CB CA CA BA BCa l l內(nèi) 存 空 間 需 求 最 大 的 塊 計 算 次 序A B CB CA CA BA B Ca l l內(nèi) 存 空 間 需 求 最 小 的 塊 計 算 次 序完全立方體計算的多路數(shù)組聚集方法 (6) ? 根據(jù) 1到 64的掃描次序，在塊內(nèi)存中保存所有相關(guān)的 2D平面所需的最小存儲為： ? 40 400（用于整個 AB平面）＋ 40 1000（用于AC平面一行）＋ 100 1000（用于 BC平面一塊 )＝156， 000 ? 這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想 (要計算的立方體隨維數(shù)指數(shù)增長 ) ? 如果維的數(shù)目比較多，可以考慮使用“自底向上的計算”或者時“冰山方體” 計算 數(shù)據(jù)立方體計算與數(shù)據(jù)泛化（ 2） 數(shù)據(jù)泛化 ? 數(shù)據(jù)泛化 ? 通過將相對層次較低的值（如屬性 age的數(shù)值）用較高層次的概念（如青年、中年、老年）置換來匯總數(shù)據(jù) ? 主要方法： ? 數(shù)據(jù)立方體（ OLAP使用的方法） ? 面向?qū)傩缘臍w納方法 1 2 3 4 5 概念層 (17,18,19,…,34,35,36,…,56,57,…) (青年 ,中年 ,老年 ) 什么是概念描述？ ? 概念描述是一種數(shù)據(jù)泛化的形式。 ? 概念通常指數(shù)據(jù)的匯集 ? 如 frequent buyers， graduate students ? 概念描述產(chǎn)生數(shù)據(jù)的特征化和比較描述，當(dāng)所描述的概念所指的是對象類時，也稱為 類描述 ? 特征化 ：提供給定數(shù)據(jù)匯集的簡潔匯總 ? 比較 ：提供兩個或多個數(shù)據(jù)集的比較描述 概念描述 VS. OLAP ? 相似處： ? 數(shù)據(jù)泛化 ? 對數(shù)據(jù)的匯總在不同的抽象級別上進(jìn)行呈現(xiàn) ? 區(qū)別： ? 復(fù)雜的數(shù)據(jù)類型和聚集 ? OLAP中維和度量的數(shù)據(jù)類型都非常有限（非數(shù)值型的維和數(shù)值型的數(shù)據(jù)），表現(xiàn)為一種簡單的數(shù)據(jù)分析模型 ? 概念描述可以處理復(fù)雜數(shù)據(jù)類型的屬性及其聚集 ? 用戶控制與自動處理 ? OLAP是一個由用戶控制的過程 ? 概念描述則表現(xiàn)為一個更加自動化的過程 數(shù)據(jù)特征化的面向?qū)傩缘臍w納 ? 一種面向 關(guān)系數(shù)據(jù) 查詢的、基于 匯總 的 在線 數(shù)據(jù)分析技術(shù)。 ? 受數(shù)據(jù)類型和度量類型的約束比較少 ? 面向?qū)傩詺w納的基本思想： ? 使用關(guān)系數(shù)據(jù)庫查詢收集任務(wù)相關(guān)的數(shù)據(jù) ? 通過考察任務(wù)相關(guān)數(shù)據(jù)中每個屬性的不同值的個數(shù)進(jìn)行泛化，方法是屬性刪除或者是屬性泛化 ? 通過合并相等的，泛化的廣義元組，并累計他們對應(yīng)的計數(shù)值進(jìn)行聚集操作 ? 通過與用戶交互，將廣義關(guān)系以圖表或規(guī)則等形式，提交給用戶 數(shù)據(jù)聚焦 （ 1） ? 目的是獲得跟任務(wù)相關(guān)的數(shù)據(jù)集，包括屬性或維，在DMQL中他們由 in relevance to子句表示。 ? 示例： ? DMQL: 描述 BigUniversity數(shù)據(jù)庫中 研究生 的一般特征 use Big_University_DB mine characteristics as “Science_Students” in relevance to name, gender, major,
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1