數(shù)據(jù)挖掘2、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(shù)-資料下載頁
2025-03-08 10:50本頁面
【正文】 關系模型存儲數(shù)據(jù)） ? 將排序、散列 (hashing)和分組操作應用于維的屬性，以便對相關元組重新排序和聚類 ? 在某些子聚集上分組，作為“部分分組步驟”。 ? 可以由以前計算的聚集計算新的聚集，而不必有基本事實表計算 ? 基于 MOLAP方法（底層使用多維數(shù)組存儲數(shù)據(jù)） ? 多路數(shù)組聚集的計算方法 ? 將數(shù)組切成塊（每個塊都可以整個裝入內(nèi)存） ? 通過訪問各個塊來計算匯總值 方體計算的多路數(shù)組聚集方法 (1) ? 將數(shù)組分成塊（ chunk,一個可以裝入內(nèi)存的小子方） ? 通過訪問立方體單元，計算聚集?？梢詢?yōu)化訪問單元組的次序，使得每個單元被訪問的次數(shù)最小化，從而減少內(nèi)存訪問和磁盤 I/O的開銷。 A(month) 40個值 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 4000個值 B(city) 400個值 44 28 56 40 24 52 36 20 60 哪個是多路數(shù)組聚集的最佳遍歷次序？ 方體計算的多路數(shù)組聚集方法 (2) A(month) 40 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 400044 28 56 40 24 52 36 20 60 B(city) 400 方體計算的多路數(shù)組聚集方法 (3) A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C 44 28 56 40 24 52 36 20 60 B 方體計算的多路數(shù)組聚集方法 (4) ? 方法：各平面要按他們大小的升序排列進行排序和計算 ? 思想：將最小的平面放在內(nèi)存中，對最大的平面每次只是取并計算一塊 A B CB CA CA BA BCa l l內(nèi) 存 空 間 需 求 最 大 的 塊 計 算 次 序A B CB CA CA BA B Ca l l內(nèi) 存 空 間 需 求 最 小 的 塊 計 算 次 序方體計算的多路數(shù)組聚集方法 (5) ? 根據(jù) 1到 64的掃描次序，在塊內(nèi)存中保存所有相關的 2D平面所需的最小存儲為： ? 40 400（用于整個 AB平面）＋ 40 1000（用于AC平面一行）＋ 100 1000（用于 BC平面一塊 )＝156， 000 ? 這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想 (要計算的立方體隨維數(shù)指數(shù)增長 ) ? 如果維的數(shù)目比較多，可以考慮使用“自底向上的計算”或者時“冰山方體” 計算 OLAP查詢的有效處理 ? 確定哪些操作應當在可利用的方體上執(zhí)行： ? 將查詢中的選擇、投影、上卷和下鉆等操作轉(zhuǎn)化為對應的 SQL或 /和 OLAP操作，如： dice = selection + projection ? 確定相關操作應當使用哪些物化的方體 ? 找尋 MOLAP中可以利用的索引結(jié)構(gòu)以及壓縮的或是稠密的數(shù)組結(jié)構(gòu) 有效處理 OLAP查詢（示例） 立方體的定義為： sales[time,item,location]: sum(sales_in_dollar) time的維層次 dayweekmonthquateryear location的維層次 streetcityprovince_or_statecountry item的維層次 item_namebrandtype 現(xiàn)在要處理一個 year＝ 2023，定位在 brand和 province_or_state級別的查詢，現(xiàn)有四個可用的已經(jīng)物化的方體： {item_name, city, year} {brand, country, year} {brand, province_or_state, year} {item_name, province_or_state}其中 year＝ 2023 Question：以上四個方體，選那個來處理查詢？ (要考慮計算的量，以及可以使用的索引等因素） 元數(shù)據(jù)存儲 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。有以下幾種： ? 數(shù)據(jù)倉庫結(jié)構(gòu)的描述 ? 倉庫模式、視圖、維、層次結(jié)構(gòu)、導出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容 ? 操作元數(shù)據(jù) ? 包括數(shù)據(jù)血統(tǒng) (data lineage)、數(shù)據(jù)類別 (currency of data)，以及監(jiān)視信息 ? 匯總用的算法 ? 由操作環(huán)境到數(shù)據(jù)倉庫的映射 ? 關于系統(tǒng)性能的數(shù)據(jù) ? 索引， profiles，數(shù)據(jù)刷新、更新或復制事件的調(diào)度和定時 ? 商務元數(shù)據(jù) ? 商務術(shù)語和定義、數(shù)據(jù)擁有者信息、收費政策等 元數(shù)據(jù)的使用 ? 元數(shù)據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個模型的結(jié)構(gòu)方面的信息。 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)的主要用途包括： ? 用作目錄，幫助決策支持系統(tǒng)分析者對數(shù)據(jù)倉庫的內(nèi)容定義 ? 作為數(shù)據(jù)倉庫和操作性數(shù)據(jù)庫之間進行數(shù)據(jù)轉(zhuǎn)換時的映射標準 ? 用于指導當前細節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。 數(shù)據(jù)倉庫后端工具和程序 ? 數(shù)據(jù)倉庫后端工具主要指的是用來裝入和刷新數(shù)據(jù)的工具，包括： ? 數(shù)據(jù)提取： ? 從多個外部的異構(gòu)數(shù)據(jù)源收集數(shù)據(jù) ? 數(shù)據(jù)清理 ? 檢測數(shù)據(jù)種的錯誤并作可能的訂正 ? 數(shù)據(jù)變換 ? 將數(shù)據(jù)由歷史或主機的格式轉(zhuǎn)化為數(shù)據(jù)倉庫的格式 ? 裝載 ? 排序、匯總、合并、計算視圖，檢查完整性，并建立索引和分區(qū) ? 刷新 ? 將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉庫中 數(shù)據(jù)倉庫的應用 ? 數(shù)據(jù)倉庫的三種應用 ? 信息處理 ? 支持查詢和基本的統(tǒng)計分析，并使用交叉表、表、圖標和圖進行報表處理 ? 分析處理 ? 對數(shù)據(jù)倉庫中的數(shù)據(jù)進行多維數(shù)據(jù)分析 ? 支持基本的 OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等 ? 數(shù)據(jù)挖掘 ? 從隱藏模式中發(fā)現(xiàn)知識 ? 支持關聯(lián)分析，構(gòu)建分析性模型，分類和預測，并用可視化工具呈現(xiàn)挖掘的結(jié)果 ? 三種應用間的差別 從聯(lián)機分析處理到聯(lián)機分析挖掘 ? 為什么要聯(lián)機分析挖掘 ? 數(shù)據(jù)倉庫中有高質(zhì)量的數(shù)據(jù) ? 數(shù)據(jù)倉庫中存放著整合的、一致的、清理過的數(shù)據(jù) ? 圍繞數(shù)據(jù)倉庫的信息處理結(jié)構(gòu) ? 存取、集成、合并多個異種數(shù)據(jù)庫的轉(zhuǎn)換，ODBC/OLEDB連接 ,Web訪問和訪問工具等 ? 基于 OLAP的探測式數(shù)據(jù)分析 ? 使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進行數(shù)據(jù)挖掘 ? 數(shù)據(jù)挖掘功能的聯(lián)機選擇 ? 多種數(shù)據(jù)挖掘功能、算法和任務的整合 聯(lián)機分析挖掘的體系結(jié)構(gòu) 數(shù)據(jù)倉庫 元數(shù)據(jù) 多維數(shù)據(jù)庫 OLAM 引擎 OLAP 引擎 用戶圖形界面 API 數(shù)據(jù)方體 API 數(shù)據(jù)庫 API 數(shù)據(jù)清理 數(shù)據(jù)集成 第三層 OLAP/OLAM 第二層 多維數(shù)據(jù)庫 第一層 數(shù)據(jù)存儲 第四層 用戶界面 數(shù)據(jù)的過濾、集成 過濾 數(shù)據(jù)庫 基于約束的數(shù)據(jù)挖掘 挖掘結(jié)果 演講完畢，謝謝觀看！
公司管理相關推薦
鄂ICP備17016276號-1