數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(shù)-資料下載頁
2025-05-14 09:35本頁面
【正文】 ? 在某些子聚集上分組，作為“部分分組步驟”。 ? 可以由以前計(jì)算的聚集計(jì)算新的聚集，而不必有基本事實(shí)表計(jì)算 ? 基于 MOLAP方法（底層使用多維數(shù)組存儲(chǔ)數(shù)據(jù)） ? 多路數(shù)組聚集的計(jì)算方法 ? 將數(shù)組切成塊（每個(gè)塊都可以整個(gè)裝入內(nèi)存） ? 通過訪問各個(gè)塊來計(jì)算匯總值 方體計(jì)算的多路數(shù)組聚集方法 (1) ? 將數(shù)組分成塊（ chunk,一個(gè)可以裝入內(nèi)存的小子方） ? 通過訪問立方體單元，計(jì)算聚集?？梢詢?yōu)化訪問單元組的次序，使得每個(gè)單元被訪問的次數(shù)最小化，從而減少內(nèi)存訪問和磁盤 I/O的開銷。 A(month) 40個(gè)值 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 4000個(gè)值 B(city) 400個(gè)值 44 28 56 40 24 52 36 20 60 哪個(gè)是多路數(shù)組聚集的最佳遍歷次序？ 方體計(jì)算的多路數(shù)組聚集方法 (2) A(month) 40 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 400044 28 56 40 24 52 36 20 60 B(city) 400 方體計(jì)算的多路數(shù)組聚集方法 (3) A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C 44 28 56 40 24 52 36 20 60 B 方體計(jì)算的多路數(shù)組聚集方法 (4) ? 方法：各平面要按他們大小的升序排列進(jìn)行排序和計(jì)算 ? 詳見書 P50 例 (P52 圖 216有誤 ） ? 思想：將最小的平面放在內(nèi)存中，對(duì)最大的平面每次只是取并計(jì)算一塊 A B CB CA CA BA BCa l l內(nèi) 存 空 間 需 求 最 大 的 塊 計(jì) 算 次 序A B CB CA CA BA B Ca l l內(nèi) 存 空 間 需 求 最 小 的 塊 計(jì) 算 次 序方體計(jì)算的多路數(shù)組聚集方法 (5) ? 根據(jù) 1到 64的掃描次序，在塊內(nèi)存中保存所有相關(guān)的 2D平面所需的最小存儲(chǔ)為： ? 40 400（用于整個(gè) AB平面）＋ 40 1000（用于AC平面一行）＋ 100 1000（用于 BC平面一塊 )＝156， 000 ? 這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想 (要計(jì)算的立方體隨維數(shù)指數(shù)增長 ) ? 如果維的數(shù)目比較多，可以考慮使用“自底向上的計(jì)算”或者時(shí)“冰山方體” 計(jì)算 OLAP查詢的有效處理 ? 確定哪些操作應(yīng)當(dāng)在可利用的方體上執(zhí)行： ? 將查詢中的選擇、投影、上卷和下鉆等操作轉(zhuǎn)化為對(duì)應(yīng)的 SQL或 /和 OLAP操作，如： dice = selection + projection ? 確定相關(guān)操作應(yīng)當(dāng)使用哪些物化的方體 ? 找尋 MOLAP中可以利用的索引結(jié)構(gòu)以及壓縮的或是稠密的數(shù)組結(jié)構(gòu) 有效處理 OLAP查詢（示例） 立方體的定義為： sales[time,item,location]: sum(sales_in_dollar) time的維層次 dayweekmonthquateryear location的維層次 streetcityprovince_or_statecountry item的維層次 item_namebrandtype 現(xiàn)在要處理一個(gè) year＝ 2021，定位在 brand和 province_or_state級(jí)別的查詢，現(xiàn)有四個(gè)可用的已經(jīng)物化的方體： {item_name, city, year} {brand, country, year} {brand, province_or_state, year} {item_name, province_or_state}其中 year＝ 2021 Question：以上四個(gè)方體，選那個(gè)來處理查詢？ (要考慮計(jì)算的量，以及可以使用的索引等因素） 元數(shù)據(jù)存儲(chǔ) ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對(duì)象的數(shù)據(jù)。有以下幾種： ? 數(shù)據(jù)倉庫結(jié)構(gòu)的描述 ? 倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容 ? 操作元數(shù)據(jù) ? 包括數(shù)據(jù)血統(tǒng) (data lineage)、數(shù)據(jù)類別 (currency of data)，以及監(jiān)視信息 ? 匯總用的算法 ? 由操作環(huán)境到數(shù)據(jù)倉庫的映射 ? 關(guān)于系統(tǒng)性能的數(shù)據(jù) ? 索引， profiles，數(shù)據(jù)刷新、更新或復(fù)制事件的調(diào)度和定時(shí) ? 商務(wù)元數(shù)據(jù) ? 商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息、收費(fèi)政策等 元數(shù)據(jù)的使用 ? 元數(shù)據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個(gè)模型的結(jié)構(gòu)方面的信息。 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)的主要用途包括： ? 用作目錄，幫助決策支持系統(tǒng)分析者對(duì)數(shù)據(jù)倉庫的內(nèi)容定義 ? 作為數(shù)據(jù)倉庫和操作性數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換時(shí)的映射標(biāo)準(zhǔn) ? 用于指導(dǎo)當(dāng)前細(xì)節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導(dǎo)稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。 數(shù)據(jù)倉庫后端工具和程序 ? 數(shù)據(jù)倉庫后端工具主要指的是用來裝入和刷新數(shù)據(jù)的工具，包括： ? 數(shù)據(jù)提取： ? 從多個(gè)外部的異構(gòu)數(shù)據(jù)源收集數(shù)據(jù) ? 數(shù)據(jù)清理 ? 檢測數(shù)據(jù)種的錯(cuò)誤并作可能的訂正 ? 數(shù)據(jù)變換 ? 將數(shù)據(jù)由歷史或主機(jī)的格式轉(zhuǎn)化為數(shù)據(jù)倉庫的格式 ? 裝載 ? 排序、匯總、合并、計(jì)算視圖，檢查完整性，并建立索引和分區(qū) ? 刷新 ? 將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉庫中 數(shù)據(jù)倉庫的應(yīng)用 ? 數(shù)據(jù)倉庫的三種應(yīng)用 ? 信息處理 ? 支持查詢和基本的統(tǒng)計(jì)分析，并使用交叉表、表、圖標(biāo)和圖進(jìn)行報(bào)表處理 ? 分析處理 ? 對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)分析 ? 支持基本的 OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等 ? 數(shù)據(jù)挖掘 ? 從隱藏模式中發(fā)現(xiàn)知識(shí) ? 支持關(guān)聯(lián)分析，構(gòu)建分析性模型，分類和預(yù)測，并用可視化工具呈現(xiàn)挖掘的結(jié)果 ? 三種應(yīng)用間的差別 從聯(lián)機(jī)分析處理到聯(lián)機(jī)分析挖掘 ? 為什么要聯(lián)機(jī)分析挖掘 ? 數(shù)據(jù)倉庫中有高質(zhì)量的數(shù)據(jù) ? 數(shù)據(jù)倉庫中存放著整合的、一致的、清理過的數(shù)據(jù) ? 圍繞數(shù)據(jù)倉庫的信息處理結(jié)構(gòu) ? 存取、集成、合并多個(gè)異種數(shù)據(jù)庫的轉(zhuǎn)換，ODBC/OLEDB連接 ,Web訪問和訪問工具等 ? 基于 OLAP的探測式數(shù)據(jù)分析 ? 使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進(jìn)行數(shù)據(jù)挖掘 ? 數(shù)據(jù)挖掘功能的聯(lián)機(jī)選擇 ? 多種數(shù)據(jù)挖掘功能、算法和任務(wù)的整合 聯(lián)機(jī)分析挖掘的體系結(jié)構(gòu) 數(shù)據(jù)倉庫 元數(shù)據(jù) 多維數(shù)據(jù)庫 OLAM 引擎 OLAP 引擎 用戶圖形界面 API 數(shù)據(jù)方體 API 數(shù)據(jù)庫 API 數(shù)據(jù)清理 數(shù)據(jù)集成 第三層 OLAP/OLAM 第二層 多維數(shù)據(jù)庫 第一層 數(shù)據(jù)存儲(chǔ) 第四層 用戶界面 數(shù)據(jù)的過濾、集成 過濾 數(shù)據(jù)庫 基于約束的數(shù)據(jù)挖掘 挖掘結(jié)果
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1