數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(參考版)
2025-05-18 09:35本頁面
【正文】 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)的主要用途包括： ? 用作目錄，幫助決策支持系統(tǒng)分析者對數(shù)據(jù)倉庫的內容定義 ? 作為數(shù)據(jù)倉庫和操作性數(shù)據(jù)庫之間進行數(shù)據(jù)轉換時的映射標準 ? 用于指導當前細節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。 A(month) 40個值 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 4000個值 B(city) 400個值 44 28 56 40 24 52 36 20 60 哪個是多路數(shù)組聚集的最佳遍歷次序？ 方體計算的多路數(shù)組聚集方法 (2) A(month) 40 B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C(item) 400044 28 56 40 24 52 36 20 60 B(city) 400 方體計算的多路數(shù)組聚集方法 (3) A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64 63 62 61 48 47 46 45 a1 a0 c3 c2 c1 c 0 b3 b2 b1 b0 a2 a3 C 44 28 56 40 24 52 36 20 60 B 方體計算的多路數(shù)組聚集方法 (4) ? 方法：各平面要按他們大小的升序排列進行排序和計算 ? 詳見書 P50 例 (P52 圖 216有誤 ） ? 思想：將最小的平面放在內存中，對最大的平面每次只是取并計算一塊 A B CB CA CA BA BCa l l內 存 空 間 需 求 最 大 的 塊 計 算 次 序A B CB CA CA BA B Ca l l內 存 空 間 需 求 最 小 的 塊 計 算 次 序方體計算的多路數(shù)組聚集方法 (5) ? 根據(jù) 1到 64的掃描次序，在塊內存中保存所有相關的 2D平面所需的最小存儲為： ? 40 400（用于整個 AB平面）＋ 40 1000（用于AC平面一行）＋ 100 1000（用于 BC平面一塊 )＝156， 000 ? 這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想 (要計算的立方體隨維數(shù)指數(shù)增長 ) ? 如果維的數(shù)目比較多，可以考慮使用“自底向上的計算”或者時“冰山方體” 計算 OLAP查詢的有效處理 ? 確定哪些操作應當在可利用的方體上執(zhí)行： ? 將查詢中的選擇、投影、上卷和下鉆等操作轉化為對應的 SQL或 /和 OLAP操作，如： dice = selection + projection ? 確定相關操作應當使用哪些物化的方體 ? 找尋 MOLAP中可以利用的索引結構以及壓縮的或是稠密的數(shù)組結構 有效處理 OLAP查詢（示例） 立方體的定義為： sales[time,item,location]: sum(sales_in_dollar) time的維層次 dayweekmonthquateryear location的維層次 streetcityprovince_or_statecountry item的維層次 item_namebrandtype 現(xiàn)在要處理一個 year＝ 2021，定位在 brand和 province_or_state級別的查詢，現(xiàn)有四個可用的已經物化的方體： {item_name, city, year} {brand, country, year} {brand, province_or_state, year} {item_name, province_or_state}其中 year＝ 2021 Question：以上四個方體，選那個來處理查詢？ (要考慮計算的量，以及可以使用的索引等因素） 元數(shù)據(jù)存儲 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。 ? 可以由以前計算的聚集計算新的聚集，而不必有基本事實表計算 ? 基于 MOLAP方法（底層使用多維數(shù)組存儲數(shù)據(jù)） ? 多路數(shù)組聚集的計算方法 ? 將數(shù)組切成塊（每個塊都可以整個裝入內存） ? 通過訪問各個塊來計算匯總值 方體計算的多路數(shù)組聚集方法 (1) ? 將數(shù)組分成塊（ chunk,一個可以裝入內存的小子方） ? 通過訪問立方體單元，計算聚集。其范圍限于選定的主題，比如一個商場的數(shù)據(jù)集市 ? 獨立的數(shù)據(jù)集市 VS. 非獨立的數(shù)據(jù)集市（數(shù)據(jù)來自于企業(yè)數(shù)據(jù)倉庫） ? 虛擬倉庫 ? 操作數(shù)據(jù)庫上的一系列視圖 ? 只有一些可能的匯總視圖被物化 數(shù)據(jù)倉庫開發(fā)：困難與方法 ? 數(shù)據(jù)倉庫開發(fā)上的困難 ? 自頂向下的開發(fā)方法從全系統(tǒng)的角度提供解決方案，使得（模塊）集成的問題最?。坏窃摲椒ㄊ职嘿F，需要對組織進行長期研究和建模分析。比如： location維的定義，officecitycountryregion；這些屬性 按一個全序相關，形成一個層次結構： year day quarter month week 維的屬性也可以組成一個偏序，形成一個格： 概念分層 (3) ——使用 ? 概念分層為不同級別上的數(shù)據(jù)匯總提供了一個良好的基礎 ? 綜合概念分層和多維數(shù)據(jù)模型的潛力，可以對數(shù)據(jù)獲得更深入的洞察力 ? 通過在多維數(shù)據(jù)模型中，在不同的維上定義概念分層，使得用戶在不同的維上從不同的層次對數(shù)據(jù)進行觀察成為可能。 ? 比如： avg()， min_N()， standard_deviation() ? 整體的 (holistic)：描述函數(shù)的子聚集所需的存儲沒有一個常數(shù)界。 ? (剛才的示例中用的是什么函數(shù)？ ) ? 度量可以根據(jù)其所用的聚集函數(shù)分為三類： ? 分布的 (distributive)：將函數(shù)用于 n個聚集值得到的結果和將函數(shù)用于所有數(shù)據(jù)得到的結果一樣。結果，模式圖形成類似于雪花的形狀。 ? 星型模式（ Star schema） : 事實表在中心，周圍圍繞地連接著維表（每維一個），事實表含有大量數(shù)據(jù)，沒有冗余。 數(shù)據(jù)立方體 ——一個方體的格 all time item location supplier time,item time,location time,supplier item,location item,supplier location,supplier time,item,location time,item,supplier time,location,supplier item,location,supplier time, item, location, supplier 0D(頂點 ) 方體 1D方體 2D 方體 3D 方體 4D(基本 ) 方體 數(shù)據(jù)倉庫的概念模型 ? 最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。給定一個維的集合，我們可以構造一個 方體的格 ，每個都在不同的匯總級或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體 。每個維都有一個表與之相關聯(lián)，稱為 維表 。 ? 不需要事務處理，恢復，和并發(fā)控制等機制 ? 只需要兩種數(shù)據(jù)訪問 : ? 數(shù)據(jù)的初始轉載和數(shù)據(jù)訪問（讀操作） 數(shù)據(jù)倉庫的構建與使用
公司管理相關推薦
鄂ICP備17016276號-1