第2章數(shù)據(jù)倉庫的數(shù)據(jù)存儲與處理(已修改)
2025-01-19 13:12 本頁面
【正文】 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘 第 2章 數(shù)據(jù)倉庫的數(shù)據(jù) 存儲與處理 2 數(shù)據(jù)倉庫的三層數(shù)據(jù)結(jié)構(gòu) 數(shù)據(jù)倉庫的數(shù)據(jù)特征 數(shù)據(jù)倉庫的數(shù)據(jù) ETL過程 多維數(shù)據(jù)模型 主要內(nèi)容 3 數(shù)據(jù)倉庫的三層數(shù)據(jù)結(jié)構(gòu) 導(dǎo) 出 數(shù) 據(jù)( 如 : 數(shù) 據(jù) 集 市 )數(shù) 據(jù) 集 市元 數(shù) 據(jù)調(diào) 和 數(shù) 據(jù)( E D W O D S )E D W 元 數(shù) 據(jù)操 作 型 數(shù) 據(jù)( 如 : 業(yè) 務(wù) 處 理 系 統(tǒng) )操 作 型 元 數(shù) 據(jù)企 業(yè) 數(shù) 據(jù) 模 型數(shù)據(jù) 元數(shù)據(jù) 源數(shù)據(jù) 數(shù)據(jù)倉庫 中的數(shù)據(jù) 數(shù)據(jù)集市 中的數(shù)據(jù) 4 Data Warehouse Extract Transform Load Refresh OLAP服務(wù)器 Analysis Query Reports Data mining Monitor Integrator Metadata 數(shù)據(jù)源 前端工具 Serve Data Marts Operational DBs other sources 數(shù)據(jù)倉庫服務(wù)器 OLAP Server 操作型 （元）數(shù)據(jù) 數(shù)據(jù)倉庫 （元）數(shù)據(jù) 數(shù)據(jù)集市 （元）數(shù)據(jù) 5 數(shù)據(jù)倉庫的數(shù)據(jù)特征 、狀態(tài)數(shù)據(jù)與事件數(shù)據(jù) 描述對象的狀態(tài)即為狀態(tài)數(shù)據(jù)，描述對象發(fā)生的事件即為事件數(shù)據(jù) ,兩者關(guān)系為 : 狀態(tài)數(shù)據(jù) ?事件數(shù)據(jù) ?狀態(tài)數(shù)據(jù) 例如：銀行取款事件 K 帳戶 A余額 S1 ?銀行取款事件 K ?帳戶 A余額 S2 上述數(shù)據(jù)（含狀態(tài)數(shù)據(jù)和事件數(shù)據(jù)）均可以存儲在數(shù)據(jù)庫中。如： 事件數(shù)據(jù)： 日期 帳戶 取款標示 取款金額 43472 1 50000 狀態(tài)數(shù)據(jù) : 帳戶 日期 存 /取 金額 帳戶余額 … … … 43472 存款 7000 193000(S1) 43472 取款 5000 143000 (S2) 6 、當前數(shù)據(jù)與周期數(shù)據(jù) 商品名稱 2023725 2023725 100 200 A品牌方便面 B品牌衣服 A001 B002 更新日期 現(xiàn)有庫存量 商品名稱 商品編號 2023726 2023726 2023726 85 210 300 A品牌方便面 B品牌衣服 C品牌礦泉水 A001 B002 C003 更新日期 現(xiàn)有庫存量 商品編號 簡化的庫存表（當前數(shù)據(jù)類型） 1天后簡化的庫存表（當前數(shù)據(jù)類型） 當前數(shù)據(jù) 只保留當前的最新數(shù)據(jù)，現(xiàn)存的最新記錄將改變以前記錄中的內(nèi)容；即歷史數(shù)據(jù)將被破壞。如下表。 7 商品名稱 2023725 2023725 15 50 A品牌方便面 B品牌衣服 A001 B002 銷售日期 日銷售量 商品名稱 商品編號 2023725 2023725 2023726 2023726 15 50 30 25 A品牌方便面 B品牌衣服 C品牌礦泉水 A品牌方便面 A001 B002 C003 A001 銷售日期 日銷售量 商品編號 簡化的銷售日報表（周期數(shù)據(jù)類型） 1天后簡化簡化的銷售日報表（周期數(shù)據(jù)類型） 周期數(shù)據(jù) 不僅保留當前的最新數(shù)據(jù)，而且保留歷史數(shù)據(jù)。作為每條記錄，都有一個日期時間戳表示其發(fā)生日期。如下表。 8 數(shù)據(jù)倉庫中的元數(shù)據(jù) 元數(shù)據(jù)就是定義數(shù)據(jù)的數(shù)據(jù)，也就是說明數(shù)據(jù)倉庫對象的數(shù)據(jù) .可以分成技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)。 ?數(shù)據(jù)倉庫結(jié)構(gòu)的描述。如倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容 ?業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式 ?匯總用的算法 ?由操作環(huán)境到數(shù)據(jù)倉庫的映射 技術(shù)元數(shù)據(jù) 9 ? 操作元數(shù)據(jù)：包括數(shù)據(jù)血統(tǒng) (data lineage，即數(shù)據(jù)來源 )、數(shù)據(jù)類別 (currency of data)，對象名，屬性名等 ? 訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源 ? 商務(wù)元數(shù)據(jù)：商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息 ? 系統(tǒng)所提供的分析方法和公式、報表等信息 業(yè)務(wù)元數(shù)據(jù) 從業(yè)務(wù)角度描述數(shù)據(jù)倉庫的數(shù)據(jù) 10 表 23 元數(shù)據(jù)舉例 Table 邏輯名 學(xué)生 姓名 定義 學(xué)校的主要成員，主要進行學(xué)習(xí)任務(wù) 物理存儲 (數(shù)據(jù)庫表 ) 建立日期 2023年 9月 13日 最后更新日期 2023年 9月 13日 更新周期 每月 表邏輯程序名 STUDENT(程序名稱 ) 11 ?傳統(tǒng)的異種數(shù)據(jù)庫集成 查詢驅(qū)動 ?在多個異種數(shù)據(jù)庫上建立包裝程序（ wrappers）和中介程序（ mediators ） ?查詢驅(qū)動方法 —— 當從客戶端傳過來一個查詢時，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器；局部查詢集成為全局回答。 ?缺點：復(fù)雜的信息過濾和集成處理，競爭資源 ?數(shù)據(jù)倉庫 更新驅(qū)動 ?將來自多個異種源的信息預(yù)先集成，并存儲在數(shù)據(jù)倉庫中，供直接查詢和分析 ?高性能 數(shù)據(jù)倉庫的數(shù)據(jù) ETL過程 12 傳統(tǒng)的異種數(shù)據(jù)庫集成 : 數(shù)據(jù)倉庫 : 更新驅(qū)動 ．．．．．．． 查詢 轉(zhuǎn)換／集成 子結(jié)果／子查詢 異種數(shù)據(jù)庫 ．．．．．．． 查詢 查詢 數(shù)據(jù)歸集 異種數(shù)據(jù)庫 13 數(shù)據(jù)倉庫的數(shù)據(jù) ETL過程
公司管理相關(guān)推薦
鄂ICP備17016276號-1