第2章數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)與處理(更新版)
【正文】 局部查詢處理器；局部查詢集成為全局回答。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘 第 2章 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù) 存儲(chǔ)與處理 2 數(shù)據(jù)倉(cāng)庫(kù)的三層數(shù)據(jù)結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)特征 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù) ETL過(guò)程 多維數(shù)據(jù)模型 主要內(nèi)容 3 數(shù)據(jù)倉(cāng)庫(kù)的三層數(shù)據(jù)結(jié)構(gòu) 導(dǎo) 出 數(shù) 據(jù)( 如 : 數(shù) 據(jù) 集 市 )數(shù) 據(jù) 集 市元 數(shù) 據(jù)調(diào) 和 數(shù) 據(jù)( E D W O D S )E D W 元 數(shù) 據(jù)操 作 型 數(shù) 據(jù)( 如 : 業(yè) 務(wù) 處 理 系 統(tǒng) )操 作 型 元 數(shù) 據(jù)企 業(yè) 數(shù) 據(jù) 模 型數(shù)據(jù) 元數(shù)據(jù) 源數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù) 中的數(shù)據(jù) 數(shù)據(jù)集市 中的數(shù)據(jù) 4 Data Warehouse Extract Transform Load Refresh OLAP服務(wù)器 Analysis Query Reports Data mining Monitor Integrator Metadata 數(shù)據(jù)源 前端工具 Serve Data Marts Operational DBs other sources 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器 OLAP Server 操作型 （元）數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù) （元）數(shù)據(jù) 數(shù)據(jù)集市 （元）數(shù)據(jù) 5 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)特征 、狀態(tài)數(shù)據(jù)與事件數(shù)據(jù) 描述對(duì)象的狀態(tài)即為狀態(tài)數(shù)據(jù)，描述對(duì)象發(fā)生的事件即為事件數(shù)據(jù) ,兩者關(guān)系為 : 狀態(tài)數(shù)據(jù) ?事件數(shù)據(jù) ?狀態(tài)數(shù)據(jù) 例如：銀行取款事件 K 帳戶 A余額 S1 ?銀行取款事件 K ?帳戶 A余額 S2 上述數(shù)據(jù)（含狀態(tài)數(shù)據(jù)和事件數(shù)據(jù)）均可以存儲(chǔ)在數(shù)據(jù)庫(kù)中。 ?數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述。 ? 人工填寫空缺值 ：工作量大，可行性低 ? 使用一個(gè) 全局常量填充空缺值 ：比如使用 unknown或 ∞ ? 使用屬性的 平均值 填充空缺值 ? 使用與給定元組 屬同一類的所有樣本的平均值 ? 使用最可能的值填充空缺值：使用 Bayesian公式或判定樹(shù) 等基于推斷的方法確定。 1）不是關(guān)系情形 2）不同域情形 3）源數(shù)據(jù)有錯(cuò)誤情形 28 （ Transform） １）數(shù)據(jù)集成 ?數(shù)據(jù)集成： 將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)整合到一個(gè)一致的數(shù)據(jù)存儲(chǔ)（如數(shù)據(jù)倉(cāng)庫(kù)）中。 １）數(shù)據(jù)集成（續(xù)） 31 ２）數(shù)據(jù)變換 ? 平滑： 去除數(shù)據(jù)中的噪聲。 例 ：（ 一般映射到 [0， 1]區(qū)間） 工資在 700~12023之間，則工資 7830規(guī)范化后為： V’=（ 7830700） /（ 12023700） *（ 10） +0= 33 數(shù)據(jù)變換 —— 規(guī)范化 39。 ?好處：減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解。 2. 為特定用戶和特定應(yīng)用定制的數(shù)據(jù)，并為之提供快速響應(yīng)。 例如： 時(shí)間維包括年 、 月 、 日；地理維包括省 、 市 、 縣 。 45 ?事實(shí)星座模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city province_or_state country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch Shipping Fact Table time_key item_key shipper_key from_location to_location dollars_cost units_shipped shipper_key shipper_name location_key shipper_type shipper 46 ?數(shù)據(jù)綜合級(jí)別 ? 早期細(xì)節(jié)級(jí) ? 當(dāng)前細(xì)節(jié)級(jí) ? 輕度綜合級(jí) ? 高度綜合級(jí) ?數(shù)據(jù)的粒度 衡量綜合級(jí)別的指標(biāo) ? 數(shù)據(jù)粒度越小 → 信息越細(xì)節(jié) → 數(shù)據(jù)粒度級(jí)別越低 → 數(shù)據(jù)量越大 ? 數(shù)據(jù)粒度越大 → 綜合度越高 → 數(shù)據(jù)粒度級(jí)別越高 → 數(shù)據(jù)量越小 數(shù)據(jù)綜合級(jí)別與粒度 ?確定粒度級(jí)別需要考慮的因素 ? 分析類型 ? 數(shù)據(jù)最低粒度 ? 存儲(chǔ)數(shù)據(jù)量 47 當(dāng)前細(xì)節(jié)級(jí) 輕度綜合級(jí) 高度綜合級(jí) 最近 3個(gè)月 （ 2023年 1月 2023年 3月） 客戶呼叫詳細(xì)數(shù)據(jù) 19952023年按 月統(tǒng)計(jì)的客戶呼叫 信息 19952023年按 季度統(tǒng)計(jì)的客戶 呼叫信息 19952023年按年統(tǒng) 計(jì)的客戶呼叫信息 2023年 1月以前的呼叫詳細(xì) 數(shù)據(jù) 2023/3數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的狀態(tài) 最近 3個(gè)月 （ 2023年 2月 2023年 4月） 客戶呼叫詳細(xì)數(shù)據(jù) 19952023年按 月統(tǒng)計(jì)的客戶呼叫 信息 19952023年按 季度統(tǒng)計(jì)的客戶 呼叫信息 19952023年按年統(tǒng) 計(jì)的客戶呼叫信息 2023年 2月以前的呼叫詳細(xì) 數(shù)據(jù) 2023/4數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的狀態(tài) 早期細(xì)節(jié)級(jí) 48 ? 多維數(shù)據(jù)庫(kù) （ MDDB） 數(shù)據(jù)存儲(chǔ)在大量的多維數(shù)組中 ， 而不是關(guān)系表中 ,與之相對(duì)應(yīng)的是多維聯(lián)機(jī)分析處理 （ MOLAP） 。 演講完畢，謝謝觀看！
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1