【正文】 局部查詢處理器；局部查詢集成為全局回答。數(shù)據(jù)倉庫與數(shù)據(jù)挖掘 第 2章 數(shù)據(jù)倉庫的數(shù)據(jù) 存儲與處理 2 數(shù)據(jù)倉庫的三層數(shù)據(jù)結(jié)構(gòu) 數(shù)據(jù)倉庫的數(shù)據(jù)特征 數(shù)據(jù)倉庫的數(shù)據(jù) ETL過程 多維數(shù)據(jù)模型 主要內(nèi)容 3 數(shù)據(jù)倉庫的三層數(shù)據(jù)結(jié)構(gòu) 導(dǎo) 出 數(shù) 據(jù)( 如 : 數(shù) 據(jù) 集 市 )數(shù) 據(jù) 集 市元 數(shù) 據(jù)調(diào) 和 數(shù) 據(jù)( E D W O D S )E D W 元 數(shù) 據(jù)操 作 型 數(shù) 據(jù)( 如 : 業(yè) 務(wù) 處 理 系 統(tǒng) )操 作 型 元 數(shù) 據(jù)企 業(yè) 數(shù) 據(jù) 模 型數(shù)據(jù) 元數(shù)據(jù) 源數(shù)據(jù) 數(shù)據(jù)倉庫 中的數(shù)據(jù) 數(shù)據(jù)集市 中的數(shù)據(jù) 4 Data Warehouse Extract Transform Load Refresh OLAP服務(wù)器 Analysis Query Reports Data mining Monitor Integrator Metadata 數(shù)據(jù)源 前端工具 Serve Data Marts Operational DBs other sources 數(shù)據(jù)倉庫服務(wù)器 OLAP Server 操作型 （元）數(shù)據(jù) 數(shù)據(jù)倉庫 （元）數(shù)據(jù) 數(shù)據(jù)集市 （元）數(shù)據(jù) 5 數(shù)據(jù)倉庫的數(shù)據(jù)特征 、狀態(tài)數(shù)據(jù)與事件數(shù)據(jù) 描述對象的狀態(tài)即為狀態(tài)數(shù)據(jù)，描述對象發(fā)生的事件即為事件數(shù)據(jù) ,兩者關(guān)系為 : 狀態(tài)數(shù)據(jù) ?事件數(shù)據(jù) ?狀態(tài)數(shù)據(jù) 例如：銀行取款事件 K 帳戶 A余額 S1 ?銀行取款事件 K ?帳戶 A余額 S2 上述數(shù)據(jù)（含狀態(tài)數(shù)據(jù)和事件數(shù)據(jù)）均可以存儲在數(shù)據(jù)庫中。 ?數(shù)據(jù)倉庫結(jié)構(gòu)的描述。 ? 人工填寫空缺值 ：工作量大，可行性低 ? 使用一個(gè) 全局常量填充空缺值 ：比如使用 unknown或 ∞ ? 使用屬性的 平均值 填充空缺值 ? 使用與給定元組 屬同一類的所有樣本的平均值 ? 使用最可能的值填充空缺值：使用 Bayesian公式或判定樹 等基于推斷的方法確定。 1）不是關(guān)系情形 2）不同域情形 3）源數(shù)據(jù)有錯(cuò)誤情形 28 （ Transform） １）數(shù)據(jù)集成 ?數(shù)據(jù)集成： 將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)整合到一個(gè)一致的數(shù)據(jù)存儲（如數(shù)據(jù)倉庫）中。 １）數(shù)據(jù)集成（續(xù)） 31 ２）數(shù)據(jù)變換 ? 平滑： 去除數(shù)據(jù)中的噪聲。 例 ：（ 一般映射到 [0， 1]區(qū)間） 工資在 700~12023之間，則工資 7830規(guī)范化后為： V’=（ 7830700） /（ 12023700） *（ 10） +0= 33 數(shù)據(jù)變換 —— 規(guī)范化 39。 ?好處：減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解。 2. 為特定用戶和特定應(yīng)用定制的數(shù)據(jù)，并為之提供快速響應(yīng)。 例如： 時(shí)間維包括年 、 月 、 日；地理維包括省 、 市 、 縣 。 45 ?事實(shí)星座模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city province_or_state country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch Shipping Fact Table time_key item_key shipper_key from_location to_location dollars_cost units_shipped shipper_key shipper_name location_key shipper_type shipper 46 ?數(shù)據(jù)綜合級別 ? 早期細(xì)節(jié)級 ? 當(dāng)前細(xì)節(jié)級 ? 輕度綜合級 ? 高度綜合級 ?數(shù)據(jù)的粒度 衡量綜合級別的指標(biāo) ? 數(shù)據(jù)粒度越小 → 信息越細(xì)節(jié) → 數(shù)據(jù)粒度級別越低 → 數(shù)據(jù)量越大 ? 數(shù)據(jù)粒度越大 → 綜合度越高 → 數(shù)據(jù)粒度級別越高 → 數(shù)據(jù)量越小 數(shù)據(jù)綜合級別與粒度 ?確定粒度級別需要考慮的因素 ? 分析類型 ? 數(shù)據(jù)最低粒度 ? 存儲數(shù)據(jù)量 47 當(dāng)前細(xì)節(jié)級 輕度綜合級 高度綜合級 最近 3個(gè)月 （ 2023年 1月 2023年 3月） 客戶呼叫詳細(xì)數(shù)據(jù) 19952023年按 月統(tǒng)計(jì)的客戶呼叫 信息 19952023年按 季度統(tǒng)計(jì)的客戶 呼叫信息 19952023年按年統(tǒng) 計(jì)的客戶呼叫信息 2023年 1月以前的呼叫詳細(xì) 數(shù)據(jù) 2023/3數(shù)據(jù)倉庫中數(shù)據(jù)的狀態(tài) 最近 3個(gè)月 （ 2023年 2月 2023年 4月） 客戶呼叫詳細(xì)數(shù)據(jù) 19952023年按 月統(tǒng)計(jì)的客戶呼叫 信息 19952023年按 季度統(tǒng)計(jì)的客戶 呼叫信息 19952023年按年統(tǒng) 計(jì)的客戶呼叫信息 2023年 2月以前的呼叫詳細(xì) 數(shù)據(jù) 2023/4數(shù)據(jù)倉庫中數(shù)據(jù)的狀態(tài) 早期細(xì)節(jié)級 48 ? 多維數(shù)據(jù)庫 （ MDDB） 數(shù)據(jù)存儲在大量的多維數(shù)組中 ， 而不是關(guān)系表中 ,與之相對應(yīng)的是多維聯(lián)機(jī)分析處理 （ MOLAP） 。 演講完畢，謝謝觀看！