第2章數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)與處理-預(yù)覽頁
【正文】 據(jù)倉庫結(jié)構(gòu)的描述。 ? 靜態(tài)抽取 ? 增量抽取 注意事項(xiàng)： ? 數(shù)據(jù)命名的透明度 ? 業(yè)務(wù)規(guī)則的完整性與準(zhǔn)確性數(shù)據(jù) ? 數(shù)據(jù)格式：跨數(shù)據(jù)源的統(tǒng)一數(shù)據(jù)格式 源文件或者源數(shù)據(jù)庫 數(shù)據(jù)倉庫 協(xié)調(diào) 可以使用 SELECT FROM ...... INTO ......語句實(shí)現(xiàn) 18 清洗（ Scrub/Cleaning） 定義：使用模式識(shí)別和其他技術(shù)將原始數(shù)據(jù)轉(zhuǎn)換和移到數(shù)據(jù)倉庫之前來升級(jí)原始數(shù)據(jù)質(zhì)量的技術(shù)。 ? 人工填寫空缺值 ：工作量大，可行性低 ? 使用一個(gè) 全局常量填充空缺值 ：比如使用 unknown或 ∞ ? 使用屬性的 平均值 填充空缺值 ? 使用與給定元組 屬同一類的所有樣本的平均值 ? 使用最可能的值填充空缺值：使用 Bayesian公式或判定樹 等基于推斷的方法確定。 25 如何處理噪聲數(shù)據(jù)（續(xù)） 回歸 通過讓數(shù)據(jù)適應(yīng)回歸函數(shù)來平滑數(shù)據(jù)（線性回歸或多線性回歸）。 1）不是關(guān)系情形 2）不同域情形 3）源數(shù)據(jù)有錯(cuò)誤情形 28 （ Transform） １）數(shù)據(jù)集成 ?數(shù)據(jù)集成： 將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)整合到一個(gè)一致的數(shù)據(jù)存儲(chǔ)（如數(shù)據(jù)倉庫）中。 相關(guān)分析：討論兩個(gè)屬性的相關(guān)性。 １）數(shù)據(jù)集成（續(xù)） 31 ２）數(shù)據(jù)變換 ? 平滑： 去除數(shù)據(jù)中的噪聲。 ? 規(guī)范化： 將數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間。 例 ：（ 一般映射到 [0， 1]區(qū)間） 工資在 700~12023之間，則工資 7830規(guī)范化后為： V’=（ 7830700） /（ 12023700） *（ 10） +0= 33 數(shù)據(jù)變換 —— 規(guī)范化 39。 10 jvv ?其中 j是使得 max（ |v‘|） 1的最小整數(shù)。 ?好處：減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解。 ?SQL命令，例如： INSERT或 UPDATE ?數(shù)據(jù)倉庫供應(yīng)商或第三方提供專門的加載工具 ?由數(shù)據(jù)倉庫管理員編寫自定義程序 ? 傳統(tǒng)索引：將給定列上的值映射到具有該值的行表上 。 2. 為特定用戶和特定應(yīng)用定制的數(shù)據(jù)，并為之提供快速響應(yīng)。 41 多維數(shù)據(jù)模型及其相關(guān)概念 多維數(shù)據(jù)模型的相關(guān)概念 ? 維： 是人們觀察數(shù)據(jù)的特定角度 ， 是考慮問題時(shí)的一類屬性 ， 此類屬性的集合構(gòu)成一個(gè)維度 。 例如： 時(shí)間維包括年 、 月 、 日；地理維包括省 、 市 、 縣 。 ? 分割 ：將數(shù)據(jù)分散到各自物理單元中以便能分別處理并提高數(shù)據(jù)處理效率 。 45 ?事實(shí)星座模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city province_or_state country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch Shipping Fact Table time_key item_key shipper_key from_location to_location dollars_cost units_shipped shipper_key shipper_name location_key shipper_type shipper 46 ?數(shù)據(jù)綜合級(jí)別 ? 早期細(xì)節(jié)級(jí) ? 當(dāng)前細(xì)節(jié)級(jí) ? 輕度綜合級(jí) ? 高度綜合級(jí) ?數(shù)據(jù)的粒度 衡量綜合級(jí)別的指標(biāo) ? 數(shù)據(jù)粒度越小 → 信息越細(xì)節(jié) → 數(shù)據(jù)粒度級(jí)別越低 → 數(shù)據(jù)量越大 ? 數(shù)據(jù)粒度越大 → 綜合度越高 → 數(shù)據(jù)粒度級(jí)別越高 → 數(shù)據(jù)量越小 數(shù)據(jù)綜合級(jí)別與粒度 ?確定粒度級(jí)別需要考慮的因素 ? 分析類型 ? 數(shù)據(jù)最低粒度 ? 存儲(chǔ)數(shù)據(jù)量 47 當(dāng)前細(xì)節(jié)級(jí) 輕度綜合級(jí) 高度綜合級(jí) 最近 3個(gè)月 （ 2023年 1月 2023年 3月） 客戶呼叫詳細(xì)數(shù)據(jù) 19952023年按 月統(tǒng)計(jì)的客戶呼叫 信息 19952023年按 季度統(tǒng)計(jì)的客戶 呼叫信息 19952023年按年統(tǒng) 計(jì)的客戶呼叫信息 2023年 1月以前的呼叫詳細(xì) 數(shù)據(jù) 2023/3數(shù)據(jù)倉庫中數(shù)據(jù)的狀態(tài) 最近 3個(gè)月 （ 2023年 2月 2023年 4月） 客戶呼叫詳細(xì)數(shù)據(jù) 19952023年按 月統(tǒng)計(jì)的客戶呼叫 信息 19952023年按 季度統(tǒng)計(jì)的客戶 呼叫信息 19952023年按年統(tǒng) 計(jì)的客戶呼叫信息 2023年 2月以前的呼叫詳細(xì) 數(shù)據(jù) 2023/4數(shù)據(jù)倉庫中數(shù)據(jù)的狀態(tài) 早期細(xì)節(jié)級(jí) 48 ? 多維數(shù)據(jù)庫 （ MDDB） 數(shù)據(jù)存儲(chǔ)在大量的多維數(shù)組中 ， 而不是關(guān)系表中 ,與之相對應(yīng)的是多維聯(lián)機(jī)分析處理 （ MOLAP） 。 49 多維建模技術(shù)簡介 ? 滿足不同層次 、 用戶的需求 ? 兼顧查詢效率與數(shù)據(jù)粒度的需求 ? 支持用戶需求的變化 ? 避免對業(yè)務(wù)運(yùn)營系統(tǒng)的性能影響 ? 提供可擴(kuò)展性 創(chuàng)建數(shù)據(jù)倉庫數(shù)據(jù)模型考慮的因素： 50 多維建模技術(shù)簡介 ? 由 Inmon提出的企業(yè)級(jí)數(shù)據(jù)倉庫模型 基于 3NF， 先建立企業(yè)級(jí)數(shù)據(jù)倉庫 ， 再在其上開發(fā)具體應(yīng)用 。 演講完畢，謝謝觀看！
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1