第2章數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)與處理-免費(fèi)閱讀
【正文】 49 多維建模技術(shù)簡(jiǎn)介 ? 滿足不同層次 、 用戶的需求 ? 兼顧查詢效率與數(shù)據(jù)粒度的需求 ? 支持用戶需求的變化 ? 避免對(duì)業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)的性能影響 ? 提供可擴(kuò)展性 創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型考慮的因素： 50 多維建模技術(shù)簡(jiǎn)介 ? 由 Inmon提出的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)模型 基于 3NF， 先建立企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) ， 再在其上開發(fā)具體應(yīng)用 。 ? 分割 ：將數(shù)據(jù)分散到各自物理單元中以便能分別處理并提高數(shù)據(jù)處理效率 。 41 多維數(shù)據(jù)模型及其相關(guān)概念 多維數(shù)據(jù)模型的相關(guān)概念 ? 維： 是人們觀察數(shù)據(jù)的特定角度 ， 是考慮問題時(shí)的一類屬性 ， 此類屬性的集合構(gòu)成一個(gè)維度 。 ?SQL命令，例如： INSERT或 UPDATE ?數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商或第三方提供專門的加載工具 ?由數(shù)據(jù)倉(cāng)庫(kù)管理員編寫自定義程序 ? 傳統(tǒng)索引：將給定列上的值映射到具有該值的行表上 。 10 jvv ?其中 j是使得 max（ |v‘|） 1的最小整數(shù)。 ? 規(guī)范化： 將數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間。 相關(guān)分析：討論兩個(gè)屬性的相關(guān)性。 25 如何處理噪聲數(shù)據(jù)（續(xù)） 回歸 通過讓數(shù)據(jù)適應(yīng)回歸函數(shù)來(lái)平滑數(shù)據(jù)（線性回歸或多線性回歸）。 ? 靜態(tài)抽取 ? 增量抽取 注意事項(xiàng)： ? 數(shù)據(jù)命名的透明度 ? 業(yè)務(wù)規(guī)則的完整性與準(zhǔn)確性數(shù)據(jù) ? 數(shù)據(jù)格式：跨數(shù)據(jù)源的統(tǒng)一數(shù)據(jù)格式 源文件或者源數(shù)據(jù)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù) 協(xié)調(diào) 可以使用 SELECT FROM ...... INTO ......語(yǔ)句實(shí)現(xiàn) 18 清洗（ Scrub/Cleaning） 定義：使用模式識(shí)別和其他技術(shù)將原始數(shù)據(jù)轉(zhuǎn)換和移到數(shù)據(jù)倉(cāng)庫(kù)之前來(lái)升級(jí)原始數(shù)據(jù)質(zhì)量的技術(shù)。 7 商品名稱 2023725 2023725 15 50 A品牌方便面 B品牌衣服 A001 B002 銷售日期 日銷售量 商品名稱 商品編號(hào) 2023725 2023725 2023726 2023726 15 50 30 25 A品牌方便面 B品牌衣服 C品牌礦泉水 A品牌方便面 A001 B002 C003 A001 銷售日期 日銷售量 商品編號(hào) 簡(jiǎn)化的銷售日?qǐng)?bào)表（周期數(shù)據(jù)類型） 1天后簡(jiǎn)化簡(jiǎn)化的銷售日?qǐng)?bào)表（周期數(shù)據(jù)類型） 周期數(shù)據(jù) 不僅保留當(dāng)前的最新數(shù)據(jù)，而且保留歷史數(shù)據(jù)。作為每條記錄，都有一個(gè)日期時(shí)間戳表示其發(fā)生日期。 1）空缺值 ? 數(shù)據(jù)并不總是完整的 例如：數(shù)據(jù)庫(kù)表中，很多條記錄的對(duì)應(yīng)字段沒有相應(yīng)值。 x y = x + 1 X1 y Y1 Y1’ 26 如何處理噪聲數(shù)據(jù)（續(xù)） 計(jì)算機(jī)和人工檢查結(jié)合 計(jì)算機(jī)檢測(cè)可疑數(shù)據(jù)，然后對(duì)它們進(jìn)行人工判斷。 A平 = ΣA/n σA= SQRT[Σ(A A平 )2/(n1)] 其中 A平、 B平 分別是 A、 B的平均值； σ A 、 σ B分別是 A、 B的標(biāo)準(zhǔn)差。 ?最?。畲笠?guī)范化 ? zscore規(guī)范化 ?小數(shù)定標(biāo)規(guī)范化 ? 屬性構(gòu)造 ?通過現(xiàn)有屬性構(gòu)造新的屬性，并添加到屬性集中。 34 3）數(shù)據(jù)歸約 ?數(shù)據(jù)立方體聚集 ?維歸約 ?數(shù)據(jù)壓縮 ?數(shù)值歸約 ?離散化和概念分層產(chǎn)生 數(shù)據(jù)倉(cāng)庫(kù)中往往存有海量數(shù)據(jù) ， 在其上進(jìn)行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長(zhǎng)的時(shí)間 。 ? 連接索引：登記來(lái)自兩個(gè)關(guān)系數(shù)據(jù)庫(kù)的可連接行 。 （ 1） 從時(shí)間角度觀察產(chǎn)品的銷售 ， 則時(shí)間是一個(gè)維 （ 時(shí)間維 ） 。 多維數(shù)據(jù)模型 42 數(shù)據(jù)倉(cāng)庫(kù)的概念模型 ?星型模式 （ Star schema） 事實(shí)表在中心 ， 周圍圍繞地連接著維表 （ 每維一個(gè) ） ， 事實(shí)表含有大量數(shù)據(jù) ， 沒有冗余 。 優(yōu)點(diǎn)：信息全面 、 系統(tǒng)靈活 。 ROLAP將數(shù)據(jù)的多維結(jié)構(gòu)劃分為兩類表：事實(shí)表和維表 。 ? 粒度 ：是對(duì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的綜合程度高低的一個(gè)衡量 。 2. 存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，采用星型模式及其變體，對(duì)應(yīng) ROLAP。 ?更新方式：只將源數(shù)據(jù)中的數(shù)據(jù)改變寫進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的方法 ， 但不覆蓋或刪除以前的記錄而是通過時(shí)間戳來(lái)區(qū)分 部分更新加載 。 39。 ? 數(shù)據(jù)概化： 沿概念分層向上匯總。 如果 A， B相關(guān)性大，分析時(shí)就可以刪除其中一個(gè)。聚類集合之外的點(diǎn)即為孤立點(diǎn)。 ?可以理解的 ?即時(shí)的 ? 質(zhì)量可控制的 15 ETL的目標(biāo) 操作性數(shù)據(jù)的特點(diǎn)： ? 即時(shí)的，而非歷史的 ? 規(guī)范程度不一，依賴于數(shù)據(jù)來(lái)源 ? 限制在特定的應(yīng)用范圍 ? 質(zhì)量較差，例如不一致等 16 ETL過程描述 操 作 型系 統(tǒng)E D W或O D S抽 取 / 抓 取清 洗轉(zhuǎn) 換加 載 與 索 引拒 絕 數(shù) 據(jù) 的 信 息有 關(guān) 拒 絕 數(shù) 據(jù) 的 信 息集 結(jié) 地( S t a g i n g A r e a )17 抽?。?Capture/Extract） 定義：從源文件或者源數(shù)據(jù)庫(kù)獲取相關(guān)數(shù)據(jù)用于填充數(shù)據(jù)倉(cāng)庫(kù)，稱為數(shù)據(jù)抽取。如下表。如下表。 ? 為數(shù)據(jù)解碼 ? 重新格式化、改變數(shù)據(jù)類型 ? 增加時(shí)間戳 ? 度量單位轉(zhuǎn)換 ? 為表的每一行產(chǎn)生主碼 ? 找到缺失數(shù)據(jù) ? … 19 清洗（ Scrub/Cleaning） 1）空缺值（續(xù)） ? 引起空缺值的原因 ? 設(shè)備異常 ? 與其他已有數(shù)據(jù)不一致而被刪除 ? 因?yàn)檎`解而沒有被輸入的數(shù)據(jù) ? 在輸入時(shí)，有些數(shù)據(jù)因?yàn)榈貌坏街匾暥鴽]有被輸入 ? 對(duì)數(shù)據(jù)的改變沒有進(jìn)行日志記載（不能恢復(fù)） ? 空缺值要經(jīng)過推斷而補(bǔ)上 20 如何處理空缺值 ? 忽略元組： 假定挖掘任務(wù)設(shè)計(jì)為分類或描述時(shí)，缺少類標(biāo)號(hào)的元組通常被忽略。 27 （ Transfor
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1