第2章數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)與處理-全文預(yù)覽
【正文】 探索性的＼貪心算法）方法 ?逐步向前選擇：從空集開始，逐步添加 ?逐步向后刪除：從整個(gè)屬性集開始，逐步刪除 ?向前選擇和向后刪除相結(jié)合 ?判定歸納樹：如 ID3和 37 （３）數(shù)據(jù)壓縮 ?有損壓縮 VS. 無損壓縮 ?字符串壓縮 ?有廣泛的理論基礎(chǔ)和精妙的算法 ?通常是無損壓縮 ?在解壓縮前對(duì)字符串的操作非常有限 ?音頻 /視頻壓縮 ?通常是有損壓縮，壓縮精度可以遞進(jìn)選擇 ?有時(shí)可以在不解壓整體數(shù)據(jù)的情況下，重構(gòu)某個(gè)片斷 ?兩種有損數(shù)據(jù)壓縮方法：小波變換和主要成分分析 38 2. 數(shù)據(jù)索引：位圖索引和連接索引 數(shù)據(jù)加載和索引（ Load/Index） 1. 數(shù)據(jù)加載：將數(shù)據(jù)寫入數(shù)據(jù)倉庫或數(shù)據(jù)集市的過程 。 34 3）數(shù)據(jù)歸約 ?數(shù)據(jù)立方體聚集 ?維歸約 ?數(shù)據(jù)壓縮 ?數(shù)值歸約 ?離散化和概念分層產(chǎn)生 數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù) ， 在其上進(jìn)行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長的時(shí)間 。AvAv???※ zscore規(guī)范化 :基于屬性 A的平均值和標(biāo)準(zhǔn)差規(guī)范化。 ?最?。畲笠?guī)范化 ? zscore規(guī)范化 ?小數(shù)定標(biāo)規(guī)范化 ? 屬性構(gòu)造 ?通過現(xiàn)有屬性構(gòu)造新的屬性，并添加到屬性集中。如分箱、聚類、回歸。 A平 = ΣA/n σA= SQRT[Σ(A A平 )2/(n1)] 其中 A平、 B平 分別是 A、 B的平均值； σ A 、 σ B分別是 A、 B的標(biāo)準(zhǔn)差。 ○ 模式集成 實(shí)體識(shí)別問題 匹配來自不同數(shù)據(jù)源的現(xiàn)實(shí)世界的實(shí)體，比如：=？ ○ 冗余問題 同一屬性在不同的數(shù)據(jù)庫中會(huì)有不同的字段名；一個(gè)屬性可以由另外的屬性導(dǎo)出，即兩個(gè)屬性是相關(guān)的。 x y = x + 1 X1 y Y1 Y1’ 26 如何處理噪聲數(shù)據(jù)（續(xù)） 計(jì)算機(jī)和人工檢查結(jié)合 計(jì)算機(jī)檢測(cè)可疑數(shù)據(jù)，然后對(duì)它們進(jìn)行人工判斷。 21 ２）噪聲數(shù)據(jù) 噪聲： 一個(gè)測(cè)量變量中的隨機(jī)錯(cuò)誤或偏差。 1）空缺值 ? 數(shù)據(jù)并不總是完整的 例如：數(shù)據(jù)庫表中，很多條記錄的對(duì)應(yīng)字段沒有相應(yīng)值。如倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容 ?業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式 ?匯總用的算法 ?由操作環(huán)境到數(shù)據(jù)倉庫的映射 技術(shù)元數(shù)據(jù) 9 ? 操作元數(shù)據(jù)：包括數(shù)據(jù)血統(tǒng) (data lineage，即數(shù)據(jù)來源 )、數(shù)據(jù)類別 (currency of data)，對(duì)象名，屬性名等 ? 訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源 ? 商務(wù)元數(shù)據(jù)：商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息 ? 系統(tǒng)所提供的分析方法和公式、報(bào)表等信息 業(yè)務(wù)元數(shù)據(jù) 從業(yè)務(wù)角度描述數(shù)據(jù)倉庫的數(shù)據(jù) 10 表 23 元數(shù)據(jù)舉例 Table 邏輯名 學(xué)生 姓名 定義 學(xué)校的主要成員，主要進(jìn)行學(xué)習(xí)任務(wù) 物理存儲(chǔ) (數(shù)據(jù)庫表 ) 建立日期 2023年 9月 13日 最后更新日期 2023年 9月 13日 更新周期 每月 表邏輯程序名 STUDENT(程序名稱 ) 11 ?傳統(tǒng)的異種數(shù)據(jù)庫集成 查詢驅(qū)動(dòng) ?在多個(gè)異種數(shù)據(jù)庫上建立包裝程序（ wrappers）和中介程序（ mediators ） ?查詢驅(qū)動(dòng)方法 —— 當(dāng)從客戶端傳過來一個(gè)查詢時(shí)，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器；局部查詢集成為全局回答。作為每條記錄，都有一個(gè)日期時(shí)間戳表示其發(fā)生日期。數(shù)據(jù)倉庫與數(shù)據(jù)挖掘 第 2章 數(shù)據(jù)倉庫的數(shù)據(jù) 存儲(chǔ)與處理 2 數(shù)據(jù)倉庫的三層數(shù)據(jù)結(jié)構(gòu) 數(shù)據(jù)倉庫的數(shù)據(jù)特征 數(shù)據(jù)倉庫的數(shù)據(jù) ETL過程 多維數(shù)據(jù)模型 主要內(nèi)容 3 數(shù)據(jù)倉庫的三層數(shù)據(jù)結(jié)構(gòu) 導(dǎo) 出 數(shù) 據(jù)( 如 : 數(shù) 據(jù) 集 市 )數(shù) 據(jù) 集 市元 數(shù) 據(jù)調(diào) 和 數(shù) 據(jù)( E D W O D S )E D W 元 數(shù) 據(jù)操 作 型 數(shù) 據(jù)( 如 : 業(yè) 務(wù) 處 理 系 統(tǒng) )操 作 型 元 數(shù) 據(jù)企 業(yè) 數(shù) 據(jù) 模 型數(shù)據(jù) 元數(shù)據(jù) 源數(shù)據(jù) 數(shù)據(jù)倉庫 中的數(shù)據(jù) 數(shù)據(jù)集市 中的數(shù)據(jù) 4 Data Warehouse Extract Transform Load Refresh OLAP服務(wù)器 Analysis Query Reports Data mining Monitor Integrator Metadata 數(shù)據(jù)源 前端工具 Serve Data Marts Operational DBs other sources 數(shù)據(jù)倉庫服務(wù)器 OLAP Server 操作型 （元）數(shù)據(jù) 數(shù)據(jù)倉庫 （元）數(shù)據(jù) 數(shù)據(jù)集市 （元）數(shù)據(jù) 5 數(shù)據(jù)倉庫的數(shù)據(jù)特征 、狀態(tài)數(shù)據(jù)與事件數(shù)據(jù) 描述對(duì)象的狀態(tài)即為狀態(tài)數(shù)據(jù)，描述對(duì)象發(fā)生的事件即為事件數(shù)據(jù) ,兩者關(guān)系為 : 狀態(tài)數(shù)據(jù) ?事件數(shù)據(jù) ?狀態(tài)數(shù)據(jù) 例如：銀行取款事件 K 帳戶 A余額 S1 ?銀行取款事件 K ?帳戶 A余額 S2 上述數(shù)據(jù)（含狀態(tài)數(shù)據(jù)和事件數(shù)據(jù)）均可以存儲(chǔ)在數(shù)據(jù)庫中。 7 商品名稱 2023725 2023725 15 50 A品牌方便面 B品牌衣服 A001 B002 銷售日期 日銷售量 商品名稱 商品編號(hào) 2023725 2023725 2023726 2023726 15 50 30 25 A品牌方便面 B品牌衣服 C品牌礦泉水 A品牌方便面 A001 B002 C003 A001 銷售日期 日銷售量 商品編號(hào) 簡(jiǎn)化的銷售日?qǐng)?bào)表（周期數(shù)據(jù)類型） 1天后簡(jiǎn)化簡(jiǎn)化的銷售日?qǐng)?bào)表（周期數(shù)據(jù)類型） 周期數(shù)據(jù) 不僅保留當(dāng)前的最新數(shù)據(jù)，而且保留歷史數(shù)據(jù)。 ?數(shù)
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1