【文章內容簡介】 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 31頁 示例：鉆取 操作 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 32頁 示例：鉆取 效果 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 33頁 基于多維數(shù)據(jù)庫的 OLAP——MOLAP ? 以多維方式組織數(shù)據(jù)（綜合數(shù)據(jù)） ? 以多維方式顯示（觀察）數(shù)據(jù) ? 多維數(shù)據(jù)庫的形式類似于交叉表，可直觀地表述一對多、多對多的關系 – 如：產(chǎn)品、地區(qū)、銷售額 ? 關系 ? 多維 ? 多維數(shù)據(jù)庫由許多經(jīng)壓縮的、類似于數(shù)組的對象構成，帶有高度壓縮的索引及指針結構 ? 以關系數(shù)據(jù)庫存放細節(jié)數(shù)據(jù)、以多維數(shù)據(jù)庫存放綜合數(shù)據(jù) 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 34頁 MOLAP架構 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 35頁 基于關系數(shù)據(jù)庫的 OLAP——ROLAP ? 以二維表與多維聯(lián)系來表達多維數(shù)據(jù)（綜合數(shù)據(jù)） – 星型結構 – 事實表，存儲事實的量及各維的碼值（ BCNF） – 維表，對每一個維，至少有一個表用來保存該維的元數(shù)據(jù)（多層次、冗余） – 事實表通過外鍵與每個維表相聯(lián)系 – 雪花、星座、雪暴 ? 模擬多維方式顯示（觀察）數(shù)據(jù) 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 36頁 ROLAP架構 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 37頁 MOLAP與 ROLAP ? MOLAP – 計算速度較快 – 支持的數(shù)據(jù)容量較小 – 缺乏細節(jié)數(shù)據(jù)的 OLAP – 多維數(shù)據(jù)庫由許多經(jīng)壓縮的、類似于數(shù)組的對象構成，帶有高度壓縮的索引及指針結構 – 以關系數(shù)據(jù)庫存放細節(jié)數(shù)據(jù)、以多維數(shù)據(jù)庫存放綜合數(shù)據(jù) ? ROLAP – 結構較復雜 – 以關系模擬多維 – 支持適當細節(jié)的 OLAP – 較成熟 ? HOLAP是以上兩種的綜合 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 38頁 數(shù)據(jù)挖掘（ Data Mining） ? 探測型的數(shù)據(jù)分析 ? 發(fā)現(xiàn)信息、發(fā)現(xiàn)知識 ? 基于人工智能、機器學習、統(tǒng)計學 ? 由計算機自動智能地分析數(shù)據(jù)，獲取信息，作出預測或幫助決策 ? 需要算法的支持和機器的環(huán)境 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 39頁 數(shù)據(jù)挖掘的常用方法 ? 決策樹方法 – 利用信息論中的互信息，尋找數(shù)據(jù)庫中具有最大信息量的屬性字段，建立決策樹的節(jié)點，再根據(jù)該屬性字段的不同取值建立樹的分支 – 在每個分支子集中重復建立下層節(jié)點和分支 ? 關聯(lián)分析 – 為了挖掘出隱藏在數(shù)據(jù)間的相互關系 – 支持度 /置信度作為輸入的條件，進行篩選、分析 ? 序列模式分析 – 類似與關聯(lián)分析 – 著重于分析數(shù)據(jù)的前因后果 ? 分類分析 – 對于不同分類的數(shù)據(jù)進行分析，找出他們的規(guī)律、特征 ? 聚類分析 – 是分類的逆過程 – 根據(jù)數(shù)據(jù)特征，進行分類 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 40頁 數(shù)據(jù)挖掘與 OLAP ? 都屬于分析型工具 – DM是挖掘型工具 – DM試圖自動地發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式或規(guī)律 – OLAP是驗證型工具 – OLAP更多地依賴于用戶的輸入和假設 ? 兩者相輔相成，互補 – 以 DM挖掘潛在的模式、預測未來趨勢 – 以 OLAP來驗證 DM的結果 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 41頁 調度管理 ? 職責 – 負責監(jiān)控、管理 ETL程序（ ETL程序類型通常會有所擴展）的執(zhí)行。 ? 功能 – 調度策略（定時、依賴關系） – 調度監(jiān)控 – 手工處理 ? 其他 – 擴展：分布式，總分間的數(shù)據(jù)傳輸 – ETL工具有相關功能 – 定制開發(fā) ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調度管理數(shù)據(jù)標準管理數(shù)據(jù)質量管理門戶英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 42頁 元數(shù)據(jù)管理 ? 職責 – 負責元數(shù)據(jù)的管理 ? 應用場景 管理信息資產(chǎn) 提升數(shù)據(jù)質量 輔助開發(fā)和運維 ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調度管理數(shù)據(jù)標準管理數(shù)據(jù)質量管理門戶英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 43頁 元數(shù)據(jù)分類 [Alex Berson etc, 1999] ? 業(yè)務元數(shù)據(jù) – 定義：給用戶易于理解的信息 – 主題區(qū)和信息對象類型，包括查詢、報表、圖像、音頻、視頻等 – 維度、指標、報表 ? 技術元數(shù)據(jù) – 定義：為數(shù)據(jù)倉庫設計人員和管理員使用的數(shù)據(jù)倉庫數(shù)據(jù)信息，用于執(zhí)行數(shù)據(jù)倉庫開發(fā)和管理任務。 – 數(shù)據(jù)源信息 – 轉換描述（從操作數(shù)據(jù)庫到數(shù)據(jù)倉庫的映射方法，以及轉換數(shù)據(jù)的算法） – 目標數(shù)據(jù)的倉庫對象和數(shù)據(jù)結構定義 – 數(shù)據(jù)清洗和數(shù)據(jù)增加的規(guī)則 – 數(shù)據(jù)映射操作 – 訪問權限，備份歷史，存檔歷史，信息傳輸歷史，數(shù)據(jù)獲取歷史，數(shù)據(jù)訪問等 ? 數(shù)據(jù)倉庫操作型信息 – 例如，數(shù)據(jù)歷史（快照，版本），擁有權，抽取的審計軌跡，數(shù)據(jù)用法 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 44頁 示例：元數(shù)據(jù)管理模塊的邏輯架構 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 45頁 數(shù)據(jù)管控 技術支撐 技術 流程 人員 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 46頁 日程：技術知識 ? 基本概念 ? 體系結構 ? 設計方法 ? 技術實現(xiàn) 數(shù)據(jù)架構 數(shù)據(jù)模型 維度建模 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 47頁 設計方法 方法論 系統(tǒng)架構設計 數(shù)據(jù)架構設計 從頂層、抽象角度，數(shù)據(jù)倉庫的建設方法可分為：自頂而下，自底而上。 從系統(tǒng)架構設計角度，數(shù)據(jù)倉庫作為一個系統(tǒng)，其架構設計應包括的內容。如：系統(tǒng)定位、模塊組成及相互關系、各模塊的架構設計等。 數(shù)據(jù)存儲是數(shù)據(jù)倉庫建設的核心問題，因此數(shù)據(jù)架構的設計更值得關注。包括數(shù)據(jù)層、數(shù)據(jù)流向、數(shù)據(jù)模型。 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內容文字 :928pt 字體 :Arial 中文內容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 48頁 方法論：自頂而下 ? 構建企業(yè)數(shù)據(jù)倉庫（ EDW） – Common central data model – Data reengineering performed once – 最低限度減少數(shù)據(jù)冗余和不一致性 – 明細歷史數(shù)據(jù)，全局數(shù)據(jù)查找 ? 基于 EDW構建數(shù)據(jù)集市（ DM） – 和部門相關的數(shù)據(jù)倉庫子集 – 幾乎是匯總級數(shù)據(jù) – 直接依賴 EDW的數(shù)據(jù) 局部數(shù)據(jù)集市 外部數(shù)據(jù) 局部數(shù)據(jù)集市 操作型數(shù)據(jù) 企業(yè)數(shù)據(jù)倉庫 英文標題 :32pt 字體 :Arial 中文標題 :32