【文章內(nèi)容簡介】 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 31頁 示例：鉆取 操作 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 32頁 示例：鉆取 效果 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 33頁 基于多維數(shù)據(jù)庫的 OLAP——MOLAP ? 以多維方式組織數(shù)據(jù)（綜合數(shù)據(jù)） ? 以多維方式顯示（觀察）數(shù)據(jù) ? 多維數(shù)據(jù)庫的形式類似于交叉表，可直觀地表述一對多、多對多的關(guān)系 – 如：產(chǎn)品、地區(qū)、銷售額 ? 關(guān)系 ? 多維 ? 多維數(shù)據(jù)庫由許多經(jīng)壓縮的、類似于數(shù)組的對象構(gòu)成，帶有高度壓縮的索引及指針結(jié)構(gòu) ? 以關(guān)系數(shù)據(jù)庫存放細節(jié)數(shù)據(jù)、以多維數(shù)據(jù)庫存放綜合數(shù)據(jù) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 34頁 MOLAP架構(gòu) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 35頁 基于關(guān)系數(shù)據(jù)庫的 OLAP——ROLAP ? 以二維表與多維聯(lián)系來表達多維數(shù)據(jù)（綜合數(shù)據(jù)） – 星型結(jié)構(gòu) – 事實表，存儲事實的量及各維的碼值（ BCNF） – 維表，對每一個維，至少有一個表用來保存該維的元數(shù)據(jù)（多層次、冗余） – 事實表通過外鍵與每個維表相聯(lián)系 – 雪花、星座、雪暴 ? 模擬多維方式顯示（觀察）數(shù)據(jù) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 36頁 ROLAP架構(gòu) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 37頁 MOLAP與 ROLAP ? MOLAP – 計算速度較快 – 支持的數(shù)據(jù)容量較小 – 缺乏細節(jié)數(shù)據(jù)的 OLAP – 多維數(shù)據(jù)庫由許多經(jīng)壓縮的、類似于數(shù)組的對象構(gòu)成，帶有高度壓縮的索引及指針結(jié)構(gòu) – 以關(guān)系數(shù)據(jù)庫存放細節(jié)數(shù)據(jù)、以多維數(shù)據(jù)庫存放綜合數(shù)據(jù) ? ROLAP – 結(jié)構(gòu)較復(fù)雜 – 以關(guān)系模擬多維 – 支持適當(dāng)細節(jié)的 OLAP – 較成熟 ? HOLAP是以上兩種的綜合 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 38頁 數(shù)據(jù)挖掘（ Data Mining） ? 探測型的數(shù)據(jù)分析 ? 發(fā)現(xiàn)信息、發(fā)現(xiàn)知識 ? 基于人工智能、機器學(xué)習(xí)、統(tǒng)計學(xué) ? 由計算機自動智能地分析數(shù)據(jù)，獲取信息，作出預(yù)測或幫助決策 ? 需要算法的支持和機器的環(huán)境 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 39頁 數(shù)據(jù)挖掘的常用方法 ? 決策樹方法 – 利用信息論中的互信息，尋找數(shù)據(jù)庫中具有最大信息量的屬性字段，建立決策樹的節(jié)點，再根據(jù)該屬性字段的不同取值建立樹的分支 – 在每個分支子集中重復(fù)建立下層節(jié)點和分支 ? 關(guān)聯(lián)分析 – 為了挖掘出隱藏在數(shù)據(jù)間的相互關(guān)系 – 支持度 /置信度作為輸入的條件，進行篩選、分析 ? 序列模式分析 – 類似與關(guān)聯(lián)分析 – 著重于分析數(shù)據(jù)的前因后果 ? 分類分析 – 對于不同分類的數(shù)據(jù)進行分析，找出他們的規(guī)律、特征 ? 聚類分析 – 是分類的逆過程 – 根據(jù)數(shù)據(jù)特征，進行分類 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 40頁 數(shù)據(jù)挖掘與 OLAP ? 都屬于分析型工具 – DM是挖掘型工具 – DM試圖自動地發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式或規(guī)律 – OLAP是驗證型工具 – OLAP更多地依賴于用戶的輸入和假設(shè) ? 兩者相輔相成，互補 – 以 DM挖掘潛在的模式、預(yù)測未來趨勢 – 以 OLAP來驗證 DM的結(jié)果 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 41頁 調(diào)度管理 ? 職責(zé) – 負責(zé)監(jiān)控、管理 ETL程序（ ETL程序類型通常會有所擴展）的執(zhí)行。 ? 功能 – 調(diào)度策略（定時、依賴關(guān)系） – 調(diào)度監(jiān)控 – 手工處理 ? 其他 – 擴展：分布式，總分間的數(shù)據(jù)傳輸 – ETL工具有相關(guān)功能 – 定制開發(fā) ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門戶英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 42頁 元數(shù)據(jù)管理 ? 職責(zé) – 負責(zé)元數(shù)據(jù)的管理 ? 應(yīng)用場景 管理信息資產(chǎn) 提升數(shù)據(jù)質(zhì)量 輔助開發(fā)和運維 ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門戶英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 43頁 元數(shù)據(jù)分類 [Alex Berson etc, 1999] ? 業(yè)務(wù)元數(shù)據(jù) – 定義：給用戶易于理解的信息 – 主題區(qū)和信息對象類型，包括查詢、報表、圖像、音頻、視頻等 – 維度、指標(biāo)、報表 ? 技術(shù)元數(shù)據(jù) – 定義：為數(shù)據(jù)倉庫設(shè)計人員和管理員使用的數(shù)據(jù)倉庫數(shù)據(jù)信息，用于執(zhí)行數(shù)據(jù)倉庫開發(fā)和管理任務(wù)。 – 數(shù)據(jù)源信息 – 轉(zhuǎn)換描述（從操作數(shù)據(jù)庫到數(shù)據(jù)倉庫的映射方法，以及轉(zhuǎn)換數(shù)據(jù)的算法） – 目標(biāo)數(shù)據(jù)的倉庫對象和數(shù)據(jù)結(jié)構(gòu)定義 – 數(shù)據(jù)清洗和數(shù)據(jù)增加的規(guī)則 – 數(shù)據(jù)映射操作 – 訪問權(quán)限，備份歷史，存檔歷史，信息傳輸歷史，數(shù)據(jù)獲取歷史，數(shù)據(jù)訪問等 ? 數(shù)據(jù)倉庫操作型信息 – 例如，數(shù)據(jù)歷史（快照，版本），擁有權(quán)，抽取的審計軌跡，數(shù)據(jù)用法 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 44頁 示例：元數(shù)據(jù)管理模塊的邏輯架構(gòu) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 45頁 數(shù)據(jù)管控 技術(shù)支撐 技術(shù) 流程 人員 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 46頁 日程：技術(shù)知識 ? 基本概念 ? 體系結(jié)構(gòu) ? 設(shè)計方法 ? 技術(shù)實現(xiàn) 數(shù)據(jù)架構(gòu) 數(shù)據(jù)模型 維度建模 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 47頁 設(shè)計方法 方法論 系統(tǒng)架構(gòu)設(shè)計 數(shù)據(jù)架構(gòu)設(shè)計 從頂層、抽象角度，數(shù)據(jù)倉庫的建設(shè)方法可分為：自頂而下，自底而上。 從系統(tǒng)架構(gòu)設(shè)計角度，數(shù)據(jù)倉庫作為一個系統(tǒng)，其架構(gòu)設(shè)計應(yīng)包括的內(nèi)容。如：系統(tǒng)定位、模塊組成及相互關(guān)系、各模塊的架構(gòu)設(shè)計等。 數(shù)據(jù)存儲是數(shù)據(jù)倉庫建設(shè)的核心問題，因此數(shù)據(jù)架構(gòu)的設(shè)計更值得關(guān)注。包括數(shù)據(jù)層、數(shù)據(jù)流向、數(shù)據(jù)模型。 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 48頁 方法論：自頂而下 ? 構(gòu)建企業(yè)數(shù)據(jù)倉庫（ EDW） – Common central data model – Data reengineering performed once – 最低限度減少數(shù)據(jù)冗余和不一致性 – 明細歷史數(shù)據(jù)，全局?jǐn)?shù)據(jù)查找 ? 基于 EDW構(gòu)建數(shù)據(jù)集市（ DM） – 和部門相關(guān)的數(shù)據(jù)倉庫子集 – 幾乎是匯總級數(shù)據(jù) – 直接依賴 EDW的數(shù)據(jù) 局部數(shù)據(jù)集市 外部數(shù)據(jù) 局部數(shù)據(jù)集市 操作型數(shù)據(jù) 企業(yè)數(shù)據(jù)倉庫 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32