【正文】 User Tool MDB EndUser Tool EndUser Tool Data Staging：數(shù)據(jù)處理區(qū)域，為了實現(xiàn)ETL過程的臨時存儲 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 18頁 體系結(jié)構(gòu) [Pieter,1998] Source Databases Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis EndUser DW Tools Central Data Warehouse Central Data Warehouse Mid Tier Mid Tier Data Mart Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange MDB Data Cleansing Tool Relational Appl. Package Legacy External RDBMS RDBMS 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 19頁 帶 ODS的體系結(jié)構(gòu) Source Databases Hub Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis Central Data Ware house and ODS Central Data Warehouse Mid Tier RDBMS Data Mart Mid Tier RDBMS Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange ODS OLTP Tools Data Cleansing Tool Relational Appl. Package Legacy External MDB EndUser DW Tools 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 20頁 小結(jié)：體系結(jié)構(gòu) ETL 數(shù)據(jù)獲取 數(shù)據(jù)倉庫 數(shù)據(jù)存儲 分析 數(shù)據(jù)使用 元數(shù)據(jù)管理 調(diào)度管理 數(shù)據(jù)標(biāo)準(zhǔn)管理 數(shù)據(jù)質(zhì)量管理 門戶 數(shù)據(jù)源 用戶 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 21頁 數(shù)據(jù)獲?。?ETL ? 職責(zé) – 負(fù)責(zé)將數(shù)據(jù)從源系統(tǒng)提取到數(shù)據(jù)倉庫中 ? 功能 – 去掉操作型數(shù)據(jù)庫中不需要的數(shù)據(jù) – 統(tǒng)一轉(zhuǎn)換數(shù)據(jù)的名稱和定義 – 計算匯總數(shù)據(jù)和派生數(shù)據(jù) – 估計遺失數(shù)據(jù)的缺省值 ? 關(guān)鍵問題 – 增量數(shù)據(jù)獲取 – 異常處理 ? 異常捕獲、異常處理 – 非功能需求 ? 如何復(fù)用代碼 ? 性能：是否使用存儲過程、如何轉(zhuǎn)換 ? 易用性：并行開發(fā)、維護 ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門戶英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 22頁 增量數(shù)據(jù)獲取方式 ? 時間戳 – 源表有時間戳字段，記錄新增、 修改、刪除更新時間戳字段 ? 觸發(fā)器 – 源表中創(chuàng)建觸發(fā)器，通過觸發(fā)器 捕獲數(shù)據(jù)的增、刪、改 ? 數(shù)據(jù)庫日志 – 對事務(wù)數(shù)據(jù)庫的日志文件進(jìn)行分析，獲取變化的數(shù)據(jù) ? Hash值 – 通過比對記錄的 hash值，識別出變化的數(shù)據(jù) ? 業(yè)務(wù)日期 – 根據(jù)源表中有業(yè)務(wù)含義的日期字段獲取增量，如保單表的簽單日、生效日，收付費表的實收日期，保全生效日等 ? CDC組件 – Change Data Capture 改變數(shù)據(jù)捕獲 存量數(shù)據(jù) 增量 1 增量 2 …… ETL 插入 數(shù)據(jù)倉庫 修改 刪除 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 23頁 CDC整體連接示意圖 C D C f o r O r a c l eC D C f o r D a t a s t a g eC D C f o r A c c e s s s e r v e ru s e r A ( 登 錄 服 務(wù) 器 用 戶 )S 1 ( 實 例 )s y s t e mc d c u s e r ( 登 錄 服 務(wù) 器 用 戶 ) A d m i n ( 客 戶 端 用 戶 )A d m i n ( 客 戶 端 用 戶 )c d d u s e r ( 登 錄 服 務(wù) 器 用 戶 ) S 1 1 ( 數(shù) 據(jù) 存 儲 )D 1 1 ( 數(shù) 據(jù) 存儲 )D 1 ( 實 例 )A d m i n ( 客 戶 端 用 戶 )A d m i n ( 客 戶 端 用 戶 )? CDC FOR ORACLE 連接核心 Oracle數(shù)據(jù)庫作為數(shù)據(jù)源 ? CDC FOR DATASTAGE 讓數(shù)據(jù)源的增量數(shù)據(jù)落地成數(shù)據(jù)文件，作為目標(biāo)端 ? CDC FOR ACCESSSERVER 連接 CDC FOR ORACLE和 CDC FOR DATASTAGE 并提供用戶管理 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 24頁 如何選擇增量獲取方式 數(shù)據(jù)源 ? 源表如何記錄 ? 改造成本 ? 影響程度 ETL ? 實現(xiàn)難度 ? 維護成本 ? 穩(wěn)定性 目標(biāo)表 ? 需要哪些數(shù)據(jù) ? 寫入效率 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 25頁 數(shù)據(jù)存儲：數(shù)據(jù)倉庫 ? 職責(zé) – 負(fù)責(zé)存儲數(shù)據(jù) ? 功能 – 快速存取，適應(yīng)變化 ? 關(guān)鍵問題 – 4個基本特征的數(shù)據(jù)集合 – 數(shù)據(jù)架構(gòu)：分哪幾層 – 數(shù)據(jù)模型：每層如何存儲數(shù)據(jù) – 數(shù)據(jù)流向 ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門戶英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 26頁 數(shù)據(jù)使用：分析 ? 職責(zé) – 負(fù)責(zé)數(shù)據(jù)的使用、分析、展現(xiàn) ? 常見方式 – 報表：常規(guī)的制式固定報表 – OLAP：聯(lián)機分析處理 – 數(shù)據(jù)挖掘 – 即席查詢 – 自助查詢 ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門戶英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 27頁 聯(lián)機分析處理（ OLAP） ? 是針對特定問題的聯(lián)機訪問和分析 ? 通過對信息的很多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許分析人員對數(shù)據(jù)進(jìn)行深入觀察 ? 概念 – 變量是數(shù)據(jù)的實際意義，描述數(shù)據(jù)是什么 – 維是人們觀察數(shù)據(jù)的特定角度 – 維的層次是維在不同細(xì)節(jié)程度的描述 – 維成員是維的一個取值 – 多層次維的維成員是各層次取值的組合 – 對應(yīng)一個數(shù)據(jù)項，維成員是該數(shù)據(jù)項在該維中位置的描述 – 多維數(shù)組可以表示為（維 1,維 2,……, 變量），如（地區(qū) ,時間 ,銷售渠道 ,銷售額） – 多維數(shù)組的取值稱為數(shù)據(jù)單元（單元格） ? 可以理解為交叉表的數(shù)據(jù)格 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 28頁 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 29頁 鉆取和上卷 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 30頁 旋轉(zhuǎn) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164