【正文】 User Tool MDB EndUser Tool EndUser Tool Data Staging：數(shù)據(jù)處理區(qū)域，為了實(shí)現(xiàn)ETL過(guò)程的臨時(shí)存儲(chǔ) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 18頁(yè) 體系結(jié)構(gòu) [Pieter,1998] Source Databases Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis EndUser DW Tools Central Data Warehouse Central Data Warehouse Mid Tier Mid Tier Data Mart Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange MDB Data Cleansing Tool Relational Appl. Package Legacy External RDBMS RDBMS 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 19頁(yè) 帶 ODS的體系結(jié)構(gòu) Source Databases Hub Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis Central Data Ware house and ODS Central Data Warehouse Mid Tier RDBMS Data Mart Mid Tier RDBMS Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange ODS OLTP Tools Data Cleansing Tool Relational Appl. Package Legacy External MDB EndUser DW Tools 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 20頁(yè) 小結(jié)：體系結(jié)構(gòu) ETL 數(shù)據(jù)獲取 數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)存儲(chǔ) 分析 數(shù)據(jù)使用 元數(shù)據(jù)管理 調(diào)度管理 數(shù)據(jù)標(biāo)準(zhǔn)管理 數(shù)據(jù)質(zhì)量管理 門(mén)戶(hù) 數(shù)據(jù)源 用戶(hù) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 21頁(yè) 數(shù)據(jù)獲?。?ETL ? 職責(zé) – 負(fù)責(zé)將數(shù)據(jù)從源系統(tǒng)提取到數(shù)據(jù)倉(cāng)庫(kù)中 ? 功能 – 去掉操作型數(shù)據(jù)庫(kù)中不需要的數(shù)據(jù) – 統(tǒng)一轉(zhuǎn)換數(shù)據(jù)的名稱(chēng)和定義 – 計(jì)算匯總數(shù)據(jù)和派生數(shù)據(jù) – 估計(jì)遺失數(shù)據(jù)的缺省值 ? 關(guān)鍵問(wèn)題 – 增量數(shù)據(jù)獲取 – 異常處理 ? 異常捕獲、異常處理 – 非功能需求 ? 如何復(fù)用代碼 ? 性能：是否使用存儲(chǔ)過(guò)程、如何轉(zhuǎn)換 ? 易用性：并行開(kāi)發(fā)、維護(hù) ET L數(shù)據(jù)獲取數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門(mén)戶(hù)英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 22頁(yè) 增量數(shù)據(jù)獲取方式 ? 時(shí)間戳 – 源表有時(shí)間戳字段，記錄新增、 修改、刪除更新時(shí)間戳字段 ? 觸發(fā)器 – 源表中創(chuàng)建觸發(fā)器，通過(guò)觸發(fā)器 捕獲數(shù)據(jù)的增、刪、改 ? 數(shù)據(jù)庫(kù)日志 – 對(duì)事務(wù)數(shù)據(jù)庫(kù)的日志文件進(jìn)行分析，獲取變化的數(shù)據(jù) ? Hash值 – 通過(guò)比對(duì)記錄的 hash值，識(shí)別出變化的數(shù)據(jù) ? 業(yè)務(wù)日期 – 根據(jù)源表中有業(yè)務(wù)含義的日期字段獲取增量，如保單表的簽單日、生效日，收付費(fèi)表的實(shí)收日期，保全生效日等 ? CDC組件 – Change Data Capture 改變數(shù)據(jù)捕獲 存量數(shù)據(jù) 增量 1 增量 2 …… ETL 插入 數(shù)據(jù)倉(cāng)庫(kù) 修改 刪除 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 23頁(yè) CDC整體連接示意圖 C D C f o r O r a c l eC D C f o r D a t a s t a g eC D C f o r A c c e s s s e r v e ru s e r A ( 登 錄 服 務(wù) 器 用 戶(hù) )S 1 ( 實(shí) 例 )s y s t e mc d c u s e r ( 登 錄 服 務(wù) 器 用 戶(hù) ) A d m i n ( 客 戶(hù) 端 用 戶(hù) )A d m i n ( 客 戶(hù) 端 用 戶(hù) )c d d u s e r ( 登 錄 服 務(wù) 器 用 戶(hù) ) S 1 1 ( 數(shù) 據(jù) 存 儲(chǔ) )D 1 1 ( 數(shù) 據(jù) 存儲(chǔ) )D 1 ( 實(shí) 例 )A d m i n ( 客 戶(hù) 端 用 戶(hù) )A d m i n ( 客 戶(hù) 端 用 戶(hù) )? CDC FOR ORACLE 連接核心 Oracle數(shù)據(jù)庫(kù)作為數(shù)據(jù)源 ? CDC FOR DATASTAGE 讓數(shù)據(jù)源的增量數(shù)據(jù)落地成數(shù)據(jù)文件，作為目標(biāo)端 ? CDC FOR ACCESSSERVER 連接 CDC FOR ORACLE和 CDC FOR DATASTAGE 并提供用戶(hù)管理 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 24頁(yè) 如何選擇增量獲取方式 數(shù)據(jù)源 ? 源表如何記錄 ? 改造成本 ? 影響程度 ETL ? 實(shí)現(xiàn)難度 ? 維護(hù)成本 ? 穩(wěn)定性 目標(biāo)表 ? 需要哪些數(shù)據(jù) ? 寫(xiě)入效率 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 25頁(yè) 數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)倉(cāng)庫(kù) ? 職責(zé) – 負(fù)責(zé)存儲(chǔ)數(shù)據(jù) ? 功能 – 快速存取，適應(yīng)變化 ? 關(guān)鍵問(wèn)題 – 4個(gè)基本特征的數(shù)據(jù)集合 – 數(shù)據(jù)架構(gòu)：分哪幾層 – 數(shù)據(jù)模型：每層如何存儲(chǔ)數(shù)據(jù) – 數(shù)據(jù)流向 ET L數(shù)據(jù)獲取數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門(mén)戶(hù)英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 26頁(yè) 數(shù)據(jù)使用：分析 ? 職責(zé) – 負(fù)責(zé)數(shù)據(jù)的使用、分析、展現(xiàn) ? 常見(jiàn)方式 – 報(bào)表：常規(guī)的制式固定報(bào)表 – OLAP：聯(lián)機(jī)分析處理 – 數(shù)據(jù)挖掘 – 即席查詢(xún) – 自助查詢(xún) ET L數(shù)據(jù)獲取數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)分析數(shù)據(jù)使用元數(shù)據(jù)管理調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理門(mén)戶(hù)英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 27頁(yè) 聯(lián)機(jī)分析處理（ OLAP） ? 是針對(duì)特定問(wèn)題的聯(lián)機(jī)訪(fǎng)問(wèn)和分析 ? 通過(guò)對(duì)信息的很多種可能的觀(guān)察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許分析人員對(duì)數(shù)據(jù)進(jìn)行深入觀(guān)察 ? 概念 – 變量是數(shù)據(jù)的實(shí)際意義，描述數(shù)據(jù)是什么 – 維是人們觀(guān)察數(shù)據(jù)的特定角度 – 維的層次是維在不同細(xì)節(jié)程度的描述 – 維成員是維的一個(gè)取值 – 多層次維的維成員是各層次取值的組合 – 對(duì)應(yīng)一個(gè)數(shù)據(jù)項(xiàng)，維成員是該數(shù)據(jù)項(xiàng)在該維中位置的描述 – 多維數(shù)組可以表示為（維 1,維 2,……, 變量），如（地區(qū) ,時(shí)間 ,銷(xiāo)售渠道 ,銷(xiāo)售額） – 多維數(shù)組的取值稱(chēng)為數(shù)據(jù)單元（單元格） ? 可以理解為交叉表的數(shù)據(jù)格 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 28頁(yè) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 29頁(yè) 鉆取和上卷 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 30頁(yè) 旋轉(zhuǎn) 英文標(biāo)題 :32pt 字體 :Arial 中文標(biāo)題 :32pt 字體：黑體 首選顏色 : R0 G93 B164