數(shù)據(jù)倉庫體系培訓(xùn)課件(已修改)
2025-03-17 13:13 本頁面
【正文】 Advance Your Potential 咨詢 解決方案 數(shù)據(jù)倉庫體系培訓(xùn) 1 文思信息 版權(quán)所有，內(nèi)部保密材料 主題 2 數(shù)據(jù)倉庫體系規(guī)劃 數(shù)據(jù)倉庫實(shí)施方法論 QA 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)倉庫規(guī)劃步驟 3 3 現(xiàn)狀分析 體系規(guī)劃 實(shí)施路線 ?基礎(chǔ)數(shù)據(jù)平臺(tái)與分析型系統(tǒng)現(xiàn)狀總結(jié) ?銀行現(xiàn)有數(shù)據(jù)倉庫體系差距 ?規(guī)劃數(shù)據(jù)倉庫系統(tǒng)總體技術(shù)方案藍(lán)圖 ?制定相關(guān)管理制度與工作流程 ?規(guī)劃數(shù)據(jù)倉庫體系分階段落地方案與實(shí)施路線圖 指導(dǎo)方針 ? 承前啟后 ： 著重考慮對(duì)前期工作的承接和規(guī)劃成果的落地實(shí)施 ? 敦本務(wù)實(shí) ： 實(shí)施公司、同業(yè)經(jīng)驗(yàn)與銀行實(shí)際相結(jié)合 ? 遠(yuǎn)近兼顧 ： 立足長遠(yuǎn)與滿足當(dāng)前需求相結(jié)合 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)倉庫典型體系架構(gòu)（星型－ EDW） 4 SASB YHT CMS PMS 。 調(diào)度軟件（ControlM、Automation、ETL_PLUS） ETL軟件 前端軟件 管 控 平 臺(tái) DM 信用卡集市 DM 信貸集市 DM 風(fēng)險(xiǎn)管理集市 DM 。 ETL軟件 ETL軟件 ETL軟件 前端軟件 前端軟件 前端軟件 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)倉庫典型體系架構(gòu)（集中型－ EDW） 5 SASB YHT CMS PMS 。 調(diào)度軟件（ControlM、Automation、ETL_PLUS） ETL軟件 Powercenter Datastage 文本腳本 前端軟件 （ BIEE、 Congnus、 BO、 Microstrategy） DB（ TD、 DB Oracle） 緩沖層 模型層 匯總層 集市層 管 控 平 臺(tái) 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)倉庫典型體系架構(gòu)（混合型－ EDW） 6 SASB YHT CMS PMS 。 調(diào)度軟件（ControlM、Automation、ETL_PLUS） ETL軟件 Powercenter Datastage 文本腳本 前端軟件 （ BIEE、 Congnus、 BO、 Microstrategy） DB（ TD、 DB Oracle） 緩沖層 模型層 匯總層 集市層 管 控 平 臺(tái) 庫外集市 庫外集市 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)倉庫體系規(guī)劃 7 應(yīng)用體系 應(yīng)用主題 應(yīng)用模式 應(yīng)用方案 實(shí)施規(guī)劃 數(shù)據(jù)體系 數(shù)據(jù)架構(gòu) ODS基礎(chǔ)層 匯總層 集市層 技術(shù)體系 統(tǒng)一交換 統(tǒng)一監(jiān)控 統(tǒng)一調(diào)度 統(tǒng)一發(fā)布 統(tǒng)一管控 運(yùn)維體系 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)質(zhì)量 元數(shù)據(jù) 安全 組織架構(gòu) 管控體系 組織架構(gòu)管控流程管控內(nèi)容 管控體系 從數(shù)據(jù)體系 、 技術(shù)體系 、 應(yīng)用體系 、 運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃 。 文思信息 版權(quán)所有，內(nèi)部保密材料 BI環(huán)境內(nèi)的數(shù)據(jù)架構(gòu) 8 集市層 匯總層 預(yù)連接 /預(yù)處理 ODS 基礎(chǔ)層 客戶 賬戶 資產(chǎn) 交易 產(chǎn)品 渠道 財(cái)務(wù) 賬戶匯總 交易統(tǒng)計(jì)匯總 客戶匯總 機(jī)構(gòu)匯總 產(chǎn)品匯總 渠道匯總 指標(biāo)庫 :規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等 核心 個(gè)貸 法貸 基金 存管 國結(jié) IT人員 業(yè)務(wù)分析人員 決策用戶 高級(jí)分析人員 ODS層 ?解決源系統(tǒng)快速接入的問題；避免從源系統(tǒng)頻繁、重復(fù)數(shù)據(jù)抽取； ?源系統(tǒng)一次性分析、一次性抽取、一次性接入； ?需要隨著源系統(tǒng)變更進(jìn)行維護(hù) 基礎(chǔ)層 ?面向主題整合；保留詳細(xì)數(shù)據(jù)和歷史數(shù)據(jù) ?按照業(yè)務(wù)驅(qū)動(dòng)、逐步建設(shè) ?模型相對(duì)穩(wěn)定；但是隨著源系統(tǒng)和數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn)的變化， ETL加工邏輯會(huì)長期變化 應(yīng)用集市層 ?面向應(yīng)用的個(gè)性化定制。 匯總層 ?提供統(tǒng)一的業(yè)務(wù)口徑。 ?避免集市的重復(fù)加工。 ?隨著應(yīng)用建設(shè)逐步完善 ?模型相對(duì)穩(wěn)定，隨著業(yè)務(wù)擴(kuò)展可以擴(kuò)展模型； ?隨著業(yè)務(wù)統(tǒng)計(jì)口徑變化， ETL加工邏輯會(huì)變化； 文思信息 版權(quán)所有，內(nèi)部保密材料 不同層次應(yīng)用場(chǎng)景 9 1 審計(jì) /風(fēng)險(xiǎn)管理等需要未經(jīng)加工的業(yè)務(wù)原始數(shù)據(jù) 源數(shù)據(jù)質(zhì)量檢查規(guī)則、常規(guī)報(bào)告 …… 應(yīng)用用戶、決策用戶會(huì)訪問特定應(yīng)用 …… 業(yè)務(wù)人員通過設(shè)定業(yè)務(wù)檢查規(guī)則來明確模型可用性 業(yè)務(wù)部門人員多數(shù)需要常規(guī)報(bào)表供日常呈報(bào) …… 業(yè)務(wù)人員參考整合規(guī)則來驗(yàn)證業(yè)務(wù)正確性 POWER USER通常需要訪問第二層對(duì)數(shù)據(jù)進(jìn)行深入分析 …… 2 3 4 文思信息 版權(quán)所有，內(nèi)部保密材料 ODS EDW 特點(diǎn)比較 ODS : ?與源系統(tǒng)保持一致 ?基本不進(jìn)行轉(zhuǎn)換和整合 ?當(dāng)前最新數(shù)據(jù) EDW: ?第三范式模型 ?進(jìn)行數(shù)據(jù)整合和轉(zhuǎn)換 ?當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù) ODS: ?狀態(tài)類數(shù)據(jù)保存當(dāng)前最新數(shù)據(jù) ?日志類數(shù)據(jù)保存 3個(gè)月 ? 針對(duì)及其特殊的需要可以考慮對(duì)數(shù)據(jù)保留一定時(shí)間段的歷史 EDW: ?一般最長在線保存 7年。 ?事件類數(shù)據(jù)在線保留時(shí)間會(huì)短一些， 13個(gè)月左右。 ODS: ?全部源系統(tǒng) ?不重復(fù)保存已經(jīng)入 EDW的 Event類數(shù)據(jù) EDW: ?全部源系統(tǒng)的原始細(xì)節(jié)數(shù)據(jù)，不接入派生和匯總數(shù)據(jù)。 ODS: ?時(shí)效性要求高的 ?不需要需歷史數(shù)據(jù) ?需要訪問最始數(shù)據(jù)（審計(jì)、稽核類）的應(yīng)用 EDW: ?模型區(qū)時(shí)效性可以滿足要求的 ?需要訪問歷史數(shù)據(jù)的 ?基于多個(gè)系統(tǒng)整合數(shù)據(jù)的 ?不是必須訪問原始數(shù)據(jù)的應(yīng)用 數(shù)據(jù)模型 數(shù)據(jù)接入 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)應(yīng)用 ODS 特點(diǎn)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1