【正文】 的 ETL 工程，通過優(yōu)化和調(diào)試，確保 ETL 過程是高效率、高穩(wěn)定的，主要目標(biāo)減少對數(shù)據(jù)倉庫時(shí)間窗口的占用，ETL 過程將減上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 13 of 27少轉(zhuǎn)換的過程。 數(shù)據(jù)存儲方案從數(shù)據(jù)倉庫采集數(shù)據(jù)到 ODS 過程中，將盡量減少轉(zhuǎn)換等操作，以減少數(shù)據(jù)倉庫的征用時(shí)間，從 ODS 到統(tǒng)一數(shù)據(jù)集市過程中再進(jìn)行衍生數(shù)據(jù)等的計(jì)算，之后數(shù)據(jù)集市保存各應(yīng)用需要的數(shù)據(jù)，而 ODS 中的數(shù)據(jù)在保存一段時(shí)間后將被刪除。 系統(tǒng)數(shù)據(jù)流程數(shù) 據(jù) 提 供 流 程需求階段 開發(fā)階段 生產(chǎn)階段數(shù)據(jù)倉庫數(shù)據(jù)集市業(yè)務(wù)系統(tǒng)2 . 分析數(shù)據(jù)滿足度開始結(jié)束4 . 數(shù)據(jù)整合與接口開發(fā)3 . 驗(yàn)證1 . 編寫數(shù)據(jù)需求文檔5 . 驗(yàn)證滿足度7 . 轉(zhuǎn)換 / 計(jì)算數(shù)據(jù)6 . 數(shù)據(jù)抽取8 . 獲取數(shù)據(jù)整合進(jìn)入統(tǒng)一的數(shù)據(jù)集市模型1) 數(shù)據(jù)集市的建立是由實(shí)際的業(yè)務(wù)需求驅(qū)動(dòng)的，隨著各類業(yè)務(wù)需求的提出，數(shù)據(jù)集市的建立會逐漸完善。注：具體數(shù)據(jù)模型需待分析各應(yīng)用數(shù)據(jù)模型后才能完整提出。O D S統(tǒng)一數(shù)據(jù)集市反洗錢運(yùn)營內(nèi)控 非現(xiàn)場審計(jì) 報(bào)表系統(tǒng)數(shù)據(jù)倉庫上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 10 of 27 數(shù)據(jù)集市模型概述 統(tǒng)一數(shù)據(jù)集市模型概述統(tǒng)一數(shù)據(jù)集市模型將基于反洗錢、運(yùn)營內(nèi)控、非現(xiàn)場審計(jì) 3 個(gè)應(yīng)用的數(shù)據(jù)需求進(jìn)行概要公用數(shù)據(jù)模型設(shè)計(jì)，未來在應(yīng)用的擴(kuò)充上以數(shù)據(jù)需求為驅(qū)動(dòng)在模型上進(jìn)行豐富和擴(kuò)展，公用數(shù)據(jù)模型設(shè)計(jì)的基本原則是能使后續(xù)應(yīng)用能夠很好的融入這部分模型。此框架中統(tǒng)一數(shù)據(jù)集市采用 SybaseIQ，利用其成熟的功能，可以設(shè)置多個(gè)數(shù)據(jù)庫引擎（節(jié)點(diǎn)）連接同一個(gè)數(shù)據(jù)存儲，而各個(gè)邏輯數(shù)據(jù)部分通過不同的用戶進(jìn)行訪問，由于 SybaseIQ 僅支持 1 個(gè)可讀寫節(jié)點(diǎn)，所以需要將應(yīng)用系統(tǒng)中的上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 9 of 27寫操作和讀操作分別連接相應(yīng)的節(jié)點(diǎn)以達(dá)到良好的性能，后期可以擴(kuò)展多個(gè)只讀節(jié)點(diǎn)，解決 CPU 和內(nèi)存的瓶頸問題，使前端應(yīng)用系統(tǒng)的查詢等功能得到更快的響應(yīng)。存在的問題：1) 數(shù)據(jù)倉庫窗口征用，各業(yè)務(wù)系統(tǒng)數(shù)據(jù)來源都來自數(shù)據(jù)倉庫，且數(shù)據(jù)量大，將大量占用數(shù)據(jù)倉庫留給業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)的時(shí)間窗口，并且各應(yīng)用抽取數(shù)據(jù)中存在重復(fù)數(shù)據(jù)部分，若能將 ODS 進(jìn)行整合，勢必減少數(shù)據(jù)抽取總量，從而減少數(shù)據(jù)抽取總時(shí)間花費(fèi)；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 8 of 272) 繁多的 ETL 工程，對于每個(gè)應(yīng)用必須單獨(dú)開發(fā) ETL 工程取數(shù)，當(dāng)應(yīng)用不斷增加，開發(fā)和維護(hù) ETL 工程將變成不小的負(fù)擔(dān)，如果能從設(shè)計(jì)上合理規(guī)劃 ETL過程達(dá)到各應(yīng)用共用的目標(biāo)，就可以減少 ETL 過程的數(shù)量；3) ODS 數(shù)據(jù)冗余，各業(yè)務(wù)系統(tǒng)都擁有一個(gè) ODS 數(shù)據(jù)空間，且以面向應(yīng)用的形式存儲，造成空間的冗余；4) 各 DM 存儲的數(shù)據(jù)未最大程度利用，由于各業(yè)務(wù)系統(tǒng)需要用到一些相近甚至相同的數(shù)據(jù)，所以各業(yè)務(wù)系統(tǒng)的 DM 中必然都存儲著這些數(shù)據(jù)的”副本”，如果能夠互相訪問這些數(shù)據(jù)，那么可以節(jié)省存儲空間。因此浦發(fā)銀行數(shù)據(jù)集市的建立必須基于數(shù)據(jù)倉庫完成。從數(shù)據(jù)的采集路徑與環(huán)節(jié)看，路徑清晰，環(huán)節(jié)簡單，對原系統(tǒng)影響很小。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 6 of 27按照浦發(fā)銀行技術(shù)架構(gòu)，數(shù)據(jù)倉庫的建設(shè)采用“自頂向下”的建設(shè)思路，即首先建設(shè)全行統(tǒng)一的數(shù)據(jù)倉庫，在數(shù)據(jù)層面對全行數(shù)據(jù)進(jìn)行整合，做到各類數(shù)據(jù)的完整、統(tǒng)一、準(zhǔn)確、規(guī)范；再從業(yè)務(wù)層面，基于數(shù)據(jù)倉庫建設(shè)各類應(yīng)用的數(shù)據(jù)集市，滿足應(yīng)用的需求。2 總體解決方案 基于數(shù)據(jù)倉庫建立數(shù)據(jù)集市隨著反洗錢系統(tǒng)、運(yùn)行內(nèi)控系統(tǒng)、審計(jì)系統(tǒng)等項(xiàng)目的啟動(dòng)，各個(gè)系統(tǒng)的技術(shù)架構(gòu)必然都統(tǒng)一規(guī)劃為從數(shù)據(jù)倉庫獲取數(shù)據(jù)。數(shù)據(jù)集市的建立可以有效緩解數(shù)據(jù)倉庫時(shí)間窗口的爭用問題，加快各系統(tǒng)數(shù)據(jù)獲取的速度。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 1 of 27上海浦東發(fā)展銀行基于數(shù)據(jù)倉庫的數(shù)據(jù)集市解決方案上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 2 of 27文件標(biāo)識： SPDBDATAMARKS當(dāng)前版本： 作 者：文件狀態(tài)：[ ] 草稿[ ] 正在修改[√] 正式發(fā)布 完成日期： 20220809上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 3 of 27版 本 歷 史版本/狀態(tài) 作者 參與者 起止日期 備注 2022727 20220802 20220802 20220806 20220808 20220809上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 4 of 27目 錄1 系統(tǒng)綜述 ...........................................................................................................................................52 總體解決方案 ...................................................................................................................................5 基于數(shù)據(jù)倉庫建立數(shù)據(jù)集市 ...................................................................................................5 系統(tǒng)邏輯框架 ...........................................................................................................................7 原業(yè)務(wù)系統(tǒng)邏輯框架 .......................................................................................................7 架設(shè)統(tǒng)一數(shù)據(jù)集市后的系統(tǒng)邏輯框架 ...........................................................................8 數(shù)據(jù)集市模型概述 .................................................................................................................10 統(tǒng)一 數(shù)據(jù) 集市模型概述 .