【正文】 ..................18 實(shí)施方法 .....................................................................................................................19 實(shí)施計(jì)劃 .....................................................................................................................24 系統(tǒng)軟硬件建議 .................................................................................................................26 系統(tǒng)硬件 .....................................................................................................................26 系統(tǒng)軟件 .....................................................................................................................273 系統(tǒng)建設(shè)目標(biāo) .................................................................................................................................27上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 5 of 271 系統(tǒng)綜述上海浦東發(fā)展銀行數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)目前已經(jīng)初具規(guī)模，隨著相關(guān)數(shù)據(jù)逐步積累，數(shù)據(jù)倉(cāng)庫(kù)的資源已經(jīng)完全可以滿足各類(lèi)分析系統(tǒng)的數(shù)據(jù)需求，按照浦發(fā)銀行的技術(shù)架構(gòu)，數(shù)據(jù)集市的建設(shè)已經(jīng)迫在眉睫。2 總體解決方案 基于數(shù)據(jù)倉(cāng)庫(kù)建立數(shù)據(jù)集市隨著反洗錢(qián)系統(tǒng)、運(yùn)行內(nèi)控系統(tǒng)、審計(jì)系統(tǒng)等項(xiàng)目的啟動(dòng)，各個(gè)系統(tǒng)的技術(shù)架構(gòu)必然都統(tǒng)一規(guī)劃為從數(shù)據(jù)倉(cāng)庫(kù)獲取數(shù)據(jù)。從數(shù)據(jù)的采集路徑與環(huán)節(jié)看，路徑清晰，環(huán)節(jié)簡(jiǎn)單，對(duì)原系統(tǒng)影響很小。存在的問(wèn)題：1) 數(shù)據(jù)倉(cāng)庫(kù)窗口征用，各業(yè)務(wù)系統(tǒng)數(shù)據(jù)來(lái)源都來(lái)自數(shù)據(jù)倉(cāng)庫(kù)，且數(shù)據(jù)量大，將大量占用數(shù)據(jù)倉(cāng)庫(kù)留給業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)的時(shí)間窗口，并且各應(yīng)用抽取數(shù)據(jù)中存在重復(fù)數(shù)據(jù)部分，若能將 ODS 進(jìn)行整合，勢(shì)必減少數(shù)據(jù)抽取總量，從而減少數(shù)據(jù)抽取總時(shí)間花費(fèi)；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 8 of 272) 繁多的 ETL 工程，對(duì)于每個(gè)應(yīng)用必須單獨(dú)開(kāi)發(fā) ETL 工程取數(shù)，當(dāng)應(yīng)用不斷增加，開(kāi)發(fā)和維護(hù) ETL 工程將變成不小的負(fù)擔(dān)，如果能從設(shè)計(jì)上合理規(guī)劃 ETL過(guò)程達(dá)到各應(yīng)用共用的目標(biāo)，就可以減少 ETL 過(guò)程的數(shù)量；3) ODS 數(shù)據(jù)冗余，各業(yè)務(wù)系統(tǒng)都擁有一個(gè) ODS 數(shù)據(jù)空間，且以面向應(yīng)用的形式存儲(chǔ)，造成空間的冗余；4) 各 DM 存儲(chǔ)的數(shù)據(jù)未最大程度利用，由于各業(yè)務(wù)系統(tǒng)需要用到一些相近甚至相同的數(shù)據(jù)，所以各業(yè)務(wù)系統(tǒng)的 DM 中必然都存儲(chǔ)著這些數(shù)據(jù)的”副本”，如果能夠互相訪問(wèn)這些數(shù)據(jù)，那么可以節(jié)省存儲(chǔ)空間。O D S統(tǒng)一數(shù)據(jù)集市反洗錢(qián)運(yùn)營(yíng)內(nèi)控 非現(xiàn)場(chǎng)審計(jì) 報(bào)表系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 10 of 27 數(shù)據(jù)集市模型概述 統(tǒng)一數(shù)據(jù)集市模型概述統(tǒng)一數(shù)據(jù)集市模型將基于反洗錢(qián)、運(yùn)營(yíng)內(nèi)控、非現(xiàn)場(chǎng)審計(jì) 3 個(gè)應(yīng)用的數(shù)據(jù)需求進(jìn)行概要公用數(shù)據(jù)模型設(shè)計(jì)，未來(lái)在應(yīng)用的擴(kuò)充上以數(shù)據(jù)需求為驅(qū)動(dòng)在模型上進(jìn)行豐富和擴(kuò)展，公用數(shù)據(jù)模型設(shè)計(jì)的基本原則是能使后續(xù)應(yīng)用能夠很好的融入這部分模型。 系統(tǒng)數(shù)據(jù)流程數(shù) 據(jù) 提 供 流 程需求階段 開(kāi)發(fā)階段 生產(chǎn)階段數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市業(yè)務(wù)系統(tǒng)2 . 分析數(shù)據(jù)滿足度開(kāi)始結(jié)束4 . 數(shù)據(jù)整合與接口開(kāi)發(fā)3 . 驗(yàn)證1 . 編寫(xiě)數(shù)據(jù)需求文檔5 . 驗(yàn)證滿足度7 . 轉(zhuǎn)換 / 計(jì)算數(shù)據(jù)6 . 數(shù)據(jù)抽取8 . 獲取數(shù)據(jù)整合進(jìn)入統(tǒng)一的數(shù)據(jù)集市模型1) 數(shù)據(jù)集市的建立是由實(shí)際的業(yè)務(wù)需求驅(qū)動(dòng)的，隨著各類(lèi)業(yè)務(wù)需求的提出，數(shù)據(jù)集市的建立會(huì)逐漸完善。 數(shù)據(jù)倉(cāng)庫(kù)到 ODS 的 ETL 數(shù)據(jù)采集方案在應(yīng)用業(yè)務(wù)數(shù)據(jù)需求通過(guò)數(shù)據(jù)倉(cāng)庫(kù)驗(yàn)證后，數(shù)據(jù)集市小組需要開(kāi)發(fā)從數(shù)據(jù)倉(cāng)庫(kù)采集數(shù)據(jù)到 ODS 數(shù)據(jù)模型的 ETL 工程，通過(guò)優(yōu)化和調(diào)試，確保 ETL 過(guò)程是高效率、高穩(wěn)定的，主要目標(biāo)減少對(duì)數(shù)據(jù)倉(cāng)庫(kù)時(shí)間窗口的占用，ETL 過(guò)程將減上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 13 of 27少轉(zhuǎn)換的過(guò)程。 ODS 到數(shù)據(jù)集市轉(zhuǎn)換方案 公用數(shù)據(jù)部分由于公用數(shù)據(jù)部分不涉及業(yè)務(wù)邏輯、算法等，也不包涵過(guò)多的轉(zhuǎn)換等操作，所以 ODS 到數(shù)據(jù)集市公用數(shù)據(jù)模型部分轉(zhuǎn)換腳本由數(shù)據(jù)集市小組統(tǒng)一進(jìn)行開(kāi)發(fā)和驗(yàn)證，結(jié)果與應(yīng)用之間進(jìn)行確認(rèn)。對(duì)于第 1 步數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)抽取到 ODS 過(guò)程，隨著應(yīng)用的增加，一般數(shù)據(jù)的抽取量會(huì)增加，勢(shì)必將延長(zhǎng)抽取耗費(fèi)的時(shí)間，但是由于統(tǒng)一 ODS 模型中會(huì)含有后續(xù)應(yīng)用所需要的部分?jǐn)?shù)據(jù)，所以總抽取數(shù)據(jù)量小于兩邊數(shù)據(jù)量之和，另外由于 ETL 工具 DataStage 支持并行抽取，可以通過(guò)多臺(tái)硬件服務(wù)器節(jié)點(diǎn)同時(shí)抽取數(shù)據(jù)，在開(kāi)發(fā)合理的情況下可以顯著減少抽取總時(shí)間花費(fèi)。 后續(xù)應(yīng)用對(duì)原應(yīng)用的影響分析上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 15 of 27數(shù) 據(jù) 倉(cāng) 庫(kù)O D SE T L數(shù) 據(jù) 集 市公 用 部 分?jǐn)?shù) 據(jù) 模 型數(shù) 據(jù) 集 市X 應(yīng) 用 特 有部 分 數(shù) 據(jù) 模 型A : 基 準(zhǔn) 時(shí) 間 T腳 本 1腳 本 2腳 本 3t 1B : T + t 1t 2t 3t 4C : T + t 1 + t 2 + t 3D : T + t 1 + t 2 + t 3 + t 4單 一 應(yīng) 用 X 情 況以上圖例表示單一應(yīng)用 X 的獲取數(shù)據(jù)的時(shí)間描述? 狀態(tài) A：數(shù)據(jù)倉(cāng)庫(kù)時(shí)間窗口打開(kāi)，供 ETL 抽取數(shù)據(jù)的基準(zhǔn)時(shí)間為 T；? t1：ETL 過(guò)程耗時(shí)；? 狀態(tài) B：ETL 過(guò)程結(jié)束需要 T+t1；? 腳本 1：將 ODS 中數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)集市中公用數(shù)據(jù)模型部分，單一運(yùn)行需要t2；? 腳本 2：將 ODS 中數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)集市中 X 應(yīng)用特有數(shù)據(jù)模型部分，單一運(yùn)行需要 t3；? 狀態(tài) C：由于并行運(yùn)行腳本 A 和 B，數(shù)據(jù)到達(dá) C 狀態(tài)的總消耗時(shí)間小于T+t1+t2+t3；? 腳本 3：從數(shù)據(jù)集市公用部分?jǐn)?shù)據(jù)計(jì)算 X 應(yīng)用特有數(shù)據(jù)，需要時(shí)間 t4；? 狀態(tài) D：應(yīng)用可用狀態(tài)總花費(fèi)時(shí)間小于 T+t1+t2+t3+t4。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 17 of 27 外部接口方案 數(shù)據(jù)倉(cāng)庫(kù)接口數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的獲取采用數(shù)據(jù)不落地方式，利用 ETL 抽取工具（行內(nèi)統(tǒng)一采購(gòu) DataStage）將數(shù)據(jù)直接抽取進(jìn)入 ODS 數(shù)據(jù)模型，經(jīng)過(guò)整合的 ETL 過(guò)程避免開(kāi)發(fā)和