【文章內(nèi)容簡(jiǎn)介】 據(jù)倉(cāng)庫(kù)上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 10 of 27 數(shù)據(jù)集市模型概述 統(tǒng)一數(shù)據(jù)集市模型概述統(tǒng)一數(shù)據(jù)集市模型將基于反洗錢(qián)、運(yùn)營(yíng)內(nèi)控、非現(xiàn)場(chǎng)審計(jì) 3 個(gè)應(yīng)用的數(shù)據(jù)需求進(jìn)行概要公用數(shù)據(jù)模型設(shè)計(jì)，未來(lái)在應(yīng)用的擴(kuò)充上以數(shù)據(jù)需求為驅(qū)動(dòng)在模型上進(jìn)行豐富和擴(kuò)展，公用數(shù)據(jù)模型設(shè)計(jì)的基本原則是能使后續(xù)應(yīng)用能夠很好的融入這部分模型。數(shù)據(jù)集市模型分為 4 個(gè)部分：1) 公用數(shù)據(jù)部分，主要包括：客戶信息、帳戶信息、交易流水等公用屬性部分，以及地址(國(guó)家、地區(qū)、省份)、產(chǎn)品、機(jī)構(gòu)和代碼表等；2) 運(yùn)營(yíng)內(nèi)控特有數(shù)據(jù)部分，主要包括：指標(biāo)數(shù)據(jù)、預(yù)警結(jié)果、預(yù)警規(guī)則配置數(shù)據(jù)等；3) 非現(xiàn)場(chǎng)審計(jì)特有數(shù)據(jù)部分，主要包括：統(tǒng)計(jì)數(shù)據(jù)、審計(jì)預(yù)警等；4) 反洗錢(qián)特有數(shù)據(jù)部分，主要包括：指標(biāo)結(jié)果、衍生數(shù)據(jù)等。注：具體數(shù)據(jù)模型需待分析各應(yīng)用數(shù)據(jù)模型后才能完整提出。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 11 of 27 ODS 數(shù)據(jù)模型概述ODS 數(shù)據(jù)模型采用面向主題的方法，按照第三范式規(guī)則進(jìn)行設(shè)計(jì)，原則上與數(shù)據(jù)倉(cāng)庫(kù)模型類似，減少數(shù)據(jù)的冗余，達(dá)到數(shù)據(jù)臨時(shí)存儲(chǔ)進(jìn)行緩沖的目的，同時(shí)可以減少甚至避免 ETL 在抽取過(guò)程中的轉(zhuǎn)換過(guò)程，減少數(shù)據(jù)倉(cāng)庫(kù)時(shí)間窗口的征用時(shí)間。 系統(tǒng)數(shù)據(jù)流程數(shù) 據(jù) 提 供 流 程需求階段 開(kāi)發(fā)階段 生產(chǎn)階段數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市業(yè)務(wù)系統(tǒng)2 . 分析數(shù)據(jù)滿足度開(kāi)始結(jié)束4 . 數(shù)據(jù)整合與接口開(kāi)發(fā)3 . 驗(yàn)證1 . 編寫(xiě)數(shù)據(jù)需求文檔5 . 驗(yàn)證滿足度7 . 轉(zhuǎn)換 / 計(jì)算數(shù)據(jù)6 . 數(shù)據(jù)抽取8 . 獲取數(shù)據(jù)整合進(jìn)入統(tǒng)一的數(shù)據(jù)集市模型1) 數(shù)據(jù)集市的建立是由實(shí)際的業(yè)務(wù)需求驅(qū)動(dòng)的，隨著各類業(yè)務(wù)需求的提出，數(shù)據(jù)集市的建立會(huì)逐漸完善。2) 數(shù)據(jù)集市會(huì)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)際情況，對(duì)業(yè)務(wù)需求進(jìn)行分析，明確業(yè)務(wù)滿足度；3) 在數(shù)據(jù)集市需求分析期間，數(shù)據(jù)倉(cāng)庫(kù)提供充分的支持，并驗(yàn)證分析結(jié)果（業(yè)務(wù)模型與數(shù)據(jù)倉(cāng)庫(kù)模型的映射）的正確性；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 12 of 274) 如果部分?jǐn)?shù)據(jù)需求在當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有，而在源系統(tǒng)中存在，建議數(shù)據(jù)倉(cāng)庫(kù)對(duì)這部分?jǐn)?shù)據(jù)進(jìn)行加載，使得獲取數(shù)據(jù)的統(tǒng)一來(lái)源是數(shù)據(jù)倉(cāng)庫(kù)，保持架構(gòu)的統(tǒng)一；5) 數(shù)據(jù)集市按照分析結(jié)果，將數(shù)據(jù)整合進(jìn)數(shù)據(jù)集市模型，并由業(yè)務(wù)系統(tǒng)驗(yàn)證數(shù)據(jù)的正確性；6) 進(jìn)入生產(chǎn)階段，數(shù)據(jù)集市每日會(huì)根據(jù)各個(gè)業(yè)務(wù)系統(tǒng)的綜合需求進(jìn)行數(shù)據(jù)的抽取。 數(shù)據(jù)存儲(chǔ)方案從數(shù)據(jù)倉(cāng)庫(kù)采集數(shù)據(jù)到 ODS 過(guò)程中，將盡量減少轉(zhuǎn)換等操作，以減少數(shù)據(jù)倉(cāng)庫(kù)的征用時(shí)間，從 ODS 到統(tǒng)一數(shù)據(jù)集市過(guò)程中再進(jìn)行衍生數(shù)據(jù)等的計(jì)算，之后數(shù)據(jù)集市保存各應(yīng)用需要的數(shù)據(jù)，而 ODS 中的數(shù)據(jù)在保存一段時(shí)間后將被刪除。1) 數(shù)據(jù)集市數(shù)據(jù)獲取以增量方式為主，對(duì)無(wú)法判斷增量的數(shù)據(jù)以全量方式獲??；2) 數(shù)據(jù)在 ODS 中保留 N 天的時(shí)間（具體保留時(shí)間需要視應(yīng)用需求而定），以達(dá)到對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)提供的緩沖，同時(shí)避免當(dāng)各個(gè)系統(tǒng)補(bǔ)數(shù)據(jù)時(shí)反復(fù)地從數(shù)據(jù)倉(cāng)庫(kù)中抽取數(shù)據(jù)；3) 每日從數(shù)據(jù)倉(cāng)庫(kù)獲取的數(shù)據(jù)在 ODS 中以切片方式保存，在系統(tǒng)頻繁增刪的情況下可以保持系統(tǒng)的高性能，避免產(chǎn)生大量數(shù)據(jù)碎片；4) ODS 的數(shù)據(jù)空間要留有足夠的冗余，以滿足業(yè)務(wù)系統(tǒng)全量初始化的需求。 數(shù)據(jù)倉(cāng)庫(kù)到 ODS 的 ETL 數(shù)據(jù)采集方案在應(yīng)用業(yè)務(wù)數(shù)據(jù)需求通過(guò)數(shù)據(jù)倉(cāng)庫(kù)驗(yàn)證后，數(shù)據(jù)集市小組需要開(kāi)發(fā)從數(shù)據(jù)倉(cāng)庫(kù)采集數(shù)據(jù)到 ODS 數(shù)據(jù)模型的 ETL 工程，通過(guò)優(yōu)化和調(diào)試，確保 ETL 過(guò)程是高效率、高穩(wěn)定的，主要目標(biāo)減少對(duì)數(shù)據(jù)倉(cāng)庫(kù)時(shí)間窗口的占用，ETL 過(guò)程將減上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 13 of 27少轉(zhuǎn)換的過(guò)程。為了便于 ETL 過(guò)程批量加載，設(shè)計(jì)和開(kāi)發(fā) ETL 過(guò)程應(yīng)避免依賴性，這樣在調(diào)度策略上可以更加靈活。隨著基于數(shù)據(jù)集市的應(yīng)用的增多，對(duì)于資源以及時(shí)間窗口爭(zhēng)用的矛盾會(huì)變得突出,在 ETL 過(guò)程調(diào)度策略上根據(jù)實(shí)際情況對(duì)各應(yīng)用進(jìn)行優(yōu)先級(jí)排序，在 ETL過(guò)程和 ODS 到數(shù)據(jù)集市的轉(zhuǎn)換過(guò)程中避免應(yīng)用間的依賴性，減少耦合性，這樣通過(guò) 2 個(gè)方面加快應(yīng)用獲取數(shù)據(jù)的效率：1. 批量?jī)?yōu)先加載優(yōu)先級(jí)高的應(yīng)用所需要數(shù)據(jù)的那部分 ETL 過(guò)程；2. 采用在 ETL 過(guò)程和 ODS 到數(shù)據(jù)集市的轉(zhuǎn)換過(guò)程分步并行的方式，以保障優(yōu)先級(jí)高的應(yīng)用對(duì)于數(shù)據(jù)需求時(shí)間點(diǎn)的要求。例如：由于運(yùn)營(yíng)內(nèi)控應(yīng)用對(duì)于數(shù)據(jù)的需求時(shí)間點(diǎn)要求最高，可以優(yōu)先加載運(yùn)營(yíng)內(nèi)控需求數(shù)據(jù)的這部分 ETL 過(guò)程，一旦滿足運(yùn)營(yíng)內(nèi)控需求部分的源數(shù)據(jù)到達(dá) ODS，便激活 ODS 到數(shù)據(jù)集市轉(zhuǎn)換過(guò)程關(guān)于運(yùn)營(yíng)內(nèi)控部分的腳本，而 ETL 過(guò)程并不停止，執(zhí)行腳本的過(guò)程可以充分利用 ETL 數(shù)據(jù)加載過(guò)程中閑置的 CPU 和內(nèi)存資源。 ODS 到數(shù)據(jù)集市轉(zhuǎn)換方案 公用數(shù)據(jù)部分由于公用數(shù)據(jù)部分不涉及業(yè)務(wù)邏輯、算法等，也不包涵過(guò)多的轉(zhuǎn)換等操作，所以 ODS 到數(shù)據(jù)集市公用數(shù)據(jù)模型部分轉(zhuǎn)換腳本由數(shù)據(jù)集市小組統(tǒng)一進(jìn)行開(kāi)發(fā)和驗(yàn)證，結(jié)果與應(yīng)用之間進(jìn)行確認(rèn)。 應(yīng)用特有數(shù)據(jù)部分各應(yīng)用特有數(shù)據(jù)模型部分轉(zhuǎn)換涉及到業(yè)務(wù)邏輯和算法，數(shù)據(jù)集市公布 ODS數(shù)據(jù)接口和數(shù)據(jù)集市模型接口，由各應(yīng)用定制完成特有數(shù)據(jù)部分的轉(zhuǎn)換，在這個(gè)過(guò)程中數(shù)據(jù)集市小組提供各應(yīng)用足夠的支持。 應(yīng)用時(shí)間窗口的解決方案在整體框架中，應(yīng)用系統(tǒng)獲取數(shù)據(jù)需要有 2 步:上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 14 of 271. 數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)抽取到 ODS 中；2. 再?gòu)?ODS 通過(guò)腳本轉(zhuǎn)換到數(shù)據(jù)集市中。如果后續(xù)需要添加應(yīng)用到數(shù)據(jù)集市模型中，那么對(duì)于這 2 步產(chǎn)生的時(shí)間窗口影響是完全不同的。對(duì)于第 1 步數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)抽取到 ODS 過(guò)程，隨著應(yīng)用的增加，一般數(shù)據(jù)的抽取量會(huì)增加，勢(shì)必將延長(zhǎng)抽取耗費(fèi)的時(shí)間，但是由于統(tǒng)一 ODS 模型中會(huì)含有后續(xù)應(yīng)用所需要的部分?jǐn)?shù)據(jù)，所以總抽取數(shù)據(jù)量小于兩邊數(shù)據(jù)量之和，另外由于 ETL 工具 DataStage 支持并行抽取，可以通過(guò)多臺(tái)硬件服務(wù)器節(jié)點(diǎn)同時(shí)抽取數(shù)據(jù)，在開(kāi)發(fā)合理的情況下可以顯著減少抽取總時(shí)間花費(fèi)。對(duì)于第 2 步，由于數(shù)據(jù)進(jìn)入 ODS 以后通過(guò)腳本轉(zhuǎn)入數(shù)據(jù)集市中是在SybaseIQ 內(nèi)部進(jìn)行，SybaseIQ 素以 I/O 消耗小而著稱，所以這步的時(shí)間消耗主要受 CPU 和內(nèi)存的影響。由于各個(gè)應(yīng)用之間沒(méi)有依賴性，故可以通過(guò)執(zhí)行腳本的先后來(lái)滿足各應(yīng)用之后的時(shí)間需求。通過(guò)分析，可以預(yù)見(jiàn)時(shí)間窗口問(wèn)題需要在整個(gè)解決方案中進(jìn)行規(guī)劃，并需要與數(shù)據(jù)倉(cāng)庫(kù)溝通尋求解決辦法。 后續(xù)應(yīng)用對(duì)原應(yīng)用的影響分析上海浦東發(fā)展銀行 ? 北京銀豐新融科技開(kāi)發(fā)有限公司，2022 Page 15 of 27數(shù) 據(jù) 倉(cāng) 庫(kù)O D SE T L數(shù) 據(jù) 集 市公 用 部 分?jǐn)?shù) 據(jù) 模 型數(shù) 據(jù) 集 市X 應(yīng) 用 特 有部 分 數(shù) 據(jù) 模 型A : 基 準(zhǔn) 時(shí) 間 T腳 本 1腳 本 2腳 本 3t 1B : T + t 1t 2t 3t 4C : T + t 1 + t 2 + t 3D : T + t 1 + t 2 + t 3 + t 4單 一 應(yīng) 用 X 情 況以上圖例表示單一應(yīng)用 X 的獲取數(shù)據(jù)的時(shí)間描述