【正文】 注： 以下工作日數(shù)不包括應用系統(tǒng)相應的改造時間花費 統(tǒng)一規(guī)劃統(tǒng)一實施統(tǒng)一規(guī)劃統(tǒng)一實施需要根據(jù)應用的量來評估總實施時間，以下以運營內(nèi)控、非現(xiàn)場審計、反洗錢 3 個應用來大致評估。 統(tǒng)一規(guī)劃統(tǒng)一實施統(tǒng)一設計和規(guī)劃數(shù)據(jù)集市的開發(fā)和實施分成 3 個大階段：第 1 階段，收集各應用數(shù)據(jù)需求和數(shù)據(jù)模型，從全局角度進行分析，并與數(shù)據(jù)倉庫就數(shù)據(jù)需求內(nèi)容進行溝通，需要數(shù)據(jù)倉庫驗證是否滿足應用需求，數(shù)據(jù)集市小組結(jié)合各應用的數(shù)據(jù)需求和數(shù)據(jù)模型進行統(tǒng)一規(guī)劃和設計數(shù)據(jù)集市和ODS 的模型；第 2 階段，數(shù)據(jù)集市小組開發(fā)和調(diào)試從數(shù)據(jù)倉庫采集數(shù)據(jù)到 ODS 的 ETL 過程以及 ODS 到數(shù)據(jù)集市公用模型部分的轉(zhuǎn)換腳本，同時公布 ODS 以及數(shù)據(jù)集市的模型，由各應用定制從 ODS 加載數(shù)據(jù)到數(shù)據(jù)集市的腳本；第 3 階段，將各應用掛載到數(shù)據(jù)集市上進行測試，根據(jù)各應用的反饋進行部分修改，通過穩(wěn)定性觀察后最終達成驗收并正式運行。 外部系統(tǒng)接口ODS 和統(tǒng)一數(shù)據(jù)集市可以建設在 SybaseIQ 內(nèi)，可以更好的提高數(shù)據(jù)加載的效率。對于第 2 步，由于數(shù)據(jù)進入 ODS 以后通過腳本轉(zhuǎn)入數(shù)據(jù)集市中是在SybaseIQ 內(nèi)部進行，SybaseIQ 素以 I/O 消耗小而著稱，所以這步的時間消耗主要受 CPU 和內(nèi)存的影響。為了便于 ETL 過程批量加載，設計和開發(fā) ETL 過程應避免依賴性，這樣在調(diào)度策略上可以更加靈活。數(shù)據(jù)集市模型分為 4 個部分：1) 公用數(shù)據(jù)部分，主要包括：客戶信息、帳戶信息、交易流水等公用屬性部分，以及地址(國家、地區(qū)、省份)、產(chǎn)品、機構(gòu)和代碼表等；2) 運營內(nèi)控特有數(shù)據(jù)部分，主要包括：指標數(shù)據(jù)、預警結(jié)果、預警規(guī)則配置數(shù)據(jù)等；3) 非現(xiàn)場審計特有數(shù)據(jù)部分，主要包括：統(tǒng)計數(shù)據(jù)、審計預警等；4) 反洗錢特有數(shù)據(jù)部分，主要包括：指標結(jié)果、衍生數(shù)據(jù)等。數(shù)據(jù)集市的數(shù)據(jù)單一來源于數(shù)據(jù)倉庫，系統(tǒng)的安全性比較高，并且避免了重復的數(shù)據(jù)整合與轉(zhuǎn)換工作。數(shù)據(jù)集市的建立可以解決各系統(tǒng)數(shù)據(jù)獲取得問題，并在集市范圍內(nèi)得到最大程度的共享，數(shù)據(jù)集市可以根據(jù)各系統(tǒng)的數(shù)據(jù)需求，建設成一個高度整合的業(yè)務系統(tǒng)數(shù)據(jù)平臺，經(jīng)過整合后的數(shù)據(jù)便于應用的掘取、操作，發(fā)揮最大的效能。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 6 of 27按照浦發(fā)銀行技術架構(gòu)，數(shù)據(jù)倉庫的建設采用“自頂向下”的建設思路，即首先建設全行統(tǒng)一的數(shù)據(jù)倉庫，在數(shù)據(jù)層面對全行數(shù)據(jù)進行整合，做到各類數(shù)據(jù)的完整、統(tǒng)一、準確、規(guī)范；再從業(yè)務層面，基于數(shù)據(jù)倉庫建設各類應用的數(shù)據(jù)集市，滿足應用的需求。此框架中統(tǒng)一數(shù)據(jù)集市采用 SybaseIQ，利用其成熟的功能，可以設置多個數(shù)據(jù)庫引擎（節(jié)點）連接同一個數(shù)據(jù)存儲，而各個邏輯數(shù)據(jù)部分通過不同的用戶進行訪問，由于 SybaseIQ 僅支持 1 個可讀寫節(jié)點，所以需要將應用系統(tǒng)中的上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 9 of 27寫操作和讀操作分別連接相應的節(jié)點以達到良好的性能，后期可以擴展多個只讀節(jié)點，解決 CPU 和內(nèi)存的瓶頸問題，使前端應用系統(tǒng)的查詢等功能得到更快的響應。 數(shù)據(jù)存儲方案從數(shù)據(jù)倉庫采集數(shù)據(jù)到 ODS 過程中，將盡量減少轉(zhuǎn)換等操作，以減少數(shù)據(jù)倉庫的征用時間，從 ODS 到統(tǒng)一數(shù)據(jù)集市過程中再進行衍生數(shù)據(jù)等的計算，之后數(shù)據(jù)集市保存各應用需要的數(shù)據(jù)，而 ODS 中的數(shù)據(jù)在保存一段時間后將被刪除。 應用時間窗口的解決方案在整體框架中，應用系統(tǒng)獲取數(shù)據(jù)需要有 2 步:上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 14 of 271. 數(shù)據(jù)從數(shù)據(jù)倉庫抽取到 ODS 中；2. 再從 ODS 通過腳本轉(zhuǎn)換到數(shù)據(jù)集市中。? w1：增加應用后需要抽取所增加應用的數(shù)據(jù)， w1 需要視增加的應用需要抽取的數(shù)據(jù)量而定，由于 ETL 過程是并行處理的，可以減少部分抽取時間；? w2：增加應用后公用數(shù)據(jù)量基本不變，但由于并行執(zhí)行各應用的腳本占用CPU 和內(nèi)存資源，w2 為受此影響后的時間花費；? w3：增加應用后 X 應用特有數(shù)據(jù)量不變，但由于并行執(zhí)行腳本占用 CPU 和內(nèi)存資源，w3 為受此影響后的時間花費；? w4：增加應用后 X 應用需要從公用數(shù)據(jù)模型計算的數(shù)據(jù)量不變，但由于并行執(zhí)行多個應用的腳本占用 CPU 和內(nèi)存資源，w4 為受此影響后的時間花費。即便上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 20 of 27是采用這種方式，由于模型設計等時間是無法縮短的，所以需要浦發(fā)根據(jù)目前應用的具體情況選擇最合適的先行應用。為使數(shù)據(jù)集市能穩(wěn)定上線，并獲得此實施案之最大效益保障，根據(jù)不同的實施方法安排工作項目，每一階段預估時程及各方配合事項需待各方進一步討論規(guī)劃，部分工作項目可能根據(jù)實際情況并行或分步進行。以循序漸進的方式，規(guī)劃數(shù)據(jù)集市建置分為多個步驟：? 第一步：以一個具體應用為前期應用，設計數(shù)據(jù)集市模型，開發(fā)數(shù)據(jù)倉庫到 ODS 的 ETL 工程，此步意義在于通過實踐確認切實可行的將應用遷移到數(shù)據(jù)集市的方法；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 21 of 27? 第二步，在前期應用構(gòu)建的數(shù)據(jù)集市模型中添加后期應用數(shù)據(jù)模型，開發(fā)ODS 不滿足前期應用需求部分數(shù)據(jù)的 ETL 過程，在不影響已經(jīng)上線使用中的前期應用系統(tǒng)正常運行的前提下，將后期應用成功的納入統(tǒng)一數(shù)據(jù)集市中，此步另一層的意思在于驗證添加后期應用到數(shù)據(jù)集市的流程、正確方法等，為后續(xù)的應用開辟成熟的道路，后續(xù)應用的添加也要在之前的成功經(jīng)驗之上進行復制，添加后續(xù)規(guī)劃的其它應用到統(tǒng)一數(shù)據(jù)集市之上，隨著基于數(shù)據(jù)集市的應用的增多，對于資源以及時間窗口爭用的矛盾會變得突出，所以在添加應用之前必須對各應用的數(shù)據(jù)量和時間窗口進行評估。目前浦發(fā)需要應用統(tǒng)一數(shù)據(jù)集市的項目有 3 個，分別是反洗錢、運營內(nèi)控、非現(xiàn)場審計項目，所以在數(shù)據(jù)集市的建置方法上有 2 種方案供選擇：1. 采用統(tǒng)一規(guī)劃統(tǒng)一實施的原則建置，由各應用提交數(shù)據(jù)需求和數(shù)據(jù)模型，數(shù)據(jù)集市小組進行全局分析和考慮，設計規(guī)劃 ODS 模型和數(shù)據(jù)集市模型，這樣做的好處是模型的設計會更加成熟可靠，缺點是所有應用項目必須等待數(shù)據(jù)集市建置完成后才能付諸實施，項目的延期必定造成損失。 后續(xù)應用對原應用的影響分析上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 15 of 27數(shù) 據(jù) 倉 庫O D SE T L數(shù) 據(jù) 集 市公 用 部 分數(shù) 據(jù) 模 型數(shù) 據(jù) 集 市X 應 用 特 有部 分 數(shù) 據(jù) 模 型A : 基 準 時 間 T腳 本 1腳 本 2腳 本 3t 1B : T + t 1t 2t 3t 4C : T + t 1 + t 2 + t 3D : T + t 1 + t 2 + t 3 + t 4單 一 應 用 X 情 況以上圖例表示單一應用 X 的獲取數(shù)據(jù)的時間描述? 狀態(tài) A：數(shù)據(jù)倉庫時間窗口打開，供 ETL 抽取數(shù)據(jù)的基準時間為 T；? t1：ETL 過程耗時；? 狀態(tài) B：ETL 過程結(jié)束需要 T+t1；? 腳本 1：將 ODS 中數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)集市中公用數(shù)據(jù)模型部分，單一運行需要t2；? 腳本 2：將 ODS 中數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)集市中