【正文】 。項(xiàng)目啟動(dòng)會(huì)議—召開項(xiàng)目啟動(dòng)會(huì)議 1項(xiàng)目開發(fā)第一階段─分析各應(yīng)用數(shù)據(jù)模型 25─分析各應(yīng)用數(shù)據(jù)需求模型 15上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 25 of 27─與數(shù)據(jù)倉庫溝通驗(yàn)證數(shù)據(jù)需求 60─規(guī)劃和設(shè)計(jì) ODS 模型 25─規(guī)劃和設(shè)計(jì)數(shù)據(jù)集市模型 40第二階段─數(shù)據(jù)倉庫到 ODS 數(shù)據(jù)采集 ETL 開發(fā) 30─開發(fā) ODS 到數(shù)據(jù)集市公用模型轉(zhuǎn)換腳本 8─ETL 優(yōu)化 10─ETL 與腳本的聯(lián)調(diào)測(cè)試 25─ETL 驗(yàn)收 3 第三階段─掛載應(yīng)用進(jìn)行測(cè)試 30─根據(jù)應(yīng)用反饋修改數(shù)據(jù)集市 30─數(shù)據(jù)集市穩(wěn)定性觀察 30─數(shù)據(jù)集市驗(yàn)收 5項(xiàng)目正式上線─數(shù)據(jù)集市上線 3─數(shù)據(jù)集市知識(shí)轉(zhuǎn)移 5 循序漸進(jìn)構(gòu)建這里主要列出以先行應(yīng)用構(gòu)建數(shù)據(jù)集市大致需要的時(shí)間，僅供參考。N 表示所需工作日數(shù)。為使數(shù)據(jù)集市能穩(wěn)定上線，并獲得此實(shí)施案之最大效益保障，根據(jù)不同的實(shí)施方法安排工作項(xiàng)目，每一階段預(yù)估時(shí)程及各方配合事項(xiàng)需待各方進(jìn)一步討論規(guī)劃，部分工作項(xiàng)目可能根據(jù)實(shí)際情況并行或分步進(jìn)行。以循序漸進(jìn)的方式，規(guī)劃數(shù)據(jù)集市建置分為多個(gè)步驟：? 第一步：以一個(gè)具體應(yīng)用為前期應(yīng)用，設(shè)計(jì)數(shù)據(jù)集市模型，開發(fā)數(shù)據(jù)倉庫到 ODS 的 ETL 工程，此步意義在于通過實(shí)踐確認(rèn)切實(shí)可行的將應(yīng)用遷移到數(shù)據(jù)集市的方法；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 21 of 27? 第二步，在前期應(yīng)用構(gòu)建的數(shù)據(jù)集市模型中添加后期應(yīng)用數(shù)據(jù)模型，開發(fā)ODS 不滿足前期應(yīng)用需求部分?jǐn)?shù)據(jù)的 ETL 過程，在不影響已經(jīng)上線使用中的前期應(yīng)用系統(tǒng)正常運(yùn)行的前提下，將后期應(yīng)用成功的納入統(tǒng)一數(shù)據(jù)集市中，此步另一層的意思在于驗(yàn)證添加后期應(yīng)用到數(shù)據(jù)集市的流程、正確方法等，為后續(xù)的應(yīng)用開辟成熟的道路，后續(xù)應(yīng)用的添加也要在之前的成功經(jīng)驗(yàn)之上進(jìn)行復(fù)制，添加后續(xù)規(guī)劃的其它應(yīng)用到統(tǒng)一數(shù)據(jù)集市之上，隨著基于數(shù)據(jù)集市的應(yīng)用的增多，對(duì)于資源以及時(shí)間窗口爭(zhēng)用的矛盾會(huì)變得突出，所以在添加應(yīng)用之前必須對(duì)各應(yīng)用的數(shù)據(jù)量和時(shí)間窗口進(jìn)行評(píng)估。 循序漸進(jìn)構(gòu)建以一個(gè)具體應(yīng)用為先行應(yīng)用的方案，設(shè)計(jì)和建置統(tǒng)一數(shù)據(jù)集市，前期數(shù)據(jù)集市設(shè)計(jì)公用數(shù)據(jù)模型和先行應(yīng)用特有數(shù)據(jù)模型，后續(xù)再陸續(xù)添加其它應(yīng)用，這樣可以減少對(duì)多個(gè)應(yīng)用項(xiàng)目所造成的影響。以下分別討論 2 種方式。即便上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 20 of 27是采用這種方式，由于模型設(shè)計(jì)等時(shí)間是無法縮短的，所以需要浦發(fā)根據(jù)目前應(yīng)用的具體情況選擇最合適的先行應(yīng)用。目前浦發(fā)需要應(yīng)用統(tǒng)一數(shù)據(jù)集市的項(xiàng)目有 3 個(gè)，分別是反洗錢、運(yùn)營內(nèi)控、非現(xiàn)場(chǎng)審計(jì)項(xiàng)目，所以在數(shù)據(jù)集市的建置方法上有 2 種方案供選擇：1. 采用統(tǒng)一規(guī)劃統(tǒng)一實(shí)施的原則建置，由各應(yīng)用提交數(shù)據(jù)需求和數(shù)據(jù)模型，數(shù)據(jù)集市小組進(jìn)行全局分析和考慮，設(shè)計(jì)規(guī)劃 ODS 模型和數(shù)據(jù)集市模型，這樣做的好處是模型的設(shè)計(jì)會(huì)更加成熟可靠，缺點(diǎn)是所有應(yīng)用項(xiàng)目必須等待數(shù)據(jù)集市建置完成后才能付諸實(shí)施，項(xiàng)目的延期必定造成損失。應(yīng)用系統(tǒng)獲取數(shù)據(jù)將很便捷和高效的通過腳本來實(shí)現(xiàn)。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 17 of 27 外部接口方案 數(shù)據(jù)倉庫接口數(shù)據(jù)倉庫中數(shù)據(jù)的獲取采用數(shù)據(jù)不落地方式，利用 ETL 抽取工具（行內(nèi)統(tǒng)一采購 DataStage）將數(shù)據(jù)直接抽取進(jìn)入 ODS 數(shù)據(jù)模型，經(jīng)過整合的 ETL 過程避免開發(fā)和維護(hù)的紊亂。? w1：增加應(yīng)用后需要抽取所增加應(yīng)用的數(shù)據(jù)， w1 需要視增加的應(yīng)用需要抽取的數(shù)據(jù)量而定，由于 ETL 過程是并行處理的，可以減少部分抽取時(shí)間；? w2：增加應(yīng)用后公用數(shù)據(jù)量基本不變，但由于并行執(zhí)行各應(yīng)用的腳本占用CPU 和內(nèi)存資源，w2 為受此影響后的時(shí)間花費(fèi)；? w3：增加應(yīng)用后 X 應(yīng)用特有數(shù)據(jù)量不變，但由于并行執(zhí)行腳本占用 CPU 和內(nèi)存資源，w3 為受此影響后的時(shí)間花費(fèi)；? w4：增加應(yīng)用后 X 應(yīng)用需要從公用數(shù)據(jù)模型計(jì)算的數(shù)據(jù)量不變，但由于并行執(zhí)行多個(gè)應(yīng)用的腳本占用 CPU 和內(nèi)存資源，w4 為受此影響后的時(shí)間花費(fèi)。 后續(xù)應(yīng)用對(duì)原應(yīng)用的影響分析上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 15 of 27數(shù) 據(jù) 倉 庫O D SE T L數(shù) 據(jù) 集 市公 用 部 分?jǐn)?shù) 據(jù) 模 型數(shù) 據(jù) 集 市X 應(yīng) 用 特 有部 分 數(shù) 據(jù) 模 型A : 基 準(zhǔn) 時(shí) 間 T腳 本 1腳 本 2腳 本 3t 1B : T + t 1t 2t 3t 4C : T + t 1 + t 2 + t 3D : T + t 1 + t 2 + t 3 + t 4單 一 應(yīng) 用 X 情 況以上圖例表示單一應(yīng)用 X 的獲取數(shù)據(jù)的時(shí)間描述? 狀態(tài) A：數(shù)據(jù)倉庫時(shí)間窗口打開，供 ETL 抽取數(shù)據(jù)的基準(zhǔn)時(shí)間為 T；? t1：ETL 過程耗時(shí)；? 狀態(tài) B：ETL 過程結(jié)束需要 T+t1；? 腳本 1：將 ODS 中數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)集市中公用數(shù)據(jù)模型部分，單一運(yùn)行需要t2；? 腳本 2：將 ODS 中數(shù)據(jù)轉(zhuǎn)入數(shù)據(jù)集市中 X 應(yīng)用特有數(shù)據(jù)模型部分，單一運(yùn)行需要 t3；? 狀態(tài) C：由于并行運(yùn)行腳本 A 和 B，數(shù)據(jù)到達(dá) C 狀態(tài)的總消耗時(shí)間小于T+t1+t2+t3；? 腳本 3：從數(shù)據(jù)集市公用部分?jǐn)?shù)據(jù)計(jì)算 X 應(yīng)用特有數(shù)據(jù)，需要時(shí)間 t4；? 狀態(tài) D：應(yīng)用可用狀態(tài)總花費(fèi)時(shí)間小于 T+t1+t2+t3+t4。由于各個(gè)應(yīng)用之間沒有依賴性，故可以通過執(zhí)行腳本的先后來滿足各應(yīng)用之后的時(shí)間需求。對(duì)于第 1 步數(shù)據(jù)從數(shù)據(jù)倉庫抽取到 ODS 過程，隨著應(yīng)用的增加，一般數(shù)據(jù)的抽取量會(huì)增加，勢(shì)必將延長(zhǎng)抽取耗費(fèi)的時(shí)間，但是由于統(tǒng)一 ODS 模型中會(huì)含有后續(xù)應(yīng)用所需要的部分?jǐn)?shù)據(jù)，所以總抽取數(shù)據(jù)量小于兩邊數(shù)據(jù)量之和，另外由于 ETL 工具 DataStage 支持并行抽取，可以通過多臺(tái)硬件服務(wù)器節(jié)點(diǎn)同時(shí)抽取數(shù)據(jù)，在開發(fā)合理的情況下可以顯著減少抽取總時(shí)間花費(fèi)。 應(yīng)用時(shí)間窗口的解決方案在整體框架中，應(yīng)用系統(tǒng)獲取數(shù)據(jù)需要有 2 步:上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 14 of 271. 數(shù)據(jù)從數(shù)據(jù)倉庫抽取到 ODS 中；2. 再從 ODS 通過腳本轉(zhuǎn)換到數(shù)據(jù)集市中。 ODS 到數(shù)據(jù)集市轉(zhuǎn)換方案 公用數(shù)據(jù)部分由于公用數(shù)據(jù)部分不涉及業(yè)務(wù)邏輯、算法等，也不包涵過多的轉(zhuǎn)換等操作，所以 ODS 到數(shù)據(jù)集市公用數(shù)據(jù)模型部分轉(zhuǎn)換腳本由數(shù)據(jù)集市小組統(tǒng)一進(jìn)行開發(fā)和驗(yàn)證，結(jié)果與應(yīng)用之間進(jìn)行確認(rèn)。隨著基于數(shù)據(jù)集市的應(yīng)用的增多，對(duì)于資源以及時(shí)間窗口爭(zhēng)用的矛盾會(huì)變得突出,在 ETL 過程調(diào)度策略上根據(jù)實(shí)際情況對(duì)各應(yīng)用進(jìn)行優(yōu)先級(jí)排序，在 ETL過程和 ODS 到數(shù)據(jù)集市的轉(zhuǎn)換過程中避免應(yīng)用間的依賴性，減少耦合性，這樣通過 2 個(gè)方面加快應(yīng)用獲取數(shù)據(jù)的效率：1. 批量?jī)?yōu)先加載優(yōu)先級(jí)高的應(yīng)用所需要數(shù)據(jù)的那部分 ETL 過程；2. 采用在 ETL 過程和 ODS 到數(shù)據(jù)集市的轉(zhuǎn)換過程分步并行的方式，以保障優(yōu)先級(jí)高的應(yīng)用對(duì)于數(shù)據(jù)需求時(shí)間點(diǎn)的要求。 數(shù)據(jù)倉庫到 ODS 的 ETL 數(shù)據(jù)采集方案在應(yīng)用業(yè)務(wù)數(shù)據(jù)需求通過數(shù)據(jù)倉庫驗(yàn)證后，數(shù)據(jù)集市小組需要開發(fā)從數(shù)據(jù)倉庫采集數(shù)據(jù)到 ODS 數(shù)據(jù)模型