【正文】 維護(hù)的紊亂。目前浦發(fā)需要應(yīng)用統(tǒng)一數(shù)據(jù)集市的項(xiàng)目有 3 個(gè)，分別是反洗錢、運(yùn)營內(nèi)控、非現(xiàn)場(chǎng)審計(jì)項(xiàng)目，所以在數(shù)據(jù)集市的建置方法上有 2 種方案供選擇：1. 采用統(tǒng)一規(guī)劃統(tǒng)一實(shí)施的原則建置，由各應(yīng)用提交數(shù)據(jù)需求和數(shù)據(jù)模型，數(shù)據(jù)集市小組進(jìn)行全局分析和考慮，設(shè)計(jì)規(guī)劃 ODS 模型和數(shù)據(jù)集市模型，這樣做的好處是模型的設(shè)計(jì)會(huì)更加成熟可靠，缺點(diǎn)是所有應(yīng)用項(xiàng)目必須等待數(shù)據(jù)集市建置完成后才能付諸實(shí)施，項(xiàng)目的延期必定造成損失。以下分別討論 2 種方式。以循序漸進(jìn)的方式，規(guī)劃數(shù)據(jù)集市建置分為多個(gè)步驟：? 第一步：以一個(gè)具體應(yīng)用為前期應(yīng)用，設(shè)計(jì)數(shù)據(jù)集市模型，開發(fā)數(shù)據(jù)倉庫到 ODS 的 ETL 工程，此步意義在于通過實(shí)踐確認(rèn)切實(shí)可行的將應(yīng)用遷移到數(shù)據(jù)集市的方法；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 21 of 27? 第二步，在前期應(yīng)用構(gòu)建的數(shù)據(jù)集市模型中添加后期應(yīng)用數(shù)據(jù)模型，開發(fā)ODS 不滿足前期應(yīng)用需求部分?jǐn)?shù)據(jù)的 ETL 過程，在不影響已經(jīng)上線使用中的前期應(yīng)用系統(tǒng)正常運(yùn)行的前提下，將后期應(yīng)用成功的納入統(tǒng)一數(shù)據(jù)集市中，此步另一層的意思在于驗(yàn)證添加后期應(yīng)用到數(shù)據(jù)集市的流程、正確方法等，為后續(xù)的應(yīng)用開辟成熟的道路，后續(xù)應(yīng)用的添加也要在之前的成功經(jīng)驗(yàn)之上進(jìn)行復(fù)制，添加后續(xù)規(guī)劃的其它應(yīng)用到統(tǒng)一數(shù)據(jù)集市之上，隨著基于數(shù)據(jù)集市的應(yīng)用的增多，對(duì)于資源以及時(shí)間窗口爭(zhēng)用的矛盾會(huì)變得突出，所以在添加應(yīng)用之前必須對(duì)各應(yīng)用的數(shù)據(jù)量和時(shí)間窗口進(jìn)行評(píng)估。N 表示所需工作日數(shù)。項(xiàng)目啟動(dòng)會(huì)議—召開項(xiàng)目啟動(dòng)會(huì)議 1項(xiàng)目開發(fā)第一階段─分析各應(yīng)用數(shù)據(jù)模型 25─分析各應(yīng)用數(shù)據(jù)需求模型 15上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 25 of 27─與數(shù)據(jù)倉庫溝通驗(yàn)證數(shù)據(jù)需求 60─規(guī)劃和設(shè)計(jì) ODS 模型 25─規(guī)劃和設(shè)計(jì)數(shù)據(jù)集市模型 40第二階段─數(shù)據(jù)倉庫到 ODS 數(shù)據(jù)采集 ETL 開發(fā) 30─開發(fā) ODS 到數(shù)據(jù)集市公用模型轉(zhuǎn)換腳本 8─ETL 優(yōu)化 10─ETL 與腳本的聯(lián)調(diào)測(cè)試 25─ETL 驗(yàn)收 3 第三階段─掛載應(yīng)用進(jìn)行測(cè)試 30─根據(jù)應(yīng)用反饋修改數(shù)據(jù)集市 30─數(shù)據(jù)集市穩(wěn)定性觀察 30─數(shù)據(jù)集市驗(yàn)收 5項(xiàng)目正式上線─數(shù)據(jù)集市上線 3─數(shù)據(jù)集市知識(shí)轉(zhuǎn)移 5 循序漸進(jìn)構(gòu)建這里主要列出以先行應(yīng)用構(gòu)建數(shù)據(jù)集市大致需要的時(shí)間，僅供參考。為使數(shù)據(jù)集市能穩(wěn)定上線，并獲得此實(shí)施案之最大效益保障，根據(jù)不同的實(shí)施方法安排工作項(xiàng)目，每一階段預(yù)估時(shí)程及各方配合事項(xiàng)需待各方進(jìn)一步討論規(guī)劃，部分工作項(xiàng)目可能根據(jù)實(shí)際情況并行或分步進(jìn)行。 循序漸進(jìn)構(gòu)建以一個(gè)具體應(yīng)用為先行應(yīng)用的方案，設(shè)計(jì)和建置統(tǒng)一數(shù)據(jù)集市，前期數(shù)據(jù)集市設(shè)計(jì)公用數(shù)據(jù)模型和先行應(yīng)用特有數(shù)據(jù)模型，后續(xù)再陸續(xù)添加其它應(yīng)用，這樣可以減少對(duì)多個(gè)應(yīng)用項(xiàng)目所造成的影響。即便上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 20 of 27是采用這種方式，由于模型設(shè)計(jì)等時(shí)間是無法縮短的，所以需要浦發(fā)根據(jù)目前應(yīng)用的具體情況選擇最合適的先行應(yīng)用。應(yīng)用系統(tǒng)獲取數(shù)據(jù)將很便捷和高效的通過腳本來實(shí)現(xiàn)。? w1：增加應(yīng)用后需要抽取所增加應(yīng)用的數(shù)據(jù)， w1 需要視增加的應(yīng)用需要抽取的數(shù)據(jù)量而定，由于 ETL 過程是并行處理的，可以減少部分抽取時(shí)間；? w2：增加應(yīng)用后公用數(shù)據(jù)量基本不變，但由于并行執(zhí)行各應(yīng)用的腳本占用CPU 和內(nèi)存資源，w2 為受此影響后的時(shí)間花費(fèi)；? w3：增加應(yīng)用后 X 應(yīng)用特有數(shù)據(jù)量不變，但由于并行執(zhí)行腳本占用 CPU 和內(nèi)存資源，w3 為受此影響后的時(shí)間花費(fèi)；? w4：增加應(yīng)用后 X 應(yīng)用需要從公用數(shù)據(jù)模型計(jì)算的數(shù)據(jù)量不變，但由于并行執(zhí)行多個(gè)應(yīng)用的腳本占用 CPU 和內(nèi)存資源，w4 為受此影響后的時(shí)間花費(fèi)。由于各個(gè)應(yīng)用之間沒有依賴性，故可以通過執(zhí)行腳本的先后來滿足各應(yīng)用之后的時(shí)間需求。 應(yīng)用時(shí)間窗口的解決方案在整體框架中，應(yīng)用系統(tǒng)獲取數(shù)據(jù)需要有 2 步:上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 14 of 271. 數(shù)據(jù)從數(shù)據(jù)倉庫抽取到 ODS 中；2. 再從 ODS 通過腳本轉(zhuǎn)換到數(shù)據(jù)集市中。隨著基于數(shù)據(jù)集市的應(yīng)用的增多，對(duì)于資源以及時(shí)間窗口爭(zhēng)用的矛盾會(huì)變得突出,在 ETL 過程調(diào)度策略上根據(jù)實(shí)際情況對(duì)各應(yīng)用進(jìn)行優(yōu)先級(jí)排序，在 ETL過程和 ODS 到數(shù)據(jù)集市的轉(zhuǎn)換過程中避免應(yīng)用間的依賴性，減少耦合性，這樣通過 2 個(gè)方面加快應(yīng)用獲取數(shù)據(jù)的效率：1. 批量?jī)?yōu)先加載優(yōu)先級(jí)高的應(yīng)用所需要數(shù)據(jù)的那部分 ETL 過程；2. 采用在 ETL 過程和 ODS 到數(shù)據(jù)集市的轉(zhuǎn)換過程分步并行的方式，以保障優(yōu)先級(jí)高的應(yīng)用對(duì)于數(shù)據(jù)需求時(shí)間點(diǎn)的要求。 數(shù)據(jù)存儲(chǔ)方案從數(shù)據(jù)倉庫采集數(shù)據(jù)到 ODS 過程中，將盡量減少轉(zhuǎn)換等操作，以減少數(shù)據(jù)倉庫的征用時(shí)間，從 ODS 到統(tǒng)一數(shù)據(jù)集市過程中再進(jìn)行衍生數(shù)據(jù)等的計(jì)算，之后數(shù)據(jù)集市保存各應(yīng)用需要的數(shù)據(jù)，而 ODS 中的數(shù)據(jù)在保存一段時(shí)間后將被刪除。注：具體數(shù)據(jù)模型需待分析各應(yīng)用數(shù)據(jù)模型后才能完整提出。此框架中統(tǒng)一數(shù)據(jù)集市采用 SybaseIQ，利用其成熟的功能，可以設(shè)置多個(gè)數(shù)據(jù)庫引擎（節(jié)點(diǎn)）連接同一個(gè)數(shù)據(jù)存儲(chǔ)，而各個(gè)邏輯數(shù)據(jù)部分通過不同的用戶進(jìn)行訪問，由于 SybaseIQ 僅支持 1 個(gè)可讀寫節(jié)點(diǎn)，所以需要將應(yīng)用系統(tǒng)中的上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 9 of 27寫操作和讀操作分別連接相應(yīng)的節(jié)點(diǎn)以達(dá)到良好的性能，后期可以擴(kuò)展多個(gè)只讀節(jié)點(diǎn)，解決 CPU 和內(nèi)存的瓶頸問題，使前端應(yīng)用系統(tǒng)的查詢等功能得到更快的響應(yīng)。因此浦發(fā)銀行數(shù)據(jù)集市的建立必須基于數(shù)據(jù)倉庫完成。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 6 of 27按照浦發(fā)銀行技術(shù)架構(gòu)，數(shù)據(jù)倉庫的建設(shè)采用“自頂向下”的建設(shè)思路，即首先建設(shè)全行統(tǒng)一的數(shù)據(jù)倉庫，在數(shù)據(jù)層面對(duì)全行數(shù)據(jù)進(jìn)行整合，做到各類數(shù)據(jù)的完整、統(tǒng)一、準(zhǔn)確、規(guī)范；再從業(yè)務(wù)層面，基于數(shù)據(jù)倉庫建設(shè)各類應(yīng)用的數(shù)據(jù)集市，滿足應(yīng)用的需求。數(shù)據(jù)集市的建立可以有效緩解數(shù)據(jù)倉庫時(shí)間窗口的爭(zhēng)用問題，加快各系統(tǒng)數(shù)據(jù)獲取的速度。數(shù)據(jù)集市的建立可以解決各系統(tǒng)數(shù)據(jù)獲取得問題，并在集市范圍內(nèi)得到最大程度的共享，數(shù)據(jù)集市可以根據(jù)各系統(tǒng)的數(shù)據(jù)需求，建設(shè)成一個(gè)高度整合的業(yè)務(wù)系統(tǒng)數(shù)據(jù)平臺(tái)，經(jīng)過整合后的數(shù)據(jù)便于應(yīng)用的掘取、操作，發(fā)揮最大的效能。數(shù)據(jù)倉庫的建設(shè)是以數(shù)據(jù)的整合、歷史存儲(chǔ)為主，數(shù)據(jù)本身無法直接滿足各類應(yīng)用的需求，并且過多的應(yīng)用直接訪問數(shù)據(jù)倉庫的并發(fā)需求對(duì)數(shù)據(jù)倉庫造成的負(fù)荷是很嚴(yán)重的，按照總體架構(gòu)科學(xué)化、合理化以及本著行內(nèi)應(yīng)用架構(gòu)統(tǒng)一規(guī)劃的大原則，建設(shè)統(tǒng)一數(shù)據(jù)集市的要求變得非常迫切，整個(gè)建設(shè)范圍總體上包括統(tǒng)一的 ETL 過程、統(tǒng)一的 ODS 模型和統(tǒng)一的數(shù)據(jù)集市模型，以滿足外圍應(yīng)用系統(tǒng)數(shù)據(jù)的需求，規(guī)范化以及合理化應(yīng)用的系統(tǒng)框架。數(shù)據(jù)集市的數(shù)據(jù)單一來源于數(shù)據(jù)倉庫，系統(tǒng)的安全性比較高，并且避免了重復(fù)的數(shù)據(jù)整合與轉(zhuǎn)換工作。 架設(shè)統(tǒng)一數(shù)據(jù)集市后的系統(tǒng)邏輯框架建設(shè)統(tǒng)一的 ODS 邏輯數(shù)據(jù)結(jié)構(gòu)，從數(shù)據(jù)倉庫中采集的數(shù)據(jù)首先將進(jìn)入統(tǒng)一的 ODS 數(shù)據(jù)空間中，數(shù)據(jù)通過完整性和一致性驗(yàn)證后再進(jìn)入統(tǒng)一數(shù)據(jù)集市，統(tǒng)一數(shù)據(jù)集市將數(shù)據(jù)在邏輯上分為各應(yīng)用系統(tǒng)特有數(shù)據(jù)和應(yīng)用系統(tǒng)公用數(shù)據(jù)，在物理上存儲(chǔ)在統(tǒng)一的數(shù)據(jù)空間中，而