【正文】 項(xiàng)目啟動(dòng)會(huì)議—召開項(xiàng)目啟動(dòng)會(huì)議 1步驟一設(shè)計(jì)階段─分析各應(yīng)用數(shù)據(jù)模型 25上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 26 of 27─分析數(shù)據(jù)需求模型 12─與數(shù)據(jù)倉(cāng)庫(kù)溝通驗(yàn)證數(shù)據(jù)需求 20─規(guī)劃和設(shè)計(jì) ODS 模型 10─規(guī)劃和設(shè)計(jì)數(shù)據(jù)集市模型 15開發(fā)階段─數(shù)據(jù)倉(cāng)庫(kù)到 ODS 數(shù)據(jù)采集 ETL 開發(fā) 15─開發(fā) ODS 到數(shù)據(jù)集市公用模型轉(zhuǎn)換腳本 8─ETL 與腳本的聯(lián)調(diào)測(cè)試 10─ETL 驗(yàn)收 1 測(cè)試階段─掛載應(yīng)用進(jìn)行測(cè)試 15─根據(jù)應(yīng)用反饋修改數(shù)據(jù)集市 15─數(shù)據(jù)集市穩(wěn)定性觀察 10─數(shù)據(jù)集市驗(yàn)收 3生產(chǎn)階段─數(shù)據(jù)集市知識(shí)轉(zhuǎn)移 5步驟二 ─在數(shù)據(jù)集市上增加后續(xù)應(yīng)用 系統(tǒng)軟硬件建議下面是單獨(dú)選用服務(wù)的參考建議：服務(wù)器名稱 配置概述 建議數(shù)量 價(jià)格數(shù)據(jù)集市服務(wù)器 8cpu、16GB memory 2 利舊磁盤陣列 1 利舊上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 27 of 27軟件名稱 說(shuō)明 價(jià)格SybaseIQ 數(shù)據(jù)庫(kù)軟件 NADataStage ETL工具 利舊3 系統(tǒng)建設(shè)目標(biāo)? ETL 的整合，將每個(gè)應(yīng)用單獨(dú)的 ETL 過(guò)程進(jìn)行整合，以利于 ETL 工程的開發(fā)和維護(hù)；? ODS 的整合，將每個(gè)應(yīng)用獨(dú)立存在的 ODS 進(jìn)行整合，節(jié)省存儲(chǔ)空間資源；? DM 數(shù)據(jù)模型的整合，使得多個(gè)應(yīng)用的數(shù)據(jù)來(lái)源一致，更加符合先進(jìn)的科學(xué)架構(gòu)；? 基于以上 3 個(gè)整合點(diǎn)，將統(tǒng)一數(shù)據(jù)集市建設(shè)成高可用性、高健全性、高靈活性的應(yīng)用數(shù)據(jù)平臺(tái)。 以下列舉本項(xiàng)目之工作項(xiàng)目及各項(xiàng)目預(yù)計(jì)時(shí)程(理想情況下)，由于部分工作項(xiàng)目是并行執(zhí)行或需要數(shù)據(jù)倉(cāng)庫(kù)提供支持的不可預(yù)期性，總時(shí)間花費(fèi)并不能簡(jiǎn)單加總。前期的重點(diǎn)落在合理的、科學(xué)的設(shè)計(jì)數(shù)據(jù)集市中公用數(shù)據(jù)模型部分，這樣在后期添加應(yīng)用時(shí)對(duì)于公用數(shù)據(jù)模型部分可以控制到基本不修改或者修改幅度很小，同時(shí)還要考慮到其它尚未確定的應(yīng)用將來(lái)加入統(tǒng)一數(shù)據(jù)集市的情況，使得成果得到最大程度的利用。無(wú)論采用何種構(gòu)建方式，最終都可以達(dá)成成熟的模型，需要結(jié)合浦發(fā)結(jié)合實(shí)際情況進(jìn)行選擇。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 18 of 27 實(shí)施方案 O D S 模型設(shè)計(jì)數(shù) 據(jù) 集 市 小 組 應(yīng) 用 項(xiàng) 目 小 組 數(shù) 據(jù) 倉(cāng) 庫(kù) 小 組提交數(shù)據(jù)需求文檔提交數(shù)據(jù)模型文檔集市數(shù)據(jù)模型設(shè)計(jì)驗(yàn)證數(shù)據(jù)倉(cāng)庫(kù)對(duì)于數(shù)據(jù)需求是否滿足開發(fā)從數(shù)據(jù)倉(cāng)庫(kù)抽取數(shù)據(jù)到 O D S 的E T L 過(guò)程開發(fā)數(shù)據(jù)從O D S 轉(zhuǎn)入數(shù)據(jù)集市公用數(shù)據(jù)模型部分的腳本開發(fā)數(shù)據(jù)從O D S 轉(zhuǎn)入數(shù)據(jù)集市應(yīng)用特有數(shù)據(jù)模型部分的腳本開發(fā)數(shù)據(jù)從數(shù)據(jù)集市公用數(shù)據(jù)模型轉(zhuǎn)入應(yīng)用特有數(shù)據(jù)模型部分的腳本在數(shù)據(jù)集市獲取數(shù)據(jù)過(guò)程中提供支持聯(lián)合調(diào)試 E T L 和腳本數(shù)據(jù)集市和應(yīng)用整合測(cè)試根據(jù)應(yīng)用的反饋修改數(shù)據(jù)模型數(shù)據(jù)集市建置實(shí)施過(guò)程中各方面需要承擔(dān)的工作內(nèi)容可以概括如下：上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 19 of 271) 數(shù)據(jù)集市小組? 設(shè)計(jì)數(shù)據(jù)集市數(shù)據(jù)模型；? 設(shè)計(jì) ODS 數(shù)據(jù)模型；? 開發(fā) DWODS 的 ETL Job；? 開發(fā) ODSDM 公用模型的腳本；? 與應(yīng)用項(xiàng)目小組聯(lián)合調(diào)試 ETL 和腳本；? 根據(jù)應(yīng)用整合測(cè)試反饋修改數(shù)據(jù)模型；2) 應(yīng)用項(xiàng)目小組? 提交應(yīng)用的數(shù)據(jù)需求；? 提交應(yīng)用的數(shù)據(jù)模型；? 開發(fā) ODSDM 應(yīng)用特有模型的腳本；? 與數(shù)據(jù)集市小組聯(lián)合調(diào)試腳本；3) 數(shù)據(jù)倉(cāng)庫(kù)小組? 驗(yàn)證數(shù)據(jù)集市小組整理后的應(yīng)用數(shù)據(jù)需求；? 在數(shù)據(jù)集市從數(shù)據(jù)倉(cāng)庫(kù)獲取數(shù)據(jù)過(guò)程中提供充分的支持。通過(guò)以上分析，后續(xù)增加應(yīng)用后在并行情況下應(yīng)用所受到的影響受應(yīng)用的個(gè)數(shù)、數(shù)據(jù)量以及 CPU 和內(nèi)存的影響，還可以通過(guò)設(shè)置腳本執(zhí)行的先后次序來(lái)減少所帶來(lái)影響，有利于保障個(gè)別對(duì)數(shù)據(jù)時(shí)間窗口要求較高的應(yīng)用。通過(guò)分析，可以預(yù)見(jiàn)時(shí)間窗口問(wèn)題需要在整個(gè)解決方案中進(jìn)行規(guī)劃，并需要與數(shù)據(jù)倉(cāng)庫(kù)溝通尋求解決辦法。如果后續(xù)需要添加應(yīng)用到數(shù)據(jù)集市模型中，那么對(duì)于這 2 步產(chǎn)生的時(shí)間窗口影響是完全不同的。例如：由于運(yùn)營(yíng)內(nèi)控應(yīng)用對(duì)于數(shù)據(jù)的需求時(shí)間點(diǎn)要求最高，可以優(yōu)先加載運(yùn)營(yíng)內(nèi)控需求數(shù)據(jù)的這部分 ETL 過(guò)程，一旦滿足運(yùn)營(yíng)內(nèi)控需求部分的源數(shù)據(jù)到達(dá) ODS，便激活 ODS 到數(shù)據(jù)集市轉(zhuǎn)換過(guò)程關(guān)于運(yùn)營(yíng)內(nèi)控部分的腳本，而 ETL 過(guò)程并不停止，執(zhí)行腳本的過(guò)程可以充分利用 ETL 數(shù)據(jù)加載過(guò)程中閑置的 CPU 和內(nèi)存資源。1) 數(shù)據(jù)集市數(shù)據(jù)獲取以增量方式為主，對(duì)無(wú)法判斷增量的數(shù)據(jù)以全量方式獲取；2) 數(shù)據(jù)在 ODS 中保留 N 天的時(shí)間（具體保留時(shí)間需要視應(yīng)用需求而定），以達(dá)到對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)提供的緩沖，同時(shí)避免當(dāng)各個(gè)系統(tǒng)補(bǔ)數(shù)據(jù)時(shí)反復(fù)地從數(shù)據(jù)倉(cāng)庫(kù)中抽取數(shù)據(jù)；3) 每日從數(shù)據(jù)倉(cāng)庫(kù)獲取的數(shù)據(jù)在 ODS 中以切片方式保存，在系統(tǒng)頻繁增刪的情況下可以保持系統(tǒng)的高性能，避免產(chǎn)生大量數(shù)據(jù)碎片；4) ODS 的數(shù)據(jù)空間要留有足夠的冗余，以滿足業(yè)務(wù)系統(tǒng)全量初始化的需求。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 11 of 27 ODS 數(shù)據(jù)模型概述ODS 數(shù)據(jù)模型采用面向主題的方法，按照第三范式規(guī)則進(jìn)行設(shè)計(jì)，原則上與數(shù)據(jù)倉(cāng)庫(kù)模型類似，減少數(shù)據(jù)的冗余，達(dá)到數(shù)據(jù)臨時(shí)存儲(chǔ)進(jìn)行緩沖的目的，同時(shí)可以減少甚至避免 ETL 在抽取過(guò)程中的轉(zhuǎn)換過(guò)程，減少數(shù)據(jù)倉(cāng)庫(kù)時(shí)間窗口的征用時(shí)間。解決的問(wèn)題：1) 減少數(shù)據(jù)倉(cāng)庫(kù)窗口占用時(shí)間，整合 ODS 以后，裝載數(shù)據(jù)的過(guò)程被統(tǒng)一成 1 個(gè)，當(dāng)后續(xù)增加新的系統(tǒng)應(yīng)用時(shí)，只需要擴(kuò)展 ODS 模型結(jié)構(gòu)，整個(gè) ETL 過(guò)程仍然是唯一的；2) 減少 ODS 的冗余，整合 ODS 后，原先的多個(gè) ODS 重復(fù)數(shù)據(jù)占用的存儲(chǔ)空間被釋放，同時(shí)由于數(shù)據(jù)在 ODS 中基本以面向主題的方式存儲(chǔ)，冗余較??；3) 最大程度的利用數(shù)據(jù)資源，整合 DM 以后，將劃出公用數(shù)據(jù)部分，供所有應(yīng)用系統(tǒng)共同使用，這部分?jǐn)?shù)據(jù)在存儲(chǔ)中僅有 1 份，結(jié)合各應(yīng)用特色部分?jǐn)?shù)據(jù)，確保了各應(yīng)用系統(tǒng)的數(shù)據(jù)是完整的，在 SybaseIQ 中，各部分?jǐn)?shù)據(jù)通過(guò)不同的用戶來(lái)區(qū)隔，通過(guò)靈活配置用戶權(quán)限來(lái)達(dá)到安全性的要求，這種結(jié)構(gòu)同時(shí)可以很好的利用 SybaseIQ 在 I/O 方面的優(yōu)勢(shì)；4) 良好的擴(kuò)展性，當(dāng)后續(xù)增加應(yīng)用時(shí)，僅需要擴(kuò)充 ODS 和統(tǒng)一數(shù)據(jù)集市模型以及 ETL 過(guò)程，并不會(huì)影響到原有系統(tǒng)。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 7 of 27 系統(tǒng)邏輯框架 原業(yè)務(wù)系統(tǒng)邏輯框架原業(yè)務(wù)系統(tǒng)都具有一個(gè) ODS 數(shù)據(jù)庫(kù)和 DM 數(shù)據(jù)集市，ODS 用以裝載從數(shù)據(jù)倉(cāng)庫(kù)采集的數(shù)據(jù)，保證數(shù)據(jù)完整后再導(dǎo)入 DM 中供系統(tǒng)分析和使用，ODS 的作用是起到一個(gè)緩沖，當(dāng)從數(shù)據(jù)倉(cāng)庫(kù)中采集的數(shù)據(jù)由于種種意想不到的原因出現(xiàn)部分?jǐn)?shù)據(jù)不完整等情況時(shí)不會(huì)影響到當(dāng)前應(yīng)用系統(tǒng)的數(shù)據(jù)正確性，避免出現(xiàn)計(jì)算結(jié)果無(wú)法從業(yè)務(wù)上得到解釋的情況發(fā)生。數(shù) 據(jù) 源 數(shù) 據(jù) 倉(cāng) 庫(kù)數(shù) 據(jù) 集 市采集采 集核 心風(fēng) 險(xiǎn)財(cái) 務(wù)國(guó) 貿(mào)人 力 資 源外 部 數(shù)