【正文】 .............24 系統(tǒng)軟硬件建議 .................................................................................................................26 系統(tǒng)硬件 .....................................................................................................................26 系統(tǒng)軟件 .....................................................................................................................273 系統(tǒng)建設(shè)目標 .................................................................................................................................27上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 5 of 271 系統(tǒng)綜述上海浦東發(fā)展銀行數(shù)據(jù)倉庫的建設(shè)目前已經(jīng)初具規(guī)模，隨著相關(guān)數(shù)據(jù)逐步積累，數(shù)據(jù)倉庫的資源已經(jīng)完全可以滿足各類分析系統(tǒng)的數(shù)據(jù)需求，按照浦發(fā)銀行的技術(shù)架構(gòu)，數(shù)據(jù)集市的建設(shè)已經(jīng)迫在眉睫。數(shù)據(jù)集市的建立可以解決各系統(tǒng)數(shù)據(jù)獲取得問題，并在集市范圍內(nèi)得到最大程度的共享，數(shù)據(jù)集市可以根據(jù)各系統(tǒng)的數(shù)據(jù)需求，建設(shè)成一個高度整合的業(yè)務(wù)系統(tǒng)數(shù)據(jù)平臺，經(jīng)過整合后的數(shù)據(jù)便于應(yīng)用的掘取、操作，發(fā)揮最大的效能。數(shù)據(jù)集市的建立可以有效緩解數(shù)據(jù)倉庫時間窗口的爭用問題，加快各系統(tǒng)數(shù)據(jù)獲取的速度。同時統(tǒng)一的數(shù)據(jù)集市可以有效解決信息不對稱等多方面的問題，而且方便將來的統(tǒng)一管理，降低費用，提升效能、增進安全，使得行內(nèi)系統(tǒng)整體架構(gòu)更加合理化、科學(xué)化。2 總體解決方案 基于數(shù)據(jù)倉庫建立數(shù)據(jù)集市隨著反洗錢系統(tǒng)、運行內(nèi)控系統(tǒng)、審計系統(tǒng)等項目的啟動，各個系統(tǒng)的技術(shù)架構(gòu)必然都統(tǒng)一規(guī)劃為從數(shù)據(jù)倉庫獲取數(shù)據(jù)。數(shù)據(jù)倉庫的建設(shè)是以數(shù)據(jù)的整合、歷史存儲為主，數(shù)據(jù)本身無法直接滿足各類應(yīng)用的需求，并且過多的應(yīng)用直接訪問數(shù)據(jù)倉庫的并發(fā)需求對數(shù)據(jù)倉庫造成的負荷是很嚴重的，按照總體架構(gòu)科學(xué)化、合理化以及本著行內(nèi)應(yīng)用架構(gòu)統(tǒng)一規(guī)劃的大原則，建設(shè)統(tǒng)一數(shù)據(jù)集市的要求變得非常迫切，整個建設(shè)范圍總體上包括統(tǒng)一的 ETL 過程、統(tǒng)一的 ODS 模型和統(tǒng)一的數(shù)據(jù)集市模型，以滿足外圍應(yīng)用系統(tǒng)數(shù)據(jù)的需求，規(guī)范化以及合理化應(yīng)用的系統(tǒng)框架。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 6 of 27按照浦發(fā)銀行技術(shù)架構(gòu)，數(shù)據(jù)倉庫的建設(shè)采用“自頂向下”的建設(shè)思路，即首先建設(shè)全行統(tǒng)一的數(shù)據(jù)倉庫，在數(shù)據(jù)層面對全行數(shù)據(jù)進行整合，做到各類數(shù)據(jù)的完整、統(tǒng)一、準確、規(guī)范；再從業(yè)務(wù)層面，基于數(shù)據(jù)倉庫建設(shè)各類應(yīng)用的數(shù)據(jù)集市，滿足應(yīng)用的需求。數(shù) 據(jù) 源 數(shù) 據(jù) 倉 庫數(shù) 據(jù) 集 市采集采 集核 心風(fēng) 險財 務(wù)國 貿(mào)人 力 資 源外 部 數(shù) 據(jù)P a r t yP r o d u c tA g r e e me n tE v e n tC h a n n e lF i n a n c e客 戶 分 析報 表 分 析市 場 分 析數(shù) 據(jù) 分 析數(shù)據(jù)倉庫的數(shù)據(jù)來源于各類業(yè)務(wù)系統(tǒng)及外部數(shù)據(jù)；數(shù)據(jù)集市的數(shù)據(jù)來源于數(shù)據(jù)倉庫；各類應(yīng)用的數(shù)據(jù)源來自數(shù)據(jù)集市。從數(shù)據(jù)的采集路徑與環(huán)節(jié)看，路徑清晰，環(huán)節(jié)簡單，對原系統(tǒng)影響很小。數(shù)據(jù)集市的數(shù)據(jù)單一來源于數(shù)據(jù)倉庫，系統(tǒng)的安全性比較高，并且避免了重復(fù)的數(shù)據(jù)整合與轉(zhuǎn)換工作。因此浦發(fā)銀行數(shù)據(jù)集市的建立必須基于數(shù)據(jù)倉庫完成。上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 7 of 27 系統(tǒng)邏輯框架 原業(yè)務(wù)系統(tǒng)邏輯框架原業(yè)務(wù)系統(tǒng)都具有一個 ODS 數(shù)據(jù)庫和 DM 數(shù)據(jù)集市，ODS 用以裝載從數(shù)據(jù)倉庫采集的數(shù)據(jù)，保證數(shù)據(jù)完整后再導(dǎo)入 DM 中供系統(tǒng)分析和使用，ODS 的作用是起到一個緩沖，當從數(shù)據(jù)倉庫中采集的數(shù)據(jù)由于種種意想不到的原因出現(xiàn)部分數(shù)據(jù)不完整等情況時不會影響到當前應(yīng)用系統(tǒng)的數(shù)據(jù)正確性，避免出現(xiàn)計算結(jié)果無法從業(yè)務(wù)上得到解釋的情況發(fā)生。存在的問題：1) 數(shù)據(jù)倉庫窗口征用，各業(yè)務(wù)系統(tǒng)數(shù)據(jù)來源都來自數(shù)據(jù)倉庫，且數(shù)據(jù)量大，將大量占用數(shù)據(jù)倉庫留給業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)的時間窗口，并且各應(yīng)用抽取數(shù)據(jù)中存在重復(fù)數(shù)據(jù)部分，若能將 ODS 進行整合，勢必減少數(shù)據(jù)抽取總量，從而減少數(shù)據(jù)抽取總時間花費；上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 8 of 272) 繁多的 ETL 工程，對于每個應(yīng)用必須單獨開發(fā) ETL 工程取數(shù)，當應(yīng)用不斷增加，開發(fā)和維護 ETL 工程將變成不小的負擔(dān)，如果能從設(shè)計上合理規(guī)劃 ETL過程達到各應(yīng)用共用的目標，就可以減少 ETL 過程的數(shù)量；3) ODS 數(shù)據(jù)冗余，各業(yè)務(wù)系統(tǒng)都擁有一個 ODS 數(shù)據(jù)空間，且以面向應(yīng)用的形式存儲，造成空間的冗余；4) 各 DM 存儲的數(shù)據(jù)未最大程度利用，由于各業(yè)務(wù)系統(tǒng)需要用到一些相近甚至相同的數(shù)據(jù)，所以各業(yè)務(wù)系統(tǒng)的 DM 中必然都存儲著這些數(shù)據(jù)的”副本”，如果能夠互相訪問這些數(shù)據(jù)，那么可以節(jié)省存儲空間。 架設(shè)統(tǒng)一數(shù)據(jù)集市后的系統(tǒng)邏輯框架建設(shè)統(tǒng)一的 ODS 邏輯數(shù)據(jù)結(jié)構(gòu)，從數(shù)據(jù)倉庫中采集的數(shù)據(jù)首先將進入統(tǒng)一的 ODS 數(shù)據(jù)空間中，數(shù)據(jù)通過完整性和一致性驗證后再進入統(tǒng)一數(shù)據(jù)集市，統(tǒng)一數(shù)據(jù)集市將數(shù)據(jù)在邏輯上分為各應(yīng)用系統(tǒng)特有數(shù)據(jù)和應(yīng)用系統(tǒng)公用數(shù)據(jù)，在物理上存儲在統(tǒng)一的數(shù)據(jù)空間中，而應(yīng)用系統(tǒng)的數(shù)據(jù)源直接應(yīng)用于統(tǒng)一數(shù)據(jù)集市上。此框架中統(tǒng)一數(shù)據(jù)集市采用 SybaseIQ，利用其成熟的功能，可以設(shè)置多個數(shù)據(jù)庫引擎（節(jié)點）連接同一個數(shù)據(jù)存儲，而各個邏輯數(shù)據(jù)部分通過不同的用戶進行訪問，由于 SybaseIQ 僅支持 1 個可讀寫節(jié)點，所以需要將應(yīng)用系統(tǒng)中的上海浦東發(fā)展銀行 ? 北京銀豐新融科技開發(fā)有限公司，2022 Page 9 of 27寫操作和讀操作分別連接相應(yīng)的節(jié)點以達到良好的性能，后期可以擴展多個只讀節(jié)點，解決 CPU 和內(nèi)存的瓶頸問題，使前端應(yīng)用系統(tǒng)的查詢等功能得到更快的響應(yīng)。解決的問題：1) 減少數(shù)據(jù)倉庫窗口占用時間，整合 ODS 以后，裝載數(shù)據(jù)的過程被統(tǒng)一成 1 個，當后續(xù)增加新的系統(tǒng)應(yīng)用時，只需要擴展 ODS 模型結(jié)構(gòu)，整個 ETL 過程仍然是唯一的；2) 減少 ODS 的冗余，整合 ODS 后，原先的多個 ODS 重復(fù)數(shù)據(jù)占用的存儲空間被釋放，同時由于數(shù)據(jù)在 ODS 中基本以面向主題的方式存儲，冗余較小；3) 最大程度的利用數(shù)據(jù)資源，整合 DM 以后，將劃出公用數(shù)據(jù)部分，供所有應(yīng)用系統(tǒng)共同使用，這部分數(shù)據(jù)在存儲中僅有 1 份，結(jié)合各應(yīng)用特色部分數(shù)據(jù)，確保了各應(yīng)用系統(tǒng)的數(shù)據(jù)是完整的，在 SybaseIQ 中，各部分數(shù)據(jù)通過不同的用戶來區(qū)隔，通過靈活配置用戶權(quán)限來達到安全性的要求，這種結(jié)構(gòu)同時可以很好的利用 SybaseIQ 在 I/O 方面的優(yōu)勢；4) 良好的擴展性，當后續(xù)增加應(yīng)用時，僅需要擴充 ODS 和統(tǒng)一數(shù)據(jù)集市模型以及 ETL 過程，并不會影響到原有系統(tǒng)。O D S統(tǒng)一數(shù)據(jù)集市反洗錢運營內(nèi)控 非現(xiàn)場審計 報表系統(tǒng)數(shù)