【正文】 ? 高 : 內(nèi)部系統(tǒng)核心數(shù)據(jù)，包括所有連機(jī)和脫機(jī)數(shù)據(jù)，需要高級(jí)別的備份。 5. 充分利用報(bào)表系統(tǒng)的緩存功能，把報(bào)表生成任務(wù)安排到非高峰時(shí)段。 2. 有效利用數(shù)據(jù)庫(kù)的緩存功能，對(duì)于經(jīng)常訪問(wèn)的數(shù)據(jù)，可將數(shù)據(jù)緩存于數(shù)據(jù)庫(kù)中，減少 IO， 3. 利用集群功能，合理 分配負(fù)載， 充分 利用 各主機(jī)的 CPU, 內(nèi)存等硬件資源。 非功能性設(shè)計(jì) 性能需求 容量設(shè)計(jì) 根據(jù) 19942020 年的所有交易數(shù)據(jù)總 容量為 10G byte， 大概每年的數(shù)據(jù)容量在 800M 左右，從容量和可擴(kuò)展性和災(zāi)備等多方面綜合考慮，建議每年的數(shù)據(jù)量分配在 左右。 對(duì)系統(tǒng)可擴(kuò)展性的考慮能 充分保證用戶不在初期購(gòu)買超出業(yè)務(wù)量需求的處理能力 。安訊 iServer 具備出色的可擴(kuò)展性，用戶可以簡(jiǎn)單的向集群中添加更多Actuate Confidential 5/4/2020 14 的服務(wù)器來(lái)滿足更 高的報(bào)表需求 ，而系統(tǒng)的性能隨著服務(wù)器數(shù)量的增多呈線性增長(zhǎng)，這方面的 具體 數(shù)據(jù)請(qǐng)參考附錄 D “安訊 9 系統(tǒng)性能白皮書” 。 對(duì)于可擴(kuò)展性， 使用我們建議的 報(bào)表服務(wù)平臺(tái) 安訊 iServer，系統(tǒng)架構(gòu)會(huì)有很強(qiáng)的可擴(kuò)展性，用戶可以通過(guò)增加硬件的方式擴(kuò)容，以支持越來(lái)越多的用戶和應(yīng)用。 采用的這樣系統(tǒng)架構(gòu)， 主機(jī)系統(tǒng)的維 護(hù) 、 系統(tǒng)擴(kuò)容 、 升級(jí) 、 系統(tǒng)性能統(tǒng)計(jì) 、 分析 、 優(yōu)化以及部件更換 就能夠 在不影響應(yīng)用系統(tǒng)功能的前提下完成 。數(shù)據(jù)倉(cāng)庫(kù)和報(bào)表服務(wù)器分別帶有自己的外存磁盤陣列。我們的設(shè)計(jì)充分考慮了這兩個(gè)因素。 認(rèn)證管理 在對(duì)用戶信息的管理中，提供以角色和用戶為安全模型的統(tǒng)一認(rèn)證機(jī)制，只有具有對(duì)應(yīng)角色的用戶才能訪問(wèn)對(duì)應(yīng)的報(bào)表。 實(shí)際測(cè)試中， 我們將采用等價(jià)類劃分以及邊值分析法來(lái)設(shè)計(jì)測(cè)試用例，產(chǎn)生有限的測(cè)試用例來(lái)覆蓋足夠多的“任何情況”。 我們將會(huì)采用嚴(yán)格的測(cè)試手段來(lái)保證 新報(bào)表與老報(bào)表統(tǒng)計(jì)結(jié)果的一致性 。如果是前一種情況，采用正確的統(tǒng)計(jì)方式就能修正錯(cuò)誤。 Actuate Confidential 5/4/2020 13 老系統(tǒng)報(bào)表遷移的一個(gè)難點(diǎn)是如何保證 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的報(bào)表統(tǒng)計(jì)結(jié)果與原報(bào)表統(tǒng)計(jì)結(jié)果的一致性 ，對(duì)此要具體問(wèn)題具體分析。 老系統(tǒng)統(tǒng)計(jì)報(bào)表移植 對(duì)于老系統(tǒng)的統(tǒng)計(jì)報(bào)表，我們將采取重寫的方式移植到統(tǒng)一的報(bào)表平臺(tái)上面。 先進(jìn)的報(bào)表開發(fā)模式 在報(bào)表的開發(fā)中，我們將采用最先進(jìn)的協(xié)同開發(fā)模式，開發(fā)人員定制業(yè)務(wù)邏輯，業(yè)務(wù)人員根據(jù)自己需要通過(guò)簡(jiǎn)單的拖動(dòng)則可形成自己需要的報(bào)表。 通過(guò) 報(bào)表平臺(tái) ，技術(shù)人員可以通過(guò)靈活配置邏輯系統(tǒng) 集成不同 BI 工具產(chǎn)生的異構(gòu)報(bào)表資源， 業(yè)務(wù)人員可以進(jìn)行 不同 報(bào)表資源的集中管理 和發(fā)布 ， 最終用戶可以通過(guò)一致的展示環(huán)境獲取報(bào)表信息。 報(bào)表平臺(tái)設(shè)計(jì) 建立報(bào)表查詢門戶，提供各類信息報(bào)表的查詢，統(tǒng)一查詢渠道，統(tǒng)一數(shù)據(jù)口徑，統(tǒng)一用戶管理。 在這個(gè)過(guò)程中，所有的錯(cuò)誤都會(huì)進(jìn)行記錄，最終生成數(shù)據(jù)質(zhì)量檢查報(bào)告。在 ETL 架構(gòu)設(shè)計(jì)中我們會(huì) 包括數(shù)據(jù)質(zhì)量設(shè)計(jì)，將數(shù)據(jù)質(zhì)量檢查腳本加入到 ETL 流程中，分 為 技術(shù)檢查和業(yè)務(wù)規(guī)則檢查。 在管理 層面上，要求生產(chǎn)系統(tǒng)報(bào)送數(shù)據(jù)，按照“誰(shuí)提供數(shù)據(jù)，誰(shuí)負(fù)責(zé)”的原則由生產(chǎn)系統(tǒng)保證源數(shù)據(jù)的完整性、準(zhǔn)確性、一致性、時(shí)效性。 從技術(shù)層面上，生產(chǎn)系統(tǒng)存在的噪音數(shù)據(jù)、遺漏數(shù)據(jù)和不一致性數(shù)據(jù)，需要進(jìn)行數(shù)據(jù)清洗；同時(shí)需要對(duì)源數(shù)據(jù)做稽核，如總量稽核和分量稽核。建立起數(shù)據(jù)整合隊(duì)伍，使數(shù)據(jù)質(zhì)量能夠得以持續(xù)改進(jìn)。 建立數(shù)據(jù)整合流程，實(shí)現(xiàn)流程定義、流程配置和流程管控。 數(shù)據(jù)質(zhì)量改進(jìn)目標(biāo) 數(shù)據(jù)質(zhì)量改進(jìn)的目標(biāo)是清理、標(biāo)準(zhǔn)化、提高和匹配現(xiàn)有數(shù)據(jù)。數(shù)據(jù)時(shí)效性如果得不到保證，就可能延誤了市場(chǎng)人員的分析，失去商機(jī)。數(shù)據(jù)時(shí)效性，包括數(shù)據(jù)處理（獲取、整理、加載等）的及時(shí)性，數(shù)據(jù)異常檢測(cè)的及時(shí)性，數(shù)據(jù)處理回退的及時(shí)性等。數(shù)據(jù)一致性，包括源系統(tǒng)之間同一數(shù)據(jù)是否一致，源數(shù)據(jù)與抽取的數(shù)據(jù)是否一致，數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部各處理環(huán)節(jié)數(shù)據(jù)是否一致等。數(shù)據(jù)準(zhǔn)確性，包括數(shù)據(jù)源是否準(zhǔn)確、編碼映射關(guān)系是否準(zhǔn)確、處理邏輯是否準(zhǔn)確等。 5. 效率最優(yōu)化，需要查詢機(jī)構(gòu)信息，則通過(guò)機(jī)構(gòu)和事實(shí)表關(guān)聯(lián)即可完成。 3. 建立好如上的星型模型后，可發(fā)現(xiàn)模型具有如下優(yōu)點(diǎn)。 數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì) 數(shù)據(jù)建模 建模過(guò)程：（以常用會(huì)計(jì)報(bào)表為例） 1. 用戶需要查看基于時(shí)間 、 機(jī)構(gòu)和科目的報(bào)表。 6. 整個(gè) ETL 處理過(guò)程進(jìn)行異常處理及監(jiān)控。 4. 產(chǎn)生 LDM 落地?cái)?shù)據(jù)文件。 Actuate Confidential 5/4/2020 8 2. ETL 對(duì)抽取到的數(shù)據(jù)進(jìn)行必要的增量處理，生成一天的增量數(shù)據(jù)。 4. 通過(guò)認(rèn)證的用戶可以登陸報(bào)表平臺(tái)消費(fèi)和設(shè)計(jì)對(duì)應(yīng)的報(bào)表。 2. 通過(guò) ETL 轉(zhuǎn)化后的數(shù)據(jù)統(tǒng)一進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，形成統(tǒng)一的數(shù)據(jù)視圖。 使用我們建議的應(yīng)用軟件，這樣的系統(tǒng)架構(gòu)會(huì)有很強(qiáng)的可擴(kuò)展性，用戶可以通過(guò)增加硬件的方式擴(kuò)容，以支持越來(lái)越多的用戶和應(yīng)用。比如，數(shù)據(jù)庫(kù)管理系統(tǒng)可以使用 Oracle 的技術(shù)，也可以使用 IBM 的技術(shù)。 架構(gòu)中的每個(gè)功能節(jié)點(diǎn)設(shè)計(jì)都含冗余度 ， 保證系統(tǒng)不存在單一失敗點(diǎn)，滿足提供 7x24 不間斷服務(wù)的要求。以下是我們建議的系統(tǒng)架構(gòu)概念圖： Actuate Confidential 5/4/2020 7 系統(tǒng)包含一個(gè)雙機(jī)組成的數(shù)據(jù)倉(cāng)庫(kù)，和一個(gè)雙機(jī)組成的報(bào)表服務(wù)平臺(tái)。 數(shù)據(jù)倉(cāng)庫(kù)一期需求大致可以分成數(shù)據(jù)庫(kù)架構(gòu)的建立、 ETL 機(jī)制 的建立 、以及報(bào)表分析架構(gòu)的建立和報(bào)表實(shí)施。 Actuate Confidential 5/4/2020 6 系統(tǒng)技術(shù)實(shí)現(xiàn)方案 總體技術(shù)實(shí)現(xiàn)方案 充分考慮到 CFETS 系統(tǒng)存在在本外幣等多種數(shù)據(jù)源，且數(shù)據(jù)源分散，多分散子系統(tǒng)的情況，同時(shí)各個(gè)子系統(tǒng)中存在統(tǒng)計(jì)口徑不一致，影響統(tǒng)一的決策和各個(gè)部門信息的一致性。 D. 數(shù)據(jù)倉(cāng)庫(kù)對(duì)外暴露數(shù)據(jù)模型和數(shù)據(jù)視圖以及 sql 接口。 Actuate Confidential 5/4/2020 5 數(shù)據(jù)架構(gòu) E T L 環(huán) 境抽 取 數(shù) 據(jù) 模 型數(shù) 據(jù) 倉(cāng) 庫(kù)本 幣交 易D B本 幣交 易 數(shù) 據(jù) 模 塊經(jīng)費(fèi)管理資產(chǎn)管理總賬管理數(shù) 據(jù) 加 工 模塊統(tǒng) 計(jì) 司 報(bào) 表給倉(cāng) 庫(kù)的 數(shù) 據(jù)E T L 加 工后 標(biāo) 準(zhǔn)數(shù) 據(jù)報(bào) 表 平 臺(tái)訪 問(wèn) 的 數(shù) 據(jù) 源E T l拆 分 前 的數(shù) 據(jù) 文 件 進(jìn) 行差 分 、 標(biāo) 準(zhǔn) 化 形 成 對(duì) 應(yīng) 的數(shù) 據(jù) 文 件E T L 加 工環(huán) 境 內(nèi) 部 數(shù) 據(jù) 流 向加 工 后 數(shù) 據(jù)存 儲(chǔ)E T L 對(duì) 數(shù) 據(jù)進(jìn) 行加 工加 工 后 的 數(shù) 據(jù)進(jìn) 行標(biāo) 準(zhǔn) 化統(tǒng) 一 的 數(shù) 據(jù) 視 圖加 工 后 數(shù) 據(jù)模 型 化數(shù) 據(jù)視 圖s q l接 口金 融 快 報(bào)本 幣 市 場(chǎng) 央行 固 定 報(bào) 表 下 游 系 統(tǒng)本 幣報(bào)表平臺(tái)報(bào) 表 展 現(xiàn)交 易 明 細(xì) 表交 易 統(tǒng) 計(jì) 表做 市 商 交易 報(bào) 表 數(shù)據(jù)流說(shuō)明： A. 首先從本外幣或者其他系統(tǒng)獲得對(duì)應(yīng)的數(shù)據(jù) . B. 經(jīng)過(guò) ETL 對(duì) 數(shù)據(jù)進(jìn)行加工，清洗和標(biāo)準(zhǔn)化。 物理架構(gòu) 對(duì)于本，外幣不同的數(shù)據(jù)源，以及不同的物理子系統(tǒng)，基本的物理架構(gòu)如下： Actuate Confidential 5/4/2020 4 物理架構(gòu)說(shuō)明： A. 本外幣數(shù)據(jù)庫(kù)向倉(cāng)庫(kù)提供對(duì)應(yīng)的數(shù)據(jù) B. 倉(cāng)庫(kù)為對(duì)應(yīng)的報(bào)表服務(wù)器提供統(tǒng)一的視圖。 報(bào)表展現(xiàn) 技術(shù)人員設(shè)計(jì)好報(bào)表模板后，通過(guò)發(fā) 布到對(duì)應(yīng)的服務(wù)器據(jù)，實(shí)現(xiàn)對(duì)報(bào)表的展現(xiàn)。 Actuate Confidential 5/4/2020 2 2 技術(shù)解決方案 系統(tǒng)總體架構(gòu) 邏輯架構(gòu) 總體邏輯架構(gòu)如下： 功能層面（上側(cè)面） 根據(jù) CFETS 對(duì)應(yīng)的功能需求，對(duì)應(yīng)的功能層面上需要建立如下功能： ? 數(shù)據(jù)的 ETL ? 數(shù)據(jù)存儲(chǔ) ? 固定統(tǒng)計(jì)報(bào)表 ? 統(tǒng)一用戶界面及 Portal 認(rèn)證管理 Actuate Confidential 5/4/2020 3 非功能層面（右側(cè)面） ? 易用性 ? 響應(yīng)性 ? 可靠性 ? 擴(kuò)展性 ? 安全性 設(shè)計(jì)層面 ETL 數(shù)據(jù)抽取 通過(guò) 成熟的 ETL 工具，實(shí)現(xiàn)從不同的數(shù)據(jù)源中抽取出所需要的信息，同時(shí) 通 過(guò)數(shù)據(jù)的加工和格式化，對(duì)外提供給其他系統(tǒng)使用。Actuate Confidential 5/4/2020 中國(guó)外匯交易中心數(shù)據(jù)倉(cāng)庫(kù)一期項(xiàng)目 建議 第二冊(cè) 技術(shù)部分 安訊軟件（上海）有限公司 2020 年 5 月 4 日 Actuate Confidential 5/4/2020 目錄 1 項(xiàng)目目標(biāo) ........................................................................................................................1 2 技術(shù)解決方案 .................................................................................................................2 系統(tǒng)總體架構(gòu) ...................................................................................................2 邏輯架構(gòu) ...................................................................................................2 功能層面（上側(cè)面） .........................................................................2 非功能層面（右側(cè)面） .....................................................................3 設(shè)計(jì)層面 ...................................................