【正文】 ial 5/4/2020 3 非功能層面（右側(cè)面） ? 易用性 ? 響應(yīng)性 ? 可靠性 ? 擴(kuò)展性 ? 安全性 設(shè)計層面 ETL 數(shù)據(jù)抽取 通過 成熟的 ETL 工具，實(shí)現(xiàn)從不同的數(shù)據(jù)源中抽取出所需要的信息，同時 通 過數(shù)據(jù)的加工和格式化，對外提供給其他系統(tǒng)使用。具體建設(shè)目標(biāo)如下： （ 1）技術(shù)目標(biāo) ? 建立數(shù)據(jù)倉庫基礎(chǔ)架構(gòu) ? 建立自動數(shù)據(jù)抽?。D(zhuǎn)換／加載（ ETL）機(jī)制 ? 建立多維分析和數(shù)據(jù)查詢工具和界面已經(jīng)分析報表生成和展示框架 （ 2）業(yè)務(wù)目標(biāo) ? 實(shí)現(xiàn)一期經(jīng)營分析的多維分析、查詢和 報表，提供 CFETS 各部門所需報表 ? 提供下游系統(tǒng)所需要的統(tǒng)計數(shù)據(jù) ? 提供中心內(nèi)部用戶以 AdHoc 方式查詢所需數(shù)據(jù) ? 將業(yè)務(wù)系統(tǒng)的歷史和增量數(shù)據(jù)加載進(jìn)入數(shù)據(jù)倉庫，并轉(zhuǎn)換為數(shù)據(jù)倉庫的存儲格式 ? 實(shí)現(xiàn)用戶訪問的門戶界面并建立相應(yīng)的訪問安全和權(quán)限機(jī)制 ? 進(jìn)行老系統(tǒng)統(tǒng)計報表的移植工作，保證數(shù)據(jù)倉庫系統(tǒng)中的報表統(tǒng)計結(jié)果與原報表統(tǒng)計結(jié)果的一致性 基于上述需求，安訊 軟件 （上海） 有限 公司提出如下技術(shù)解決方案來實(shí)現(xiàn)本項目的技術(shù)目標(biāo)和業(yè)務(wù)目標(biāo)。 報表應(yīng)用 業(yè)務(wù)人員通過終端界面，可以使用由開發(fā)人員開發(fā)和設(shè)計的報表，同時，業(yè)務(wù)人員也能同報表進(jìn)行交互，檢索出自己需要的數(shù)據(jù)。 C. 將已經(jīng)標(biāo)準(zhǔn)化和模型化的數(shù)據(jù)進(jìn)入到數(shù)據(jù)倉庫，或者提供需要的數(shù)據(jù)文件。在使用的過程中，會員信息維護(hù)復(fù)雜，且各個系統(tǒng)各自維護(hù)一套對應(yīng)的會員信息，導(dǎo)致會員維護(hù) 工作量加大 。數(shù)據(jù)倉庫和報表服務(wù)器分別帶有自己的外存磁盤陣列。 報表技術(shù)建議使用 Actuate 9。 3. 進(jìn)入數(shù)據(jù)倉庫的數(shù)據(jù)模型可以為報表平臺提供對應(yīng)的數(shù)據(jù)來源。 3. ETL 對增量數(shù)據(jù)進(jìn)行技術(shù)性檢核、標(biāo)準(zhǔn)化、轉(zhuǎn)換。 ETL 實(shí)施我們建議采用成熟的 ETL 工具， 所選 ETL 工具 需要滿足如下 基本要求： （ 1）技術(shù)架構(gòu) 1) 支持所有的主流平臺 2) 模塊化的架構(gòu)設(shè)計，可按需進(jìn)行模塊添加和擴(kuò)展 3) 具有錯誤恢復(fù)邏輯的功能 4) 支持并行處理 （ 2） 核 心功能 1) 支持本地數(shù)據(jù)訪問模式 2) 支持星型模式 3) 支持打包應(yīng)用（例如 SAP） 4) 支持基本處理（例如 SQL） 5) 具有數(shù)據(jù)自動轉(zhuǎn)換和清洗功能 6) 支持實(shí)時 ETL 和按需 ETL 7) 具有自動錯誤預(yù)警功能 （ 3） 開發(fā)環(huán)境 1) 圖形化界面 2) 支持命令行 3) 便于調(diào)試和維護(hù) 4) 具有代碼版本控制功能 （ 4） ETL 管理 1) 支持集中管理 2) 自動產(chǎn)生每日 ETL 運(yùn)行報表 3) 具有 ETL 自動和手工調(diào)度功能 Actuate Confidential 5/4/2020 9 我們相信商業(yè) ETL 工具中 INFORMATICA 會是一個很好的選擇，開源 ETL 產(chǎn)品 Kettle則是 INFORMATICA 之外 一個很好的備選。 4. 靈活的數(shù)據(jù)查詢，可基于時間查詢對應(yīng)的日報，月報和季報。數(shù)據(jù)核對準(zhǔn)確的判斷是要么結(jié)果一致，要么不一致但原因是可解釋的。 數(shù)據(jù)倉庫服務(wù)于 經(jīng)營決策，經(jīng)營決策依據(jù)的數(shù)據(jù)應(yīng)該是全面的、真實(shí)可靠的、有意義的。 通過數(shù)據(jù)整合，建立完整的、準(zhǔn)確的、一致的統(tǒng)一客戶視圖，完善共享信息數(shù)據(jù)，并使共享信息數(shù)據(jù)服務(wù)于經(jīng)營分析，為生產(chǎn) 系統(tǒng)的改進(jìn)提供標(biāo)準(zhǔn)。 數(shù)據(jù)質(zhì)量改進(jìn)方法 數(shù)據(jù)質(zhì)量控制要從技術(shù)、流程和管理三個方面進(jìn)行。 下面 是我們在技術(shù)層面 采取 的具體做法。 但需要明確的是，很多情況下，許多數(shù)據(jù)問題在 ETL 之前都無法知道，只能通過 ETL 之后的數(shù)據(jù)核對才能 發(fā)現(xiàn)，然后逐漸積累，加到 ETL 的規(guī)則控制中 去 。 具體設(shè)計如下： 邏 輯 數(shù) 據(jù) 模 型L o g i c a l D a t a M o d e l數(shù) 據(jù) 倉 庫D a t a M a r tB I 工 具前 端 展 現(xiàn)電 子 帳 表報 表 查 詢風(fēng) 險 監(jiān) 控報 表 分 析儀 表 盤信 息 生 產(chǎn) 信 息 消 費(fèi)B I工 具報表引擎報表調(diào)度報表交互報表設(shè)計D a t a b a s e Actuate Confidential 5/4/2020 12 靈活的報表查詢 在報表的查詢過程中，可以通過瀏覽器直 接瀏覽報表，同時，用戶也可以通過簡單的操作，對報表進(jìn)行重新訂制，為了更好的提高實(shí)用性，用戶可通過瀏覽器同報表服務(wù)器進(jìn)行交互，查看到需要的報表。重寫后的統(tǒng)計報表基于新建 的數(shù)據(jù)倉庫 ，這樣就統(tǒng)一了現(xiàn)存的多個統(tǒng)計系統(tǒng)，統(tǒng)一了統(tǒng)計口徑，解決了統(tǒng)計口徑不一致所造成的 各個部門信息的 不 一致 ，并消除這種不一致對管理決策帶來的負(fù)面影響。如果是后一種情況，則需要根據(jù)業(yè)務(wù)的需要選擇統(tǒng)計口徑， 使新報表能夠達(dá)到業(yè)務(wù)人員的預(yù)期。 對有差異的報表，我們會作進(jìn)一步的數(shù)據(jù)集對比，以確定問題的根源到底是在數(shù)據(jù)，還是報表邏輯。 針對可靠性，我們的設(shè)計是在 系統(tǒng)包含一個雙機(jī)組成的數(shù)據(jù)倉庫，和一個雙機(jī)組成的報表服務(wù)平臺。而 所有關(guān)鍵部件 能夠 保證在不停頓數(shù)據(jù)共享服務(wù)的前提下提供熱插拔能 力。在集群系統(tǒng)中，安訊 iServer 可以通過不同的故障轉(zhuǎn)移模 (Failover)式來保障 iServer 各項服務(wù)的可用性。 響應(yīng)設(shè)計 高的響應(yīng)能給用戶帶來效率上的提升 ，加快了工作效率，減少了等待時間，同時加快了系統(tǒng)的處理效率，我們將通過以下幾方面手段來保證用戶得到高質(zhì)量的響應(yīng)： 1. 優(yōu)化模型設(shè)計，好的模型設(shè)計能夠減少冗余數(shù)據(jù)量的加載和檢索，以及表間關(guān)聯(lián)檢索，能大大提高系統(tǒng)數(shù)據(jù)的響應(yīng)時間。 6. 充分利用報表系統(tǒng)的對查詢的緩存功能，減少對數(shù)據(jù)源的實(shí)時訪問。 由此可見，對于高，中級別的數(shù)據(jù)，需要進(jìn)行對應(yīng)的備份。 我們設(shè)計方案中使用的 Oracle 10g 或 IBM DB 2 數(shù)據(jù)庫，都支持 熱備份 ；Actuate 9 的報表服務(wù)器 iServer , 也支持聯(lián)機(jī) 熱備份 。我們建議把每天的熱備份數(shù)據(jù)，拷貝到遠(yuǎn)端備份存儲服務(wù)器。本地備份耗時目標(biāo)是 2 小時；遠(yuǎn)程備份耗時目標(biāo)是 12 小時。以下我們以 Oracle 數(shù)據(jù)庫為例，說明一下可以考慮的恢復(fù)措施。對于用戶操作型的失敗（如誤刪除數(shù)據(jù)），系統(tǒng)采取的補(bǔ)救措施主要有導(dǎo)入最新的邏輯備份或進(jìn)行到某一時間點(diǎn)的不完全恢復(fù)。 控制文件中記錄著整個數(shù)據(jù)庫的結(jié)構(gòu)、每個數(shù)據(jù)文件的狀況、系統(tǒng) SCN、檢查點(diǎn)計數(shù)器等重要信息，在創(chuàng)建數(shù)據(jù)庫時會讓用戶指定三個位置來存放控制文件，他們之間互為鏡像，當(dāng)其中任何一個發(fā)生故障，只需將其從 ini 文件中注釋掉故障數(shù)據(jù)文件就可重新將數(shù)據(jù)啟動。數(shù)據(jù)倉庫和報表服務(wù)器分別帶有自己的外存磁盤陣列。 ? 用戶界面 友好、 同時 易操作 。 ? 合理的組織操作菜單 Actuate Confidential 5/4/2020 18 ? 查詢等出現(xiàn)錯誤時提供友好的提示。 在系統(tǒng)登錄界面中，只有輸入正確的用戶名和密碼，才能進(jìn)入系統(tǒng)，進(jìn)入系統(tǒng)后用戶可隨時修改自己的密碼。通過對用戶組進(jìn)行授權(quán)，組中的每 個用戶都擁有組的所有權(quán)限，極大方便了授權(quán)管理；獨(dú)立的用戶可以獨(dú)立授權(quán)。 系統(tǒng) 日志還可用于系統(tǒng)操作的防抵賴。 在系統(tǒng)內(nèi)部，本系統(tǒng)用戶眾多，機(jī)構(gòu)、角色、權(quán)限各不相同，因此必須具有較高的安全性，防止用戶越權(quán)訪問以及竊取數(shù)據(jù)。每次會議都要有專人做會議記錄，會議紀(jì)要的格式參見雙方約定文檔規(guī)范中的會議紀(jì)要模板，會后由記錄人員將會議紀(jì)要分發(fā)給相關(guān)人員，并上傳版本庫中。 ? 主要議程及責(zé)任：更新項目狀態(tài)，包括：跟蹤檢查項目遺留問題的解決情況；項目狀態(tài)信息，時間進(jìn)度表等；問題，風(fēng)險，依賴條件（技術(shù)和管理）；對提出的問題，討論和決定行動計劃；乙方負(fù)責(zé)做會議記錄，會后分發(fā)會議記錄，將會議記錄上傳到版本庫中，并負(fù)責(zé)下一步行動計劃。 ? 主要議程及責(zé)任：項目狀態(tài)，存在的問題及解決方法；下階段項目計劃。 ? 主要議程及責(zé)任：項目經(jīng)理匯報項目狀態(tài) 和下階段項目計劃；項目領(lǐng)導(dǎo)討論項目中需要決策的重大問題；乙方負(fù)責(zé)做會議記錄，會后分發(fā)會議記錄，將會議記錄上傳到版本庫中，并負(fù)責(zé)下一步行動計劃。 ? 主要議程及責(zé)任： 匯報項目重大問題 ，找出解決方案，決定行動計劃。 ? 主要議程及責(zé)任：討論出現(xiàn)的 各種相關(guān) 問題，找出解決方案，決定行動計劃。對比較重要的事情，需要包括開發(fā)地點(diǎn)以外的人員，則需要利用電話會議的方式進(jìn)行討論，溝通。 文檔庫管理項目的所有文檔，而代碼庫管理項目的所有代碼，文檔及代碼庫進(jìn)行基線化管理，按照項目階段，對文檔庫和代碼庫打基線。 本項目成立變更控制委員會，一般為單數(shù)組成（甲方人數(shù)＝乙方＋ 1），由甲方指定人員任變更控制委員會主任 。《變更申請表》由變更申請人填寫。 涉及合同變更的不在變更控制委員會審批范圍內(nèi)，根據(jù)購買合同規(guī)定的條款進(jìn)行審批。 變更執(zhí)行評估 變更控制委員會中乙方委員負(fù)責(zé)填報變更執(zhí)行結(jié)果評估表，對執(zhí)行結(jié)果進(jìn)行評估跟蹤，并將結(jié)果向變更控 制委員會主任報告。 2. 文檔管理 ? 文檔規(guī)范 ? 文檔需遵循 一定 的規(guī)范， 由 雙方參照相關(guān)國際與國家標(biāo)準(zhǔn)協(xié)商制定，需經(jīng) 甲方項目質(zhì)量控制人員審核通過。 ? 文檔的流通與檢索：經(jīng)審核的新文檔必須按時流通到指定收件人 。提供電子或紙質(zhì)的備份 。在項目設(shè)計階段，相關(guān)技術(shù)文檔均應(yīng)進(jìn)行至少一次的同行評審工作，雙方質(zhì)量保證人員負(fù)責(zé)跟蹤缺陷的解決。 8. 過程審計：質(zhì)量控制小組定期對項目質(zhì)量工作進(jìn)行審計，雙方應(yīng)就審計結(jié)論進(jìn)行相關(guān)整改。 4 工期進(jìn)度 根據(jù)項目生命周期，我們把項目實(shí)施分為三個大的階段，項目整體階段里程碑工作計劃如下： 階段 內(nèi)容 估計開始日期 估計結(jié)束日期 第一階段 ETL 需求 采集 20200601 20200615 ETL 需求細(xì)化與分析 20200616 20200630 用戶培訓(xùn) 20200601 20200630 第二階段 LDM 邏輯數(shù)據(jù) 模型設(shè)計 20200701 20200707 ETL 總體設(shè)計 20200708 20200715 LDM 維 表 ETL 詳細(xì)設(shè)計 20200716 20200722 LDM 事實(shí)表 ETL 詳細(xì)設(shè)計 20200723 20200731 Actuate Confidential 5/4/2020 27 數(shù)據(jù)倉庫 SQL 腳本及表空間等相關(guān)腳本開發(fā) 20200801 20200807 報表需求采集 20200701 20200807 報表平臺用戶界面定制 20200808 20200822 固定報表制作 20200808 20201005 開發(fā)測試 20200701 20201005 第三階段 系統(tǒng) 集成 測試 20201006 20201019 用戶測試 20201020 20201104 運(yùn)行準(zhǔn)備 20201105 20201112 正式 上線 20201113 20201115 項目收尾 項目驗(yàn)收、移交 20201116 20201130 5 附錄 A. 軟硬件配置方案 B. 開發(fā)測試工具一覽表 C. 變更申請表 D. 安訊 9 系統(tǒng)性能白皮書