【正文】 務的檢索、調(diào)度和分發(fā)，調(diào)度 Agent 接收到調(diào)度 Server 的調(diào)度指令，調(diào)用作業(yè)主控模塊(JCI)執(zhí)行具體的作業(yè)，并根據(jù) JCI的退出碼將作業(yè)的執(zhí)行情況反饋給調(diào)度 Server。 ? 物理作業(yè)：具體負責數(shù)據(jù)加工的程序執(zhí)行單元，各類存儲過程或者作業(yè)腳本(SHELL 腳本、用 C/C++/PROC 等開發(fā)的可執(zhí)行程序） 。? 數(shù)據(jù)庫模塊：管理類數(shù)據(jù)庫：用于調(diào)度和作業(yè)主控，保存任務和作業(yè)的相關(guān)配置信息和運行信息。作業(yè)的監(jiān)控需要包括以下功能：監(jiān)控作業(yè)的當前執(zhí)行情況；查詢作業(yè)歷史執(zhí)行情況。 異常處理ETL 處理的異常主要包括：1) 硬件、操作系統(tǒng)、網(wǎng)絡導致異常；2) 數(shù)據(jù)源數(shù)據(jù)傳輸、質(zhì)量導致異常；3) ETL 過程處理導致異常；4) 目標數(shù)據(jù)模型導致異常；5) 人工干預導致異常等；建議處理的方法包括：1) 手工干預，重新調(diào)整 ETL 過程；2) 終止流程,通知管理員；3) 拒絕數(shù)據(jù)，記錄原因；4) 清洗數(shù)據(jù)，部分入庫；5) 監(jiān)控資源，反復嘗試ETL 恢復策略包括有：1) 每條記錄中有數(shù)據(jù) ETL 的時間戳，對小數(shù)據(jù)量的數(shù)據(jù)表，可以通過該４０ / 47時間戳清除掉本次加載的數(shù)據(jù)。ETL 管理調(diào)度利用作業(yè)調(diào)度控制可以處理各種異常錯誤情況。6. 循環(huán)校驗碼對于沒有時間戳的數(shù)據(jù)進行修改，還可以考慮采用循環(huán)校驗碼。4. 整表比較對于沒有時間戳的增量數(shù)據(jù)，數(shù)據(jù)量不大時，例如編碼表，可以采用使用數(shù)據(jù)庫的 SQL 操作語句（NOT IN，NOT Exists）的方法。增量策略是正常的日常增量處理的策略，故障恢復策略是在日常增量處理出錯時的處理策略。我們認為只需要建立一套增量加載的 ETL 同樣處理歷史數(shù)據(jù)加載和日常數(shù)據(jù)加載，而不再開發(fā)另一套全量加載 ETL 程序處理歷史數(shù)據(jù)加載。5. 作為 ETL 后續(xù)處理的統(tǒng)一接口建立 Staging Area 作為 ETL 每個處理階段的接口，對系統(tǒng)的靈活性和可擴展性非常有幫助。2. 應用于增量處理可以減少處理的記錄數(shù)量，使增量處理更加容易，例如應用于 SCD Type 2。 從業(yè)務系統(tǒng)抽取數(shù)據(jù)，采用 ETL 平臺直接從業(yè)務系統(tǒng)抽取數(shù)據(jù)，也可以先把業(yè)務系統(tǒng)的數(shù)據(jù)導出為文本文件再加載到臨時存儲區(qū)。提供數(shù)據(jù)存儲區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。? ETL5：屬于ETL目標數(shù)據(jù)裝載。ETL3處理是耗時最長，邏輯處理最復雜的階段，需要非常重視。對數(shù)據(jù)緩沖區(qū)數(shù)據(jù)標準化，統(tǒng)一數(shù)據(jù)表達格式，排序數(shù)據(jù)，篩選重復數(shù)據(jù)，合并或分割數(shù)據(jù)項，裝載入數(shù)據(jù)存儲區(qū)的基礎數(shù)據(jù)層。? ETL1：屬于ETL預處理。XX 銀行總行的 EDW 系統(tǒng)數(shù)據(jù)源環(huán)境復雜，應用系統(tǒng)數(shù)據(jù)需求旺盛，數(shù)據(jù)質(zhì)量參差不齊，結(jié)合以上系統(tǒng)目標及設計原則，建議采用如下體系架構(gòu)建設：３５ / 47ETL 邏輯結(jié)構(gòu)按照處理過程可劃分為 ETL 預處理、ETL 轉(zhuǎn)換清洗、ETL 目標數(shù)據(jù)裝載。３４ / 47第二章 ETL 體系建設 ETL 架構(gòu)概述在商業(yè)銀行的 EDW 系統(tǒng)中，數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)加載到 EDW 的各個數(shù)據(jù)層中，并通過供數(shù)接口提供給相關(guān)使用者系統(tǒng)。? EDW 模型化各系統(tǒng)數(shù)據(jù)，可以滿足各應用系統(tǒng)對全量數(shù)據(jù)、增量數(shù)據(jù)的需求，減少對重要交易系統(tǒng)的干擾。應用架構(gòu)應采用先進的理念和技術(shù)，并結(jié)合 XX 銀行科技規(guī)劃與現(xiàn)有的技術(shù)平臺。開放性：EDW 系統(tǒng)的應用架構(gòu)設計必須考慮平臺、系統(tǒng)、功能的開放性，與XX 銀行的科技規(guī)劃相適應，能夠與周邊各系統(tǒng)進行良好的信息傳遞。加工匯總數(shù)據(jù)層的數(shù)據(jù)模型設計在有相應的匯總需求情況下才針對匯總需求進行數(shù)據(jù)表和數(shù)據(jù)匯總?cè)蝿盏臄U展設計，逐步積累公共匯總指標，最后形成全行可共享的面向各個主題的中間匯３１ / 47總指標。EDW 對源系統(tǒng)客戶號進行統(tǒng)一，提供統(tǒng)一的客戶號（ECIF 客戶編號） 。為應用方便、查詢高效考慮，可以對源系統(tǒng)進行適當?shù)恼?、拆分，也可以裁減掉源系統(tǒng)中沒有必要整合的數(shù)據(jù)。為了更好的管理這些數(shù)據(jù)，EDW 數(shù)據(jù)按層次進行劃分存放及管理，從邏輯模型上劃分為以下幾個數(shù)據(jù)層次：３０ / 47? 源數(shù)據(jù)緩沖層：數(shù)據(jù)層與業(yè)務源的數(shù)據(jù)結(jié)構(gòu)一一對應，是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，當新的數(shù)據(jù)到達緩儲區(qū)時，現(xiàn)有數(shù)據(jù)被刪除或覆蓋。因此在設計時必須考慮如何合理組織數(shù)據(jù)，以減小數(shù)據(jù)冗余。? 實用性原則處理大量的源系統(tǒng)數(shù)據(jù)，將會占用大量的系統(tǒng)資源，因此必須仔細分析數(shù)據(jù)的實用性、指標的使用頻率，以業(yè)務需求驅(qū)動為原則，對業(yè)務提出的基礎數(shù)據(jù)和指標需求進行優(yōu)先級劃分，正確制定指標的匯總粒度。特別是加工匯總層的數(shù)據(jù)架構(gòu)必須符合“匯總指標可靈活增加”的技術(shù)要求，不會隨著指標的增加而變更數(shù)據(jù)模型。例如，在運維架構(gòu)中可能需要使用安全控制工具對系統(tǒng)管理工具的訪問進行管理，在開發(fā)架構(gòu)中則可能使用安全控制工具對代碼存儲的訪問進行管理。２６ / 47 性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求的工具。備份恢復管理的主要任務及工具支持如下圖所示：２５ / 47 故障切換管理故障切換管理組件提供了管理和控制應用切換的機制，提供系統(tǒng)的高可用性。變更控制組件可以協(xié)助運維團隊、開發(fā)團隊和業(yè)務部門之間的溝通，保障系統(tǒng)的變更平滑進行。系統(tǒng)維護管理包括兩方面的管理內(nèi)容：系統(tǒng)維護和變更管理。應用本身包括了衡量內(nèi)部應用響應時間和性能的工具，應搜集這些工具產(chǎn)生的信息（如日志、運行報告等）用于監(jiān)控。 運維架構(gòu)的邏輯框架 系統(tǒng)監(jiān)控管理在 EDW 系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：? 網(wǎng)絡/主機管理：用于監(jiān)控、控制和報告網(wǎng)絡及主機狀態(tài)。? 運維環(huán)境管理組件：運維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護，不受故障和災難的侵害，以及不受人為因素的干擾和破壞。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務數(shù)據(jù)流不間斷。? 系統(tǒng)維護管理組件：系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務而進行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護等。運維架構(gòu)主要是針對執(zhí)行架構(gòu)的數(shù)據(jù)導入層、數(shù)據(jù)服務層、中間服務層和訪問控制層服務器進行管理，面向的最終用戶是 IT 人員。根據(jù)目標系統(tǒng)的不同,采用靈活的方式向外提供數(shù)據(jù),可使用 ETL 工具直接向目標系統(tǒng)加載或者通過 FTP 方式向其他目標傳輸。 數(shù)據(jù)處理流程各業(yè)務數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL 工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導出)將數(shù)據(jù)獲取過來,由數(shù)據(jù)落地區(qū)區(qū)進行集中管理。IT 人員可能已經(jīng)擁有許多有效的工具進行數(shù)據(jù)存取。所以就應用級的安全策略更多的是保證對數(shù)據(jù)訪問的合法性。 安全管理體系安全管理體系主要包括以下四個方面：? 網(wǎng)絡安全主要包括在不同網(wǎng)絡層次設置不同級別的防火墻及 IDS 系統(tǒng)，同時在每一個安全層次下通過部署不同的安全原則，這完全符合 XX 銀行的安全級別規(guī)定。EDW 系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源，建立最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實現(xiàn)決策人員對信息的自由訪問。除能夠執(zhí)行一般業(yè)務分析人員進行的操作外，可以對指定的主題、指標進行自定義的靈活分析和比較。? 業(yè)務分析人員主要指總行各業(yè)務部門、各分行的業(yè)務用戶，如：客戶經(jīng)理。 用戶層由上面的邏輯架構(gòu)圖可知用戶層包括各種最終用戶?！窘M成部分】通用展現(xiàn)平臺主要包括的功能模塊有：１８ / 47第一個層次是核心模塊包括：框架、引擎，核心模塊作為報表集成開發(fā)環(huán)境的基礎、核心和框架存在。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴展性和高性能。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的。? 支持多種執(zhí)行任務。? 日志管理引擎記錄 ETL 調(diào)度管理各個服務器組件以及每個任務的執(zhí)行日志，日志按天保存，可以定期清理。? 偵測器駐留在后臺的服務，基于定義的觸發(fā)規(guī)則和調(diào)度計劃監(jiān)測是否觸發(fā)任務的執(zhí)行。? 總行 EDW 可以為分行 EDW 提供數(shù)據(jù)服務。 ETL 流程調(diào)度層【功能與作用】該層為 EDW 數(shù)據(jù)流向的主要環(huán)節(jié)，EDW 系統(tǒng)數(shù)據(jù)流動的流程調(diào)度核心層，流程調(diào)度主要針對下面幾個方面：? EDW 系統(tǒng)將數(shù)據(jù)源的數(shù)據(jù)抽取到數(shù)據(jù)落地區(qū)? EDW 系統(tǒng)對數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、排序去重、通用數(shù)據(jù)清洗、業(yè)務轉(zhuǎn)換后等操作，最終完成數(shù)據(jù)準備區(qū)加載。架構(gòu)的核心上包括源數(shù)據(jù)層、ETL 流程調(diào)度、數(shù)據(jù)平臺層、數(shù)據(jù)集市層、應用服務層、訪問控制層、用戶層和數(shù)據(jù)消費傳輸通道七個大部分，另外，元數(shù)據(jù)管理和安全管理也是系統(tǒng)必不可少的部分，這 2 部分會涉及到所有核心層次。目前物理設備的安全性由運行中心負責。網(wǎng)絡層網(wǎng)絡層安全是保證網(wǎng)絡節(jié)點之間數(shù)據(jù)傳遞的安全性，以及網(wǎng)絡環(huán)境不受惡意攻擊。對于未來的數(shù)據(jù)倉庫系統(tǒng)來說，應與統(tǒng)一門戶平臺整合，實現(xiàn)整體安全性管理的策略；１３ / 47數(shù)據(jù)庫層只有被授權(quán)用戶才能訪問和修改數(shù)據(jù)庫中的信息并且數(shù)據(jù)在傳輸過程中應對敏感信息進行加密處理來保證數(shù)據(jù)的安全。數(shù)據(jù)倉庫系統(tǒng)的安全性應涵蓋如下四個方面：? 驗證：系統(tǒng)應對用戶進行訪問控制，保證只有合法的用戶才能進入到系統(tǒng)中；? 授權(quán)：系統(tǒng)應根據(jù)用戶角色對其進行授權(quán)，包括對數(shù)據(jù)的訪問權(quán)限，對功能的使用權(quán)限等。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)” 。給其他需要某個系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。１１ / 47分析環(huán)境：數(shù)據(jù)分析環(huán)境為 EDW 的高端用戶提供即時的數(shù)據(jù)分析功能等。數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以清晰的架構(gòu)組織、管理起來，并相輔相成。所以該存儲區(qū)在整個 EDW 系統(tǒng)起到了一個承上啟下的關(guān)鍵作用。該區(qū)有著承上啟下的作用，從數(shù)據(jù)形態(tài)來看，該區(qū)的數(shù)據(jù)定義貼近業(yè)務源系統(tǒng)。 數(shù)據(jù)落地區(qū)數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的數(shù)據(jù)集成環(huán)境中整合。? 操作型存儲區(qū)：此部分內(nèi)容描述 EDW 系統(tǒng)在建設的過程中操作型存儲區(qū)應遵循的標準以及系統(tǒng)建設過程中應滿足的需求；? 數(shù)據(jù)倉庫存儲區(qū)：此部分內(nèi)容描述 EDW 系統(tǒng)的數(shù)據(jù)倉庫存儲區(qū)應遵循的標準以及系統(tǒng)建設過程中應滿足的需求；? 業(yè)務應用：此部分內(nèi)容描述 BI 應用系統(tǒng)建設的系統(tǒng)需求，包含對應用環(huán)境、分析環(huán)境、靜態(tài)報表環(huán)境；? 用戶環(huán)境：此部分的內(nèi)容描述用戶在 EDW 系統(tǒng)中應具備運用的能力，包括：利用通用展現(xiàn)平臺進行信息展現(xiàn)、駕駛艙應用、報表應用等；? 時間窗口和性能的定義：此部分描述整個 EDW 項目中關(guān)于時間窗口的定義以及相關(guān)系統(tǒng)的性能指標要求；? 元數(shù)據(jù)管理：此部分描述在系統(tǒng)執(zhí)行架構(gòu)中元數(shù)據(jù)管理的內(nèi)容以及元數(shù)據(jù)管理系統(tǒng)的建設的標準定義；? 系統(tǒng)安全性：此部分內(nèi)容主要描述 EDW 系統(tǒng)中的安全性管理內(nèi)容，包括應用安全、網(wǎng)絡安全、數(shù)據(jù)安全、系統(tǒng)安全等，同時描述系統(tǒng)安全在建立過程中遵循的原則；? 基礎設施平臺（服務器 、網(wǎng)絡、存儲）：此部分內(nèi)容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：服務器，網(wǎng)絡以及存儲的資源需求，容量規(guī)劃應滿足的系統(tǒng)指標等內(nèi)容；９ / 47 數(shù)據(jù)源源數(shù)據(jù)系統(tǒng)是報表、關(guān)鍵指標、靈活查詢、主題分析等應用系統(tǒng)的基礎數(shù)據(jù)來源。? 安全性原則：EDW 項目建設中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設過程中應對數(shù)據(jù)中敏感字段進行安全處理、同時整個系統(tǒng)還應采用網(wǎng)絡隔離、用戶身份認證及訪問控制、數(shù)據(jù)庫安全、操作系統(tǒng)安全以及完善的安全審計機制。如：系統(tǒng)容量可以隨著 ETL 系統(tǒng)數(shù)據(jù)量的擴展以及應用系統(tǒng)的不斷擴展、用戶量不斷７ / 47擴展而進行平滑的擴展。 執(zhí)行架構(gòu)概述執(zhí)行架構(gòu)是 EDW 的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準備區(qū)、數(shù)據(jù)存儲區(qū) EDW、業(yè)務應用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)安全性以及EDW 基礎設施平臺（包括：服務器、存儲、網(wǎng)絡）等功能組件。? 利用企業(yè)信息集成和 Web 數(shù)據(jù)服務，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。 總體架構(gòu)的設計特點? 權(quán)衡功能、性能、可擴展性、易用性、可管理性和性價比。? 數(shù)據(jù)架構(gòu)描述于 EDW 系統(tǒng)相關(guān)的數(shù)據(jù)流動策略，即數(shù)據(jù)在 EDW 系統(tǒng)的執(zhí)行架構(gòu)下的抽取、轉(zhuǎn)換、儲存策略以及應采用的流程，包括數(shù)據(jù)層次和總分行之間的數(shù)據(jù)分部情況等。? 功能組件架構(gòu)描述確定系統(tǒng)各個大的組件組件區(qū)域的功能模塊框架，以及提供的某種服務類型。在基礎技術(shù)架構(gòu)中，包括執(zhí)行架構(gòu)、邏輯架構(gòu)、功能組件架構(gòu)和運維架構(gòu)四個部分。這三個部分共同組成了 XX 銀行 EDW 系統(tǒng)。邏輯架構(gòu)是建立應用架構(gòu)、執(zhí)行架構(gòu)、運維架構(gòu)的基礎，也是建立執(zhí)行架構(gòu)、應用架構(gòu)以及運維架構(gòu)的原型系統(tǒng)。而數(shù)據(jù)架構(gòu)和應用架構(gòu)的主要描述：? 應用架構(gòu)是 EDW 為滿足業(yè)務需求所提供的系統(tǒng)應用功能及其藍圖設計，其中業(yè)務需求是應用架構(gòu)設計的基礎，最終的應用架構(gòu)將以應用系統(tǒng)的形式體現(xiàn)在執(zhí)行架構(gòu)中，主要包括：應用服務和數(shù)據(jù)服務。? 總體架構(gòu)設計過程中應遵守 XX 銀行的 IT 管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給 XX 銀行的運行維護部門。? 通過用戶入口支持用戶采用 Web 瀏覽器使用查詢和分析工具，統(tǒng)一的信息服務界面，提高系統(tǒng)易用性，減少技術(shù)支持工作量。EDW 項目的生產(chǎn)環(huán)境的建立需要參考并遵循執(zhí)行架構(gòu)部分提出的要求。? 靈活性與可擴展性：EDW 系統(tǒng)的基礎設施平臺應能夠根據(jù)未來系統(tǒng)的發(fā)展需要以及應用需求，方便的擴展設備容量和提升設備性能；具備支持多種組件模塊、多種物理接口的能力