【正文】 ；具備技術(shù)升級、設備更新的靈活性；具備支持業(yè)務功能的擴展與重構(gòu)的靈活性。同時對于元數(shù)據(jù)管理過程應采用元數(shù)據(jù)管理平臺來實現(xiàn)對元數(shù)據(jù)集中、自動化的管理。? 數(shù)據(jù)落地區(qū)：此部分內(nèi)容說明數(shù)據(jù)落地的用途，同時對數(shù)據(jù)落地區(qū)應具備的功能進行了標準定義以及數(shù)據(jù)落地區(qū)與其他功能組件之間的關(guān)聯(lián)關(guān)系；? ETL：此部分內(nèi)容描述 ETL 系統(tǒng)中數(shù)據(jù)抽取、轉(zhuǎn)換、加載等功能的需求，同時定義了 ETL 系統(tǒng)建設的標準以及 ETL 與系統(tǒng)中其他功能組件之間的關(guān)系；? 數(shù)據(jù)準備區(qū)：此部分描述數(shù)據(jù)準備區(qū)應具備的功能，以及數(shù)據(jù)準備區(qū)在建設過程中的標準需求。目前數(shù)據(jù)源包括 XX 銀行的多個業(yè)務系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務系統(tǒng)、財務系統(tǒng)和各類渠道系統(tǒng)等。數(shù)據(jù)準備區(qū)的功能包括：格式轉(zhuǎn)換、排序去重/篩選、通用基礎清洗、連接１０ / 47/合并/分割、業(yè)務轉(zhuǎn)換等 操作型存儲區(qū)操作型存儲區(qū)是數(shù)據(jù)倉庫系統(tǒng)一個重要的環(huán)節(jié)。 數(shù)據(jù)貼源層可以繼續(xù)為行內(nèi)現(xiàn)有的一些報表系統(tǒng)或者分析系統(tǒng)提供數(shù)據(jù)，而數(shù)據(jù)標準層為數(shù)據(jù)倉庫中的企業(yè)數(shù)據(jù)模型的落地掃清了道路。對于每個數(shù)據(jù)層次，再按主題進行分類組織。數(shù)據(jù)集市：在業(yè)務應用層中包含了應用系統(tǒng)中需要的應用集市、OLAP、靜態(tài)報表等數(shù)據(jù)集市。應用環(huán)境：應用環(huán)境是為滿足業(yè)務需要在數(shù)據(jù) EDW 環(huán)境中配置的應用軟件包。數(shù)據(jù)分發(fā)環(huán)境：在數(shù)據(jù)分發(fā)的過程中應提供大容量數(shù)據(jù)批量分發(fā)的能力。數(shù)據(jù)倉庫系統(tǒng)架構(gòu)中的各個部分中都含有元數(shù)據(jù)信息，應對其進行主動式管理，以保證它正確的定義、收集和使用。因此必須采用適當?shù)陌踩呗砸员ＷC其系統(tǒng)和數(shù)據(jù)的安全性。針對上述 6 個方面，數(shù)據(jù)倉庫分系統(tǒng)應按照以下的 6 個方面的標準進行建設：應用層EDW 應用系統(tǒng)是建立在 OLAP 軟件平臺的基礎上，應用層應實現(xiàn)用戶訪問控制的功能，針對不同的用戶訪問不同的系統(tǒng)資源來保證整個應用系統(tǒng)的安全性控制。對于系統(tǒng)主機應采用服務器加固的方法，來保證整個系統(tǒng)的安全性。物理層物理層安全保障物理設備（主機、路由器等）不受非法用戶攻擊。ocationBeanR e q u e s t B e a nJ S PP a g e B e a nJ S PP a g e B e a nJ S PR e q u e s t B e a nA J A XA J A XA J A XA J A XA J A XF i l eB e a nB e a n通 用 展 現(xiàn) 平 臺報 表 / 復 雜報 表靈 活 查 詢系 統(tǒng) 管 理儀 表 盤數(shù) 據(jù) 集 市 層D A OD A OD A OConnectionPool框架引擎B OB OB O數(shù) 據(jù) 分 發(fā)權(quán)限統(tǒng)一管理統(tǒng)一用戶門戶（支持多種中間件） 儀表盤基 礎 模 型 層操 作 型 存 儲其 他 集 市 應 用供數(shù)服務應 用 服 務 層目的系統(tǒng)J D B C數(shù) 據(jù) 源 層技 術(shù) 元 數(shù) 據(jù)操 作 元 數(shù) 據(jù) 業(yè) 務 元 數(shù) 據(jù)安 全 管 理 體 系應 用 安 全數(shù) 據(jù) 安 全操 作 系 統(tǒng) 安 全網(wǎng) 絡 安 全數(shù) 據(jù) 消 費 傳 輸 通 道e x p o r tF i l e任務執(zhí)行代理日志管理引擎任務調(diào)度引擎任務執(zhí)行代理任務執(zhí)行代理任務執(zhí)行代理任務執(zhí)行代理偵測器E T L 調(diào) 度 管 理 和 監(jiān) 控 器依賴和觸發(fā)規(guī)則庫數(shù)據(jù)質(zhì)量規(guī)則庫E T L 流 程 調(diào) 度E T L A u t o m a t i o n 資料 庫任 務日 志單 元1單 元2單 元n單 元1單 元2單 元n導 出數(shù) 據(jù) 文件貼 源 層標 準 化 層如上圖所示的 XX 銀行 EDW 的邏輯體系架構(gòu)，這一架構(gòu)是在聯(lián)科可擴展的EDW 系統(tǒng)框架的基礎上，結(jié)合 XX 銀行信息系統(tǒng)建設的實際情況而設計出來的多層、可擴展框架結(jié)構(gòu)?！窘M成部分】１５ / 47目前總行的數(shù)據(jù)源包括 XX 銀行的多個業(yè)務系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務系統(tǒng)、財務系統(tǒng)和各類渠道系統(tǒng)等。? EDW 中的數(shù)據(jù)準備區(qū)和數(shù)據(jù)存儲區(qū)可以為為其它系統(tǒng)提供數(shù)據(jù)服務。由上面的技術(shù)架構(gòu)圖可知，ETL 調(diào)度管里包含下列組件： ? 知識庫建立在 DB 中的一個數(shù)據(jù)庫，包含了與流程調(diào)度相關(guān)的一組表，保存 ETL 流程調(diào)度服務器、任務、任務之間的依賴觸發(fā)關(guān)系、任務組、調(diào)度計劃等多種類型的信息。? 任務封裝在 Perl 程序中，執(zhí)行數(shù)據(jù)加載、整合、立方體生成等工作的一組程序。? 結(jié)構(gòu)簡單、伸縮性強。 數(shù)據(jù)平臺層【功能與作用】作為本系統(tǒng)的數(shù)據(jù)核心部分，它負責存儲和管理來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問用戶提供數(shù)據(jù)服務。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進行匯總和索引。該層為用戶對中央數(shù)據(jù)的訪問提供各種方式的服務（C/S、B/S） ，從而實現(xiàn)訪問方式的多樣化和信息存取的透明化。該層位于用戶層和中間服務層之間，為用戶層成提供 HTTP 服務、門戶的單點登錄、用戶統(tǒng)一認證、提交用戶層請求到中間服務層，對用戶實施安全策略，為用戶管理報表、查詢文檔，提供個性化定制等。實際上，EDW 系統(tǒng)還包括進行系統(tǒng)建設的開發(fā)人員、系統(tǒng)運行人員和系統(tǒng)管理人員，這里所指的用戶層主要針對業(yè)務用戶進行描述。? 高級分析人員１９ / 47是指總行各業(yè)務部門、各分行的較為高級的用戶。? 管理決策人員主要包括各部門的領(lǐng)導、分行領(lǐng)導和總行領(lǐng)導。 消費數(shù)據(jù)傳輸通道在數(shù)據(jù)倉庫系統(tǒng)建立以后，會有很長一段時間舊有的報表系統(tǒng)和分析系統(tǒng)需要逐步遷移，在此期間，需要有一個消費數(shù)據(jù)傳輸通道來支持舊有系統(tǒng)的良好運轉(zhuǎn)。? 應用安全應用是直接面對用戶的，雖然應用系統(tǒng)能夠持續(xù)提供服務是涉及到系統(tǒng)２０ / 47安全的問題，但是因為這些問題更多的是由系統(tǒng)的安全問題來保證的。元數(shù)據(jù)倉庫(Meta Data Repository)對業(yè)務人員來說是很重要的，是業(yè)務人員與數(shù)據(jù)倉庫的數(shù)據(jù)交流的傳達手段。在架構(gòu)上，元數(shù)據(jù)系統(tǒng)包括：元數(shù)據(jù)應用、元數(shù)據(jù)報表、元數(shù)據(jù)分析、元數(shù)據(jù)集成系統(tǒng)、元數(shù)據(jù)展現(xiàn)系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)、元數(shù)據(jù)維護系統(tǒng)。再將數(shù)據(jù)準備區(qū)的數(shù)據(jù)加載到數(shù)據(jù)存儲區(qū)中。２１ / 47 EDW 運維架構(gòu) 運維架構(gòu)概述下圖中給出了 EDW 的運維架構(gòu)，是在 EDW 系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的相關(guān)的管理需求。管理的硬件和軟件包括所有開發(fā)、測試和生產(chǎn)環(huán)境中的硬件和軟件。２２ / 47? 故障切換管理組件：故障切換管理提供了管理和控制應用切換的機制。? 運維安全管理組件：運維安全管理組件通過制定和管理運維安全策略，并利用安全工具，維護信息系統(tǒng)資產(chǎn)（包括硬件、軟件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機密性、一致性和可用性。特殊操作流程不會每天發(fā)生，這一流程的啟動通常是由于系統(tǒng)軟硬件升級、數(shù)據(jù)變更、新增應用等需求引起的。? 應用管理：處理客戶應用中發(fā)生的事件。系統(tǒng)監(jiān)控管理的主要任務及工具支持如下圖所示： 系統(tǒng)維護管理系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務而進行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護等。在 EDW 系統(tǒng)運行過程中，有兩種典型的變更需要進行管理：數(shù)據(jù)變更和系統(tǒng)升級。? 盡量提高數(shù)據(jù)備份過程的效率。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復或替代。２７ / 47安全管理是貫穿 EDW 總體架構(gòu)的。? 靈活性原則數(shù)據(jù)模型要為數(shù)據(jù)應用提供有效的信息支持，這些信息需求會隨著銀行需求的變化而不斷增加，進而會引起需求的不可預料性。數(shù)據(jù)模型的效率包括 ETL 的加工效率和數(shù)據(jù)展現(xiàn)的查詢效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲，必須是高效可用的。隨時間的增加，存儲數(shù)據(jù)越來越多。存放到 EDW 數(shù)據(jù)庫中的數(shù)據(jù)有以下幾類：從原業(yè)務系統(tǒng)直接采集過來的經(jīng)標準化處理的標準數(shù)據(jù)，由標準數(shù)據(jù)按主題整合形成的基礎業(yè)務數(shù)據(jù)；經(jīng)過中間加工匯總形成的匯總數(shù)據(jù)；管理應用所專用的操作型數(shù)據(jù)；為滿足應用分析需要而加工形成的多維分析數(shù)據(jù)。原則上該區(qū)域的數(shù)據(jù)不作復雜加工，直接存儲業(yè)務系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)（主數(shù)據(jù)） ，盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。EDW 對各源系統(tǒng)機構(gòu)編碼進行統(tǒng)一，提供統(tǒng)一的基線機構(gòu)。多個應用相同的匯總要求，或者多個應用在匯總計算的基礎部分有重復匯總的部分可以納入該區(qū)域進行匯總，形成應用共享的中間匯總結(jié)果，如按客戶、機構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)（包括每天或每個階段的業(yè)務量、業(yè)務額、平均額等數(shù)據(jù)的匯總） 。 EDW 應用架構(gòu) 應用架構(gòu)設計原則EDW 系統(tǒng)的應用架構(gòu)應考慮開放性、完整性、合理性。合理性：應用架構(gòu)的設計應是對用戶需求的全面反映。? EDW 能夠提供的數(shù)據(jù)會覆蓋全行所有系統(tǒng)，可以滿足全行所有的數(shù)據(jù)加工對數(shù)據(jù)的需求。在這個原則下，EDW 可以對外提供應用服務，如：駕駛艙報表系統(tǒng)中的報表功能；某些時效性要求較高的即時 OLAP 分析；經(jīng)營關(guān)鍵指標 KPI 展示等。? 和上下游系統(tǒng)接口的松耦合設計，避免上下游系統(tǒng)的變更導致ETL程序本身頻繁變更。ETL 目標數(shù)據(jù)裝載按照 EDW 的數(shù)據(jù)接口要求，給目標系統(tǒng)提供數(shù)據(jù)。? ETL2：屬于ETL清洗。對操作型存儲區(qū)的貼源標準化數(shù)據(jù)，按照業(yè)務轉(zhuǎn)換規(guī)則、通用數(shù)據(jù)清洗規(guī)則，加工數(shù)據(jù)，裝載入數(shù)據(jù)倉庫區(qū)的FDM基礎層。一些低粒度數(shù)據(jù)逐步向高粒度數(shù)據(jù)歸并和匯總。? ETL6：屬于ETL目標數(shù)據(jù)裝載。建立和設計這個接口，似乎只要編制一個抽取程序就可以了，事實上，在這一階段的工作中，的確對數(shù)據(jù)進行了抽取，但抽取并不是全部的工作，這一接口還應具有以下的功能： ? 從面向應用和操作的環(huán)境生成完整的數(shù)據(jù)； ? 數(shù)據(jù)的基于時間的轉(zhuǎn)換； ? 數(shù)據(jù)的聚合 ； ? 對現(xiàn)有記錄系統(tǒng)的有效掃描，以便以后進行追加。將數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一抽取到 Staging Area ，協(xié)調(diào)獲取不同數(shù)據(jù)源的３７ / 47調(diào)度。4. 時間調(diào)度上的靈活性通過建立 Staging Area，把數(shù)據(jù)存儲在臨時空間，使 ETL 調(diào)度更靈活。日常數(shù)據(jù)加載是指在歷史數(shù)據(jù)加載完成后，將變化了的增量數(shù)據(jù)加載到數(shù)據(jù)倉庫中。 增量 ETL 設計策略確定增量數(shù)據(jù)測量和故障恢復策略。3. 更改標志源系統(tǒng)定義了一個字段作為數(shù)據(jù)被更改的標識。此方法需要有專門的工具讀取數(shù)據(jù)庫日志。聯(lián)科增量數(shù)據(jù)抽取的設計，符合以下要求：? 增量抽取策略必須支持要很方便跟蹤進程運行狀態(tài)? 增量抽取支持抽取類型為增量或全量，抽取方式為日、月、季度等多種方式? 通過設定簡單的參數(shù)，如：table_name, first day of run, load_type, load_methEDW 等，就可以設置一個抽取的過程３９ / 47錯誤處理和恢復策略在復雜的 ETL 過程中，難免會產(chǎn)生錯誤。? 對于大數(shù)據(jù)量的表，可以利用時間窗口功能， 如果大表某一天的數(shù)據(jù)出現(xiàn)錯誤后，可以直接進行一天數(shù)據(jù)的恢復。作業(yè)調(diào)度需要包括以下功能：靈活啟停作業(yè)；根據(jù)日期規(guī)則設置作業(yè)執(zhí)行計劃；支持作業(yè)的并發(fā)執(zhí)行；允許作業(yè)網(wǎng)絡的嵌套；方便新增 ETL 作業(yè)。 ETL 模塊設計XX 銀行的 ETL 采用數(shù)據(jù)庫的存儲過程及 Shell 腳本等技術(shù)支持，可以按照如下模塊設計：? 調(diào)度模塊：負責任務的管理、調(diào)度和分發(fā)，作業(yè)依賴關(guān)系的管理；? 作業(yè)控制：負責計算資源的分配、作業(yè)的執(zhí)行，控制作業(yè)執(zhí)行的流程、跟蹤作業(yè)執(zhí)行的結(jié)果、記錄作業(yè)的日志。? ETL 應用：應用部署和配置管理的基本單位，一個 ETL 應用包含一組相關(guān)的作業(yè)單元、作業(yè)配置參數(shù)和應用環(huán)境參數(shù)。調(diào)度 SERVER根據(jù)各個 JOB 的運行時間和依賴關(guān)系，按照一定的調(diào)度策略對總分行的 JOB 進行統(tǒng)一調(diào)度。域與域在物理上是分開，但是在邏輯上是聯(lián)系在一起的。首先，ETL SERVER 接收調(diào)度 Agent 發(fā)過來的要執(zhí)行的作業(yè)的作業(yè) ID，根據(jù)該作業(yè) ID 到管理庫中獲取該作業(yè)的運行參數(shù)并解釋所有參數(shù)。ETL 統(tǒng)一架構(gòu)中的 ETL 域并不是一成不變的，理論上具有無限的橫向擴展能力。ETL Server 訪問管理庫，ETL Client 只訪問應用庫，不允許訪問管理庫。在統(tǒng)一架構(gòu)中，數(shù)據(jù)庫模塊分為兩層，一層是總行層，另外一層是分行層。2. ETL SERVER 得到調(diào)度的調(diào)度指令后，根據(jù) JOB ID，先到所在域中的管理類數(shù)據(jù)庫中 JOB 實例表中查找該 JOB，判斷該 JOB 的狀態(tài)是否正確，查找該 JOB 的前序 JOB 是否完成，然后在 JOB 參數(shù)表中查找該 JOB 對應的各種參數(shù)，為作業(yè)的運行解析和準備參數(shù)，同時到所在域的業(yè)務類數(shù)據(jù)庫中查找各種輸入文件是否存在，如果條件都滿足，則 JOB 可以運行。然后根據(jù)結(jié)點情況，動態(tài)生成 JOB 運行配置文件。8. ETL SERVER 將作業(yè)運行的情況通過退出碼的方式反饋給調(diào)度程序。對于每個客戶端的連接，服務端 fork 出一個子進程