【正文】 SCD Type 2。提供數據存儲區(qū)的FDM層數據、ADM層數據。ETL3處理是耗時最長，邏輯處理最復雜的階段，需要非常重視。? ETL1：屬于ETL預處理。３４ / 47第二章 ETL 體系建設 ETL 架構概述在商業(yè)銀行的 EDW 系統(tǒng)中，數據由數據源系統(tǒng)加載到 EDW 的各個數據層中，并通過供數接口提供給相關使用者系統(tǒng)。應用架構應采用先進的理念和技術，并結合 XX 銀行科技規(guī)劃與現有的技術平臺。加工匯總數據層的數據模型設計在有相應的匯總需求情況下才針對匯總需求進行數據表和數據匯總任務的擴展設計，逐步積累公共匯總指標，最后形成全行可共享的面向各個主題的中間匯３１ / 47總指標。為應用方便、查詢高效考慮，可以對源系統(tǒng)進行適當的整合、拆分，也可以裁減掉源系統(tǒng)中沒有必要整合的數據。因此在設計時必須考慮如何合理組織數據，以減小數據冗余。特別是加工匯總層的數據架構必須符合“匯總指標可靈活增加”的技術要求，不會隨著指標的增加而變更數據模型。２６ / 47 性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數據，并規(guī)劃硬件和軟件能力需求的工具。變更控制組件可以協(xié)助運維團隊、開發(fā)團隊和業(yè)務部門之間的溝通，保障系統(tǒng)的變更平滑進行。應用本身包括了衡量內部應用響應時間和性能的工具，應搜集這些工具產生的信息（如日志、運行報告等）用于監(jiān)控。? 運維環(huán)境管理組件：運維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護，不受故障和災難的侵害，以及不受人為因素的干擾和破壞。? 系統(tǒng)維護管理組件：系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務而進行的配置、參數管理，以及啟/停機、清理過期數據等日常操作，以及數據、系統(tǒng)發(fā)生變更的維護等。根據目標系統(tǒng)的不同,采用靈活的方式向外提供數據,可使用 ETL 工具直接向目標系統(tǒng)加載或者通過 FTP 方式向其他目標傳輸。IT 人員可能已經擁有許多有效的工具進行數據存取。 安全管理體系安全管理體系主要包括以下四個方面：? 網絡安全主要包括在不同網絡層次設置不同級別的防火墻及 IDS 系統(tǒng)，同時在每一個安全層次下通過部署不同的安全原則，這完全符合 XX 銀行的安全級別規(guī)定。除能夠執(zhí)行一般業(yè)務分析人員進行的操作外，可以對指定的主題、指標進行自定義的靈活分析和比較。 用戶層由上面的邏輯架構圖可知用戶層包括各種最終用戶。通過數據集市可以保障 EDW 的高可用性、可擴展性和高性能。? 支持多種執(zhí)行任務。? 偵測器駐留在后臺的服務，基于定義的觸發(fā)規(guī)則和調度計劃監(jiān)測是否觸發(fā)任務的執(zhí)行。 ETL 流程調度層【功能與作用】該層為 EDW 數據流向的主要環(huán)節(jié)，EDW 系統(tǒng)數據流動的流程調度核心層，流程調度主要針對下面幾個方面：? EDW 系統(tǒng)將數據源的數據抽取到數據落地區(qū)? EDW 系統(tǒng)對數據執(zhí)行格式轉換、排序去重、通用數據清洗、業(yè)務轉換后等操作，最終完成數據準備區(qū)加載。目前物理設備的安全性由運行中心負責。對于未來的數據倉庫系統(tǒng)來說，應與統(tǒng)一門戶平臺整合，實現整體安全性管理的策略；１３ / 47數據庫層只有被授權用戶才能訪問和修改數據庫中的信息并且數據在傳輸過程中應對敏感信息進行加密處理來保證數據的安全。元數據是“關于數據的數據” 。１１ / 47分析環(huán)境：數據分析環(huán)境為 EDW 的高端用戶提供即時的數據分析功能等。這樣就可以有效的將銀行企業(yè)的操作型數據、匯總型數據和分析型數據以清晰的架構組織、管理起來，并相輔相成。該區(qū)有著承上啟下的作用，從數據形態(tài)來看，該區(qū)的數據定義貼近業(yè)務源系統(tǒng)。? 操作型存儲區(qū)：此部分內容描述 EDW 系統(tǒng)在建設的過程中操作型存儲區(qū)應遵循的標準以及系統(tǒng)建設過程中應滿足的需求；? 數據倉庫存儲區(qū)：此部分內容描述 EDW 系統(tǒng)的數據倉庫存儲區(qū)應遵循的標準以及系統(tǒng)建設過程中應滿足的需求；? 業(yè)務應用：此部分內容描述 BI 應用系統(tǒng)建設的系統(tǒng)需求，包含對應用環(huán)境、分析環(huán)境、靜態(tài)報表環(huán)境；? 用戶環(huán)境：此部分的內容描述用戶在 EDW 系統(tǒng)中應具備運用的能力，包括：利用通用展現平臺進行信息展現、駕駛艙應用、報表應用等；? 時間窗口和性能的定義：此部分描述整個 EDW 項目中關于時間窗口的定義以及相關系統(tǒng)的性能指標要求；? 元數據管理：此部分描述在系統(tǒng)執(zhí)行架構中元數據管理的內容以及元數據管理系統(tǒng)的建設的標準定義；? 系統(tǒng)安全性：此部分內容主要描述 EDW 系統(tǒng)中的安全性管理內容，包括應用安全、網絡安全、數據安全、系統(tǒng)安全等，同時描述系統(tǒng)安全在建立過程中遵循的原則；? 基礎設施平臺（服務器 、網絡、存儲）：此部分內容主要描述生產系統(tǒng)中的硬件資源，包括：服務器，網絡以及存儲的資源需求，容量規(guī)劃應滿足的系統(tǒng)指標等內容；９ / 47 數據源源數據系統(tǒng)是報表、關鍵指標、靈活查詢、主題分析等應用系統(tǒng)的基礎數據來源。如：系統(tǒng)容量可以隨著 ETL 系統(tǒng)數據量的擴展以及應用系統(tǒng)的不斷擴展、用戶量不斷７ / 47擴展而進行平滑的擴展。? 利用企業(yè)信息集成和 Web 數據服務，提高系統(tǒng)的數據支持能力和接口的一致性。? 數據架構描述于 EDW 系統(tǒng)相關的數據流動策略，即數據在 EDW 系統(tǒng)的執(zhí)行架構下的抽取、轉換、儲存策略以及應采用的流程，包括數據層次和總分行之間的數據分部情況等。在基礎技術架構中，包括執(zhí)行架構、邏輯架構、功能組件架構和運維架構四個部分。邏輯架構是建立應用架構、執(zhí)行架構、運維架構的基礎，也是建立執(zhí)行架構、應用架構以及運維架構的原型系統(tǒng)。? 總體架構設計過程中應遵守 XX 銀行的 IT 管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給 XX 銀行的運行維護部門。EDW 項目的生產環(huán)境的建立需要參考并遵循執(zhí)行架構部分提出的要求。同時對于元數據管理過程應采用元數據管理平臺來實現對元數據集中、自動化的管理。目前數據源包括 XX 銀行的多個業(yè)務系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務系統(tǒng)、財務系統(tǒng)和各類渠道系統(tǒng)等。 數據貼源層可以繼續(xù)為行內現有的一些報表系統(tǒng)或者分析系統(tǒng)提供數據，而數據標準層為數據倉庫中的企業(yè)數據模型的落地掃清了道路。數據集市：在業(yè)務應用層中包含了應用系統(tǒng)中需要的應用集市、OLAP、靜態(tài)報表等數據集市。數據分發(fā)環(huán)境：在數據分發(fā)的過程中應提供大容量數據批量分發(fā)的能力。因此必須采用適當的安全策略以保證其系統(tǒng)和數據的安全性。對于系統(tǒng)主機應采用服務器加固的方法，來保證整個系統(tǒng)的安全性。ocationBeanR e q u e s t B e a nJ S PP a g e B e a nJ S PP a g e B e a nJ S PR e q u e s t B e a nA J A XA J A XA J A XA J A XA J A XF i l eB e a nB e a n通 用 展 現 平 臺報 表 / 復 雜報 表靈 活 查 詢系 統(tǒng) 管 理儀 表 盤數 據 集 市 層D A OD A OD A OConnectionPool框架引擎B OB OB O數 據 分 發(fā)權限統(tǒng)一管理統(tǒng)一用戶門戶（支持多種中間件） 儀表盤基 礎 模 型 層操 作 型 存 儲其 他 集 市 應 用供數服務應 用 服 務 層目的系統(tǒng)J D B C數 據 源 層技 術 元 數 據操 作 元 數 據 業(yè) 務 元 數 據安 全 管 理 體 系應 用 安 全數 據 安 全操 作 系 統(tǒng) 安 全網 絡 安 全數 據 消 費 傳 輸 通 道e x p o r tF i l e任務執(zhí)行代理日志管理引擎任務調度引擎任務執(zhí)行代理任務執(zhí)行代理任務執(zhí)行代理任務執(zhí)行代理偵測器E T L 調 度 管 理 和 監(jiān) 控 器依賴和觸發(fā)規(guī)則庫數據質量規(guī)則庫E T L 流 程 調 度E T L A u t o m a t i o n 資料 庫任 務日 志單 元1單 元2單 元n單 元1單 元2單 元n導 出數 據 文件貼 源 層標 準 化 層如上圖所示的 XX 銀行 EDW 的邏輯體系架構，這一架構是在聯科可擴展的EDW 系統(tǒng)框架的基礎上，結合 XX 銀行信息系統(tǒng)建設的實際情況而設計出來的多層、可擴展框架結構。? EDW 中的數據準備區(qū)和數據存儲區(qū)可以為為其它系統(tǒng)提供數據服務。? 任務封裝在 Perl 程序中，執(zhí)行數據加載、整合、立方體生成等工作的一組程序。 數據平臺層【功能與作用】作為本系統(tǒng)的數據核心部分，它負責存儲和管理來自各種源數據系統(tǒng)的數據，并為訪問用戶提供數據服務。該層為用戶對中央數據的訪問提供各種方式的服務（C/S、B/S） ，從而實現訪問方式的多樣化和信息存取的透明化。實際上，EDW 系統(tǒng)還包括進行系統(tǒng)建設的開發(fā)人員、系統(tǒng)運行人員和系統(tǒng)管理人員，這里所指的用戶層主要針對業(yè)務用戶進行描述。? 管理決策人員主要包括各部門的領導、分行領導和總行領導。? 應用安全應用是直接面對用戶的，雖然應用系統(tǒng)能夠持續(xù)提供服務是涉及到系統(tǒng)２０ / 47安全的問題，但是因為這些問題更多的是由系統(tǒng)的安全問題來保證的。在架構上，元數據系統(tǒng)包括：元數據應用、元數據報表、元數據分析、元數據集成系統(tǒng)、元數據展現系統(tǒng)、元數據管理系統(tǒng)、元數據維護系統(tǒng)。２１ / 47 EDW 運維架構 運維架構概述下圖中給出了 EDW 的運維架構，是在 EDW 系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的相關的管理需求。２２ / 47? 故障切換管理組件：故障切換管理提供了管理和控制應用切換的機制。特殊操作流程不會每天發(fā)生，這一流程的啟動通常是由于系統(tǒng)軟硬件升級、數據變更、新增應用等需求引起的。系統(tǒng)監(jiān)控管理的主要任務及工具支持如下圖所示： 系統(tǒng)維護管理系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務而進行的配置、參數管理，以及啟/停機、清理過期數據等日常操作，以及數據、系統(tǒng)發(fā)生變更的維護等。? 盡量提高數據備份過程的效率。２７ / 47安全管理是貫穿 EDW 總體架構的。數據模型的效率包括 ETL 的加工效率和數據展現的查詢效率，因此數據模型的數據組織和存儲，必須是高效可用的。存放到 EDW 數據庫中的數據有以下幾類：從原業(yè)務系統(tǒng)直接采集過來的經標準化處理的標準數據，由標準數據按主題整合形成的基礎業(yè)務數據；經過中間加工匯總形成的匯總數據；管理應用所專用的操作型數據；為滿足應用分析需要而加工形成的多維分析數據。EDW 對各源系統(tǒng)機構編碼進行統(tǒng)一，提供統(tǒng)一的基線機構。 EDW 應用架構 應用架構設計原則EDW 系統(tǒng)的應用架構應考慮開放性、完整性、合理性。? EDW 能夠提供的數據會覆蓋全行所有系統(tǒng)，可以滿足全行所有的數據加工對數據的需求。? 和上下游系統(tǒng)接口的松耦合設計，避免上下游系統(tǒng)的變更導致ETL程序本身頻繁變更。? ETL2：屬于ETL清洗。一些低粒度數據逐步向高粒度數據歸并和匯總。建立和設計這個接口，似乎只要編制一個抽取程序就可以了，事實上，在這一階段的工作中，的確對數據進行了抽取，但抽取并不是全部的工作，這一接口還應具有以下的功能： ? 從面向應用和操作的環(huán)境生成完整的數據； ? 數據的基于時間的轉換； ? 數據的聚合 ； ? 對現有記錄系統(tǒng)的有效掃描，以便以后進行追加。4. 時間調度上的靈活性通過建立 Staging Area，把數據存儲在臨時空間，使 ETL 調度更靈活。 增量 ETL 設計策略確定增量數據測量和故障恢復策略。此方法需要有專門的工具讀取數據庫日志。? 對于大數據量的表，可以利用時間窗口功能， 如果大表某一天的數據出現錯誤后，可以直接進行一天數據的恢復。 ETL 模塊設計XX 銀行的 ETL 采用數據庫的存儲過程及 Shell 腳本等技術支持，可以按照如下模塊設計：? 調度模塊：負責任務的管理、調度和分發(fā)，作業(yè)依賴關系的管理；? 作業(yè)控制：負責計算資源的分配、作業(yè)的執(zhí)行，控制作業(yè)執(zhí)行的流程、跟蹤作業(yè)執(zhí)行的結果、記錄作業(yè)的日志。調度 SERVER根據各個 JOB 的運行時間和依賴關系，按照一定的調度策略對總分行的 JOB 進行統(tǒng)一調度。首先，ETL SERVER 接收調度 Agent 發(fā)過來的要執(zhí)行的作業(yè)的作業(yè) ID，根據該作業(yè) ID 到管理庫中獲取該作業(yè)的運行參數并解釋所有參數。ETL Server 訪問管理庫，ETL Client 只訪問應用庫，不允許訪問管理庫。2. ETL SERVER 得到調度的調度指令后，根據 JOB ID，先到所在域中的管理類數據庫中 JOB 實例表中查找該 JOB，判斷該 JOB 的狀態(tài)是否正確，查找該 JOB 的前序 JOB 是否完成，然后在 JOB 參數表中查找該 JOB 對應的各種參數，為作業(yè)的運行解析和準備參數，同時到所在域的業(yè)務類數據庫中查找各種輸入文件是否存在，如果條件都滿足，則 JOB 可以運行。8. ETL SERVER 將作業(yè)運行的情況通過退出碼的方式反饋給調度