【正文】 ......................................................５ 執(zhí)行架構設計原則 ..................................................................５ 執(zhí)行架構框架 .........................................................................６ EDW 邏輯架構 ..............................................................................１３ 邏輯架構框架 ......................................................................１３ 數據處理流程 ......................................................................１９ EDW 運維架構 ..............................................................................２０ 運維架構概述 ......................................................................２０ 運維架構的邏輯框架 ...........................................................２１ EDW 數據架構 ..............................................................................２６ 數據架構設計原則 ...............................................................２６ 數據架構分層設計 ...............................................................２８ EDW 應用架構 ..............................................................................３０ 應用架構設計原則 ...............................................................３０ 數據服務 .............................................................................３１ 應用服務 .............................................................................３２第二章 ETL 體系建設 ...........................................................................３３３ / 47 ETL 架構概述 ..............................................................................３３ ETL 設計方案 ..............................................................................３５ ETL 關鍵設計環(huán)節(jié) .......................................................................３５ 接口層設計策略 ..................................................................３５ Staging Area 設計策略 .......................................................３５ 數據加載策略 ......................................................................３６ 增量 ETL 設計策略 ...............................................................３６ 異常處理 .............................................................................３８ 作業(yè)調度和監(jiān)控 ..................................................................３９ 元數據管理 .........................................................................３９ ETL 模塊設計 .......................................................................３９ ETL 流程設計 .......................................................................４２ 動態(tài)資源分配 ....................................................................４４ 數據接口設計 ....................................................................４５４ / 47第一章 系統總體架構 總體架構設計概述 總體架構的設計框架XX 銀行 EDW 項目的總體架構分為基礎技術架構、應用架構和數據架構三個核心部分。運維架構通過相應的流程和工具實現對邏輯架構、功能組件架構、執(zhí)行架構、數據架構以及應用架構的運維和管理。? 多級／自動的增量 ETL 加載機制，有效提高 ETL 并發(fā)度、加載效率，降低錯誤處理的復雜性。 執(zhí)行架構設計原則在 EDW 項目實施的過程中，系統執(zhí)行架構的建設應遵循以下技術原則：? 開放性原則：EDW 項目的生產環(huán)境的建設應基于業(yè)界開放標準，對系統中使用的網絡協議、硬件接口、數據接口等應進行統一規(guī)劃，EDW 系統應支持主流的應用軟件包及其部署的各種硬件平臺。在以下的內容中將對執(zhí)行架構中的功能框架以及框架之間的關系進行詳細描述，具體內容包括：８ / 47? 數據源：包括 XX 銀行的多個業(yè)務系統，主要有核心系統、個貸系統、信貸系統、國際業(yè)務系統、財務系統和各類渠道系統等。數據落地區(qū)的數據存儲格式原則上是與數據源的存儲格式保持一致 數據 ETL 架構ETL 是數據的抽取、轉換、加載的全部過程，它是數據從數據落地區(qū)到 ETL服務器以及從 ETL 服務器到 EDW 的數據遷移過程以及數據從 EDW 向數據集市的數據遷移過程中必須使用的過程和方法， ETL 系統應包括以下三個主要功能：? 數據抽取：從數據落地區(qū)系統抽取 EDW 中需要的數據；? 數據轉換：將從源數據系統獲取的數據轉換成 EDW 要求的形式，同時按照業(yè)務需求對數據進行轉換；? 數據加載：將助轉換后的數據裝載到 EDW 的物理模型中； 數據準備區(qū)數據準備區(qū)是數據存儲的臨時存儲區(qū)域，數據在其中只作暫時性保存，數據經轉換后導入到 EDW 的物理模型中。數據存儲區(qū)中的數據模型對標準層數據、基礎整合數據、匯總數據和面向應用的集市數據按數據層次進行管理，每個數據層有自己的數據管理重點。通過數據集市可以保障 EDW 的高可用性、可擴展性和高性能。 元數據管理元數據管理是對數據信息的收集和發(fā)布的集成管理，數據信息包括：數據的業(yè)務含義和技術特性。? 一致性：數據和程序只能在授權模式下進行修改。整個系統的網絡環(huán)境應得到實時監(jiān)控，對入侵進行檢測和處理，并在發(fā)生入侵時通知系統管理員。 源數據層【功能與作用】總行的各個業(yè)務系統為整個 EDW 系統提供原始數據支持，首先作為 ETL 層的數據抽取源。ETL 調度管里最基本的可執(zhí)行元素是單元，每個單元是完成某一特定功能的程序，相關單元組合在一起構成了可以調度的最小組件——任務。作為專門為數據倉庫系統設計的流程調度管理具有如下特點：? 任務執(zhí)行代理可分布在多臺服務器上。詳細內容參見“EDW 數據架構” 數據集市層【功能與作用】數據集市是一組特定的、針對某個主題域、部門或用戶分類的數據集合。 訪問控制層【功能與作用】訪問控制層主要包括 WEB、認證、安全、門戶四方面的服務。這類用戶會使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統。這類用戶只會使用 B/S 客戶端訪問 EDW 系統。清楚地區(qū)分數據庫中的數據和元數據是很重要的，所謂元數據，是指關于數據的數據，即用來描述數據的類型、來源、定義、存儲位置，使得可以正確地使用數據倉庫。ETL Server 可通過 ds job,FTP,NFS 等方式從數據落地區(qū)獲取數據，將處理后的結果放在數據準備區(qū)域。各個組件的主要功能如下：? 系統監(jiān)控管理組件：監(jiān)控網絡/系統性能、運行，以及診斷和報告故障。? 性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數據，并規(guī)劃硬件和軟件能力需求。應監(jiān)控所有的關鍵數據庫/數據倉庫性能比例，以保證高可用性和性能。２４ / 47? 變更管理允許對技術架構組件進行變更的控制管理。當發(fā)生故障或失敗時，該切換發(fā)生在主系統和備份系統之間。 EDW 數據架構 數據架構設計原則? 統一規(guī)范對各源系統數據按主題進行統一整合；分行特色也按統一規(guī)范進行補充建設。? 存儲空間合理性原則數據模型需要處理海量數據。? 標準化全量層? 基礎數據層數據模型基礎數據模型用于整合、存儲全行各業(yè)務系統的基礎業(yè)務數據。加工匯總數據層下的匯總需求由“應用需要”來確定。EDW 系統的應用架構應該能夠作為需求檢查列表，檢驗當前用戶需求是否被涵蓋，而不會發(fā)生遺漏。３３ / 47 應用服務基于數據分析功能和交易功能分離原則，為保證交易系統運行效率和數據分析功能日益增加的需求，新系統設計時，應該將數據分析功能和交易功能分離到不同系統中，或者至少為將來分離做好技術準備。ETL 轉換清洗通過連接、合并、分割，按照清洗規(guī)則對數據緩沖區(qū)、數據存儲區(qū)的數據進行加工、匯總，最終裝載入數據存儲區(qū)。? ETL3：屬于ETL轉換。本模式提供EDW允許的相應時間段的歷史數據支持。Staging Area 的作用與實現：1. 減少對數據源的查詢壓力，有助于數據整合。歷史數據加載指在第一次加載數據到數據倉庫中，此時數據倉庫中不存在歷史數據。2. 自增長的序列號源系統設置了自增長的序列號作為唯一主鍵。缺點是必須對業(yè)務數據庫進行改動，客戶不一定能接受。 作業(yè)調度和監(jiān)控根據作業(yè)依賴關系的元數據進行 ETL 作業(yè)的調度，并對執(zhí)行過程進行監(jiān)控。? ETL 域：ETL 架構中基本的計算資源組合，是一個計算機群，由 JCI統一管理和控制，一個 ETL 域由一個 ETL Server 和多個 ETL ４１ / 47Client 組成?？傂杏幸粋€或多個總行的 ETL 域，分行有本分行的 ETL 域。４２ / 47ETL CLIENT 主要負責 ETL SERVER 分配的作業(yè)模塊的具體執(zhí)行，是作業(yè)的具體執(zhí)行者。管理類數據庫存放的是作業(yè)運行控制相關的數據信息，如系統配置參數或作業(yè)配置信息、狀態(tài)信息和運行日志信息等。5. ETL SERVER 在得到 JOB 運行的結點個數和能夠運行該 JOB 的結點列表后，根據本域的管理類數據庫中結點的使用情況表，按照一定的策略對能夠運行該 JOB 的結點列表進行排序，選出最優(yōu)的若干個 ETL CLIENT?？蛻舳伺c服務端采用 C/S 通信模式，通過 TCP 協議傳送信息，這樣做的好處是：? 避免工作節(jié)點直接訪問管理庫，訪問管理庫的工作統一ETL Server來完成，從而提高了應用部署的適應能力；４６ / 47? ETL Server可以據此檢測所有工作節(jié)點是否存在故障；客戶端負責采集信息發(fā)送到服務端，服務端接收信息，并寫到數據庫。服務端與客戶端作為daemon 進程，要求能夠長時間運行。然后根據運行配置文件，將 JOB 分配給各個 ETL CLIENT 執(zhí)行。無論是總行還是分行，數據庫都是由管理類數據庫和業(yè)務類數據庫組成。它可以根據本域上的作業(yè)情況增減 ETL CLIENT。對于不同的域，它們的處理任務也是不一樣的。 ? 物理作業(yè)：具體負責數據加工的程序執(zhí)行單元，各類存儲過程或者作業(yè)腳本(SHELL 腳本、用 C/C++/PROC 等開發(fā)的可執(zhí)行程序） 。作業(yè)的監(jiān)控需要包括以下功能：監(jiān)控作業(yè)的當前執(zhí)行情況；查詢作業(yè)歷史執(zhí)行情況。ETL 管理調度利用作業(yè)調度控制可以處理各種異常錯誤情況。4. 整表比較對于沒有時間戳的增量數據，數據量不大時，例如編碼表，可以采用使用數據庫的 SQL 操作語句（NOT IN，NOT Exists）的方法。我們認為只需要建立一套增量加載的 ETL 同樣處理歷史數據加載和日常數據加載，而不再開發(fā)另一套全量加載 ETL 程序處理歷史數據加載。2. 應用于增量處理可以減少處理的記錄數量，使增量處理更加容易，例如應用于