【正文】 8. ETL SERVER 將作業(yè)運行的情況通過退出碼的方式反饋給調度程序。ETL Server 訪問管理庫，ETL Client 只訪問應用庫，不允許訪問管理庫。調度 SERVER根據(jù)各個 JOB 的運行時間和依賴關系，按照一定的調度策略對總分行的 JOB 進行統(tǒng)一調度。? 對于大數(shù)據(jù)量的表，可以利用時間窗口功能， 如果大表某一天的數(shù)據(jù)出現(xiàn)錯誤后，可以直接進行一天數(shù)據(jù)的恢復。 增量 ETL 設計策略確定增量數(shù)據(jù)測量和故障恢復策略。建立和設計這個接口，似乎只要編制一個抽取程序就可以了，事實上，在這一階段的工作中，的確對數(shù)據(jù)進行了抽取，但抽取并不是全部的工作，這一接口還應具有以下的功能： ? 從面向應用和操作的環(huán)境生成完整的數(shù)據(jù)； ? 數(shù)據(jù)的基于時間的轉換； ? 數(shù)據(jù)的聚合 ； ? 對現(xiàn)有記錄系統(tǒng)的有效掃描，以便以后進行追加。? ETL2：屬于ETL清洗。? EDW 能夠提供的數(shù)據(jù)會覆蓋全行所有系統(tǒng)，可以滿足全行所有的數(shù)據(jù)加工對數(shù)據(jù)的需求。EDW 對各源系統(tǒng)機構編碼進行統(tǒng)一，提供統(tǒng)一的基線機構。數(shù)據(jù)模型的效率包括 ETL 的加工效率和數(shù)據(jù)展現(xiàn)的查詢效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲，必須是高效可用的。? 盡量提高數(shù)據(jù)備份過程的效率。特殊操作流程不會每天發(fā)生，這一流程的啟動通常是由于系統(tǒng)軟硬件升級、數(shù)據(jù)變更、新增應用等需求引起的。２１ / 47 EDW 運維架構 運維架構概述下圖中給出了 EDW 的運維架構，是在 EDW 系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的相關的管理需求。? 應用安全應用是直接面對用戶的，雖然應用系統(tǒng)能夠持續(xù)提供服務是涉及到系統(tǒng)２０ / 47安全的問題，但是因為這些問題更多的是由系統(tǒng)的安全問題來保證的。實際上，EDW 系統(tǒng)還包括進行系統(tǒng)建設的開發(fā)人員、系統(tǒng)運行人員和系統(tǒng)管理人員，這里所指的用戶層主要針對業(yè)務用戶進行描述。 數(shù)據(jù)平臺層【功能與作用】作為本系統(tǒng)的數(shù)據(jù)核心部分，它負責存儲和管理來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問用戶提供數(shù)據(jù)服務。? EDW 中的數(shù)據(jù)準備區(qū)和數(shù)據(jù)存儲區(qū)可以為為其它系統(tǒng)提供數(shù)據(jù)服務。對于系統(tǒng)主機應采用服務器加固的方法，來保證整個系統(tǒng)的安全性。數(shù)據(jù)分發(fā)環(huán)境：在數(shù)據(jù)分發(fā)的過程中應提供大容量數(shù)據(jù)批量分發(fā)的能力。 數(shù)據(jù)貼源層可以繼續(xù)為行內現(xiàn)有的一些報表系統(tǒng)或者分析系統(tǒng)提供數(shù)據(jù)，而數(shù)據(jù)標準層為數(shù)據(jù)倉庫中的企業(yè)數(shù)據(jù)模型的落地掃清了道路。同時對于元數(shù)據(jù)管理過程應采用元數(shù)據(jù)管理平臺來實現(xiàn)對元數(shù)據(jù)集中、自動化的管理。? 總體架構設計過程中應遵守 XX 銀行的 IT 管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給 XX 銀行的運行維護部門。在基礎技術架構中，包括執(zhí)行架構、邏輯架構、功能組件架構和運維架構四個部分。? 利用企業(yè)信息集成和 Web 數(shù)據(jù)服務，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。? 操作型存儲區(qū)：此部分內容描述 EDW 系統(tǒng)在建設的過程中操作型存儲區(qū)應遵循的標準以及系統(tǒng)建設過程中應滿足的需求；? 數(shù)據(jù)倉庫存儲區(qū)：此部分內容描述 EDW 系統(tǒng)的數(shù)據(jù)倉庫存儲區(qū)應遵循的標準以及系統(tǒng)建設過程中應滿足的需求；? 業(yè)務應用：此部分內容描述 BI 應用系統(tǒng)建設的系統(tǒng)需求，包含對應用環(huán)境、分析環(huán)境、靜態(tài)報表環(huán)境；? 用戶環(huán)境：此部分的內容描述用戶在 EDW 系統(tǒng)中應具備運用的能力，包括：利用通用展現(xiàn)平臺進行信息展現(xiàn)、駕駛艙應用、報表應用等；? 時間窗口和性能的定義：此部分描述整個 EDW 項目中關于時間窗口的定義以及相關系統(tǒng)的性能指標要求；? 元數(shù)據(jù)管理：此部分描述在系統(tǒng)執(zhí)行架構中元數(shù)據(jù)管理的內容以及元數(shù)據(jù)管理系統(tǒng)的建設的標準定義；? 系統(tǒng)安全性：此部分內容主要描述 EDW 系統(tǒng)中的安全性管理內容，包括應用安全、網(wǎng)絡安全、數(shù)據(jù)安全、系統(tǒng)安全等，同時描述系統(tǒng)安全在建立過程中遵循的原則；? 基礎設施平臺（服務器 、網(wǎng)絡、存儲）：此部分內容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：服務器，網(wǎng)絡以及存儲的資源需求，容量規(guī)劃應滿足的系統(tǒng)指標等內容；９ / 47 數(shù)據(jù)源源數(shù)據(jù)系統(tǒng)是報表、關鍵指標、靈活查詢、主題分析等應用系統(tǒng)的基礎數(shù)據(jù)來源。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以清晰的架構組織、管理起來，并相輔相成。元數(shù)據(jù)是“關于數(shù)據(jù)的數(shù)據(jù)” 。目前物理設備的安全性由運行中心負責。? 偵測器駐留在后臺的服務，基于定義的觸發(fā)規(guī)則和調度計劃監(jiān)測是否觸發(fā)任務的執(zhí)行。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴展性和高性能。除能夠執(zhí)行一般業(yè)務分析人員進行的操作外，可以對指定的主題、指標進行自定義的靈活分析和比較。IT 人員可能已經(jīng)擁有許多有效的工具進行數(shù)據(jù)存取。? 系統(tǒng)維護管理組件：系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務而進行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護等。應用本身包括了衡量內部應用響應時間和性能的工具，應搜集這些工具產(chǎn)生的信息（如日志、運行報告等）用于監(jiān)控。２６ / 47 性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求的工具。因此在設計時必須考慮如何合理組織數(shù)據(jù)，以減小數(shù)據(jù)冗余。加工匯總數(shù)據(jù)層的數(shù)據(jù)模型設計在有相應的匯總需求情況下才針對匯總需求進行數(shù)據(jù)表和數(shù)據(jù)匯總任務的擴展設計，逐步積累公共匯總指標，最后形成全行可共享的面向各個主題的中間匯３１ / 47總指標。３４ / 47第二章 ETL 體系建設 ETL 架構概述在商業(yè)銀行的 EDW 系統(tǒng)中，數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)加載到 EDW 的各個數(shù)據(jù)層中，并通過供數(shù)接口提供給相關使用者系統(tǒng)。ETL3處理是耗時最長，邏輯處理最復雜的階段，需要非常重視。2. 應用于增量處理可以減少處理的記錄數(shù)量，使增量處理更加容易，例如應用于 SCD Type 2。4. 整表比較對于沒有時間戳的增量數(shù)據(jù)，數(shù)據(jù)量不大時，例如編碼表，可以采用使用數(shù)據(jù)庫的 SQL 操作語句（NOT IN，NOT Exists）的方法。作業(yè)的監(jiān)控需要包括以下功能：監(jiān)控作業(yè)的當前執(zhí)行情況；查詢作業(yè)歷史執(zhí)行情況。對于不同的域，它們的處理任務也是不一樣的。無論是總行還是分行，數(shù)據(jù)庫都是由管理類數(shù)據(jù)庫和業(yè)務類數(shù)據(jù)庫組成。服務端與客戶端作為daemon 進程，要求能夠長時間運行。5. ETL SERVER 在得到 JOB 運行的結點個數(shù)和能夠運行該 JOB 的結點列表后，根據(jù)本域的管理類數(shù)據(jù)庫中結點的使用情況表，按照一定的策略對能夠運行該 JOB 的結點列表進行排序，選出最優(yōu)的若干個 ETL CLIENT。４２ / 47ETL CLIENT 主要負責 ETL SERVER 分配的作業(yè)模塊的具體執(zhí)行，是作業(yè)的具體執(zhí)行者。? ETL 域：ETL 架構中基本的計算資源組合，是一個計算機群，由 JCI統(tǒng)一管理和控制，一個 ETL 域由一個 ETL Server 和多個 ETL ４１ / 47Client 組成。缺點是必須對業(yè)務數(shù)據(jù)庫進行改動，客戶不一定能接受。歷史數(shù)據(jù)加載指在第一次加載數(shù)據(jù)到數(shù)據(jù)倉庫中，此時數(shù)據(jù)倉庫中不存在歷史數(shù)據(jù)。本模式提供EDW允許的相應時間段的歷史數(shù)據(jù)支持。ETL 轉換清洗通過連接、合并、分割，按照清洗規(guī)則對數(shù)據(jù)緩沖區(qū)、數(shù)據(jù)存儲區(qū)的數(shù)據(jù)進行加工、匯總，最終裝載入數(shù)據(jù)存儲區(qū)。EDW 系統(tǒng)的應用架構應該能夠作為需求檢查列表，檢驗當前用戶需求是否被涵蓋，而不會發(fā)生遺漏。? 標準化全量層? 基礎數(shù)據(jù)層數(shù)據(jù)模型基礎數(shù)據(jù)模型用于整合、存儲全行各業(yè)務系統(tǒng)的基礎業(yè)務數(shù)據(jù)。 EDW 數(shù)據(jù)架構 數(shù)據(jù)架構設計原則? 統(tǒng)一規(guī)范對各源系統(tǒng)數(shù)據(jù)按主題進行統(tǒng)一整合；分行特色也按統(tǒng)一規(guī)范進行補充建設。２４ / 47? 變更管理允許對技術架構組件進行變更的控制管理。? 性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求。ETL Server 可通過 ds job,FTP,NFS 等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結果放在數(shù)據(jù)準備區(qū)域。這類用戶只會使用 B/S 客戶端訪問 EDW 系統(tǒng)。 訪問控制層【功能與作用】訪問控制層主要包括 WEB、認證、安全、門戶四方面的服務。作為專門為數(shù)據(jù)倉庫系統(tǒng)設計的流程調度管理具有如下特點：? 任務執(zhí)行代理可分布在多臺服務器上。 源數(shù)據(jù)層【功能與作用】總行的各個業(yè)務系統(tǒng)為整個 EDW 系統(tǒng)提供原始數(shù)據(jù)支持，首先作為 ETL 層的數(shù)據(jù)抽取源。? 一致性：數(shù)據(jù)和程序只能在授權模式下進行修改。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴展性和高性能。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲格式原則上是與數(shù)據(jù)源的存儲格式保持一致 數(shù)據(jù) ETL 架構ETL 是數(shù)據(jù)的抽取、轉換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到 ETL服務器以及從 ETL 服務器到 EDW 的數(shù)據(jù)遷移過程以及數(shù)據(jù)從 EDW 向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方法， ETL 系統(tǒng)應包括以下三個主要功能：? 數(shù)據(jù)抽取：從數(shù)據(jù)落地區(qū)系統(tǒng)抽取 EDW 中需要的數(shù)據(jù)；? 數(shù)據(jù)轉換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉換成 EDW 要求的形式，同時按照業(yè)務需求對數(shù)據(jù)進行轉換；? 數(shù)據(jù)加載：將助轉換后的數(shù)據(jù)裝載到 EDW 的物理模型中； 數(shù)據(jù)準備區(qū)數(shù)據(jù)準備區(qū)是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，數(shù)據(jù)經(jīng)轉換后導入到 EDW 的物理模型中。 執(zhí)行架構設計原則在 EDW 項目實施的過程中，系統(tǒng)執(zhí)行架構的建設應遵循以下技術原則：? 開放性原則：EDW 項目的生產(chǎn)環(huán)境的建設應基于業(yè)界開放標準，對系統(tǒng)中使用的網(wǎng)絡協(xié)議、硬件接口、數(shù)據(jù)接口等應進行統(tǒng)一規(guī)劃，EDW 系統(tǒng)應支持主流的應用軟件包及其部署的各種硬件平臺。運維架構通過相應的流程和工具實現(xiàn)對邏輯架構、功能組件架構、執(zhí)行架構、數(shù)據(jù)架構以及應用架構的運維和管理。? 運維架構是描述 EDW 項目的運維架構標準，包括運維架構設計的內容、設計原則、各構成組件的設計考慮因素、約束、要求等。從技術層面上來說，EDW 系統(tǒng)的執(zhí)行架構應實現(xiàn)多種技術平臺及應用之間的無縫集成。數(shù)據(jù)落地區(qū)應建立與各相關源數(shù)據(jù)系統(tǒng)的接口，將這些系統(tǒng)定期卸載的數(shù)據(jù)以固定的格式接收、存放到落地區(qū)，考慮數(shù)據(jù)傳輸和加載的速度，源數(shù)據(jù)系統(tǒng)應以文本文件格式將數(shù)據(jù)定期傳輸給數(shù)據(jù)落地區(qū)進行處理。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結構進行匯總和索引。? 機密性：所有的敏感數(shù)據(jù)必須被嚴格控制，禁止未授權訪問，并保障其安全性。在明確定義各層之間的接口后，多層框架結構具有高度的擴展能力和方便的系統(tǒng)開發(fā)和維護性能，符合目前流行的多層應用結構，適合 EDW 系統(tǒng)多階段、多層次的應用特點。? 管理監(jiān)控器Java 應用程序，用于定義任務、任務組合觸發(fā)關系等信息，同時可以實時監(jiān)控任務執(zhí)行情況查看日志。報表集成開發(fā)環(huán)境核心功能和模塊組裝由核心模塊統(tǒng)一提供，只暴露給開發(fā)人員；第二個層次是管理模塊包括：報表信息、基本管理、代理、信息推送、連接信息，管理模塊為報表集成開發(fā)環(huán)境提供管理服務，它提供報表集成開發(fā)環(huán)境的用戶、權限等的統(tǒng)一管理，管理模塊也是報表集成開發(fā)環(huán)境必選模塊，它的很多功能調用由核心模塊提供，管理模塊包括 5 個子模塊；第三個層次是應用模塊包括：儀表盤、靈活查詢、數(shù)據(jù)錄入、報表、復雜報表，應用模塊提供報表集成開發(fā)環(huán)境最終用戶（非管理人員）的用戶體驗，可以和管理模塊相結合有選擇地靈活部署。同時，EDW 系統(tǒng)將決策人員最為關心的信息主動發(fā)布到?jīng)Q策人員的訪問界面上，簡化信息訪問的方式，使得決策人員在第一時間獲得經(jīng)營管理的各種重要信息和指標。后續(xù)的數(shù)據(jù)加工、轉換通過 ETL Server 來完成,中間采取不落地的方式,將加工完畢后的數(shù)據(jù)放在數(shù)據(jù)準備區(qū)域。當發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。? 系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務而進行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作。為防止安全內容的重復，所有安全組件都應統(tǒng)一被考慮，它是跨開發(fā)、執(zhí)行、運維架構的。? 標準化數(shù)據(jù)層：對數(shù)據(jù)做標準化處理，主要有公共代碼標準化、數(shù)據(jù)類型標準化和數(shù)據(jù)格式標準化，未來可以做客戶信息標準化。３２ / 47完整性：EDW 系統(tǒng)的應用架構設計應具備完整性，涵蓋目前的應用需求，并以框架形式界定 EDW 項目的應用需求范圍。對于數(shù)據(jù)提供者，包括業(yè)務系統(tǒng)（核心業(yè)務系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務系統(tǒng)、財務系統(tǒng)、渠道系統(tǒng)）以及管理系統(tǒng)（數(shù)據(jù)倉庫 EDW 系統(tǒng)、客戶關系管理 CRM 系統(tǒng)、績效考核系統(tǒng)、稽核管理系統(tǒng)、報表中心） ，通過ETL 預處理，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。提供數(shù)據(jù)存儲區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。 數(shù)據(jù)加載策略數(shù)據(jù)加載分為歷史數(shù)據(jù)加載（Initial Load）和日常數(shù)據(jù)加載（Incremental Load） 。7. 通過 TRIGGER 實現(xiàn)增量識別在數(shù)據(jù)表上建立 TRIGGER，一般數(shù)據(jù)項發(fā)生變化，將記錄到增量表中。應用類數(shù)據(jù)庫：用于具體應用的業(yè)務數(shù)據(jù)庫。最后收集并記錄作業(yè)運行日志信息，釋放 ETL CLIENT 的資源，更新作業(yè)運行狀態(tài)，返回作業(yè)運行結果信息給調度 Agent。4. 在每個 ETL CLIENT 上都安裝著用于獲取結點資源情況的 RESOURCE AGENT，這些 AGENT 每隔一定的時間間隔，就會將本臺 CLIENT 上的系統(tǒng)資源使用情況，如：CPU 使用率，MEMORY 使用率，I/O 等待情況等寫入所屬域的管