【正文】 中分配一個 ETL CLIENT 給 JOB 運行，如果是 DS JOB，則根據(jù) JOB 實例表中的 NODES_NEED(運行該作業(yè)所需節(jié)點數(shù))和NODES_LIST(該作業(yè)可使用的節(jié)點列表)得到該 JOB 運行所需的結點個數(shù)以及所能夠運行該 JOB 的結點列表。４５ / 47 動態(tài)資源分配R e s o u r c e B r o k e rR e s o u r c eA g e n tN o d e 1R e s o u r c eA g e n tN o d e 2R e s o u r c eA g e n tN o d e NR e s o u r c eA g e n tD B S e r v e r. . . 節(jié)點資源實時信息T C P / I P T C P / I P T C P / I P T C P / I P更新E T L S e r v e rE T L C l i e n tE T L 域上圖為本系統(tǒng)的動態(tài)資源采集模塊的邏輯結構圖，其目的是實時采集整個ETL 域中各節(jié)點的系統(tǒng)資源使用情況，以及檢測節(jié)點運行狀態(tài)是否正常，以作為動態(tài)資源分配的主要依據(jù)。在 EDW 中，將由成千上萬的作業(yè)來完成數(shù)據(jù)整和的功能，這些作業(yè)由于復雜度不同，運行頻度不同，甚至是同一個作業(yè)，由于數(shù)據(jù)來源不同(例如不同的分行)，數(shù)據(jù)規(guī)模也是相差甚遠的，因此如果對所有的作業(yè)使用相同的配置文件，將對系統(tǒng)。7. ETL SERVER 得到 ETL CLIENT 的反饋信息后，將其寫入日志，并設置JOB 的狀態(tài)，同時釋放結點的資源。管理庫的信息分為三類：? 系統(tǒng)參數(shù)和作業(yè)配置信息：靜態(tài)參數(shù)；? 狀態(tài)信息： 屬于控制類的動態(tài)信息；? 日志信息； ETL 流程設計系統(tǒng) ETL 設計流程如下圖：４３ / 47本系統(tǒng) ETL 處理流程順序概要描述如下：1. 調(diào)度程序在總行的調(diào)度服務器上面運行，當調(diào)度程序發(fā)現(xiàn)某個作業(yè)符合調(diào)度條件，就對其進行調(diào)度，將該 JOB 的 ID 發(fā)給該 JOB 所在域的ETL SERVER。如果實際運行 JOB 的 ETL CLIENT 資源不足，經(jīng)常處于高負荷狀態(tài)，則可以通過增加 ETL CLIENT 來提高運行效率。ETL SERVER 主要負責 ETL JOB 的具體執(zhí)行。任務調(diào)度模塊在 EDWH+EDWB 統(tǒng)一模塊中，調(diào)度是由部署在總行的調(diào)度 SERVER 統(tǒng)一完成調(diào)度工作,或者由部署在分行的調(diào)度 Server 完成本分行作業(yè)的調(diào)度。需要定義：源數(shù)據(jù)結構、目標數(shù)據(jù)結構、源和目標的映射(包括定制映射的方案、定制映射調(diào)用的函數(shù)、定制清洗的方案)、作業(yè)處理日志以及作業(yè)依賴關系。錯誤的恢復策略：? 每條記錄中有數(shù)據(jù) ETL 的時間戳，對小數(shù)據(jù)量的數(shù)據(jù)表，可以通過該時間戳清除掉本次加載的數(shù)據(jù)。一般數(shù)據(jù)庫均包括日志，通過分析數(shù)據(jù)庫的日志來判斷增量數(shù)據(jù)。對于歷史數(shù)據(jù)加載的策略，我們可以采用時間窗口的分段的方法來處理歷史數(shù)據(jù)量大的表的裝載，即我們可以一個一個時間段來加載歷史數(shù)據(jù)。3. 對數(shù)據(jù)的格式進行轉換在 Staging Area 完成數(shù)據(jù)格式的轉換，例如日期格式、字符串右邊的空格、NULL 值的替換、數(shù)據(jù)類型轉換等。 ETL 設計方案 ETL 關鍵設計環(huán)節(jié) 接口層設計策略將數(shù)據(jù)源環(huán)境下的數(shù)據(jù)裝載進入 EDW 環(huán)境，需要在兩個不同環(huán)境的記錄系統(tǒng)之間建立一個接口。從數(shù)據(jù)倉庫FDM層進行適量的維度、指標建模。對源數(shù)據(jù)做數(shù)據(jù)平衡檢查、稽核數(shù)據(jù)有效性，報告數(shù)據(jù)質量問題。通過高效的 ETL 系統(tǒng)結構、層次化的應用功能劃分和標準的程序模板，EDW 系統(tǒng)能夠達到以下目標：? 支持在此框架下實現(xiàn)EDW項目所需要的ETL功能；? 支持在規(guī)定的批處理時間窗口（Batch Window）內(nèi)能夠完成數(shù)據(jù)加載工作，即需要滿足日常數(shù)據(jù)加載的性能需求；? 能夠支持有效的應用程序開發(fā)模式，提高開發(fā)效率，盡量減少應用開發(fā)成本；? 減少系統(tǒng)維護的復雜性，支持后續(xù)增加新數(shù)據(jù)或功能的開發(fā)工作。EDW 數(shù)據(jù)采集、加工、發(fā)布的范圍包括：? 總行各應用系統(tǒng)之間? 總行與分行應用系統(tǒng)之間? 同一分行應用系統(tǒng)間? 不同分行應用系統(tǒng)間? 分布部署的同一應用系統(tǒng)間EDW 數(shù)據(jù)服務具備的能力有：? EDW 快速提供批量數(shù)據(jù)，可以滿足應用系統(tǒng)準實時的數(shù)據(jù)要求。數(shù)據(jù)集市中可存在操作型數(shù)據(jù)、匯總型數(shù)據(jù)和多維分析數(shù)據(jù)，根據(jù)應用的需要分別進行建立。在基礎據(jù)模型中按照八大主題對銀行全行數(shù)據(jù)進行整合、分類組織和存儲，這八大主題包括總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(NIN)、渠道(CHN)、公用(CM)；每個主題下設計相應的數(shù)據(jù)模型，最后構成全行統(tǒng)一的基礎數(shù)據(jù)模型。因此數(shù)據(jù)和信息不能隨意堆積存放到數(shù)據(jù)庫中，需要對全行的數(shù)據(jù)和信息進行分層、分類存放，并制定相應的數(shù)據(jù)分層、分類的規(guī)范，EDW 系統(tǒng)上所有數(shù)據(jù)和應用的建設都應遵從統(tǒng)一的數(shù)據(jù)管理規(guī)范。２８ / 47? 高效原則數(shù)據(jù)模型面臨海量數(shù)據(jù)的加工和存儲，隨著時間的推移，數(shù)據(jù)將不斷累積，因此效率問題是直接影響系統(tǒng)可用性的關鍵因素。性能容量規(guī)劃包括如下組件：? 信息收集：收集性能容量相關的重要分析數(shù)據(jù)；? 性能管理：對系統(tǒng)系統(tǒng)性能進行監(jiān)控、管理、分析和調(diào)優(yōu)；? 性能容量規(guī)劃：基于歷史趨勢和未來性能容量需求進行規(guī)劃；性能容量規(guī)劃的主要任務及工具支持如下圖所示： 運維安全管理安全管理組件通過制定和管理安全策略，并利用安全工具，維護信息系統(tǒng)資產(chǎn)（包括硬件、軟件、固件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機密性、一致性和可用性。? 最低程度地降低數(shù)據(jù)丟失。? 安全管理：運維架構中涉及的安全管理內(nèi)容主要包括身份管理、系統(tǒng)級密鑰和證書管理、安全策略管理。日常操作流程是指 IT 用戶在日常為維護生產(chǎn)環(huán)境正常運轉需要做的工作，如：數(shù)據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復、容量規(guī)劃。這個組件根據(jù)備份策略，通過對數(shù)據(jù)的冗余存儲來保證系統(tǒng)可以從各種服務中斷中恢復。整個過程通過調(diào)度工具進行統(tǒng)一調(diào)度,集中管理,確保各項任務有序完成。在本期 EDW 系統(tǒng)的建設中，包括技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)兩類，其數(shù)據(jù)源涵蓋了 EDW 系統(tǒng)的各個環(huán)節(jié)，包括：數(shù)據(jù)源系統(tǒng)、EDW 數(shù)據(jù)庫、EDW 邏輯數(shù)據(jù)模型、ETL 系統(tǒng)、業(yè)務應用系統(tǒng)等，同時，還將涉及數(shù)據(jù)的業(yè)務含義和業(yè)務規(guī)則等相關業(yè)務文檔。? 數(shù)據(jù)安全提供各種基于數(shù)據(jù)庫的安全保護機制。這類用戶會使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統(tǒng)。所有用戶統(tǒng)一通過用戶門戶訪問 EDW 系統(tǒng)各類應用，從而實現(xiàn)了 EDW 系統(tǒng)的應用界面、安全管理統(tǒng)一，同時用戶可以對門戶進行個性化定制以方便自己使用。 應用服務層【功能與作用】通過對數(shù)據(jù)平臺層中的數(shù)據(jù)進行適當?shù)奶釤?、匯總，利用通用展現(xiàn)平臺向用戶提供包括報表服務、查詢服務、決策儀表盤等相關服務。? 可以啟動其它的 ETL 引擎的任務。? 任務執(zhí)行代理調(diào)用任務包含的每個單元執(zhí)行的服務，同一服務器上可以有多個任務執(zhí)行代理同時運行。? 在數(shù)據(jù)存儲區(qū)中進行基礎數(shù)據(jù)層、加工匯總層和應用集市層的數(shù)據(jù)加載。管理層面包括：? 安全資源：實現(xiàn)各種安全使用的資源，如：防火墻，入侵檢測和處理設備，反病毒軟件等；? 安全策略和規(guī)劃：各種安全規(guī)則，組織和責任人；? 突發(fā)事件處理：在發(fā)生安全威脅時的應急處理流程，包括：事件記錄、時間報告制度等流程；? 安全審計：對安全策略的審核和檢查；? 災難恢復計劃：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復；１４ / 47 EDW 邏輯架構 邏輯架構框架倉 庫 存 儲 區(qū)固定報表靈活查詢數(shù) 據(jù) 訪 問B / S管理決策人員高級分析人員業(yè)務分析人員多維分析KPIW e b 服 務 器用 戶 層訪 問 控 制 層系統(tǒng)管理財 務 系 統(tǒng)數(shù)據(jù)落地區(qū)ETL開發(fā)E T Lloade x p o r t集 市 應 用Export國 結 系 統(tǒng)其 他 系 統(tǒng)渠 道 系 統(tǒng)人 力 系 統(tǒng)系統(tǒng)管理維護人員數(shù) 據(jù) 平 臺 層匯 總 模 型 層F i l eETL開發(fā)多 維 模 型 層操作型功能一線業(yè)務使用人員E T LJ D B CE D W靈 活 查 詢 / K P I駕 駛 艙 系 統(tǒng)個 貸 系 統(tǒng)核 心 系 統(tǒng)對 公 信 貸手 工 數(shù) 據(jù)P a g e B e a nSessionBeanApp。系統(tǒng)層系統(tǒng)應防止未授權訪問和系統(tǒng)調(diào)用，及時進行系統(tǒng)安全補丁的更新。元數(shù)據(jù)管理的架構如下圖所示，系統(tǒng)的最終架構應實現(xiàn)對元數(shù)據(jù)的集中的管理方式：１２ / 47 系統(tǒng)安全性EDW 系統(tǒng)中的數(shù)據(jù)和報表信息均為敏感信息。 用戶環(huán)境用戶環(huán)境是 EDW 系統(tǒng)最終向用戶提供的某種應用服務的集合，主要有三種應用服務的表現(xiàn)形式：通用展現(xiàn)平臺：通過此平臺將報表、KPI 展現(xiàn)、靈活查詢、分析等多個應用集成到一個平臺中，進行統(tǒng)一的展現(xiàn)和信息的管理，包括如：報表生命周期的管理等。 業(yè)務應用業(yè)務應用是 EDW 系統(tǒng)向業(yè)務用戶提供應用功能支持，根據(jù)應用服務提供的形式和所采用的應用系統(tǒng)的不同，業(yè)務應用主要定義在以下幾個技術環(huán)境。所以該區(qū)一般分為兩個層次，第一個層次稱之為良好質量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個層次為統(tǒng)一的、規(guī)范的、遵循數(shù)據(jù)倉庫系統(tǒng)標準的數(shù)據(jù)標準層。源數(shù)據(jù)無法滿足應用需求時，系統(tǒng)應提供手工方式通過手工數(shù)據(jù)補入平臺將需要的數(shù)據(jù)補入到 EDW 系統(tǒng)中。? 自動化原則：EDW 項目建設的核心任務之一是數(shù)據(jù)抽取、轉換、清洗和加載（ETL） ，在這個過程中應采用自動化的設計原則，避免手工操作。 EDW 執(zhí)行架構執(zhí)行架構的主要內(nèi)容是描述 EDW 項目執(zhí)行架構的建設要求及指導原則，用于規(guī)范本項目最終生產(chǎn)環(huán)境的建設。下圖是 EDW 項目總體架構的框架： 總體架構的設計原則? 總體架構在著重考慮實施要求的同時，需要為后續(xù)階段進行規(guī)劃，以保證項目最終能夠達到目標架構的設計；? 總體架構的設計要基于包括 XX 銀行數(shù)據(jù)現(xiàn)狀分析、實施階段數(shù)據(jù)源情況分析、第一階段實施 EDW 設計建議做為參考；? 總體架構設計架構時充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，避免重復開發(fā)和建設。? 邏輯架構描述 EDW 各個模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工具使用和采用具體的技術實現(xiàn)手段或方式情況，用于規(guī)范本項目最終生產(chǎn)環(huán)境的建立。? 執(zhí)行架構描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關系；是確定生產(chǎn)環(huán)境的建設要求及指導原則。數(shù)據(jù)架構是建立執(zhí)行架構標準的５ / 47需求定義。統(tǒng)一的數(shù)據(jù)增強平臺也減少數(shù)據(jù)增強的復雜度。? 高性能原則：系統(tǒng)應達到數(shù)據(jù)處理時間窗口的要求，用戶定義的查詢效率、響應時間的要求，滿足業(yè)務系統(tǒng)的要求；對現(xiàn)有業(yè)務系統(tǒng)影響小。在系統(tǒng)建設初期，源數(shù)據(jù)系統(tǒng)應提供能滿足初始業(yè)務需要的數(shù)據(jù)以及業(yè)務系統(tǒng)需要提供完整數(shù)據(jù)的時間窗口，在 EDW 系統(tǒng)擴展的過程中，各個源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)將逐漸的加載到 EDW 系統(tǒng)當中。從數(shù)據(jù)標準來看，該區(qū)的數(shù)據(jù)標準是遵循數(shù)據(jù)倉庫系統(tǒng)的標準。數(shù)據(jù)層的內(nèi)容相互促進發(fā)展，組成銀行完善的數(shù)據(jù)集合，為各種主題管理應用的構建提供良好的數(shù)據(jù)架構基礎。報表環(huán)境：報表環(huán)境是于來產(chǎn)生和發(fā)布靜態(tài)報表的環(huán)境，包括：產(chǎn)生的靜態(tài)報表、OLAP 產(chǎn)生的報表、KPI 指標展現(xiàn)以及其他系統(tǒng)產(chǎn)生的報表。應包括文件結構定義，數(shù)據(jù)庫字段名稱，數(shù)據(jù)模型中的長度和標準，以及在域域或域報表對應關系中的計算和公式等內(nèi)容。數(shù)據(jù)庫管理員應按照角色對數(shù)據(jù)庫用戶進行劃分，并且通過賦予角色權限的方式實現(xiàn)對用戶安全性訪問控制的管理，如：針對用戶組或耽擱用戶分配特定數(shù)據(jù)表訪問權限。管理管理部分與上述的所有安全問題相關，對安全問題的管理必須由多個部門共同協(xié)作完成。? EDW 系統(tǒng)再將數(shù)據(jù)準備區(qū)的數(shù)據(jù)按照 EDW 數(shù)據(jù)模型的方式加載到數(shù)據(jù)存儲區(qū)中。? 任務調(diào)度引擎１６ / 47接受偵測器的信息調(diào)度任務執(zhí)行（可以使本服務器任務也可以是其它服務器的任務） 。1) 加載數(shù)據(jù)2) 整合數(shù)據(jù)3) 數(shù)據(jù)質量檢查和清洗4) 數(shù)據(jù)轉換5) OLAP 數(shù)據(jù)生成6) 數(shù)據(jù)挖掘模型的執(zhí)行7) 定制報表的產(chǎn)生8) 定制頁面的產(chǎn)生9) 數(shù)據(jù)庫備份、告警等系統(tǒng)作業(yè)10) 調(diào)用其他 ETL/ELT 工具產(chǎn)生的任務11) 數(shù)據(jù)導出到指定的渠道系統(tǒng)１７ / 47? 執(zhí)行的任務可以是另一個任務調(diào)度引擎觸發(fā)（如：EDW） ?！窘M成部分】包括：駕駛艙報表系統(tǒng)和靈活查詢以及其他應用集市系統(tǒng)。按照用戶使用 EDW 系統(tǒng)的方式和特點，可以劃分為業(yè)務分析人員、高級分析人員和管理決策人員。分析的方式包括自定義查詢、自定義報表、多維旋轉和穿透鉆取等等。? 操作系統(tǒng)安全系統(tǒng)所有應用或數(shù)據(jù)庫服務器均采用 Unix 操作系統(tǒng)，操作系統(tǒng)本身有著嚴密的系統(tǒng)安全認證與用戶權限管理體系，并具備登錄、審核以及資源訪問的審計與跟蹤。但對業(yè)務人員，他們需要一種手段和工具來理解他們存取的數(shù)據(jù)。為支持其他的業(yè)務需求,將近期(3060 天)的明細數(shù)據(jù)、流水數(shù)據(jù)集中存放在數(shù)據(jù)庫系統(tǒng)中,日常增量數(shù)據(jù)刷新數(shù)據(jù)庫系統(tǒng)。? 備份恢復管