【正文】 理類數(shù)據(jù)庫中的結點使用情況表中。應該能接受收 SIGQUIT, SIGTERM, SIGHUP 信號，完成退出并清理進程資源。在管理庫的具體部署時，可能只部署在總行，所有 ETL Server 都訪問這個管理庫，分行的 ETL Server 通過跨越廣域網(wǎng)的數(shù)據(jù)庫連接訪問管理庫。每個處理域由一個或多個 ETL SERVER 和若干個 ETL CLIENT 組成。 元數(shù)據(jù)管理ETL 過程需要通過元數(shù)據(jù)的管理來實現(xiàn)數(shù)據(jù)流程的監(jiān)控以及作業(yè)的靈活調(diào)度。5. 日志對于經(jīng)常對歷史數(shù)據(jù)進行修改、刪除的業(yè)務系統(tǒng)，并且修改沒有設置登記簿，可以通過讀取數(shù)據(jù)庫的日志來實現(xiàn)增量。Staging Area 的另一個應用是僅存儲被更改的記錄。３６ / 47? ETL4：屬于ETL轉換。其實現(xiàn)的困難在于 ETL 系統(tǒng)將面臨復雜的數(shù)據(jù)環(huán)境，包括巨大的加載數(shù)據(jù)量、錯綜復雜的數(shù)據(jù)關系和參差不齊的數(shù)據(jù)質(zhì)量，這些都使 ETL 的架構和應用設計面臨相當?shù)奶魬?zhàn)。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài)：1）匯總指標－如平均余額等2）根據(jù)業(yè)務要求形成的分析加工數(shù)據(jù)－如理財卡帳務數(shù)據(jù)、客戶大額存取款等? 集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建立面向各個應用主題的數(shù)據(jù)集市，不同的主題應用在集市數(shù)據(jù)區(qū)下建立不同的數(shù)據(jù)集市，數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應用模型的需要進行設計。２９ / 47 數(shù)據(jù)架構分層設計數(shù)據(jù)庫統(tǒng)一存儲管理所轄數(shù)據(jù)，由于數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，如何有效的組織管理好全行多種業(yè)務的數(shù)據(jù)和信息，對下一步清晰的信息應用、方便地使用數(shù)據(jù)是很關鍵的。數(shù)據(jù)通過放置在環(huán)境中系統(tǒng)元素一端的代理進行的收集，并由容量規(guī)劃組件進行分析，包括磁盤容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫、和網(wǎng)絡等。２３ / 47? 生產(chǎn)調(diào)度：生產(chǎn)調(diào)度組件包括了一套應用，用于調(diào)度和自動化網(wǎng)絡、系統(tǒng)和應用管理（如 ETL）特有的任務。? 備份恢復管理組件：備份/恢復管理組件處理系統(tǒng)中所有必須的備份和恢復操作。但對業(yè)務人員，他們需要一種手段和工具來理解他們存取的數(shù)據(jù)。分析的方式包括自定義查詢、自定義報表、多維旋轉和穿透鉆取等等?！窘M成部分】包括：駕駛艙報表系統(tǒng)和靈活查詢以及其他應用集市系統(tǒng)。? 任務調(diào)度引擎１６ / 47接受偵測器的信息調(diào)度任務執(zhí)行（可以使本服務器任務也可以是其它服務器的任務） 。管理管理部分與上述的所有安全問題相關，對安全問題的管理必須由多個部門共同協(xié)作完成。應包括文件結構定義，數(shù)據(jù)庫字段名稱，數(shù)據(jù)模型中的長度和標準，以及在域域或域報表對應關系中的計算和公式等內(nèi)容。數(shù)據(jù)層的內(nèi)容相互促進發(fā)展，組成銀行完善的數(shù)據(jù)集合，為各種主題管理應用的構建提供良好的數(shù)據(jù)架構基礎。在系統(tǒng)建設初期，源數(shù)據(jù)系統(tǒng)應提供能滿足初始業(yè)務需要的數(shù)據(jù)以及業(yè)務系統(tǒng)需要提供完整數(shù)據(jù)的時間窗口，在 EDW 系統(tǒng)擴展的過程中，各個源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)將逐漸的加載到 EDW 系統(tǒng)當中。統(tǒng)一的數(shù)據(jù)增強平臺也減少數(shù)據(jù)增強的復雜度。? 執(zhí)行架構描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關系；是確定生產(chǎn)環(huán)境的建設要求及指導原則。下圖是 EDW 項目總體架構的框架： 總體架構的設計原則? 總體架構在著重考慮實施要求的同時，需要為后續(xù)階段進行規(guī)劃，以保證項目最終能夠達到目標架構的設計；? 總體架構的設計要基于包括 XX 銀行數(shù)據(jù)現(xiàn)狀分析、實施階段數(shù)據(jù)源情況分析、第一階段實施 EDW 設計建議做為參考；? 總體架構設計架構時充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，避免重復開發(fā)和建設。? 自動化原則：EDW 項目建設的核心任務之一是數(shù)據(jù)抽取、轉換、清洗和加載（ETL） ，在這個過程中應采用自動化的設計原則，避免手工操作。所以該區(qū)一般分為兩個層次，第一個層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個層次為統(tǒng)一的、規(guī)范的、遵循數(shù)據(jù)倉庫系統(tǒng)標準的數(shù)據(jù)標準層。 用戶環(huán)境用戶環(huán)境是 EDW 系統(tǒng)最終向用戶提供的某種應用服務的集合，主要有三種應用服務的表現(xiàn)形式：通用展現(xiàn)平臺：通過此平臺將報表、KPI 展現(xiàn)、靈活查詢、分析等多個應用集成到一個平臺中，進行統(tǒng)一的展現(xiàn)和信息的管理，包括如：報表生命周期的管理等。系統(tǒng)層系統(tǒng)應防止未授權訪問和系統(tǒng)調(diào)用，及時進行系統(tǒng)安全補丁的更新。? 在數(shù)據(jù)存儲區(qū)中進行基礎數(shù)據(jù)層、加工匯總層和應用集市層的數(shù)據(jù)加載。? 可以啟動其它的 ETL 引擎的任務。所有用戶統(tǒng)一通過用戶門戶訪問 EDW 系統(tǒng)各類應用，從而實現(xiàn)了 EDW 系統(tǒng)的應用界面、安全管理統(tǒng)一，同時用戶可以對門戶進行個性化定制以方便自己使用。? 數(shù)據(jù)安全提供各種基于數(shù)據(jù)庫的安全保護機制。整個過程通過調(diào)度工具進行統(tǒng)一調(diào)度,集中管理,確保各項任務有序完成。日常操作流程是指 IT 用戶在日常為維護生產(chǎn)環(huán)境正常運轉需要做的工作，如：數(shù)據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復、容量規(guī)劃。? 最低程度地降低數(shù)據(jù)丟失。２８ / 47? 高效原則數(shù)據(jù)模型面臨海量數(shù)據(jù)的加工和存儲，隨著時間的推移，數(shù)據(jù)將不斷累積，因此效率問題是直接影響系統(tǒng)可用性的關鍵因素。在基礎據(jù)模型中按照八大主題對銀行全行數(shù)據(jù)進行整合、分類組織和存儲，這八大主題包括總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(NIN)、渠道(CHN)、公用(CM)；每個主題下設計相應的數(shù)據(jù)模型，最后構成全行統(tǒng)一的基礎數(shù)據(jù)模型。EDW 數(shù)據(jù)采集、加工、發(fā)布的范圍包括：? 總行各應用系統(tǒng)之間? 總行與分行應用系統(tǒng)之間? 同一分行應用系統(tǒng)間? 不同分行應用系統(tǒng)間? 分布部署的同一應用系統(tǒng)間EDW 數(shù)據(jù)服務具備的能力有：? EDW 快速提供批量數(shù)據(jù)，可以滿足應用系統(tǒng)準實時的數(shù)據(jù)要求。對源數(shù)據(jù)做數(shù)據(jù)平衡檢查、稽核數(shù)據(jù)有效性，報告數(shù)據(jù)質(zhì)量問題。 ETL 設計方案 ETL 關鍵設計環(huán)節(jié) 接口層設計策略將數(shù)據(jù)源環(huán)境下的數(shù)據(jù)裝載進入 EDW 環(huán)境，需要在兩個不同環(huán)境的記錄系統(tǒng)之間建立一個接口。對于歷史數(shù)據(jù)加載的策略，我們可以采用時間窗口的分段的方法來處理歷史數(shù)據(jù)量大的表的裝載，即我們可以一個一個時間段來加載歷史數(shù)據(jù)。錯誤的恢復策略：? 每條記錄中有數(shù)據(jù) ETL 的時間戳，對小數(shù)據(jù)量的數(shù)據(jù)表，可以通過該時間戳清除掉本次加載的數(shù)據(jù)。任務調(diào)度模塊在 EDWH+EDWB 統(tǒng)一模塊中，調(diào)度是由部署在總行的調(diào)度 SERVER 統(tǒng)一完成調(diào)度工作,或者由部署在分行的調(diào)度 Server 完成本分行作業(yè)的調(diào)度。如果實際運行 JOB 的 ETL CLIENT 資源不足，經(jīng)常處于高負荷狀態(tài)，則可以通過增加 ETL CLIENT 來提高運行效率。7. ETL SERVER 得到 ETL CLIENT 的反饋信息后，將其寫入日志，并設置JOB 的狀態(tài)，同時釋放結點的資源。４５ / 47 動態(tài)資源分配R e s o u r c e B r o k e rR e s o u r c eA g e n tN o d e 1R e s o u r c eA g e n tN o d e 2R e s o u r c eA g e n tN o d e NR e s o u r c eA g e n tD B S e r v e r. . . 節(jié)點資源實時信息T C P / I P T C P / I P T C P / I P T C P / I P更新E T L S e r v e rE T L C l i e n tE T L 域上圖為本系統(tǒng)的動態(tài)資源采集模塊的邏輯結構圖，其目的是實時采集整個ETL 域中各節(jié)點的系統(tǒng)資源使用情況，以及檢測節(jié)點運行狀態(tài)是否正常，以作為動態(tài)資源分配的主要依據(jù)。? 數(shù)據(jù)庫模塊統(tǒng)一架構中的數(shù)據(jù)庫模塊分為兩個部分：管理類數(shù)據(jù)庫和業(yè)務類數(shù)據(jù)庫。在實際部署中，調(diào)度模塊可以僅部署在總行，實施統(tǒng)一調(diào)度，也可能部署在分行，實施分布調(diào)度；而在每個 ETL 域的 ETL Server 上部署調(diào)度的Agent 模塊，調(diào)度 Server 負責任務的檢索、調(diào)度和分發(fā)，調(diào)度 Agent 接收到調(diào)度 Server 的調(diào)度指令，調(diào)用作業(yè)主控模塊(JCI)執(zhí)行具體的作業(yè)，并根據(jù) JCI的退出碼將作業(yè)的執(zhí)行情況反饋給調(diào)度 Server。 異常處理ETL 處理的異常主要包括：1) 硬件、操作系統(tǒng)、網(wǎng)絡導致異常；2) 數(shù)據(jù)源數(shù)據(jù)傳輸、質(zhì)量導致異常；3) ETL 過程處理導致異常；4) 目標數(shù)據(jù)模型導致異常；5) 人工干預導致異常等；建議處理的方法包括：1) 手工干預，重新調(diào)整 ETL 過程；2) 終止流程,通知管理員；3) 拒絕數(shù)據(jù)，記錄原因；4) 清洗數(shù)據(jù)，部分入庫；5) 監(jiān)控資源，反復嘗試ETL 恢復策略包括有：1) 每條記錄中有數(shù)據(jù) ETL 的時間戳，對小數(shù)據(jù)量的數(shù)據(jù)表，可以通過該４０ / 47時間戳清除掉本次加載的數(shù)據(jù)。增量策略是正常的日常增量處理的策略，故障恢復策略是在日常增量處理出錯時的處理策略。 從業(yè)務系統(tǒng)抽取數(shù)據(jù)，采用 ETL 平臺直接從業(yè)務系統(tǒng)抽取數(shù)據(jù)，也可以先把業(yè)務系統(tǒng)的數(shù)據(jù)導出為文本文件再加載到臨時存儲區(qū)。對數(shù)據(jù)緩沖區(qū)數(shù)據(jù)標準化，統(tǒng)一數(shù)據(jù)表達格式，排序數(shù)據(jù)，篩選重復數(shù)據(jù)，合并或分割數(shù)據(jù)項，裝載入數(shù)據(jù)存儲區(qū)的基礎數(shù)據(jù)層。? EDW 模型化各系統(tǒng)數(shù)據(jù)，可以滿足各應用系統(tǒng)對全量數(shù)據(jù)、增量數(shù)據(jù)的需求，減少對重要交易系統(tǒng)的干擾。EDW 對源系統(tǒng)客戶號進行統(tǒng)一，提供統(tǒng)一的客戶號（ECIF 客戶編號） 。? 實用性原則處理大量的源系統(tǒng)數(shù)據(jù)，將會占用大量的系統(tǒng)資源，因此必須仔細分析數(shù)據(jù)的實用性、指標的使用頻率，以業(yè)務需求驅(qū)動為原則，對業(yè)務提出的基礎數(shù)據(jù)和指標需求進行優(yōu)先級劃分，正確制定指標的匯總粒度。備份恢復管理的主要任務及工具支持如下圖所示：２５ / 47 故障切換管理故障切換管理組件提供了管理和控制應用切換的機制，提供系統(tǒng)的高可用性。 運維架構的邏輯框架 系統(tǒng)監(jiān)控管理在 EDW 系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：? 網(wǎng)絡/主機管理：用于監(jiān)控、控制和報告網(wǎng)絡及主機狀態(tài)。運維架構主要是針對執(zhí)行架構的數(shù)據(jù)導入層、數(shù)據(jù)服務層、中間服務層和訪問控制層服務器進行管理，面向的最終用戶是 IT 人員。所以就應用級的安全策略更多的是保證對數(shù)據(jù)訪問的合法性。? 業(yè)務分析人員主要指總行各業(yè)務部門、各分行的業(yè)務用戶，如：客戶經(jīng)理。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的。? 總行 EDW 可以為分行 EDW 提供數(shù)據(jù)服務。網(wǎng)絡層網(wǎng)絡層安全是保證網(wǎng)絡節(jié)點之間數(shù)據(jù)傳遞的安全性，以及網(wǎng)絡環(huán)境不受惡意攻擊。給其他需要某個系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。所以該存儲區(qū)在整個 EDW 系統(tǒng)起到了一個承上啟下的關鍵作用。? 安全性原則：EDW 項目建設中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設過程中應對數(shù)據(jù)中敏感字段進行安全處理、同時整個系統(tǒng)還應采用網(wǎng)絡隔離、用戶身份認證及訪問控制、數(shù)據(jù)庫安全、操作系統(tǒng)安全以及完善的安全審計機制。 總體架構的設計特點? 權衡功能、性能、可擴展性、易用性、可管理性和性價比。這三個部分共同組成了 XX 銀行 EDW 系統(tǒng)。? 通過用戶入口支持用戶采用 Web 瀏覽器使用查詢和分析工具，統(tǒng)一的信息服務界面，提高系統(tǒng)易用性，減少技術支持工作量。? 數(shù)據(jù)落地區(qū)：此部分內(nèi)容說明數(shù)據(jù)落地的用途，同時對數(shù)據(jù)落地區(qū)應具備的功能進行了標準定義以及數(shù)據(jù)落地區(qū)與其他功能組件之間的關聯(lián)關系；? ETL：此部分內(nèi)容描述 ETL 系統(tǒng)中數(shù)據(jù)抽取、轉換、加載等功能的需求，同時定義了 ETL 系統(tǒng)建設的標準以及 ETL 與系統(tǒng)中其他功能組件之間的關系；? 數(shù)據(jù)準備區(qū)：此部分描述數(shù)據(jù)準備區(qū)應具備的功能，以及數(shù)據(jù)準備區(qū)在建設過程中的標準需求。對于每個數(shù)據(jù)層次，再按主題進行分類組織。數(shù)據(jù)倉庫系統(tǒng)架構中的各個部分中都含有元數(shù)據(jù)信息，應對其進行主動式管理，以保證它正確的定義、收集和使用。物理層物理層安全保障物理設備（主機、路由器等）不受非法用戶攻擊。由上面的技術架構圖可知，ETL 調(diào)度管里包含下列組件： ? 知識庫建立在 DB 中的一個數(shù)據(jù)庫，包含了與流程調(diào)度相關的一組表，保存 ETL 流程調(diào)度服務器、任務、任務之間的依賴觸發(fā)關系、任務組、調(diào)度計劃等多種類型的信息。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結構進行匯總和索引。? 高級分析人員１９ / 47是指總行各業(yè)務部門、各分行的較為高級的用戶。元數(shù)據(jù)倉庫(Meta Data Repository)對業(yè)務人員來說是很重要的，是業(yè)務人員與數(shù)據(jù)倉庫的數(shù)據(jù)交流的傳達手段。管理的硬件和軟件包括所有開發(fā)、測試和生產(chǎn)環(huán)境中的硬件和軟件。? 應用管理：處理客戶應用中發(fā)生的事件。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復或替代。隨時間的增加，存儲數(shù)據(jù)越來越多。多個應用相同的匯總要求，或者多個應用在匯總計算的基礎部分有重復匯總的部分可以納入該區(qū)域進行匯總，形成應用共享的中間匯總結果，如按客戶、機構、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)（包括每天或每個階段的業(yè)務量、業(yè)務額、平均額等數(shù)據(jù)的匯總） 。在這個原則下，EDW 可以對外提供應用服務，如：駕駛艙報表系統(tǒng)中的報表功能；某些時效性要求較高的即時 OLAP 分析；經(jīng)營關鍵指標 KPI 展示等。對操作型存儲區(qū)的貼源標準化數(shù)據(jù)，按照業(yè)務轉換規(guī)則、通用數(shù)據(jù)清洗規(guī)則，加工數(shù)據(jù)，裝載入數(shù)據(jù)倉庫區(qū)的FDM基礎層。