【正文】 應(yīng)該能接受收 SIGQUIT, SIGTERM, SIGHUP 信號，完成退出并清理進程資源。Resource Agent：運行于域中所有節(jié)點(包括主節(jié)點)之上的一個守護進程，負責(zé)按照一定的時間間隔采集當(dāng)前節(jié)點的各種系統(tǒng)資源(CPU 使用情況，內(nèi)存使用情況)使用情況，磁盤 I/O 使用情況，是否存在故障） ，并通過 TCP/IP 和運行于主節(jié)點上的 Resource Broker 進程進行通信，將當(dāng)前節(jié)點的系統(tǒng)資源使用情況匯報給 ETL Server；Resource Broker：運行于域中 ETL Server 之上的一個守護進程，負責(zé)j 接收來自域內(nèi)節(jié)點的連接請求，記錄請求節(jié)點的系統(tǒng)資源使用情況；如果域中某個節(jié)點超過指定的時間間隔沒有發(fā)送資源報告，則將該節(jié)點置為故障，該節(jié)點將不會被分配來運行任務(wù)，如果此后收到該節(jié)點的資源報告請求，則將該節(jié)點狀態(tài)置為活動。6. ETL CLIENT 開始執(zhí)行 JOB，無論 JOB 運行成功還是失敗，都將各種運行信息反饋給所屬域的 ETL SERVER。4. 在每個 ETL CLIENT 上都安裝著用于獲取結(jié)點資源情況的 RESOURCE AGENT，這些 AGENT 每隔一定的時間間隔，就會將本臺 CLIENT 上的系統(tǒng)資源使用情況，如：CPU 使用率，MEMORY 使用率，I/O 等待情況等寫入所屬域的管理類數(shù)據(jù)庫中的結(jié)點使用情況表中。在管理庫的具體部署時，可能只部署在總行，所有 ETL Server 都訪問這個管理庫，分行的 ETL Server 通過跨越廣域網(wǎng)的數(shù)據(jù)庫連接訪問管理庫。業(yè)務(wù)類數(shù)據(jù)庫存放的是 ETL 作業(yè)處理的業(yè)務(wù)數(shù)據(jù)。如果作業(yè)的數(shù)目太多，ETL SERVER 承擔(dān)的任務(wù)過重，則可以增加 ETL SERVER 來降低原有的 ETL SERVER 調(diào)控任務(wù)的壓力。最后收集并記錄作業(yè)運行日志信息，釋放 ETL CLIENT 的資源，更新作業(yè)運行狀態(tài)，返回作業(yè)運行結(jié)果信息給調(diào)度 Agent。每個處理域由一個或多個 ETL SERVER 和若干個 ETL CLIENT 組成。? 任務(wù)控制模塊統(tǒng)一架構(gòu)中的處理模塊是由一個或多個 ETL 域組成的。ETL 模塊可以劃分為任務(wù)調(diào)度、任務(wù)控制、任務(wù)執(zhí)行。應(yīng)用類數(shù)據(jù)庫：用于具體應(yīng)用的業(yè)務(wù)數(shù)據(jù)庫。 元數(shù)據(jù)管理ETL 過程需要通過元數(shù)據(jù)的管理來實現(xiàn)數(shù)據(jù)流程的監(jiān)控以及作業(yè)的靈活調(diào)度。2) 對于大數(shù)據(jù)量的表，可以利用時間窗口功能， 如果大表某一天的數(shù)據(jù)出現(xiàn)錯誤后，可以直接進行一天數(shù)據(jù)的恢復(fù)。在作業(yè)流程中可以設(shè)置異常的條件，如當(dāng)錯誤記錄超過一定的條數(shù)或者錯誤級別達到一定的級別時，作業(yè)掉轉(zhuǎn)到異常處理流程，進行自動處理，系統(tǒng)設(shè)計的原則是盡量不中斷 ETL 作業(yè)流程，當(dāng)然如果錯誤特別嚴重，也可以轉(zhuǎn)到手工處理。7. 通過 TRIGGER 實現(xiàn)增量識別在數(shù)據(jù)表上建立 TRIGGER，一般數(shù)據(jù)項發(fā)生變化，將記錄到增量表中。5. 日志對于經(jīng)常對歷史數(shù)據(jù)進行修改、刪除的業(yè)務(wù)系統(tǒng)，并且修改沒有設(shè)置登記簿，可以通過讀取數(shù)據(jù)庫的日志來實現(xiàn)增量。３８ / 47如果判斷增量數(shù)據(jù)，方法有：1. 時間戳對于交易流水、帳戶數(shù)據(jù)等，可以采用判斷時間戳的方法獲取增量數(shù)據(jù)。 這樣只需要開發(fā)一套 ETL 程序作業(yè)，減少了開發(fā)工作量，并且避免了兩套程序可能出現(xiàn)的數(shù)據(jù)算法不一致造成的數(shù)據(jù)不一致的錯誤。 數(shù)據(jù)加載策略數(shù)據(jù)加載分為歷史數(shù)據(jù)加載（Initial Load）和日常數(shù)據(jù)加載（Incremental Load） 。Staging Area 的另一個應(yīng)用是僅存儲被更改的記錄。 Staging Area 設(shè)計策略Staging Area Storage 由一些 ETL 處理過程的輔助表組成，輔助 ETL 工具完成復(fù)雜的轉(zhuǎn)換和計算，Staging Area 通常是一些臨時表。本模式提供EDW允許的相應(yīng)時間段的歷史數(shù)據(jù)支持。提供數(shù)據(jù)存儲區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。３６ / 47? ETL4：屬于ETL轉(zhuǎn)換。報告數(shù)據(jù)轉(zhuǎn)換清洗異常。加載源系統(tǒng)數(shù)據(jù)，增加時間拉鏈，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。對于數(shù)據(jù)提供者，包括業(yè)務(wù)系統(tǒng)（核心業(yè)務(wù)系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)、渠道系統(tǒng)）以及管理系統(tǒng)（數(shù)據(jù)倉庫 EDW 系統(tǒng)、客戶關(guān)系管理 CRM 系統(tǒng)、績效考核系統(tǒng)、稽核管理系統(tǒng)、報表中心） ，通過ETL 預(yù)處理，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。其實現(xiàn)的困難在于 ETL 系統(tǒng)將面臨復(fù)雜的數(shù)據(jù)環(huán)境，包括巨大的加載數(shù)據(jù)量、錯綜復(fù)雜的數(shù)據(jù)關(guān)系和參差不齊的數(shù)據(jù)質(zhì)量，這些都使 ETL 的架構(gòu)和應(yīng)用設(shè)計面臨相當(dāng)?shù)奶魬?zhàn)。? EDW 能夠根據(jù)應(yīng)用系統(tǒng)的需要，對源系統(tǒng)數(shù)據(jù)進行必要的加工處理，按照全行數(shù)據(jù)架構(gòu)原則，合理地在數(shù)據(jù)線上分配數(shù)據(jù)加工功能，保證數(shù)據(jù)處理的高效、準確。 數(shù)據(jù)服務(wù)EDW 將提供全行各個系統(tǒng)的批量數(shù)據(jù)服務(wù)，如應(yīng)用架構(gòu)圖所示 EDW 即可以為核心系統(tǒng)、財務(wù)系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)，也可以為資產(chǎn)負債系統(tǒng)、內(nèi)部評級系統(tǒng)、戰(zhàn)略客戶管理信息系統(tǒng)等管理內(nèi)的系統(tǒng)提供數(shù)據(jù)服務(wù)；同時也可以為未來實現(xiàn)的 EDW 系統(tǒng)提供數(shù)據(jù)，從而實現(xiàn)全行范圍內(nèi)系統(tǒng)間的批量數(shù)據(jù)采集、加工和發(fā)布，原則上各系統(tǒng)不能再建設(shè)其他渠道實現(xiàn)批量數(shù)據(jù)采集、加工、發(fā)布。３２ / 47完整性：EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計應(yīng)具備完整性，涵蓋目前的應(yīng)用需求，并以框架形式界定 EDW 項目的應(yīng)用需求范圍。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài)：1）匯總指標(biāo)－如平均余額等2）根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)－如理財卡帳務(wù)數(shù)據(jù)、客戶大額存取款等? 集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建立面向各個應(yīng)用主題的數(shù)據(jù)集市，不同的主題應(yīng)用在集市數(shù)據(jù)區(qū)下建立不同的數(shù)據(jù)集市，數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進行設(shè)計。? 加工匯總數(shù)據(jù)層數(shù)據(jù)模型；加工匯總數(shù)據(jù)層的主題劃分為八大主題：總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。同時需要對各系統(tǒng)冗余及標(biāo)準不一致的數(shù)據(jù)進行規(guī)范和整合。? 標(biāo)準化數(shù)據(jù)層：對數(shù)據(jù)做標(biāo)準化處理，主要有公共代碼標(biāo)準化、數(shù)據(jù)類型標(biāo)準化和數(shù)據(jù)格式標(biāo)準化，未來可以做客戶信息標(biāo)準化。２９ / 47 數(shù)據(jù)架構(gòu)分層設(shè)計數(shù)據(jù)庫統(tǒng)一存儲管理所轄數(shù)據(jù)，由于數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，如何有效的組織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息，對下一步清晰的信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵的。加工匯總層要重點解決共性指標(biāo)的加工。? 可擴展性原則隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加，數(shù)據(jù)模型應(yīng)提供一個規(guī)范化的設(shè)計思路，以便業(yè)務(wù)系統(tǒng)的擴展。為防止安全內(nèi)容的重復(fù)，所有安全組件都應(yīng)統(tǒng)一被考慮，它是跨開發(fā)、執(zhí)行、運維架構(gòu)的。數(shù)據(jù)通過放置在環(huán)境中系統(tǒng)元素一端的代理進行的收集，并由容量規(guī)劃組件進行分析，包括磁盤容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫、和網(wǎng)絡(luò)等。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。系統(tǒng)維護管理的主要任務(wù)及工具支持如下圖所示： 備份恢復(fù)管理備份與恢復(fù)的目標(biāo)在于：? 保證在任何時點對數(shù)據(jù)的完全恢復(fù)。? 系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務(wù)而進行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作。２３ / 47? 生產(chǎn)調(diào)度：生產(chǎn)調(diào)度組件包括了一套應(yīng)用，用于調(diào)度和自動化網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用管理（如 ETL）特有的任務(wù)。? 數(shù)據(jù)庫/數(shù)據(jù)倉庫管理：提供相關(guān)監(jiān)控信息源,控制各個獨立的服務(wù)器或數(shù)據(jù)庫/數(shù)據(jù)倉庫。整個運維架構(gòu)通過一些標(biāo)準的流程實現(xiàn)生產(chǎn)環(huán)境運行管理，包括的流程主要是日常操作流程和特殊操作流程。當(dāng)發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。? 備份恢復(fù)管理組件：備份/恢復(fù)管理組件處理系統(tǒng)中所有必須的備份和恢復(fù)操作。圖 1 運維邏輯體系架構(gòu)運維架構(gòu)中包含了如下組件：系統(tǒng)監(jiān)控管理組件、系統(tǒng)維護管理組件、備份恢復(fù)管理組件、故障切換管理組件、性能容量規(guī)劃組件和運維安全管理組件。為支持其他的業(yè)務(wù)需求,將近期(3060 天)的明細數(shù)據(jù)、流水?dāng)?shù)據(jù)集中存放在數(shù)據(jù)庫系統(tǒng)中,日常增量數(shù)據(jù)刷新數(shù)據(jù)庫系統(tǒng)。后續(xù)的數(shù)據(jù)加工、轉(zhuǎn)換通過 ETL Server 來完成,中間采取不落地的方式,將加工完畢后的數(shù)據(jù)放在數(shù)據(jù)準備區(qū)域。但對業(yè)務(wù)人員，他們需要一種手段和工具來理解他們存取的數(shù)據(jù)。 元數(shù)據(jù)管理體系在機構(gòu)內(nèi)關(guān)于數(shù)據(jù)的信息稱為“元數(shù)據(jù)(Metadata)” 。? 操作系統(tǒng)安全系統(tǒng)所有應(yīng)用或數(shù)據(jù)庫服務(wù)器均采用 Unix 操作系統(tǒng)，操作系統(tǒng)本身有著嚴密的系統(tǒng)安全認證與用戶權(quán)限管理體系，并具備登錄、審核以及資源訪問的審計與跟蹤。同時，EDW 系統(tǒng)將決策人員最為關(guān)心的信息主動發(fā)布到?jīng)Q策人員的訪問界面上，簡化信息訪問的方式，使得決策人員在第一時間獲得經(jīng)營管理的各種重要信息和指標(biāo)。分析的方式包括自定義查詢、自定義報表、多維旋轉(zhuǎn)和穿透鉆取等等。該類人員直接使用模塊化的應(yīng)用界面訪問 EDW 系統(tǒng)，生成或預(yù)覽預(yù)定義報表，進行相對固定的查詢以及多維分析。按照用戶使用 EDW 系統(tǒng)的方式和特點，可以劃分為業(yè)務(wù)分析人員、高級分析人員和管理決策人員。報表集成開發(fā)環(huán)境核心功能和模塊組裝由核心模塊統(tǒng)一提供，只暴露給開發(fā)人員；第二個層次是管理模塊包括：報表信息、基本管理、代理、信息推送、連接信息，管理模塊為報表集成開發(fā)環(huán)境提供管理服務(wù)，它提供報表集成開發(fā)環(huán)境的用戶、權(quán)限等的統(tǒng)一管理，管理模塊也是報表集成開發(fā)環(huán)境必選模塊，它的很多功能調(diào)用由核心模塊提供，管理模塊包括 5 個子模塊；第三個層次是應(yīng)用模塊包括：儀表盤、靈活查詢、數(shù)據(jù)錄入、報表、復(fù)雜報表，應(yīng)用模塊提供報表集成開發(fā)環(huán)境最終用戶（非管理人員）的用戶體驗，可以和管理模塊相結(jié)合有選擇地靈活部署。【組成部分】包括：駕駛艙報表系統(tǒng)和靈活查詢以及其他應(yīng)用集市系統(tǒng)。【組成部分】本層由操作型存儲區(qū)、倉庫存儲區(qū)和集市應(yīng)用層四個部分組成。1) 加載數(shù)據(jù)2) 整合數(shù)據(jù)3) 數(shù)據(jù)質(zhì)量檢查和清洗4) 數(shù)據(jù)轉(zhuǎn)換5) OLAP 數(shù)據(jù)生成6) 數(shù)據(jù)挖掘模型的執(zhí)行7) 定制報表的產(chǎn)生8) 定制頁面的產(chǎn)生9) 數(shù)據(jù)庫備份、告警等系統(tǒng)作業(yè)10) 調(diào)用其他 ETL/ELT 工具產(chǎn)生的任務(wù)11) 數(shù)據(jù)導(dǎo)出到指定的渠道系統(tǒng)１７ / 47? 執(zhí)行的任務(wù)可以是另一個任務(wù)調(diào)度引擎觸發(fā)（如：EDW） 。? 管理監(jiān)控器Java 應(yīng)用程序，用于定義任務(wù)、任務(wù)組合觸發(fā)關(guān)系等信息，同時可以實時監(jiān)控任務(wù)執(zhí)行情況查看日志。? 任務(wù)調(diào)度引擎１６ / 47接受偵測器的信息調(diào)度任務(wù)執(zhí)行（可以使本服務(wù)器任務(wù)也可以是其它服務(wù)器的任務(wù)） ?！窘M成部分】上面的邏輯架構(gòu)圖淡綠色色矩形部分為 ETL 調(diào)度管理技術(shù)架構(gòu)圖，其作用是讓許多的任務(wù)在作業(yè)的執(zhí)行條件滿足時自動地執(zhí)行。? EDW 系統(tǒng)再將數(shù)據(jù)準備區(qū)的數(shù)據(jù)按照 EDW 數(shù)據(jù)模型的方式加載到數(shù)據(jù)存儲區(qū)中。在明確定義各層之間的接口后，多層框架結(jié)構(gòu)具有高度的擴展能力和方便的系統(tǒng)開發(fā)和維護性能，符合目前流行的多層應(yīng)用結(jié)構(gòu)，適合 EDW 系統(tǒng)多階段、多層次的應(yīng)用特點。管理管理部分與上述的所有安全問題相關(guān)，對安全問題的管理必須由多個部門共同協(xié)作完成。XX 銀行數(shù)據(jù)倉庫環(huán)境建立在企業(yè)內(nèi)部網(wǎng)絡(luò)中，不同功能的服務(wù)器應(yīng)部署在不同網(wǎng)段中，網(wǎng)段之間相互隔離，對網(wǎng)段之間的訪問應(yīng)通過防火墻并定義嚴格的訪問控制策略。數(shù)據(jù)庫管理員應(yīng)按照角色對數(shù)據(jù)庫用戶進行劃分，并且通過賦予角色權(quán)限的方式實現(xiàn)對用戶安全性訪問控制的管理，如：針對用戶組或耽擱用戶分配特定數(shù)據(jù)表訪問權(quán)限。? 機密性：所有的敏感數(shù)據(jù)必須被嚴格控制，禁止未授權(quán)訪問，并保障其安全性。應(yīng)包括文件結(jié)構(gòu)定義，數(shù)據(jù)庫字段名稱，數(shù)據(jù)模型中的長度和標(biāo)準，以及在域域或域報表對應(yīng)關(guān)系中的計算和公式等內(nèi)容。報表分發(fā)環(huán)境：報表的分發(fā)應(yīng)可以滿足系統(tǒng)定義的安全性，如按照不同的用戶類型、不同的組織進行分發(fā)，不同的用戶和組織只能看到屬于自己的報表的數(shù)據(jù)，數(shù)據(jù)的分發(fā)將通過數(shù)據(jù)傳輸平臺進行。報表環(huán)境：報表環(huán)境是于來產(chǎn)生和發(fā)布靜態(tài)報表的環(huán)境，包括：產(chǎn)生的靜態(tài)報表、OLAP 產(chǎn)生的報表、KPI 指標(biāo)展現(xiàn)以及其他系統(tǒng)產(chǎn)生的報表。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進行匯總和索引。數(shù)據(jù)層的內(nèi)容相互促進發(fā)展，組成銀行完善的數(shù)據(jù)集合，為各種主題管理應(yīng)用的構(gòu)建提供良好的數(shù)據(jù)架構(gòu)基礎(chǔ)。 EDW 存儲區(qū)EDW 存儲區(qū)是面向主題的、集成的、面向企業(yè)的、最明細的數(shù)據(jù)存儲，其內(nèi)容是依據(jù)最終用戶應(yīng)用和分析需求來進行組織。從數(shù)據(jù)標(biāo)準來看，該區(qū)的數(shù)據(jù)標(biāo)準是遵循數(shù)據(jù)倉庫系統(tǒng)的標(biāo)準。數(shù)據(jù)落地區(qū)應(yīng)建立與各相關(guān)源數(shù)據(jù)系統(tǒng)的接口，將這些系統(tǒng)定期卸載的數(shù)據(jù)以固定的格式接收、存放到落地區(qū)，考慮數(shù)據(jù)傳輸和加載的速度，源數(shù)據(jù)系統(tǒng)應(yīng)以文本文件格式將數(shù)據(jù)定期傳輸給數(shù)據(jù)落地區(qū)進行處理。在系統(tǒng)建設(shè)初期，源數(shù)據(jù)系統(tǒng)應(yīng)提供能滿足初始業(yè)務(wù)需要的數(shù)據(jù)以及業(yè)務(wù)系統(tǒng)需要提供完整數(shù)據(jù)的時間窗口，在 EDW 系統(tǒng)擴展的過程中，各個源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)將逐漸的加載到 EDW 系統(tǒng)當(dāng)中。 執(zhí)行架構(gòu)框架業(yè) 務(wù) 數(shù) 據(jù) 源E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載數(shù) 據(jù) 準 備 區(qū) 操 作 型 存 儲 業(yè) 務(wù) 應(yīng) 用E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載元 數(shù) 據(jù) 管 理系 統(tǒng) 安 全基 礎(chǔ) 設(shè) 施 平 臺 （ 服 務(wù) 器 、 網(wǎng) 絡(luò) 、 存 儲 ）數(shù) 據(jù)落 地 區(qū)數(shù) 據(jù) 落 地 區(qū)渠 道 系 統(tǒng)核 心 系 統(tǒng)其 他 系 統(tǒng)分 析 環(huán) 境報 表 環(huán) 境應(yīng) 用 環(huán) 境操 作 型 數(shù) 據(jù)