【正文】 ；具備技術(shù)升級、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴展與重構(gòu)的靈活性。同時對于元數(shù)據(jù)管理過程應(yīng)采用元數(shù)據(jù)管理平臺來實現(xiàn)對元數(shù)據(jù)集中、自動化的管理。? 數(shù)據(jù)落地區(qū)：此部分內(nèi)容說明數(shù)據(jù)落地的用途，同時對數(shù)據(jù)落地區(qū)應(yīng)具備的功能進(jìn)行了標(biāo)準(zhǔn)定義以及數(shù)據(jù)落地區(qū)與其他功能組件之間的關(guān)聯(lián)關(guān)系；? ETL：此部分內(nèi)容描述 ETL 系統(tǒng)中數(shù)據(jù)抽取、轉(zhuǎn)換、加載等功能的需求，同時定義了 ETL 系統(tǒng)建設(shè)的標(biāo)準(zhǔn)以及 ETL 與系統(tǒng)中其他功能組件之間的關(guān)系；? 數(shù)據(jù)準(zhǔn)備區(qū)：此部分描述數(shù)據(jù)準(zhǔn)備區(qū)應(yīng)具備的功能，以及數(shù)據(jù)準(zhǔn)備區(qū)在建設(shè)過程中的標(biāo)準(zhǔn)需求。目前數(shù)據(jù)源包括 XX 銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)和各類渠道系統(tǒng)等。數(shù)據(jù)準(zhǔn)備區(qū)的功能包括：格式轉(zhuǎn)換、排序去重/篩選、通用基礎(chǔ)清洗、連接１０ / 47/合并/分割、業(yè)務(wù)轉(zhuǎn)換等 操作型存儲區(qū)操作型存儲區(qū)是數(shù)據(jù)倉庫系統(tǒng)一個重要的環(huán)節(jié)。 數(shù)據(jù)貼源層可以繼續(xù)為行內(nèi)現(xiàn)有的一些報表系統(tǒng)或者分析系統(tǒng)提供數(shù)據(jù)，而數(shù)據(jù)標(biāo)準(zhǔn)層為數(shù)據(jù)倉庫中的企業(yè)數(shù)據(jù)模型的落地掃清了道路。對于每個數(shù)據(jù)層次，再按主題進(jìn)行分類組織。數(shù)據(jù)集市：在業(yè)務(wù)應(yīng)用層中包含了應(yīng)用系統(tǒng)中需要的應(yīng)用集市、OLAP、靜態(tài)報表等數(shù)據(jù)集市。應(yīng)用環(huán)境：應(yīng)用環(huán)境是為滿足業(yè)務(wù)需要在數(shù)據(jù) EDW 環(huán)境中配置的應(yīng)用軟件包。數(shù)據(jù)分發(fā)環(huán)境：在數(shù)據(jù)分發(fā)的過程中應(yīng)提供大容量數(shù)據(jù)批量分發(fā)的能力。數(shù)據(jù)倉庫系統(tǒng)架構(gòu)中的各個部分中都含有元數(shù)據(jù)信息，應(yīng)對其進(jìn)行主動式管理，以保證它正確的定義、收集和使用。因此必須采用適當(dāng)?shù)陌踩呗砸员ＷC其系統(tǒng)和數(shù)據(jù)的安全性。針對上述 6 個方面，數(shù)據(jù)倉庫分系統(tǒng)應(yīng)按照以下的 6 個方面的標(biāo)準(zhǔn)進(jìn)行建設(shè)：應(yīng)用層EDW 應(yīng)用系統(tǒng)是建立在 OLAP 軟件平臺的基礎(chǔ)上，應(yīng)用層應(yīng)實現(xiàn)用戶訪問控制的功能，針對不同的用戶訪問不同的系統(tǒng)資源來保證整個應(yīng)用系統(tǒng)的安全性控制。對于系統(tǒng)主機應(yīng)采用服務(wù)器加固的方法，來保證整個系統(tǒng)的安全性。物理層物理層安全保障物理設(shè)備（主機、路由器等）不受非法用戶攻擊。ocationBeanR e q u e s t B e a nJ S PP a g e B e a nJ S PP a g e B e a nJ S PR e q u e s t B e a nA J A XA J A XA J A XA J A XA J A XF i l eB e a nB e a n通 用 展 現(xiàn) 平 臺報 表 / 復(fù) 雜報 表靈 活 查 詢系 統(tǒng) 管 理儀 表 盤數(shù) 據(jù) 集 市 層D A OD A OD A OConnectionPool框架引擎B OB OB O數(shù) 據(jù) 分 發(fā)權(quán)限統(tǒng)一管理統(tǒng)一用戶門戶（支持多種中間件） 儀表盤基 礎(chǔ) 模 型 層操 作 型 存 儲其 他 集 市 應(yīng) 用供數(shù)服務(wù)應(yīng) 用 服 務(wù) 層目的系統(tǒng)J D B C數(shù) 據(jù) 源 層技 術(shù) 元 數(shù) 據(jù)操 作 元 數(shù) 據(jù) 業(yè) 務(wù) 元 數(shù) 據(jù)安 全 管 理 體 系應(yīng) 用 安 全數(shù) 據(jù) 安 全操 作 系 統(tǒng) 安 全網(wǎng) 絡(luò) 安 全數(shù) 據(jù) 消 費 傳 輸 通 道e x p o r tF i l e任務(wù)執(zhí)行代理日志管理引擎任務(wù)調(diào)度引擎任務(wù)執(zhí)行代理任務(wù)執(zhí)行代理任務(wù)執(zhí)行代理任務(wù)執(zhí)行代理偵測器E T L 調(diào) 度 管 理 和 監(jiān) 控 器依賴和觸發(fā)規(guī)則庫數(shù)據(jù)質(zhì)量規(guī)則庫E T L 流 程 調(diào) 度E T L A u t o m a t i o n 資料 庫任 務(wù)日 志單 元1單 元2單 元n單 元1單 元2單 元n導(dǎo) 出數(shù) 據(jù) 文件貼 源 層標(biāo) 準(zhǔn) 化 層如上圖所示的 XX 銀行 EDW 的邏輯體系架構(gòu)，這一架構(gòu)是在聯(lián)科可擴展的EDW 系統(tǒng)框架的基礎(chǔ)上，結(jié)合 XX 銀行信息系統(tǒng)建設(shè)的實際情況而設(shè)計出來的多層、可擴展框架結(jié)構(gòu)?！窘M成部分】１５ / 47目前總行的數(shù)據(jù)源包括 XX 銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)和各類渠道系統(tǒng)等。? EDW 中的數(shù)據(jù)準(zhǔn)備區(qū)和數(shù)據(jù)存儲區(qū)可以為為其它系統(tǒng)提供數(shù)據(jù)服務(wù)。由上面的技術(shù)架構(gòu)圖可知，ETL 調(diào)度管里包含下列組件： ? 知識庫建立在 DB 中的一個數(shù)據(jù)庫，包含了與流程調(diào)度相關(guān)的一組表，保存 ETL 流程調(diào)度服務(wù)器、任務(wù)、任務(wù)之間的依賴觸發(fā)關(guān)系、任務(wù)組、調(diào)度計劃等多種類型的信息。? 任務(wù)封裝在 Perl 程序中，執(zhí)行數(shù)據(jù)加載、整合、立方體生成等工作的一組程序。? 結(jié)構(gòu)簡單、伸縮性強。 數(shù)據(jù)平臺層【功能與作用】作為本系統(tǒng)的數(shù)據(jù)核心部分，它負(fù)責(zé)存儲和管理來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問用戶提供數(shù)據(jù)服務(wù)。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進(jìn)行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進(jìn)行匯總和索引。該層為用戶對中央數(shù)據(jù)的訪問提供各種方式的服務(wù)（C/S、B/S） ，從而實現(xiàn)訪問方式的多樣化和信息存取的透明化。該層位于用戶層和中間服務(wù)層之間，為用戶層成提供 HTTP 服務(wù)、門戶的單點登錄、用戶統(tǒng)一認(rèn)證、提交用戶層請求到中間服務(wù)層，對用戶實施安全策略，為用戶管理報表、查詢文檔，提供個性化定制等。實際上，EDW 系統(tǒng)還包括進(jìn)行系統(tǒng)建設(shè)的開發(fā)人員、系統(tǒng)運行人員和系統(tǒng)管理人員，這里所指的用戶層主要針對業(yè)務(wù)用戶進(jìn)行描述。? 高級分析人員１９ / 47是指總行各業(yè)務(wù)部門、各分行的較為高級的用戶。? 管理決策人員主要包括各部門的領(lǐng)導(dǎo)、分行領(lǐng)導(dǎo)和總行領(lǐng)導(dǎo)。 消費數(shù)據(jù)傳輸通道在數(shù)據(jù)倉庫系統(tǒng)建立以后，會有很長一段時間舊有的報表系統(tǒng)和分析系統(tǒng)需要逐步遷移，在此期間，需要有一個消費數(shù)據(jù)傳輸通道來支持舊有系統(tǒng)的良好運轉(zhuǎn)。? 應(yīng)用安全應(yīng)用是直接面對用戶的，雖然應(yīng)用系統(tǒng)能夠持續(xù)提供服務(wù)是涉及到系統(tǒng)２０ / 47安全的問題，但是因為這些問題更多的是由系統(tǒng)的安全問題來保證的。元數(shù)據(jù)倉庫(Meta Data Repository)對業(yè)務(wù)人員來說是很重要的，是業(yè)務(wù)人員與數(shù)據(jù)倉庫的數(shù)據(jù)交流的傳達(dá)手段。在架構(gòu)上，元數(shù)據(jù)系統(tǒng)包括：元數(shù)據(jù)應(yīng)用、元數(shù)據(jù)報表、元數(shù)據(jù)分析、元數(shù)據(jù)集成系統(tǒng)、元數(shù)據(jù)展現(xiàn)系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)、元數(shù)據(jù)維護(hù)系統(tǒng)。再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)加載到數(shù)據(jù)存儲區(qū)中。２１ / 47 EDW 運維架構(gòu) 運維架構(gòu)概述下圖中給出了 EDW 的運維架構(gòu)，是在 EDW 系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的相關(guān)的管理需求。管理的硬件和軟件包括所有開發(fā)、測試和生產(chǎn)環(huán)境中的硬件和軟件。２２ / 47? 故障切換管理組件：故障切換管理提供了管理和控制應(yīng)用切換的機制。? 運維安全管理組件：運維安全管理組件通過制定和管理運維安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)（包括硬件、軟件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機密性、一致性和可用性。特殊操作流程不會每天發(fā)生，這一流程的啟動通常是由于系統(tǒng)軟硬件升級、數(shù)據(jù)變更、新增應(yīng)用等需求引起的。? 應(yīng)用管理：處理客戶應(yīng)用中發(fā)生的事件。系統(tǒng)監(jiān)控管理的主要任務(wù)及工具支持如下圖所示： 系統(tǒng)維護(hù)管理系統(tǒng)維護(hù)是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。在 EDW 系統(tǒng)運行過程中，有兩種典型的變更需要進(jìn)行管理：數(shù)據(jù)變更和系統(tǒng)升級。? 盡量提高數(shù)據(jù)備份過程的效率。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復(fù)或替代。２７ / 47安全管理是貫穿 EDW 總體架構(gòu)的。? 靈活性原則數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持，這些信息需求會隨著銀行需求的變化而不斷增加，進(jìn)而會引起需求的不可預(yù)料性。數(shù)據(jù)模型的效率包括 ETL 的加工效率和數(shù)據(jù)展現(xiàn)的查詢效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲，必須是高效可用的。隨時間的增加，存儲數(shù)據(jù)越來越多。存放到 EDW 數(shù)據(jù)庫中的數(shù)據(jù)有以下幾類：從原業(yè)務(wù)系統(tǒng)直接采集過來的經(jīng)標(biāo)準(zhǔn)化處理的標(biāo)準(zhǔn)數(shù)據(jù)，由標(biāo)準(zhǔn)數(shù)據(jù)按主題整合形成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)；經(jīng)過中間加工匯總形成的匯總數(shù)據(jù)；管理應(yīng)用所專用的操作型數(shù)據(jù)；為滿足應(yīng)用分析需要而加工形成的多維分析數(shù)據(jù)。原則上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工，直接存儲業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)（主數(shù)據(jù)） ，盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。EDW 對各源系統(tǒng)機構(gòu)編碼進(jìn)行統(tǒng)一，提供統(tǒng)一的基線機構(gòu)。多個應(yīng)用相同的匯總要求，或者多個應(yīng)用在匯總計算的基礎(chǔ)部分有重復(fù)匯總的部分可以納入該區(qū)域進(jìn)行匯總，形成應(yīng)用共享的中間匯總結(jié)果，如按客戶、機構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)（包括每天或每個階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總） 。 EDW 應(yīng)用架構(gòu) 應(yīng)用架構(gòu)設(shè)計原則EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)考慮開放性、完整性、合理性。合理性：應(yīng)用架構(gòu)的設(shè)計應(yīng)是對用戶需求的全面反映。? EDW 能夠提供的數(shù)據(jù)會覆蓋全行所有系統(tǒng)，可以滿足全行所有的數(shù)據(jù)加工對數(shù)據(jù)的需求。在這個原則下，EDW 可以對外提供應(yīng)用服務(wù)，如：駕駛艙報表系統(tǒng)中的報表功能；某些時效性要求較高的即時 OLAP 分析；經(jīng)營關(guān)鍵指標(biāo) KPI 展示等。? 和上下游系統(tǒng)接口的松耦合設(shè)計，避免上下游系統(tǒng)的變更導(dǎo)致ETL程序本身頻繁變更。ETL 目標(biāo)數(shù)據(jù)裝載按照 EDW 的數(shù)據(jù)接口要求，給目標(biāo)系統(tǒng)提供數(shù)據(jù)。? ETL2：屬于ETL清洗。對操作型存儲區(qū)的貼源標(biāo)準(zhǔn)化數(shù)據(jù)，按照業(yè)務(wù)轉(zhuǎn)換規(guī)則、通用數(shù)據(jù)清洗規(guī)則，加工數(shù)據(jù)，裝載入數(shù)據(jù)倉庫區(qū)的FDM基礎(chǔ)層。一些低粒度數(shù)據(jù)逐步向高粒度數(shù)據(jù)歸并和匯總。? ETL6：屬于ETL目標(biāo)數(shù)據(jù)裝載。建立和設(shè)計這個接口，似乎只要編制一個抽取程序就可以了，事實上，在這一階段的工作中，的確對數(shù)據(jù)進(jìn)行了抽取，但抽取并不是全部的工作，這一接口還應(yīng)具有以下的功能： ? 從面向應(yīng)用和操作的環(huán)境生成完整的數(shù)據(jù)； ? 數(shù)據(jù)的基于時間的轉(zhuǎn)換； ? 數(shù)據(jù)的聚合 ； ? 對現(xiàn)有記錄系統(tǒng)的有效掃描，以便以后進(jìn)行追加。將數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一抽取到 Staging Area ，協(xié)調(diào)獲取不同數(shù)據(jù)源的３７ / 47調(diào)度。4. 時間調(diào)度上的靈活性通過建立 Staging Area，把數(shù)據(jù)存儲在臨時空間，使 ETL 調(diào)度更靈活。日常數(shù)據(jù)加載是指在歷史數(shù)據(jù)加載完成后，將變化了的增量數(shù)據(jù)加載到數(shù)據(jù)倉庫中。 增量 ETL 設(shè)計策略確定增量數(shù)據(jù)測量和故障恢復(fù)策略。3. 更改標(biāo)志源系統(tǒng)定義了一個字段作為數(shù)據(jù)被更改的標(biāo)識。此方法需要有專門的工具讀取數(shù)據(jù)庫日志。聯(lián)科增量數(shù)據(jù)抽取的設(shè)計，符合以下要求：? 增量抽取策略必須支持要很方便跟蹤進(jìn)程運行狀態(tài)? 增量抽取支持抽取類型為增量或全量，抽取方式為日、月、季度等多種方式? 通過設(shè)定簡單的參數(shù)，如：table_name, first day of run, load_type, load_methEDW 等，就可以設(shè)置一個抽取的過程３９ / 47錯誤處理和恢復(fù)策略在復(fù)雜的 ETL 過程中，難免會產(chǎn)生錯誤。? 對于大數(shù)據(jù)量的表，可以利用時間窗口功能， 如果大表某一天的數(shù)據(jù)出現(xiàn)錯誤后，可以直接進(jìn)行一天數(shù)據(jù)的恢復(fù)。作業(yè)調(diào)度需要包括以下功能：靈活啟停作業(yè)；根據(jù)日期規(guī)則設(shè)置作業(yè)執(zhí)行計劃；支持作業(yè)的并發(fā)執(zhí)行；允許作業(yè)網(wǎng)絡(luò)的嵌套；方便新增 ETL 作業(yè)。 ETL 模塊設(shè)計XX 銀行的 ETL 采用數(shù)據(jù)庫的存儲過程及 Shell 腳本等技術(shù)支持，可以按照如下模塊設(shè)計：? 調(diào)度模塊：負(fù)責(zé)任務(wù)的管理、調(diào)度和分發(fā)，作業(yè)依賴關(guān)系的管理；? 作業(yè)控制：負(fù)責(zé)計算資源的分配、作業(yè)的執(zhí)行，控制作業(yè)執(zhí)行的流程、跟蹤作業(yè)執(zhí)行的結(jié)果、記錄作業(yè)的日志。? ETL 應(yīng)用：應(yīng)用部署和配置管理的基本單位，一個 ETL 應(yīng)用包含一組相關(guān)的作業(yè)單元、作業(yè)配置參數(shù)和應(yīng)用環(huán)境參數(shù)。調(diào)度 SERVER根據(jù)各個 JOB 的運行時間和依賴關(guān)系，按照一定的調(diào)度策略對總分行的 JOB 進(jìn)行統(tǒng)一調(diào)度。域與域在物理上是分開，但是在邏輯上是聯(lián)系在一起的。首先，ETL SERVER 接收調(diào)度 Agent 發(fā)過來的要執(zhí)行的作業(yè)的作業(yè) ID，根據(jù)該作業(yè) ID 到管理庫中獲取該作業(yè)的運行參數(shù)并解釋所有參數(shù)。ETL 統(tǒng)一架構(gòu)中的 ETL 域并不是一成不變的，理論上具有無限的橫向擴展能力。ETL Server 訪問管理庫，ETL Client 只訪問應(yīng)用庫，不允許訪問管理庫。在統(tǒng)一架構(gòu)中，數(shù)據(jù)庫模塊分為兩層，一層是總行層，另外一層是分行層。2. ETL SERVER 得到調(diào)度的調(diào)度指令后，根據(jù) JOB ID，先到所在域中的管理類數(shù)據(jù)庫中 JOB 實例表中查找該 JOB，判斷該 JOB 的狀態(tài)是否正確，查找該 JOB 的前序 JOB 是否完成，然后在 JOB 參數(shù)表中查找該 JOB 對應(yīng)的各種參數(shù)，為作業(yè)的運行解析和準(zhǔn)備參數(shù)，同時到所在域的業(yè)務(wù)類數(shù)據(jù)庫中查找各種輸入文件是否存在，如果條件都滿足，則 JOB 可以運行。然后根據(jù)結(jié)點情況，動態(tài)生成 JOB 運行配置文件。8. ETL SERVER 將作業(yè)運行的情況通過退出碼的方式反饋給調(diào)度程序。對于每個客戶端的連接，服務(wù)端 fork 出一個子進(jìn)程