【正文】 對于每個客戶端的連接，服務(wù)端 fork 出一個子進(jìn)程處理。然后根據(jù)結(jié)點(diǎn)情況，動態(tài)生成 JOB 運(yùn)行配置文件。在統(tǒng)一架構(gòu)中，數(shù)據(jù)庫模塊分為兩層，一層是總行層，另外一層是分行層。ETL 統(tǒng)一架構(gòu)中的 ETL 域并不是一成不變的，理論上具有無限的橫向擴(kuò)展能力。域與域在物理上是分開，但是在邏輯上是聯(lián)系在一起的。? ETL 應(yīng)用：應(yīng)用部署和配置管理的基本單位，一個 ETL 應(yīng)用包含一組相關(guān)的作業(yè)單元、作業(yè)配置參數(shù)和應(yīng)用環(huán)境參數(shù)。作業(yè)調(diào)度需要包括以下功能：靈活啟停作業(yè)；根據(jù)日期規(guī)則設(shè)置作業(yè)執(zhí)行計劃；支持作業(yè)的并發(fā)執(zhí)行；允許作業(yè)網(wǎng)絡(luò)的嵌套；方便新增 ETL 作業(yè)。聯(lián)科增量數(shù)據(jù)抽取的設(shè)計，符合以下要求：? 增量抽取策略必須支持要很方便跟蹤進(jìn)程運(yùn)行狀態(tài)? 增量抽取支持抽取類型為增量或全量，抽取方式為日、月、季度等多種方式? 通過設(shè)定簡單的參數(shù)，如：table_name, first day of run, load_type, load_methEDW 等，就可以設(shè)置一個抽取的過程３９ / 47錯誤處理和恢復(fù)策略在復(fù)雜的 ETL 過程中，難免會產(chǎn)生錯誤。3. 更改標(biāo)志源系統(tǒng)定義了一個字段作為數(shù)據(jù)被更改的標(biāo)識。日常數(shù)據(jù)加載是指在歷史數(shù)據(jù)加載完成后，將變化了的增量數(shù)據(jù)加載到數(shù)據(jù)倉庫中。將數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一抽取到 Staging Area ，協(xié)調(diào)獲取不同數(shù)據(jù)源的３７ / 47調(diào)度。? ETL6：屬于ETL目標(biāo)數(shù)據(jù)裝載。對操作型存儲區(qū)的貼源標(biāo)準(zhǔn)化數(shù)據(jù)，按照業(yè)務(wù)轉(zhuǎn)換規(guī)則、通用數(shù)據(jù)清洗規(guī)則，加工數(shù)據(jù)，裝載入數(shù)據(jù)倉庫區(qū)的FDM基礎(chǔ)層。ETL 目標(biāo)數(shù)據(jù)裝載按照 EDW 的數(shù)據(jù)接口要求，給目標(biāo)系統(tǒng)提供數(shù)據(jù)。在這個原則下，EDW 可以對外提供應(yīng)用服務(wù)，如：駕駛艙報表系統(tǒng)中的報表功能；某些時效性要求較高的即時 OLAP 分析；經(jīng)營關(guān)鍵指標(biāo) KPI 展示等。合理性：應(yīng)用架構(gòu)的設(shè)計應(yīng)是對用戶需求的全面反映。多個應(yīng)用相同的匯總要求，或者多個應(yīng)用在匯總計算的基礎(chǔ)部分有重復(fù)匯總的部分可以納入該區(qū)域進(jìn)行匯總，形成應(yīng)用共享的中間匯總結(jié)果，如按客戶、機(jī)構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)（包括每天或每個階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總） 。原則上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工，直接存儲業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)（主數(shù)據(jù)） ，盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。隨時間的增加，存儲數(shù)據(jù)越來越多。? 靈活性原則數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持，這些信息需求會隨著銀行需求的變化而不斷增加，進(jìn)而會引起需求的不可預(yù)料性。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復(fù)或替代。在 EDW 系統(tǒng)運(yùn)行過程中，有兩種典型的變更需要進(jìn)行管理：數(shù)據(jù)變更和系統(tǒng)升級。? 應(yīng)用管理：處理客戶應(yīng)用中發(fā)生的事件。? 運(yùn)維安全管理組件：運(yùn)維安全管理組件通過制定和管理運(yùn)維安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)（包括硬件、軟件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機(jī)密性、一致性和可用性。管理的硬件和軟件包括所有開發(fā)、測試和生產(chǎn)環(huán)境中的硬件和軟件。再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)加載到數(shù)據(jù)存儲區(qū)中。元數(shù)據(jù)倉庫(Meta Data Repository)對業(yè)務(wù)人員來說是很重要的，是業(yè)務(wù)人員與數(shù)據(jù)倉庫的數(shù)據(jù)交流的傳達(dá)手段。 消費(fèi)數(shù)據(jù)傳輸通道在數(shù)據(jù)倉庫系統(tǒng)建立以后，會有很長一段時間舊有的報表系統(tǒng)和分析系統(tǒng)需要逐步遷移，在此期間，需要有一個消費(fèi)數(shù)據(jù)傳輸通道來支持舊有系統(tǒng)的良好運(yùn)轉(zhuǎn)。? 高級分析人員１９ / 47是指總行各業(yè)務(wù)部門、各分行的較為高級的用戶。該層位于用戶層和中間服務(wù)層之間，為用戶層成提供 HTTP 服務(wù)、門戶的單點(diǎn)登錄、用戶統(tǒng)一認(rèn)證、提交用戶層請求到中間服務(wù)層，對用戶實(shí)施安全策略，為用戶管理報表、查詢文檔，提供個性化定制等。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進(jìn)行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進(jìn)行匯總和索引。? 結(jié)構(gòu)簡單、伸縮性強(qiáng)。由上面的技術(shù)架構(gòu)圖可知，ETL 調(diào)度管里包含下列組件： ? 知識庫建立在 DB 中的一個數(shù)據(jù)庫，包含了與流程調(diào)度相關(guān)的一組表，保存 ETL 流程調(diào)度服務(wù)器、任務(wù)、任務(wù)之間的依賴觸發(fā)關(guān)系、任務(wù)組、調(diào)度計劃等多種類型的信息?！窘M成部分】１５ / 47目前總行的數(shù)據(jù)源包括 XX 銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)和各類渠道系統(tǒng)等。物理層物理層安全保障物理設(shè)備（主機(jī)、路由器等）不受非法用戶攻擊。針對上述 6 個方面，數(shù)據(jù)倉庫分系統(tǒng)應(yīng)按照以下的 6 個方面的標(biāo)準(zhǔn)進(jìn)行建設(shè)：應(yīng)用層EDW 應(yīng)用系統(tǒng)是建立在 OLAP 軟件平臺的基礎(chǔ)上，應(yīng)用層應(yīng)實(shí)現(xiàn)用戶訪問控制的功能，針對不同的用戶訪問不同的系統(tǒng)資源來保證整個應(yīng)用系統(tǒng)的安全性控制。數(shù)據(jù)倉庫系統(tǒng)架構(gòu)中的各個部分中都含有元數(shù)據(jù)信息，應(yīng)對其進(jìn)行主動式管理，以保證它正確的定義、收集和使用。應(yīng)用環(huán)境：應(yīng)用環(huán)境是為滿足業(yè)務(wù)需要在數(shù)據(jù) EDW 環(huán)境中配置的應(yīng)用軟件包。對于每個數(shù)據(jù)層次，再按主題進(jìn)行分類組織。數(shù)據(jù)準(zhǔn)備區(qū)的功能包括：格式轉(zhuǎn)換、排序去重/篩選、通用基礎(chǔ)清洗、連接１０ / 47/合并/分割、業(yè)務(wù)轉(zhuǎn)換等 操作型存儲區(qū)操作型存儲區(qū)是數(shù)據(jù)倉庫系統(tǒng)一個重要的環(huán)節(jié)。? 數(shù)據(jù)落地區(qū)：此部分內(nèi)容說明數(shù)據(jù)落地的用途，同時對數(shù)據(jù)落地區(qū)應(yīng)具備的功能進(jìn)行了標(biāo)準(zhǔn)定義以及數(shù)據(jù)落地區(qū)與其他功能組件之間的關(guān)聯(lián)關(guān)系；? ETL：此部分內(nèi)容描述 ETL 系統(tǒng)中數(shù)據(jù)抽取、轉(zhuǎn)換、加載等功能的需求，同時定義了 ETL 系統(tǒng)建設(shè)的標(biāo)準(zhǔn)以及 ETL 與系統(tǒng)中其他功能組件之間的關(guān)系；? 數(shù)據(jù)準(zhǔn)備區(qū)：此部分描述數(shù)據(jù)準(zhǔn)備區(qū)應(yīng)具備的功能，以及數(shù)據(jù)準(zhǔn)備區(qū)在建設(shè)過程中的標(biāo)準(zhǔn)需求。? 靈活性與可擴(kuò)展性：EDW 系統(tǒng)的基礎(chǔ)設(shè)施平臺應(yīng)能夠根據(jù)未來系統(tǒng)的發(fā)展需要以及應(yīng)用需求，方便的擴(kuò)展設(shè)備容量和提升設(shè)備性能；具備支持多種組件模塊、多種物理接口的能力；具備技術(shù)升級、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴(kuò)展與重構(gòu)的靈活性。? 通過用戶入口支持用戶采用 Web 瀏覽器使用查詢和分析工具，統(tǒng)一的信息服務(wù)界面，提高系統(tǒng)易用性，減少技術(shù)支持工作量。而數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)的主要描述：? 應(yīng)用架構(gòu)是 EDW 為滿足業(yè)務(wù)需求所提供的系統(tǒng)應(yīng)用功能及其藍(lán)圖設(shè)計，其中業(yè)務(wù)需求是應(yīng)用架構(gòu)設(shè)計的基礎(chǔ)，最終的應(yīng)用架構(gòu)將以應(yīng)用系統(tǒng)的形式體現(xiàn)在執(zhí)行架構(gòu)中，主要包括：應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)。這三個部分共同組成了 XX 銀行 EDW 系統(tǒng)。? 功能組件架構(gòu)描述確定系統(tǒng)各個大的組件組件區(qū)域的功能模塊框架，以及提供的某種服務(wù)類型。 總體架構(gòu)的設(shè)計特點(diǎn)? 權(quán)衡功能、性能、可擴(kuò)展性、易用性、可管理性和性價比。 執(zhí)行架構(gòu)概述執(zhí)行架構(gòu)是 EDW 的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)存儲區(qū) EDW、業(yè)務(wù)應(yīng)用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)安全性以及EDW 基礎(chǔ)設(shè)施平臺（包括：服務(wù)器、存儲、網(wǎng)絡(luò)）等功能組件。? 安全性原則：EDW 項(xiàng)目建設(shè)中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設(shè)過程中應(yīng)對數(shù)據(jù)中敏感字段進(jìn)行安全處理、同時整個系統(tǒng)還應(yīng)采用網(wǎng)絡(luò)隔離、用戶身份認(rèn)證及訪問控制、數(shù)據(jù)庫安全、操作系統(tǒng)安全以及完善的安全審計機(jī)制。 數(shù)據(jù)落地區(qū)數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的數(shù)據(jù)集成環(huán)境中整合。所以該存儲區(qū)在整個 EDW 系統(tǒng)起到了一個承上啟下的關(guān)鍵作用。數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。給其他需要某個系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。數(shù)據(jù)倉庫系統(tǒng)的安全性應(yīng)涵蓋如下四個方面：? 驗(yàn)證：系統(tǒng)應(yīng)對用戶進(jìn)行訪問控制，保證只有合法的用戶才能進(jìn)入到系統(tǒng)中；? 授權(quán)：系統(tǒng)應(yīng)根據(jù)用戶角色對其進(jìn)行授權(quán)，包括對數(shù)據(jù)的訪問權(quán)限，對功能的使用權(quán)限等。網(wǎng)絡(luò)層網(wǎng)絡(luò)層安全是保證網(wǎng)絡(luò)節(jié)點(diǎn)之間數(shù)據(jù)傳遞的安全性，以及網(wǎng)絡(luò)環(huán)境不受惡意攻擊。架構(gòu)的核心上包括源數(shù)據(jù)層、ETL 流程調(diào)度、數(shù)據(jù)平臺層、數(shù)據(jù)集市層、應(yīng)用服務(wù)層、訪問控制層、用戶層和數(shù)據(jù)消費(fèi)傳輸通道七個大部分，另外，元數(shù)據(jù)管理和安全管理也是系統(tǒng)必不可少的部分，這 2 部分會涉及到所有核心層次。? 總行 EDW 可以為分行 EDW 提供數(shù)據(jù)服務(wù)。? 日志管理引擎記錄 ETL 調(diào)度管理各個服務(wù)器組件以及每個任務(wù)的執(zhí)行日志，日志按天保存，可以定期清理。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的?！窘M成部分】通用展現(xiàn)平臺主要包括的功能模塊有：１８ / 47第一個層次是核心模塊包括：框架、引擎，核心模塊作為報表集成開發(fā)環(huán)境的基礎(chǔ)、核心和框架存在。? 業(yè)務(wù)分析人員主要指總行各業(yè)務(wù)部門、各分行的業(yè)務(wù)用戶，如：客戶經(jīng)理。EDW 系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源，建立最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實(shí)現(xiàn)決策人員對信息的自由訪問。所以就應(yīng)用級的安全策略更多的是保證對數(shù)據(jù)訪問的合法性。 數(shù)據(jù)處理流程各業(yè)務(wù)數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL 工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導(dǎo)出)將數(shù)據(jù)獲取過來,由數(shù)據(jù)落地區(qū)區(qū)進(jìn)行集中管理。運(yùn)維架構(gòu)主要是針對執(zhí)行架構(gòu)的數(shù)據(jù)導(dǎo)入層、數(shù)據(jù)服務(wù)層、中間服務(wù)層和訪問控制層服務(wù)器進(jìn)行管理，面向的最終用戶是 IT 人員。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。 運(yùn)維架構(gòu)的邏輯框架 系統(tǒng)監(jiān)控管理在 EDW 系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：? 網(wǎng)絡(luò)/主機(jī)管理：用于監(jiān)控、控制和報告網(wǎng)絡(luò)及主機(jī)狀態(tài)。系統(tǒng)維護(hù)管理包括兩方面的管理內(nèi)容：系統(tǒng)維護(hù)和變更管理。備份恢復(fù)管理的主要任務(wù)及工具支持如下圖所示：２５ / 47 故障切換管理故障切換管理組件提供了管理和控制應(yīng)用切換的機(jī)制，提供系統(tǒng)的高可用性。例如，在運(yùn)維架構(gòu)中可能需要使用安全控制工具對系統(tǒng)管理工具的訪問進(jìn)行管理，在開發(fā)架構(gòu)中則可能使用安全控制工具對代碼存儲的訪問進(jìn)行管理。? 實(shí)用性原則處理大量的源系統(tǒng)數(shù)據(jù)，將會占用大量的系統(tǒng)資源，因此必須仔細(xì)分析數(shù)據(jù)的實(shí)用性、指標(biāo)的使用頻率，以業(yè)務(wù)需求驅(qū)動為原則，對業(yè)務(wù)提出的基礎(chǔ)數(shù)據(jù)和指標(biāo)需求進(jìn)行優(yōu)先級劃分，正確制定指標(biāo)的匯總粒度。為了更好的管理這些數(shù)據(jù)，EDW 數(shù)據(jù)按層次進(jìn)行劃分存放及管理，從邏輯模型上劃分為以下幾個數(shù)據(jù)層次：３０ / 47? 源數(shù)據(jù)緩沖層：數(shù)據(jù)層與業(yè)務(wù)源的數(shù)據(jù)結(jié)構(gòu)一一對應(yīng)，是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，當(dāng)新的數(shù)據(jù)到達(dá)緩儲區(qū)時，現(xiàn)有數(shù)據(jù)被刪除或覆蓋。EDW 對源系統(tǒng)客戶號進(jìn)行統(tǒng)一，提供統(tǒng)一的客戶號（ECIF 客戶編號） 。開放性：EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計必須考慮平臺、系統(tǒng)、功能的開放性，與XX 銀行的科技規(guī)劃相適應(yīng)，能夠與周邊各系統(tǒng)進(jìn)行良好的信息傳遞。? EDW 模型化各系統(tǒng)數(shù)據(jù)，可以滿足各應(yīng)用系統(tǒng)對全量數(shù)據(jù)、增量數(shù)據(jù)的需求，減少對重要交易系統(tǒng)的干擾。XX 銀行總行的 EDW 系統(tǒng)數(shù)據(jù)源環(huán)境復(fù)雜，應(yīng)用系統(tǒng)數(shù)據(jù)需求旺盛，數(shù)據(jù)質(zhì)量參差不齊，結(jié)合以上系統(tǒng)目標(biāo)及設(shè)計原則，建議采用如下體系架構(gòu)建設(shè)：３５ / 47ETL 邏輯結(jié)構(gòu)按照處理過程可劃分為 ETL 預(yù)處理、ETL 轉(zhuǎn)換清洗、ETL 目標(biāo)數(shù)據(jù)裝載。對數(shù)據(jù)緩沖區(qū)數(shù)據(jù)標(biāo)準(zhǔn)化，統(tǒng)一數(shù)據(jù)表達(dá)格式，排序數(shù)據(jù)，篩選重復(fù)數(shù)據(jù)，合并或分割數(shù)據(jù)項(xiàng)，裝載入數(shù)據(jù)存儲區(qū)的基礎(chǔ)數(shù)據(jù)層。? ETL5：屬于ETL目標(biāo)數(shù)據(jù)裝載。 從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，采用 ETL 平臺直接從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，也可以先把業(yè)務(wù)系統(tǒng)的數(shù)據(jù)導(dǎo)出為文本文件再加載到臨時存儲區(qū)。5. 作為 ETL 后續(xù)處理的統(tǒng)一接口建立 Staging Area 作為 ETL 每個處理階段的接口，對系統(tǒng)的靈活性和可擴(kuò)展性非常有幫助。增量策略是正常的日常增量處理的策略，故障恢復(fù)策略是在日常增量處理出錯時的處理策略。6. 循環(huán)校驗(yàn)碼對于沒有時間戳的數(shù)據(jù)進(jìn)行修改，還可以考慮采用循環(huán)校驗(yàn)碼。 異常處理ETL 處理的異常主要包括：1) 硬件、操作系統(tǒng)、網(wǎng)絡(luò)導(dǎo)致異常；2) 數(shù)據(jù)源數(shù)據(jù)傳輸、質(zhì)量導(dǎo)致異常；3) ETL 過程處理導(dǎo)致異常；4) 目標(biāo)數(shù)據(jù)模型導(dǎo)致異常；5) 人工干預(yù)導(dǎo)致異常等；建議處理的方法包括：1) 手工干預(yù)，重新調(diào)整 ETL 過程；2) 終止流程,通知管理員；3) 拒絕數(shù)據(jù)，記錄原因；4) 清洗數(shù)據(jù)，部分入庫；5) 監(jiān)控資源，反復(fù)嘗試ETL 恢復(fù)策略包括有：1) 每條記錄中有數(shù)據(jù) ETL 的時間戳，對小數(shù)據(jù)量的數(shù)據(jù)表，可以通過該４０ / 47時間戳清除掉本次加載的數(shù)據(jù)。? 數(shù)據(jù)庫模塊：管理類數(shù)據(jù)庫：用于調(diào)度和作業(yè)主控，保存任務(wù)和作業(yè)的相關(guān)配置信息和運(yùn)行信息。在實(shí)際部署中，調(diào)度模塊可以僅部署在總行，實(shí)施統(tǒng)一調(diào)度，也可能部署在分行，實(shí)施分布調(diào)度；而在每個 ETL 域的 ETL Server 上部署調(diào)度的Agent 模塊，調(diào)度 Server 負(fù)責(zé)任務(wù)的檢索、調(diào)度和分發(fā)，調(diào)度 Agent 接收到調(diào)度 Server 的調(diào)度指令，調(diào)用作業(yè)主控模塊(JCI)執(zhí)行具體的作業(yè)，并根據(jù) JCI的退出碼將作業(yè)的執(zhí)行情況反饋給調(diào)度 Server。其次根據(jù)作業(yè)運(yùn)行資源需求，獲取所屬 ETL CLIENT 的資源情況，選擇最優(yōu)的若干臺 ETL CLIENT，分配作業(yè)給這些 ETL CLIENT 運(yùn)行。? 數(shù)據(jù)庫模塊統(tǒng)一架構(gòu)中的數(shù)據(jù)庫模塊分為兩個部分：管理類數(shù)據(jù)庫和業(yè)務(wù)類數(shù)據(jù)庫。４４ / 473. 3．ETL SERVER 對 JOB 的類型進(jìn)行判斷，如果是普通的 SHELL JOB 或者EXEC JOB，則根據(jù) JOB 實(shí)例表中的 NODES_LIST(該作業(yè)可使用的節(jié)點(diǎn)列表)，計劃在本域