【正文】 ......................................................５ 執(zhí)行架構(gòu)設(shè)計(jì)原則 ..................................................................５ 執(zhí)行架構(gòu)框架 .........................................................................６ EDW 邏輯架構(gòu) ..............................................................................１３ 邏輯架構(gòu)框架 ......................................................................１３ 數(shù)據(jù)處理流程 ......................................................................１９ EDW 運(yùn)維架構(gòu) ..............................................................................２０ 運(yùn)維架構(gòu)概述 ......................................................................２０ 運(yùn)維架構(gòu)的邏輯框架 ...........................................................２１ EDW 數(shù)據(jù)架構(gòu) ..............................................................................２６ 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則 ...............................................................２６ 數(shù)據(jù)架構(gòu)分層設(shè)計(jì) ...............................................................２８ EDW 應(yīng)用架構(gòu) ..............................................................................３０ 應(yīng)用架構(gòu)設(shè)計(jì)原則 ...............................................................３０ 數(shù)據(jù)服務(wù) .............................................................................３１ 應(yīng)用服務(wù) .............................................................................３２第二章 ETL 體系建設(shè) ...........................................................................３３３ / 47 ETL 架構(gòu)概述 ..............................................................................３３ ETL 設(shè)計(jì)方案 ..............................................................................３５ ETL 關(guān)鍵設(shè)計(jì)環(huán)節(jié) .......................................................................３５ 接口層設(shè)計(jì)策略 ..................................................................３５ Staging Area 設(shè)計(jì)策略 .......................................................３５ 數(shù)據(jù)加載策略 ......................................................................３６ 增量 ETL 設(shè)計(jì)策略 ...............................................................３６ 異常處理 .............................................................................３８ 作業(yè)調(diào)度和監(jiān)控 ..................................................................３９ 元數(shù)據(jù)管理 .........................................................................３９ ETL 模塊設(shè)計(jì) .......................................................................３９ ETL 流程設(shè)計(jì) .......................................................................４２ 動(dòng)態(tài)資源分配 ....................................................................４４ 數(shù)據(jù)接口設(shè)計(jì) ....................................................................４５４ / 47第一章 系統(tǒng)總體架構(gòu) 總體架構(gòu)設(shè)計(jì)概述 總體架構(gòu)的設(shè)計(jì)框架XX 銀行 EDW 項(xiàng)目的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個(gè)核心部分。運(yùn)維架構(gòu)通過(guò)相應(yīng)的流程和工具實(shí)現(xiàn)對(duì)邏輯架構(gòu)、功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以及應(yīng)用架構(gòu)的運(yùn)維和管理。? 多級(jí)／自動(dòng)的增量 ETL 加載機(jī)制，有效提高 ETL 并發(fā)度、加載效率，降低錯(cuò)誤處理的復(fù)雜性。 執(zhí)行架構(gòu)設(shè)計(jì)原則在 EDW 項(xiàng)目實(shí)施的過(guò)程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原則：? 開(kāi)放性原則：EDW 項(xiàng)目的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開(kāi)放標(biāo)準(zhǔn)，對(duì)系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等應(yīng)進(jìn)行統(tǒng)一規(guī)劃，EDW 系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包及其部署的各種硬件平臺(tái)。在以下的內(nèi)容中將對(duì)執(zhí)行架構(gòu)中的功能框架以及框架之間的關(guān)系進(jìn)行詳細(xì)描述，具體內(nèi)容包括：８ / 47? 數(shù)據(jù)源：包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國(guó)際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲(chǔ)格式原則上是與數(shù)據(jù)源的存儲(chǔ)格式保持一致 數(shù)據(jù) ETL 架構(gòu)ETL 是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過(guò)程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到 ETL服務(wù)器以及從 ETL 服務(wù)器到 EDW 的數(shù)據(jù)遷移過(guò)程以及數(shù)據(jù)從 EDW 向數(shù)據(jù)集市的數(shù)據(jù)遷移過(guò)程中必須使用的過(guò)程和方法， ETL 系統(tǒng)應(yīng)包括以下三個(gè)主要功能：? 數(shù)據(jù)抽取：從數(shù)據(jù)落地區(qū)系統(tǒng)抽取 EDW 中需要的數(shù)據(jù)；? 數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成 EDW 要求的形式，同時(shí)按照業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換；? 數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到 EDW 的物理模型中； 數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)存儲(chǔ)的臨時(shí)存儲(chǔ)區(qū)域，數(shù)據(jù)在其中只作暫時(shí)性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導(dǎo)入到 EDW 的物理模型中。數(shù)據(jù)存儲(chǔ)區(qū)中的數(shù)據(jù)模型對(duì)標(biāo)準(zhǔn)層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進(jìn)行管理，每個(gè)數(shù)據(jù)層有自己的數(shù)據(jù)管理重點(diǎn)。通過(guò)數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴(kuò)展性和高性能。 元數(shù)據(jù)管理元數(shù)據(jù)管理是對(duì)數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特性。? 一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進(jìn)行修改。整個(gè)系統(tǒng)的網(wǎng)絡(luò)環(huán)境應(yīng)得到實(shí)時(shí)監(jiān)控，對(duì)入侵進(jìn)行檢測(cè)和處理，并在發(fā)生入侵時(shí)通知系統(tǒng)管理員。 源數(shù)據(jù)層【功能與作用】總行的各個(gè)業(yè)務(wù)系統(tǒng)為整個(gè) EDW 系統(tǒng)提供原始數(shù)據(jù)支持，首先作為 ETL 層的數(shù)據(jù)抽取源。ETL 調(diào)度管里最基本的可執(zhí)行元素是單元，每個(gè)單元是完成某一特定功能的程序，相關(guān)單元組合在一起構(gòu)成了可以調(diào)度的最小組件——任務(wù)。作為專門(mén)為數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)設(shè)計(jì)的流程調(diào)度管理具有如下特點(diǎn)：? 任務(wù)執(zhí)行代理可分布在多臺(tái)服務(wù)器上。詳細(xì)內(nèi)容參見(jiàn)“EDW 數(shù)據(jù)架構(gòu)” 數(shù)據(jù)集市層【功能與作用】數(shù)據(jù)集市是一組特定的、針對(duì)某個(gè)主題域、部門(mén)或用戶分類的數(shù)據(jù)集合。 訪問(wèn)控制層【功能與作用】訪問(wèn)控制層主要包括 WEB、認(rèn)證、安全、門(mén)戶四方面的服務(wù)。這類用戶會(huì)使用 B/S 和 C/S 兩種客戶端訪問(wèn) EDW 系統(tǒng)。這類用戶只會(huì)使用 B/S 客戶端訪問(wèn) EDW 系統(tǒng)。清楚地區(qū)分?jǐn)?shù)據(jù)庫(kù)中的數(shù)據(jù)和元數(shù)據(jù)是很重要的，所謂元數(shù)據(jù)，是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來(lái)描述數(shù)據(jù)的類型、來(lái)源、定義、存儲(chǔ)位置，使得可以正確地使用數(shù)據(jù)倉(cāng)庫(kù)。ETL Server 可通過(guò) ds job,FTP,NFS 等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結(jié)果放在數(shù)據(jù)準(zhǔn)備區(qū)域。各個(gè)組件的主要功能如下：? 系統(tǒng)監(jiān)控管理組件：監(jiān)控網(wǎng)絡(luò)/系統(tǒng)性能、運(yùn)行，以及診斷和報(bào)告故障。? 性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求。應(yīng)監(jiān)控所有的關(guān)鍵數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)性能比例，以保證高可用性和性能。２４ / 47? 變更管理允許對(duì)技術(shù)架構(gòu)組件進(jìn)行變更的控制管理。當(dāng)發(fā)生故障或失敗時(shí)，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。 EDW 數(shù)據(jù)架構(gòu) 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則? 統(tǒng)一規(guī)范對(duì)各源系統(tǒng)數(shù)據(jù)按主題進(jìn)行統(tǒng)一整合；分行特色也按統(tǒng)一規(guī)范進(jìn)行補(bǔ)充建設(shè)。? 存儲(chǔ)空間合理性原則數(shù)據(jù)模型需要處理海量數(shù)據(jù)。? 標(biāo)準(zhǔn)化全量層? 基礎(chǔ)數(shù)據(jù)層數(shù)據(jù)模型基礎(chǔ)數(shù)據(jù)模型用于整合、存儲(chǔ)全行各業(yè)務(wù)系統(tǒng)的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。加工匯總數(shù)據(jù)層下的匯總需求由“應(yīng)用需要”來(lái)確定。EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)該能夠作為需求檢查列表，檢驗(yàn)當(dāng)前用戶需求是否被涵蓋，而不會(huì)發(fā)生遺漏。３３ / 47 應(yīng)用服務(wù)基于數(shù)據(jù)分析功能和交易功能分離原則，為保證交易系統(tǒng)運(yùn)行效率和數(shù)據(jù)分析功能日益增加的需求，新系統(tǒng)設(shè)計(jì)時(shí)，應(yīng)該將數(shù)據(jù)分析功能和交易功能分離到不同系統(tǒng)中，或者至少為將來(lái)分離做好技術(shù)準(zhǔn)備。ETL 轉(zhuǎn)換清洗通過(guò)連接、合并、分割，按照清洗規(guī)則對(duì)數(shù)據(jù)緩沖區(qū)、數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行加工、匯總，最終裝載入數(shù)據(jù)存儲(chǔ)區(qū)。? ETL3：屬于ETL轉(zhuǎn)換。本模式提供EDW允許的相應(yīng)時(shí)間段的歷史數(shù)據(jù)支持。Staging Area 的作用與實(shí)現(xiàn)：1. 減少對(duì)數(shù)據(jù)源的查詢壓力，有助于數(shù)據(jù)整合。歷史數(shù)據(jù)加載指在第一次加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)中，此時(shí)數(shù)據(jù)倉(cāng)庫(kù)中不存在歷史數(shù)據(jù)。2. 自增長(zhǎng)的序列號(hào)源系統(tǒng)設(shè)置了自增長(zhǎng)的序列號(hào)作為唯一主鍵。缺點(diǎn)是必須對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行改動(dòng)，客戶不一定能接受。 作業(yè)調(diào)度和監(jiān)控根據(jù)作業(yè)依賴關(guān)系的元數(shù)據(jù)進(jìn)行 ETL 作業(yè)的調(diào)度，并對(duì)執(zhí)行過(guò)程進(jìn)行監(jiān)控。? ETL 域：ETL 架構(gòu)中基本的計(jì)算資源組合，是一個(gè)計(jì)算機(jī)群，由 JCI統(tǒng)一管理和控制，一個(gè) ETL 域由一個(gè) ETL Server 和多個(gè) ETL ４１ / 47Client 組成?？傂杏幸粋€(gè)或多個(gè)總行的 ETL 域，分行有本分行的 ETL 域。４２ / 47ETL CLIENT 主要負(fù)責(zé) ETL SERVER 分配的作業(yè)模塊的具體執(zhí)行，是作業(yè)的具體執(zhí)行者。管理類數(shù)據(jù)庫(kù)存放的是作業(yè)運(yùn)行控制相關(guān)的數(shù)據(jù)信息，如系統(tǒng)配置參數(shù)或作業(yè)配置信息、狀態(tài)信息和運(yùn)行日志信息等。5. ETL SERVER 在得到 JOB 運(yùn)行的結(jié)點(diǎn)個(gè)數(shù)和能夠運(yùn)行該 JOB 的結(jié)點(diǎn)列表后，根據(jù)本域的管理類數(shù)據(jù)庫(kù)中結(jié)點(diǎn)的使用情況表，按照一定的策略對(duì)能夠運(yùn)行該 JOB 的結(jié)點(diǎn)列表進(jìn)行排序，選出最優(yōu)的若干個(gè) ETL CLIENT?？蛻舳伺c服務(wù)端采用 C/S 通信模式，通過(guò) TCP 協(xié)議傳送信息，這樣做的好處是：? 避免工作節(jié)點(diǎn)直接訪問(wèn)管理庫(kù)，訪問(wèn)管理庫(kù)的工作統(tǒng)一ETL Server來(lái)完成，從而提高了應(yīng)用部署的適應(yīng)能力；４６ / 47? ETL Server可以據(jù)此檢測(cè)所有工作節(jié)點(diǎn)是否存在故障；客戶端負(fù)責(zé)采集信息發(fā)送到服務(wù)端，服務(wù)端接收信息，并寫(xiě)到數(shù)據(jù)庫(kù)。服務(wù)端與客戶端作為daemon 進(jìn)程，要求能夠長(zhǎng)時(shí)間運(yùn)行。然后根據(jù)運(yùn)行配置文件，將 JOB 分配給各個(gè) ETL CLIENT 執(zhí)行。無(wú)論是總行還是分行，數(shù)據(jù)庫(kù)都是由管理類數(shù)據(jù)庫(kù)和業(yè)務(wù)類數(shù)據(jù)庫(kù)組成。它可以根據(jù)本域上的作業(yè)情況增減 ETL CLIENT。對(duì)于不同的域，它們的處理任務(wù)也是不一樣的。 ? 物理作業(yè)：具體負(fù)責(zé)數(shù)據(jù)加工的程序執(zhí)行單元，各類存儲(chǔ)過(guò)程或者作業(yè)腳本(SHELL 腳本、用 C/C++/PROC 等開(kāi)發(fā)的可執(zhí)行程序） 。作業(yè)的監(jiān)控需要包括以下功能：監(jiān)控作業(yè)的當(dāng)前執(zhí)行情況；查詢作業(yè)歷史執(zhí)行情況。ETL 管理調(diào)度利用作業(yè)調(diào)度控制可以處理各種異常錯(cuò)誤情況。4. 整表比較對(duì)于沒(méi)有時(shí)間戳的增量數(shù)據(jù)，數(shù)據(jù)量不大時(shí)，例如編碼表，可以采用使用數(shù)據(jù)庫(kù)的 SQL 操作語(yǔ)句（NOT IN，NOT Exists）的方法。我們認(rèn)為只需要建立一套增量加載的 ETL 同樣處理歷史數(shù)據(jù)加載和日常數(shù)據(jù)加載，而不再開(kāi)發(fā)另一套全量加載 ETL 程序處理歷史數(shù)據(jù)加載。2. 應(yīng)用于增量處理可以減少處理的記錄數(shù)量，使增量處理更加容易，例如應(yīng)用于