【正文】 /標(biāo) 準(zhǔn) 化 數(shù) 據(jù)用 戶 環(huán) 境E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載報(bào) 表 / K P I靈 活 查 詢其 他 集 市數(shù) 據(jù) 準(zhǔn) 備 區(qū)對(duì) 公 信 貸個(gè) 貸 系 統(tǒng)國(guó) 結(jié) 系 統(tǒng)人 力 系 統(tǒng)E D W數(shù) 據(jù) 倉(cāng) 庫(kù)（ E D W ）企 業(yè) 級(jí) 數(shù) 據(jù) 模 型財(cái) 務(wù) 系 統(tǒng)數(shù) 據(jù)分 發(fā) 環(huán) 境報(bào) 表分 發(fā) 環(huán) 境通 用展 現(xiàn) 平 臺(tái)上圖是 EDW 系統(tǒng)執(zhí)行架構(gòu)，其中包含 EDW 系統(tǒng)中涵蓋的功能框架以及框架之間的邏輯關(guān)系。? 高性能原則：系統(tǒng)應(yīng)達(dá)到數(shù)據(jù)處理時(shí)間窗口的要求，用戶定義的查詢效率、響應(yīng)時(shí)間的要求，滿足業(yè)務(wù)系統(tǒng)的要求；對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)影響小。從技術(shù)層面上來說，EDW 系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實(shí)現(xiàn)多種技術(shù)平臺(tái)及應(yīng)用之間的無(wú)縫集成。統(tǒng)一的數(shù)據(jù)增強(qiáng)平臺(tái)也減少數(shù)據(jù)增強(qiáng)的復(fù)雜度。? 根據(jù) XX 銀行的數(shù)據(jù)情況和分析需求，采用多層次的企業(yè) EDW 系統(tǒng)架構(gòu)來保證在存在復(fù)雜的數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進(jìn)行業(yè)務(wù)分析和查６ / 47詢?cè)跇I(yè)務(wù)支持能力和性能等方面的要求。數(shù)據(jù)架構(gòu)是建立執(zhí)行架構(gòu)標(biāo)準(zhǔn)的５ / 47需求定義。? 運(yùn)維架構(gòu)是描述 EDW 項(xiàng)目的運(yùn)維架構(gòu)標(biāo)準(zhǔn)，包括運(yùn)維架構(gòu)設(shè)計(jì)的內(nèi)容、設(shè)計(jì)原則、各構(gòu)成組件的設(shè)計(jì)考慮因素、約束、要求等。? 執(zhí)行架構(gòu)描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關(guān)系；是確定生產(chǎn)環(huán)境的建設(shè)要求及指導(dǎo)原則。１ / 47XX 銀行EDW/數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目方案２ / 47目 錄第一章 系統(tǒng)總體架構(gòu) ..............................................................................３ 總體架構(gòu)設(shè)計(jì)概述 .........................................................................３ 總體架構(gòu)的設(shè)計(jì)框架 ...............................................................３ 總體架構(gòu)的設(shè)計(jì)原則 ...............................................................４ 總體架構(gòu)的設(shè)計(jì)特點(diǎn) ...............................................................４ EDW 執(zhí)行架構(gòu) .................................................................................５ 執(zhí)行架構(gòu)概述 .........................................................................５ 執(zhí)行架構(gòu)設(shè)計(jì)原則 ..................................................................５ 執(zhí)行架構(gòu)框架 .........................................................................６ EDW 邏輯架構(gòu) ..............................................................................１３ 邏輯架構(gòu)框架 ......................................................................１３ 數(shù)據(jù)處理流程 ......................................................................１９ EDW 運(yùn)維架構(gòu) ..............................................................................２０ 運(yùn)維架構(gòu)概述 ......................................................................２０ 運(yùn)維架構(gòu)的邏輯框架 ...........................................................２１ EDW 數(shù)據(jù)架構(gòu) ..............................................................................２６ 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則 ...............................................................２６ 數(shù)據(jù)架構(gòu)分層設(shè)計(jì) ...............................................................２８ EDW 應(yīng)用架構(gòu) ..............................................................................３０ 應(yīng)用架構(gòu)設(shè)計(jì)原則 ...............................................................３０ 數(shù)據(jù)服務(wù) .............................................................................３１ 應(yīng)用服務(wù) .............................................................................３２第二章 ETL 體系建設(shè) ...........................................................................３３３ / 47 ETL 架構(gòu)概述 ..............................................................................３３ ETL 設(shè)計(jì)方案 ..............................................................................３５ ETL 關(guān)鍵設(shè)計(jì)環(huán)節(jié) .......................................................................３５ 接口層設(shè)計(jì)策略 ..................................................................３５ Staging Area 設(shè)計(jì)策略 .......................................................３５ 數(shù)據(jù)加載策略 ......................................................................３６ 增量 ETL 設(shè)計(jì)策略 ...............................................................３６ 異常處理 .............................................................................３８ 作業(yè)調(diào)度和監(jiān)控 ..................................................................３９ 元數(shù)據(jù)管理 .........................................................................３９ ETL 模塊設(shè)計(jì) .......................................................................３９ ETL 流程設(shè)計(jì) .......................................................................４２ 動(dòng)態(tài)資源分配 ....................................................................４４ 數(shù)據(jù)接口設(shè)計(jì) ....................................................................４５４ / 47第一章 系統(tǒng)總體架構(gòu) 總體架構(gòu)設(shè)計(jì)概述 總體架構(gòu)的設(shè)計(jì)框架XX 銀行 EDW 項(xiàng)目的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個(gè)核心部分。? 邏輯架構(gòu)描述 EDW 各個(gè)模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工具使用和采用具體的技術(shù)實(shí)現(xiàn)手段或方式情況，用于規(guī)范本項(xiàng)目最終生產(chǎn)環(huán)境的建立。運(yùn)維架構(gòu)通過相應(yīng)的流程和工具實(shí)現(xiàn)對(duì)邏輯架構(gòu)、功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以及應(yīng)用架構(gòu)的運(yùn)維和管理。下圖是 EDW 項(xiàng)目總體架構(gòu)的框架： 總體架構(gòu)的設(shè)計(jì)原則? 總體架構(gòu)在著重考慮實(shí)施要求的同時(shí)，需要為后續(xù)階段進(jìn)行規(guī)劃，以保證項(xiàng)目最終能夠達(dá)到目標(biāo)架構(gòu)的設(shè)計(jì)；? 總體架構(gòu)的設(shè)計(jì)要基于包括 XX 銀行數(shù)據(jù)現(xiàn)狀分析、實(shí)施階段數(shù)據(jù)源情況分析、第一階段實(shí)施 EDW 設(shè)計(jì)建議做為參考；? 總體架構(gòu)設(shè)計(jì)架構(gòu)時(shí)充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，避免重復(fù)開發(fā)和建設(shè)。? 多級(jí)／自動(dòng)的增量 ETL 加載機(jī)制，有效提高 ETL 并發(fā)度、加載效率，降低錯(cuò)誤處理的復(fù)雜性。 EDW 執(zhí)行架構(gòu)執(zhí)行架構(gòu)的主要內(nèi)容是描述 EDW 項(xiàng)目執(zhí)行架構(gòu)的建設(shè)要求及指導(dǎo)原則，用于規(guī)范本項(xiàng)目最終生產(chǎn)環(huán)境的建設(shè)。 執(zhí)行架構(gòu)設(shè)計(jì)原則在 EDW 項(xiàng)目實(shí)施的過程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原則：? 開放性原則：EDW 項(xiàng)目的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開放標(biāo)準(zhǔn)，對(duì)系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等應(yīng)進(jìn)行統(tǒng)一規(guī)劃，EDW 系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包及其部署的各種硬件平臺(tái)。? 自動(dòng)化原則：EDW 項(xiàng)目建設(shè)的核心任務(wù)之一是數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載（ETL） ，在這個(gè)過程中應(yīng)采用自動(dòng)化的設(shè)計(jì)原則，避免手工操作。在以下的內(nèi)容中將對(duì)執(zhí)行架構(gòu)中的功能框架以及框架之間的關(guān)系進(jìn)行詳細(xì)描述，具體內(nèi)容包括：８ / 47? 數(shù)據(jù)源：包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國(guó)際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。源數(shù)據(jù)無(wú)法滿足應(yīng)用需求時(shí)，系統(tǒng)應(yīng)提供手工方式通過手工數(shù)據(jù)補(bǔ)入平臺(tái)將需要的數(shù)據(jù)補(bǔ)入到 EDW 系統(tǒng)中。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲(chǔ)格式原則上是與數(shù)據(jù)源的存儲(chǔ)格式保持一致 數(shù)據(jù) ETL 架構(gòu)ETL 是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到 ETL服務(wù)器以及從 ETL 服務(wù)器到 EDW 的數(shù)據(jù)遷移過程以及數(shù)據(jù)從 EDW 向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方法， ETL 系統(tǒng)應(yīng)包括以下三個(gè)主要功能：? 數(shù)據(jù)抽?。簭臄?shù)據(jù)落地區(qū)系統(tǒng)抽取 EDW 中需要的數(shù)據(jù)；? 數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成 EDW 要求的形式，同時(shí)按照業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換；? 數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到 EDW 的物理模型中； 數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)存儲(chǔ)的臨時(shí)存儲(chǔ)區(qū)域，數(shù)據(jù)在其中只作暫時(shí)性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導(dǎo)入到 EDW 的物理模型中。所以該區(qū)一般分為兩個(gè)層次，第一個(gè)層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個(gè)層次為統(tǒng)一的、規(guī)范的、遵循數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)標(biāo)準(zhǔn)的數(shù)據(jù)標(biāo)準(zhǔn)層。數(shù)據(jù)存儲(chǔ)區(qū)中的數(shù)據(jù)模型對(duì)標(biāo)準(zhǔn)層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進(jìn)行管理，每個(gè)數(shù)據(jù)層有自己的數(shù)據(jù)管理重點(diǎn)。 業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用是 EDW 系統(tǒng)向業(yè)務(wù)用戶提供應(yīng)用功能支持，根據(jù)應(yīng)用服務(wù)提供的形式和所采用的應(yīng)用系統(tǒng)的不同，業(yè)務(wù)應(yīng)用主要定義在以下幾個(gè)技術(shù)環(huán)境。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴(kuò)展性和高性能。 用戶環(huán)境用戶環(huán)境是 EDW 系統(tǒng)最終向用戶提供的某種應(yīng)用服務(wù)的集合，主要有三種應(yīng)用服務(wù)的表現(xiàn)形式：通用展現(xiàn)平臺(tái)：通過此平臺(tái)將報(bào)表、KPI 展現(xiàn)、靈活查詢、分析等多個(gè)應(yīng)用集成到一個(gè)平臺(tái)中，進(jìn)行統(tǒng)一的展現(xiàn)和信息的管理，包括如：報(bào)表生命周期的管理等。 元數(shù)據(jù)管理元數(shù)據(jù)管理是對(duì)數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特性。元數(shù)據(jù)管理的架構(gòu)如下圖所示，系統(tǒng)的最終架構(gòu)應(yīng)實(shí)現(xiàn)對(duì)元數(shù)據(jù)的集中的管理方式：１２ / 47 系統(tǒng)安全性EDW 系統(tǒng)中的數(shù)據(jù)和報(bào)表信息均為敏感信息。? 一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進(jìn)行修改。系統(tǒng)層系統(tǒng)應(yīng)防止未授權(quán)訪問和系統(tǒng)調(diào)用，及時(shí)進(jìn)行系統(tǒng)安全補(bǔ)丁的更新。整個(gè)系統(tǒng)的網(wǎng)絡(luò)環(huán)境應(yīng)得到實(shí)時(shí)監(jiān)控，對(duì)入侵進(jìn)行檢測(cè)和處理，并在發(fā)生入侵時(shí)通知系統(tǒng)管理員。管理層面包括：? 安全資源：實(shí)現(xiàn)各種安全使用的資源，如：防火墻，入侵檢測(cè)和處理設(shè)備，反病毒軟件等；? 安全策略和規(guī)劃：各種安全規(guī)則，組織和責(zé)任人；? 突發(fā)事件處理：在發(fā)生安全威脅時(shí)的應(yīng)急處理流程，包括：事件記錄、時(shí)間報(bào)告制度等流程；? 安全審計(jì)：對(duì)安全策略的審核和檢查；? 災(zāi)難恢復(fù)計(jì)劃：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復(fù)；１４ / 47 EDW 邏輯架構(gòu) 邏輯架構(gòu)框架倉(cāng) 庫(kù) 存 儲(chǔ) 區(qū)固定報(bào)表靈活查詢數(shù) 據(jù) 訪 問B / S管理決策人員高級(jí)分析人員業(yè)務(wù)分析人員多維分析K