【正文】 的定義：此部分描述整個(gè) EDW 項(xiàng)目中關(guān)于時(shí)間窗口的定義以及相關(guān)系統(tǒng)的性能指標(biāo)要求；? 元數(shù)據(jù)管理：此部分描述在系統(tǒng)執(zhí)行架構(gòu)中元數(shù)據(jù)管理的內(nèi)容以及元數(shù)據(jù)管理系統(tǒng)的建設(shè)的標(biāo)準(zhǔn)定義；? 系統(tǒng)安全性：此部分內(nèi)容主要描述 EDW 系統(tǒng)中的安全性管理內(nèi)容，包括應(yīng)用安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、系統(tǒng)安全等，同時(shí)描述系統(tǒng)安全在建立過程中遵循的原則；? 基礎(chǔ)設(shè)施平臺(tái)（服務(wù)器 、網(wǎng)絡(luò)、存儲(chǔ)）：此部分內(nèi)容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：服務(wù)器，網(wǎng)絡(luò)以及存儲(chǔ)的資源需求，容量規(guī)劃應(yīng)滿足的系統(tǒng)指標(biāo)等內(nèi)容；９ / 47 數(shù)據(jù)源源數(shù)據(jù)系統(tǒng)是報(bào)表、關(guān)鍵指標(biāo)、靈活查詢、主題分析等應(yīng)用系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源。在以下的內(nèi)容中將對執(zhí)行架構(gòu)中的功能框架以及框架之間的關(guān)系進(jìn)行詳細(xì)描述，具體內(nèi)容包括：８ / 47? 數(shù)據(jù)源：包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。? 安全性原則：EDW 項(xiàng)目建設(shè)中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設(shè)過程中應(yīng)對數(shù)據(jù)中敏感字段進(jìn)行安全處理、同時(shí)整個(gè)系統(tǒng)還應(yīng)采用網(wǎng)絡(luò)隔離、用戶身份認(rèn)證及訪問控制、數(shù)據(jù)庫安全、操作系統(tǒng)安全以及完善的安全審計(jì)機(jī)制。? 自動(dòng)化原則：EDW 項(xiàng)目建設(shè)的核心任務(wù)之一是數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載（ETL） ，在這個(gè)過程中應(yīng)采用自動(dòng)化的設(shè)計(jì)原則，避免手工操作。如：系統(tǒng)容量可以隨著 ETL 系統(tǒng)數(shù)據(jù)量的擴(kuò)展以及應(yīng)用系統(tǒng)的不斷擴(kuò)展、用戶量不斷７ / 47擴(kuò)展而進(jìn)行平滑的擴(kuò)展。 執(zhí)行架構(gòu)設(shè)計(jì)原則在 EDW 項(xiàng)目實(shí)施的過程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原則：? 開放性原則：EDW 項(xiàng)目的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開放標(biāo)準(zhǔn)，對系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等應(yīng)進(jìn)行統(tǒng)一規(guī)劃，EDW 系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包及其部署的各種硬件平臺(tái)。 執(zhí)行架構(gòu)概述執(zhí)行架構(gòu)是 EDW 的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)存儲(chǔ)區(qū) EDW、業(yè)務(wù)應(yīng)用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)安全性以及EDW 基礎(chǔ)設(shè)施平臺(tái)（包括：服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）等功能組件。 EDW 執(zhí)行架構(gòu)執(zhí)行架構(gòu)的主要內(nèi)容是描述 EDW 項(xiàng)目執(zhí)行架構(gòu)的建設(shè)要求及指導(dǎo)原則，用于規(guī)范本項(xiàng)目最終生產(chǎn)環(huán)境的建設(shè)。? 利用企業(yè)信息集成和 Web 數(shù)據(jù)服務(wù)，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。? 多級／自動(dòng)的增量 ETL 加載機(jī)制，有效提高 ETL 并發(fā)度、加載效率，降低錯(cuò)誤處理的復(fù)雜性。 總體架構(gòu)的設(shè)計(jì)特點(diǎn)? 權(quán)衡功能、性能、可擴(kuò)展性、易用性、可管理性和性價(jià)比。下圖是 EDW 項(xiàng)目總體架構(gòu)的框架： 總體架構(gòu)的設(shè)計(jì)原則? 總體架構(gòu)在著重考慮實(shí)施要求的同時(shí)，需要為后續(xù)階段進(jìn)行規(guī)劃，以保證項(xiàng)目最終能夠達(dá)到目標(biāo)架構(gòu)的設(shè)計(jì)；? 總體架構(gòu)的設(shè)計(jì)要基于包括 XX 銀行數(shù)據(jù)現(xiàn)狀分析、實(shí)施階段數(shù)據(jù)源情況分析、第一階段實(shí)施 EDW 設(shè)計(jì)建議做為參考；? 總體架構(gòu)設(shè)計(jì)架構(gòu)時(shí)充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，避免重復(fù)開發(fā)和建設(shè)。? 數(shù)據(jù)架構(gòu)描述于 EDW 系統(tǒng)相關(guān)的數(shù)據(jù)流動(dòng)策略，即數(shù)據(jù)在 EDW 系統(tǒng)的執(zhí)行架構(gòu)下的抽取、轉(zhuǎn)換、儲(chǔ)存策略以及應(yīng)采用的流程，包括數(shù)據(jù)層次和總分行之間的數(shù)據(jù)分部情況等。運(yùn)維架構(gòu)通過相應(yīng)的流程和工具實(shí)現(xiàn)對邏輯架構(gòu)、功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以及應(yīng)用架構(gòu)的運(yùn)維和管理。? 功能組件架構(gòu)描述確定系統(tǒng)各個(gè)大的組件組件區(qū)域的功能模塊框架，以及提供的某種服務(wù)類型。? 邏輯架構(gòu)描述 EDW 各個(gè)模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工具使用和采用具體的技術(shù)實(shí)現(xiàn)手段或方式情況，用于規(guī)范本項(xiàng)目最終生產(chǎn)環(huán)境的建立。在基礎(chǔ)技術(shù)架構(gòu)中，包括執(zhí)行架構(gòu)、邏輯架構(gòu)、功能組件架構(gòu)和運(yùn)維架構(gòu)四個(gè)部分。１ / 47XX 銀行EDW/數(shù)據(jù)倉庫項(xiàng)目方案２ / 47目 錄第一章 系統(tǒng)總體架構(gòu) ..............................................................................３ 總體架構(gòu)設(shè)計(jì)概述 .........................................................................３ 總體架構(gòu)的設(shè)計(jì)框架 ...............................................................３ 總體架構(gòu)的設(shè)計(jì)原則 ...............................................................４ 總體架構(gòu)的設(shè)計(jì)特點(diǎn) ...............................................................４ EDW 執(zhí)行架構(gòu) .................................................................................５ 執(zhí)行架構(gòu)概述 .........................................................................５ 執(zhí)行架構(gòu)設(shè)計(jì)原則 ..................................................................５ 執(zhí)行架構(gòu)框架 .........................................................................６ EDW 邏輯架構(gòu) ..............................................................................１３ 邏輯架構(gòu)框架 ......................................................................１３ 數(shù)據(jù)處理流程 ......................................................................１９ EDW 運(yùn)維架構(gòu) ..............................................................................２０ 運(yùn)維架構(gòu)概述 ......................................................................２０ 運(yùn)維架構(gòu)的邏輯框架 ...........................................................２１ EDW 數(shù)據(jù)架構(gòu) ..............................................................................２６ 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則 ...............................................................２６ 數(shù)據(jù)架構(gòu)分層設(shè)計(jì) ...............................................................２８ EDW 應(yīng)用架構(gòu) ..............................................................................３０ 應(yīng)用架構(gòu)設(shè)計(jì)原則 ...............................................................３０ 數(shù)據(jù)服務(wù) .............................................................................３１ 應(yīng)用服務(wù) .............................................................................３２第二章 ETL 體系建設(shè) ...........................................................................３３３ / 47 ETL 架構(gòu)概述 ..............................................................................３３ ETL 設(shè)計(jì)方案 ..............................................................................３５ ETL 關(guān)鍵設(shè)計(jì)環(huán)節(jié) .......................................................................３５ 接口層設(shè)計(jì)策略 ..................................................................３５ Staging Area 設(shè)計(jì)策略 .......................................................３５ 數(shù)據(jù)加載策略 ......................................................................３６ 增量 ETL 設(shè)計(jì)策略 ...............................................................３６ 異常處理 .............................................................................３８ 作業(yè)調(diào)度和監(jiān)控 ..................................................................３９ 元數(shù)據(jù)管理 .........................................................................３９ ETL 模塊設(shè)計(jì) .......................................................................３９ ETL 流程設(shè)計(jì) .......................................................................４２ 動(dòng)態(tài)資源分配 ....................................................................４４ 數(shù)據(jù)接口設(shè)計(jì) ....................................................................４５４ / 47第一章 系統(tǒng)總體架構(gòu) 總體架構(gòu)設(shè)計(jì)概述 總體架構(gòu)的設(shè)計(jì)框架XX 銀行 EDW 項(xiàng)目的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個(gè)核心部分。這三個(gè)部分共同組成了 XX 銀行 EDW 系統(tǒng)。? 執(zhí)行架構(gòu)描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關(guān)系；是確定生產(chǎn)環(huán)境的建設(shè)要求及指導(dǎo)原則。邏輯架構(gòu)是建立應(yīng)用架構(gòu)、執(zhí)行架構(gòu)、運(yùn)維架構(gòu)的基礎(chǔ)，也是建立執(zhí)行架構(gòu)、應(yīng)用架構(gòu)以及運(yùn)維架構(gòu)的原型系統(tǒng)。? 運(yùn)維架構(gòu)是描述 EDW 項(xiàng)目的運(yùn)維架構(gòu)標(biāo)準(zhǔn)，包括運(yùn)維架構(gòu)設(shè)計(jì)的內(nèi)容、設(shè)計(jì)原則、各構(gòu)成組件的設(shè)計(jì)考慮因素、約束、要求等。而數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)的主要描述：? 應(yīng)用架構(gòu)是 EDW 為滿足業(yè)務(wù)需求所提供的系統(tǒng)應(yīng)用功能及其藍(lán)圖設(shè)計(jì)，其中業(yè)務(wù)需求是應(yīng)用架構(gòu)設(shè)計(jì)的基礎(chǔ)，最終的應(yīng)用架構(gòu)將以應(yīng)用系統(tǒng)的形式體現(xiàn)在執(zhí)行架構(gòu)中，主要包括：應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)。數(shù)據(jù)架構(gòu)是建立執(zhí)行架構(gòu)標(biāo)準(zhǔn)的５ / 47需求定義。? 總體架構(gòu)設(shè)計(jì)過程中應(yīng)遵守 XX 銀行的 IT 管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給 XX 銀行的運(yùn)行維護(hù)部門。? 根據(jù) XX 銀行的數(shù)據(jù)情況和分析需求，采用多層次的企業(yè) EDW 系統(tǒng)架構(gòu)來保證在存在復(fù)雜的數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進(jìn)行業(yè)務(wù)分析和查６ / 47詢在業(yè)務(wù)支持能力和性能等方面的要求。? 通過用戶入口支持用戶采用 Web 瀏覽器使用查詢和分析工具，統(tǒng)一的信息服務(wù)界面，提高系統(tǒng)易用性，減少技術(shù)支持工作量。統(tǒng)一的數(shù)據(jù)增強(qiáng)平臺(tái)也減少數(shù)據(jù)增強(qiáng)的復(fù)雜度。EDW 項(xiàng)目的生產(chǎn)環(huán)境的建立需要參考并遵循執(zhí)行架構(gòu)部分提出的要求。從技術(shù)層面上來說，EDW 系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實(shí)現(xiàn)多種技術(shù)平臺(tái)及應(yīng)用之間的無縫集成。? 靈活性與可擴(kuò)展性：EDW 系統(tǒng)的基礎(chǔ)設(shè)施平臺(tái)應(yīng)能夠根據(jù)未來系統(tǒng)的發(fā)展需要以及應(yīng)用需求，方便的擴(kuò)展設(shè)備容量和提升設(shè)備性能；具備支持多種組件模塊、多種物理接口的能力；具備技術(shù)升級、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴(kuò)展與重構(gòu)的靈活性。? 高性能原則：系統(tǒng)應(yīng)達(dá)到數(shù)據(jù)處理時(shí)間窗口的要求，用戶定義的查詢效率、響應(yīng)時(shí)間的要求，滿足業(yè)務(wù)系統(tǒng)的要求；對現(xiàn)有業(yè)務(wù)系統(tǒng)影響小。同時(shí)對于元數(shù)據(jù)管理過程應(yīng)采用元數(shù)據(jù)管理平臺(tái)來實(shí)現(xiàn)對元數(shù)據(jù)集中、自動(dòng)化的管理。 執(zhí)行架構(gòu)框架業(yè) 務(wù) 數(shù) 據(jù) 源E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載數(shù) 據(jù) 準(zhǔn) 備 區(qū) 操 作 型 存 儲(chǔ) 業(yè) 務(wù) 應(yīng) 用E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載元 數(shù) 據(jù) 管 理系 統(tǒng) 安 全基 礎(chǔ) 設(shè) 施 平 臺(tái) （ 服 務(wù) 器 、 網(wǎng) 絡(luò) 、 存 儲(chǔ) ）數(shù) 據(jù)落 地 區(qū)數(shù) 據(jù) 落 地 區(qū)渠 道 系 統(tǒng)