【正文】 要有核心系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國(guó)際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)和各類渠道系統(tǒng)等。? 安全性原則：EDW 項(xiàng)目建設(shè)中的數(shù)據(jù)遷移過(guò)程都必須保證數(shù)據(jù)的安全性，例如：在系統(tǒng)建設(shè)過(guò)程中應(yīng)對(duì)數(shù)據(jù)中敏感字段進(jìn)行安全處理、同時(shí)整個(gè)系統(tǒng)還應(yīng)采用網(wǎng)絡(luò)隔離、用戶身份認(rèn)證及訪問(wèn)控制、數(shù)據(jù)庫(kù)安全、操作系統(tǒng)安全以及完善的安全審計(jì)機(jī)制。? 自動(dòng)化原則：EDW 項(xiàng)目建設(shè)的核心任務(wù)之一是數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載（ETL） ，在這個(gè)過(guò)程中應(yīng)采用自動(dòng)化的設(shè)計(jì)原則，避免手工操作。如：系統(tǒng)容量可以隨著 ETL 系統(tǒng)數(shù)據(jù)量的擴(kuò)展以及應(yīng)用系統(tǒng)的不斷擴(kuò)展、用戶量不斷擴(kuò)展而進(jìn)行平滑的擴(kuò)展。 執(zhí)行架構(gòu)設(shè)計(jì)原則在 EDW 項(xiàng)目實(shí)施的過(guò)程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原則：? 開(kāi)放性原則：EDW 項(xiàng)目的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開(kāi)放標(biāo)準(zhǔn)，對(duì)系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等應(yīng)進(jìn)行統(tǒng)一規(guī)劃，EDW 系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包及其部署的各種硬件平臺(tái)。 執(zhí)行架構(gòu)概述執(zhí)行架構(gòu)是 EDW 的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)存儲(chǔ)區(qū) EDW、業(yè)務(wù)應(yīng)用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)安全性以及EDW 基礎(chǔ)設(shè)施平臺(tái)（包括：服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）等功能組件。 EDW 執(zhí)行架構(gòu)執(zhí)行架構(gòu)的主要內(nèi)容是描述 EDW 項(xiàng)目執(zhí)行架構(gòu)的建設(shè)要求及指導(dǎo)原則，用于規(guī)范本項(xiàng)目最終生產(chǎn)環(huán)境的建設(shè)。? 利用企業(yè)信息集成和 Web 數(shù)據(jù)服務(wù)，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。? 多級(jí)／自動(dòng)的增量 ETL 加載機(jī)制，有效提高 ETL 并發(fā)度、加載效率，降低錯(cuò)誤處理的復(fù)雜性。 總體架構(gòu)的設(shè)計(jì)特點(diǎn)? 權(quán)衡功能、性能、可擴(kuò)展性、易用性、可管理性和性價(jià)比。下圖是 EDW 項(xiàng)目總體架構(gòu)的框架： 總體架構(gòu)的設(shè)計(jì)原則? 總體架構(gòu)在著重考慮實(shí)施要求的同時(shí)，需要為后續(xù)階段進(jìn)行規(guī)劃，以保證項(xiàng)目最終能夠達(dá)到目標(biāo)架構(gòu)的設(shè)計(jì)；? 總體架構(gòu)的設(shè)計(jì)要基于包括 XX 銀行數(shù)據(jù)現(xiàn)狀分析、實(shí)施階段數(shù)據(jù)源情況分析、第一階段實(shí)施 EDW 設(shè)計(jì)建議做為參考；? 總體架構(gòu)設(shè)計(jì)架構(gòu)時(shí)充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，避免重復(fù)開(kāi)發(fā)和建設(shè)。? 數(shù)據(jù)架構(gòu)描述于 EDW 系統(tǒng)相關(guān)的數(shù)據(jù)流動(dòng)策略，即數(shù)據(jù)在 EDW 系統(tǒng)的執(zhí)行架構(gòu)下的抽取、轉(zhuǎn)換、儲(chǔ)存策略以及應(yīng)采用的流程，包括數(shù)據(jù)層銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 ５次和總分行之間的數(shù)據(jù)分部情況等。運(yùn)維架構(gòu)通過(guò)相應(yīng)的流程和工具實(shí)現(xiàn)對(duì)邏輯架構(gòu)、功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以及應(yīng)用架構(gòu)的運(yùn)維和管理。? 功能組件架構(gòu)描述確定系統(tǒng)各個(gè)大的組件組件區(qū)域的功能模塊框架，以及提供的某種服務(wù)類型。? 邏輯架構(gòu)描述 EDW 各個(gè)模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工具使用和采用具體的技術(shù)實(shí)現(xiàn)手段或方式情況，用于規(guī)范本項(xiàng)目最終生產(chǎn)環(huán)境的建立。在基礎(chǔ)技術(shù)架構(gòu)中，包括執(zhí)行架構(gòu)、邏輯架構(gòu)、功能組件架構(gòu)和運(yùn)維架構(gòu)四個(gè)部分。銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 １XX 銀行EDW/數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目方案銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 ２目 錄第一章 系統(tǒng)總體架構(gòu) ..............................................................................３ 總體架構(gòu)設(shè)計(jì)概述 .........................................................................３ 總體架構(gòu)的設(shè)計(jì)框架 ...............................................................３ 總體架構(gòu)的設(shè)計(jì)原則 ...............................................................４ 總體架構(gòu)的設(shè)計(jì)特點(diǎn) ...............................................................４ EDW 執(zhí)行架構(gòu) .................................................................................５ 執(zhí)行架構(gòu)概述 .........................................................................５ 執(zhí)行架構(gòu)設(shè)計(jì)原則 ..................................................................５ 執(zhí)行架構(gòu)框架 .........................................................................６ EDW 邏輯架構(gòu) ..............................................................................１３ 邏輯架構(gòu)框架 ......................................................................１３ 數(shù)據(jù)處理流程 ......................................................................１９ EDW 運(yùn)維架構(gòu) ..............................................................................２０ 運(yùn)維架構(gòu)概述 ......................................................................２０ 運(yùn)維架構(gòu)的邏輯框架 ...........................................................２１ EDW 數(shù)據(jù)架構(gòu) ..............................................................................２６ 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則 ...............................................................２６ 數(shù)據(jù)架構(gòu)分層設(shè)計(jì) ...............................................................２８ EDW 應(yīng)用架構(gòu) ..............................................................................３０ 應(yīng)用架構(gòu)設(shè)計(jì)原則 ...............................................................３０ 數(shù)據(jù)服務(wù) .............................................................................３１ 應(yīng)用服務(wù) .............................................................................３２銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 ３第二章 ETL 體系建設(shè) ...........................................................................３３ ETL 架構(gòu)概述 ..............................................................................３３ ETL 設(shè)計(jì)方案 ..............................................................................３５ ETL 關(guān)鍵設(shè)計(jì)環(huán)節(jié) .......................................................................３５ 接口層設(shè)計(jì)策略 ..................................................................３５ Staging Area 設(shè)計(jì)策略 .......................................................３５ 數(shù)據(jù)加載策略 ......................................................................３６ 增量 ETL 設(shè)計(jì)策略 ...............................................................３６ 異常處理 .............................................................................３８ 作業(yè)調(diào)度和監(jiān)控 ..................................................................３９ 元數(shù)據(jù)管理 .........................................................................３９ ETL 模塊設(shè)計(jì) .......................................................................３９ ETL 流程設(shè)計(jì) .......................................................................４２ 動(dòng)態(tài)資源分配 ....................................................................４４ 數(shù)據(jù)接口設(shè)計(jì) ....................................................................４５銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 ４第一章 系統(tǒng)總體架構(gòu) 總體架構(gòu)設(shè)計(jì)概述 總體架構(gòu)的設(shè)計(jì)框架XX 銀行 EDW 項(xiàng)目的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個(gè)核心部分。這三個(gè)部分共同組成了 XX 銀行 EDW 系統(tǒng)。? 執(zhí)行架構(gòu)描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關(guān)系；是確定生產(chǎn)環(huán)境的建設(shè)要求及指導(dǎo)原則。邏輯架構(gòu)是建立應(yīng)用架構(gòu)、執(zhí)行架構(gòu)、運(yùn)維架構(gòu)的基礎(chǔ)，也是建立執(zhí)行架構(gòu)、應(yīng)用架構(gòu)以及運(yùn)維架構(gòu)的原型系統(tǒng)。? 運(yùn)維架構(gòu)是描述 EDW 項(xiàng)目的運(yùn)維架構(gòu)標(biāo)準(zhǔn)，包括運(yùn)維架構(gòu)設(shè)計(jì)的內(nèi)容、設(shè)計(jì)原則、各構(gòu)成組件的設(shè)計(jì)考慮因素、約束、要求等。而數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)的主要描述：? 應(yīng)用架構(gòu)是 EDW 為滿足業(yè)務(wù)需求所提供的系統(tǒng)應(yīng)用功能及其藍(lán)圖設(shè)計(jì)，其中業(yè)務(wù)需求是應(yīng)用架構(gòu)設(shè)計(jì)的基礎(chǔ)，最終的應(yīng)用架構(gòu)將以應(yīng)用系統(tǒng)的形式體現(xiàn)在執(zhí)行架構(gòu)中，主要包括：應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)。數(shù)據(jù)架構(gòu)是建立執(zhí)行架構(gòu)標(biāo)準(zhǔn)的需求定義。? 總體架構(gòu)設(shè)計(jì)過(guò)程中應(yīng)遵守 XX 銀行的 IT 管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移交給 XX 銀行的運(yùn)行維護(hù)部門(mén)。銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 ６? 根據(jù) XX 銀行的數(shù)據(jù)情況和分析需求，采用多層次的企業(yè) EDW 系統(tǒng)架構(gòu)來(lái)保證在存在復(fù)雜的數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進(jìn)行業(yè)務(wù)分析和查詢?cè)跇I(yè)務(wù)支持能力和性能等方面的要求。? 通過(guò)用戶入口支持用戶采用 Web 瀏覽器使用查詢和分析工具，統(tǒng)一的信息服務(wù)界面，提高系統(tǒng)易用性，減少技術(shù)支持工作量。統(tǒng)一的數(shù)據(jù)增強(qiáng)平臺(tái)也減少數(shù)據(jù)增強(qiáng)的復(fù)雜度。EDW 項(xiàng)目的生產(chǎn)環(huán)境的建立需要參考并遵循執(zhí)行架構(gòu)部分提出的要求。從技術(shù)層面上來(lái)說(shuō)，EDW 系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實(shí)現(xiàn)多種技術(shù)平臺(tái)及應(yīng)用之間的無(wú)縫集成。? 靈活性與可擴(kuò)展性：EDW 系統(tǒng)的基礎(chǔ)設(shè)施平臺(tái)應(yīng)能夠根據(jù)未來(lái)系統(tǒng)的發(fā)展需要以及應(yīng)用需求，方便的擴(kuò)展設(shè)備容量和提升設(shè)備性能；具備支銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案文件 ７持多種組件模塊、多種物理接口的能力；具備技術(shù)升級(jí)、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴(kuò)展與重構(gòu)的靈活性。? 高性能原則：系統(tǒng)應(yīng)達(dá)到數(shù)據(jù)處理時(shí)間窗口的要求，用戶定義的查詢效率、響應(yīng)時(shí)間的要求，滿足業(yè)務(wù)系統(tǒng)的要求；對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)影響小。同時(shí)對(duì)于元數(shù)據(jù)管理過(guò)程應(yīng)采用元數(shù)據(jù)管理平臺(tái)來(lái)實(shí)現(xiàn)對(duì)元數(shù)據(jù)集中、自動(dòng)化的管理。 執(zhí)行架構(gòu)框架業(yè) 務(wù) 數(shù) 據(jù) 源E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載數(shù) 據(jù) 準(zhǔn) 備 區(qū) 操 作 型 存 儲(chǔ) 業(yè) 務(wù) 應(yīng) 用E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載元 數(shù) 據(jù) 管 理系 統(tǒng) 安 全基 礎(chǔ) 設(shè) 施 平 臺(tái) （ 服 務(wù) 器 、 網(wǎng) 絡(luò) 、 存 儲(chǔ) ）數(shù) 據(jù)落 地 區(qū)數(shù) 據(jù) 落 地 區(qū)渠 道 系 統(tǒng)核 心 系 統(tǒng)其 他 系 統(tǒng)分 析 環(huán) 境報(bào) 表 環(huán) 境應(yīng) 用 環(huán) 境操 作 型 數(shù) 據(jù) /標(biāo) 準(zhǔn) 化 數(shù) 據(jù)用 戶 環(huán) 境E T L數(shù) 據(jù)抽 取