【正文】 庫/數(shù)據(jù)倉庫性能比例，以保證高可用性和性能。 運(yùn)維架構(gòu)的邏輯框架 系統(tǒng)監(jiān)控管理在 EDW 系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：? 網(wǎng)絡(luò)/主機(jī)管理：用于監(jiān)控、控制和報(bào)告網(wǎng)絡(luò)及主機(jī)狀態(tài)。日常操作流程是指 IT 用戶在日常為維護(hù)生產(chǎn)環(huán)境正常運(yùn)轉(zhuǎn)需要做的工作，如：數(shù)據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復(fù)、容量規(guī)劃。? 運(yùn)維環(huán)境管理組件：運(yùn)維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護(hù)，不受故障和災(zāi)難的侵害，以及不受人為因素的干擾和破壞。? 性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。這個(gè)組件根據(jù)備份策略，通過對數(shù)據(jù)的冗余存儲來保證系統(tǒng)可以從各種服務(wù)中斷中恢復(fù)。? 系統(tǒng)維護(hù)管理組件：系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中，為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理，以及啟/停機(jī)、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。各個(gè)組件的主要功能如下：? 系統(tǒng)監(jiān)控管理組件：監(jiān)控網(wǎng)絡(luò)/系統(tǒng)性能、運(yùn)行，以及診斷和報(bào)告故障。運(yùn)維架構(gòu)主要是針對執(zhí)行架構(gòu)的數(shù)據(jù)導(dǎo)入層、數(shù)據(jù)服務(wù)層、中間服務(wù)層和訪問控制層服務(wù)器進(jìn)行管理，面向的最終用戶是 IT 人員。整個(gè)過程通過調(diào)度工具進(jìn)行統(tǒng)一調(diào)度,集中管理,確保各項(xiàng)任務(wù)有序完成。根據(jù)目標(biāo)系統(tǒng)的不同,采用靈活的方式向外提供數(shù)據(jù),可使用 ETL 工具直接向目標(biāo)系統(tǒng)加載或者通過 FTP 方式向其他目標(biāo)傳輸。ETL Server 可通過 ds job,FTP,NFS 等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結(jié)果放在數(shù)據(jù)準(zhǔn)備區(qū)域。 數(shù)據(jù)處理流程各業(yè)務(wù)數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL 工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導(dǎo)出)將數(shù)據(jù)獲取過來,由數(shù)據(jù)落地區(qū)區(qū)進(jìn)行集中管理。在本期 EDW 系統(tǒng)的建設(shè)中，包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩類，其數(shù)據(jù)源涵蓋了 EDW 系統(tǒng)的各個(gè)環(huán)節(jié)，包括：數(shù)據(jù)源系統(tǒng)、EDW 數(shù)據(jù)庫、EDW 邏輯數(shù)據(jù)模型、ETL 系統(tǒng)、業(yè)務(wù)應(yīng)用系統(tǒng)等，同時(shí)，還將涉及數(shù)據(jù)的業(yè)務(wù)含義和業(yè)務(wù)規(guī)則等相關(guān)業(yè)務(wù)文檔。IT 人員可能已經(jīng)擁有許多有效的工具進(jìn)行數(shù)據(jù)存取。清楚地區(qū)分?jǐn)?shù)據(jù)庫中的數(shù)據(jù)和元數(shù)據(jù)是很重要的，所謂元數(shù)據(jù)，是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得可以正確地使用數(shù)據(jù)倉庫。所以就應(yīng)用級的安全策略更多的是保證對數(shù)據(jù)訪問的合法性。? 數(shù)據(jù)安全提供各種基于數(shù)據(jù)庫的安全保護(hù)機(jī)制。 安全管理體系安全管理體系主要包括以下四個(gè)方面：? 網(wǎng)絡(luò)安全主要包括在不同網(wǎng)絡(luò)層次設(shè)置不同級別的防火墻及 IDS 系統(tǒng)，同時(shí)在每一個(gè)安全層次下通過部署不同的安全原則，這完全符合 XX 銀行的安全級別規(guī)定。這類用戶只會使用 B/S 客戶端訪問 EDW 系統(tǒng)。EDW 系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源，建立最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實(shí)現(xiàn)決策人員對信息的自由訪問。這類用戶會使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統(tǒng)。除能夠執(zhí)行一般業(yè)務(wù)分析人員進(jìn)行的操作外，可以對指定的主題、指標(biāo)進(jìn)行自定義的靈活分析和比較。這類用戶會使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統(tǒng)。銀行數(shù)據(jù)倉庫建設(shè)方案文件 １９? 業(yè)務(wù)分析人員主要指總行各業(yè)務(wù)部門、各分行的業(yè)務(wù)用戶，如：客戶經(jīng)理。所有用戶統(tǒng)一通過用戶門戶訪問 EDW 系統(tǒng)各類應(yīng)用，從而實(shí)現(xiàn)了 EDW 系統(tǒng)的應(yīng)用界面、安全管理統(tǒng)一，同時(shí)用戶可以對門戶進(jìn)行個(gè)性化定制以方便自己使用。 用戶層由上面的邏輯架構(gòu)圖可知用戶層包括各種最終用戶。 訪問控制層【功能與作用】訪問控制層主要包括 WEB、認(rèn)證、安全、門戶四方面的服務(wù)?！窘M成部分】通用展現(xiàn)平臺主要包括的功能模塊有：第一個(gè)層次是核心模塊包括：框架、引擎，核心模塊作為報(bào)表集成開發(fā)環(huán)境的基礎(chǔ)、核心和框架存在。 應(yīng)用服務(wù)層【功能與作用】通過對數(shù)據(jù)平臺層中的數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶釤?、匯總，利用通用展現(xiàn)平臺向銀行數(shù)據(jù)倉庫建設(shè)方案文件 １８用戶提供包括報(bào)表服務(wù)、查詢服務(wù)、決策儀表盤等相關(guān)服務(wù)。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴(kuò)展性和高性能。詳細(xì)內(nèi)容參見“EDW 數(shù)據(jù)架構(gòu)” 數(shù)據(jù)集市層【功能與作用】數(shù)據(jù)集市是一組特定的、針對某個(gè)主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的。? 可以啟動其它的 ETL 引擎的任務(wù)。? 支持多種執(zhí)行任務(wù)。作為專門為數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)的流程調(diào)度管理具有如下特點(diǎn)：? 任務(wù)執(zhí)行代理可分布在多臺服務(wù)器上。? 日志管理引擎記錄 ETL 調(diào)度管理各個(gè)服務(wù)器組件以及每個(gè)任務(wù)的執(zhí)行日志，日志按天保存，可以定期清理。? 任務(wù)執(zhí)行代理調(diào)用任務(wù)包含的每個(gè)單元執(zhí)行的服務(wù)，同一服務(wù)器上可以有多個(gè)任務(wù)執(zhí)行代理同時(shí)運(yùn)行。? 偵測器銀行數(shù)據(jù)倉庫建設(shè)方案文件 １６駐留在后臺的服務(wù)，基于定義的觸發(fā)規(guī)則和調(diào)度計(jì)劃監(jiān)測是否觸發(fā)任務(wù)的執(zhí)行。ETL 調(diào)度管里最基本的可執(zhí)行元素是單元，每個(gè)單元是完成某一特定功能的程序，相關(guān)單元組合在一起構(gòu)成了可以調(diào)度的最小組件——任務(wù)。? 總行 EDW 可以為分行 EDW 提供數(shù)據(jù)服務(wù)。? 在數(shù)據(jù)存儲區(qū)中進(jìn)行基礎(chǔ)數(shù)據(jù)層、加工匯總層和應(yīng)用集市層的數(shù)據(jù)加載。 ETL 流程調(diào)度層【功能與作用】該層為 EDW 數(shù)據(jù)流向的主要環(huán)節(jié)，EDW 系統(tǒng)數(shù)據(jù)流動的流程調(diào)度核心層，流程調(diào)度主要針對下面幾個(gè)方面：? EDW 系統(tǒng)將數(shù)據(jù)源的數(shù)據(jù)抽取到數(shù)據(jù)落地區(qū)? EDW 系統(tǒng)對數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、排序去重、通用數(shù)據(jù)清洗、業(yè)務(wù)轉(zhuǎn)換后等操作，最終完成數(shù)據(jù)準(zhǔn)備區(qū)加載。 源數(shù)據(jù)層【功能與作用】總行的各個(gè)業(yè)務(wù)系統(tǒng)為整個(gè) EDW 系統(tǒng)提供原始數(shù)據(jù)支持，首先作為 ETL 層銀行數(shù)據(jù)倉庫建設(shè)方案文件 １５的數(shù)據(jù)抽取源。架構(gòu)的核心上包括源數(shù)據(jù)層、ETL 流程調(diào)度、數(shù)據(jù)平臺層、數(shù)據(jù)集市層、應(yīng)用服務(wù)層、訪問控制層、用戶層和數(shù)據(jù)消費(fèi)傳輸通道七個(gè)大部分，另外，元數(shù)據(jù)管理和安全管理也是系統(tǒng)必不可少的部分，這 2 部分會涉及到所有核心層次。管理層面包括：? 安全資源：實(shí)現(xiàn)各種安全使用的資源，如：防火墻，入侵檢測和處理設(shè)備，反病毒軟件等；? 安全策略和規(guī)劃：各種安全規(guī)則，組織和責(zé)任人；? 突發(fā)事件處理：在發(fā)生安全威脅時(shí)的應(yīng)急處理流程，包括：事件記錄、時(shí)間報(bào)告制度等流程；? 安全審計(jì)：對安全策略的審核和檢查；銀行數(shù)據(jù)倉庫建設(shè)方案文件 １４? 災(zāi)難恢復(fù)計(jì)劃：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復(fù)； EDW 邏輯架構(gòu) 邏輯架構(gòu)框架倉 庫 存 儲 區(qū)固定報(bào)表靈活查詢數(shù) 據(jù) 訪 問B / S管理決策人員高級分析人員業(yè)務(wù)分析人員多維分析KPIW e b 服 務(wù) 器用 戶 層訪 問 控 制 層系統(tǒng)管理財(cái) 務(wù) 系 統(tǒng)數(shù)據(jù)落地區(qū)ETL開發(fā)E T Lloade x p o r t集 市 應(yīng) 用Export國 結(jié) 系 統(tǒng)其 他 系 統(tǒng)渠 道 系 統(tǒng)人 力 系 統(tǒng)系統(tǒng)管理維護(hù)人員數(shù) 據(jù) 平 臺 層匯 總 模 型 層F i l eETL開發(fā)多 維 模 型 層操作型功能一線業(yè)務(wù)使用人員E T LJ D B CE D W靈 活 查 詢 / K P I駕 駛 艙 系 統(tǒng)個(gè) 貸 系 統(tǒng)核 心 系 統(tǒng)對 公 信 貸手 工 數(shù) 據(jù)P a g e B e a nSessionBeanApp。目前物理設(shè)備的安全性由運(yùn)行中心負(fù)責(zé)。整個(gè)系統(tǒng)的網(wǎng)絡(luò)環(huán)境應(yīng)得到實(shí)時(shí)監(jiān)控，對入侵進(jìn)行檢測和處理，并在發(fā)生入侵時(shí)通知系統(tǒng)管理員。網(wǎng)絡(luò)層網(wǎng)絡(luò)層安全是保證網(wǎng)絡(luò)節(jié)點(diǎn)之間數(shù)據(jù)傳遞的安全性，以及網(wǎng)絡(luò)環(huán)境不受惡意攻擊。系統(tǒng)層系統(tǒng)應(yīng)防止未授權(quán)訪問和系統(tǒng)調(diào)用，及時(shí)進(jìn)行系統(tǒng)安全補(bǔ)丁的更新。對于未來的數(shù)據(jù)倉庫系統(tǒng)來說，應(yīng)與統(tǒng)一門戶平臺整合，實(shí)現(xiàn)整體安全銀行數(shù)據(jù)倉庫建設(shè)方案文件 １３性管理的策略；數(shù)據(jù)庫層只有被授權(quán)用戶才能訪問和修改數(shù)據(jù)庫中的信息并且數(shù)據(jù)在傳輸過程中應(yīng)對敏感信息進(jìn)行加密處理來保證數(shù)據(jù)的安全。? 一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進(jìn)行修改。數(shù)據(jù)倉庫系統(tǒng)的安全性應(yīng)涵蓋如下四個(gè)方面：? 驗(yàn)證：系統(tǒng)應(yīng)對用戶進(jìn)行訪問控制，保證只有合法的用戶才能進(jìn)入到系統(tǒng)中；? 授權(quán)：系統(tǒng)應(yīng)根據(jù)用戶角色對其進(jìn)行授權(quán)，包括對數(shù)據(jù)的訪問權(quán)限，對功能的使用權(quán)限等。元數(shù)據(jù)管理的架構(gòu)如下圖所示，系統(tǒng)的最終架構(gòu)應(yīng)實(shí)現(xiàn)對元數(shù)據(jù)的集中的管理方式：銀行數(shù)據(jù)倉庫建設(shè)方案文件 １２ 系統(tǒng)安全性EDW 系統(tǒng)中的數(shù)據(jù)和報(bào)表信息均為敏感信息。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)” 。 元數(shù)據(jù)管理元數(shù)據(jù)管理是對數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特性。給其他需要某個(gè)系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。 用戶環(huán)境用戶環(huán)境是 EDW 系統(tǒng)最終向用戶提供的某種應(yīng)用服務(wù)的集合，主要有三種應(yīng)用服務(wù)的表現(xiàn)形式：通用展現(xiàn)平臺：通過此平臺將報(bào)表、KPI 展現(xiàn)、靈活查詢、分析等多個(gè)應(yīng)用集成到一個(gè)平臺中，進(jìn)行統(tǒng)一的展現(xiàn)和信息的管理，包括如：報(bào)表生命周期的管理等。分析環(huán)境：數(shù)據(jù)分析環(huán)境為 EDW 的高端用戶提供即時(shí)的數(shù)據(jù)分析功能等。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴(kuò)展性和高性能。數(shù)據(jù)集市是一組特定的、針對某個(gè)主題域、部門或用戶分類的數(shù)據(jù)集合。 業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用是 EDW 系統(tǒng)向業(yè)務(wù)用戶提供應(yīng)用功能支持，根據(jù)應(yīng)用服務(wù)提供的形式和所采用的應(yīng)用系統(tǒng)的不同，業(yè)務(wù)應(yīng)用主要定義在以下幾個(gè)技術(shù)環(huán)境。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以清晰的架構(gòu)組織、管理起來，并相輔相成。數(shù)據(jù)存儲區(qū)中的數(shù)據(jù)模型對標(biāo)準(zhǔn)層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進(jìn)行管理，每個(gè)數(shù)據(jù)層有自己的數(shù)據(jù)管理重點(diǎn)。所以該存儲區(qū)在整個(gè) EDW 系統(tǒng)起到了一個(gè)承上啟下的關(guān)鍵作用。所以該區(qū)一般分為兩個(gè)層次，第一個(gè)層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個(gè)層次為統(tǒng)一的、規(guī)范的、遵循數(shù)據(jù)倉庫系統(tǒng)標(biāo)準(zhǔn)的數(shù)據(jù)標(biāo)準(zhǔn)層。該區(qū)有著承上啟下的作用，從數(shù)據(jù)形態(tài)來看，該區(qū)的數(shù)據(jù)定義貼近業(yè)務(wù)源系統(tǒng)。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲格式原則上是與數(shù)據(jù)源的存儲格式保持一致 數(shù)據(jù) ETL 架構(gòu)ETL 是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到 ETL服務(wù)器以及從 ETL 服務(wù)器到 EDW 的數(shù)據(jù)遷移過程以及數(shù)據(jù)從 EDW 向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方法， ETL 系統(tǒng)應(yīng)包括以下三個(gè)主要功能：? 數(shù)據(jù)抽?。簭臄?shù)據(jù)落地區(qū)系統(tǒng)抽取 EDW 中需要的數(shù)據(jù)；? 數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成 EDW 要求的形式，同時(shí)按照業(yè)務(wù)需求對數(shù)據(jù)進(jìn)行轉(zhuǎn)換；? 數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到 EDW 的物理模型中；銀行數(shù)據(jù)倉庫建設(shè)方案文件 １０ 數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)存儲的臨時(shí)存儲區(qū)域，數(shù)據(jù)在其中只作暫時(shí)性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導(dǎo)入到 EDW 的物理模型中。 數(shù)據(jù)落地區(qū)數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的數(shù)據(jù)集成環(huán)境中整合。源數(shù)據(jù)無法滿足應(yīng)用需求時(shí)，系統(tǒng)應(yīng)提供手工方式通過手工數(shù)據(jù)補(bǔ)入平臺將需要的數(shù)據(jù)補(bǔ)入到 EDW 系統(tǒng)中。? 操作型存儲區(qū)：此部分內(nèi)容描述 EDW 系統(tǒng)在建設(shè)的過程中操作型存儲區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以及系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；? 數(shù)據(jù)倉庫存儲區(qū)：此部分內(nèi)容描述 EDW 系統(tǒng)的數(shù)據(jù)倉庫存儲區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以及系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；? 業(yè)務(wù)應(yīng)用：此部分內(nèi)容描述 BI 應(yīng)用系統(tǒng)建設(shè)的系統(tǒng)需求，包含對應(yīng)用環(huán)境、分析環(huán)境、靜態(tài)報(bào)表環(huán)境；? 用戶環(huán)境：此部分的內(nèi)容描述用戶在 EDW 系統(tǒng)中應(yīng)具備運(yùn)用的能力，包括：利用通用展現(xiàn)平臺進(jìn)行信息展現(xiàn)、駕駛艙應(yīng)用、報(bào)表應(yīng)用等；? 時(shí)間窗口和性能的定義：此部分描述整個(gè) EDW 項(xiàng)目中關(guān)于時(shí)間窗口的定義以及相關(guān)系統(tǒng)的性能指標(biāo)要求；? 元數(shù)據(jù)管理：此部分描述在系統(tǒng)執(zhí)行架構(gòu)中元數(shù)據(jù)管理的內(nèi)容以及元數(shù)據(jù)管理系統(tǒng)的建設(shè)的標(biāo)準(zhǔn)定義；? 系統(tǒng)安全性：此部分內(nèi)容主要描述 EDW 系統(tǒng)中的安全性管理內(nèi)容，包括應(yīng)用安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、系統(tǒng)安全等，同時(shí)描述系統(tǒng)安全在建立過程中遵循的原則；銀行數(shù)據(jù)倉庫建設(shè)方案文件 ９? 基礎(chǔ)設(shè)施平臺（服務(wù)器 、網(wǎng)絡(luò)、存儲）：此部分內(nèi)容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：服務(wù)器，網(wǎng)絡(luò)以及存儲的資源需求，容量規(guī)劃應(yīng)滿足的系統(tǒng)指標(biāo)等內(nèi)容； 數(shù)據(jù)源源數(shù)據(jù)系統(tǒng)是報(bào)表、關(guān)鍵指標(biāo)、靈活查詢、主題分析等應(yīng)用系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源。在以下的內(nèi)容中將對執(zhí)行架構(gòu)中的功能框架以及框架之間的關(guān)系進(jìn)行詳細(xì)描述，具體內(nèi)容包括：? 數(shù)據(jù)源：包括 XX 銀行的多個(gè)業(yè)務(wù)系統(tǒng)，主