【正文】 不會隨著指標的增加而變更數(shù)據(jù)模型。 EDW 數(shù)據(jù)架構(gòu) 數(shù)據(jù)架構(gòu)設(shè)計原則? 統(tǒng)一規(guī)范對各源系統(tǒng)數(shù)據(jù)按主題進行統(tǒng)一整合；分行特色也按統(tǒng)一規(guī)范進行補充建設(shè)。例如，在運維架構(gòu)中可能需要使用安全控制工具對系統(tǒng)管理工具的訪問進行管理，在開發(fā)架構(gòu)中則可能使用安全控制工具對代碼存儲的訪問進行管理。性能容量規(guī)劃包括如下組件：? 信息收集：收集性能容量相關(guān)的重要分析數(shù)據(jù)；? 性能管理：對系統(tǒng)系統(tǒng)性能進行監(jiān)控、管理、分析和調(diào)優(yōu)；? 性能容量規(guī)劃：基于歷史趨勢和未來性能容量需求進行規(guī)劃；性能容量規(guī)劃的主要任務(wù)及工具支持如下圖所示： 運維安全管理安全管理組件通過制定和管理安全策略，并利用安全工具，維護信息系統(tǒng)資產(chǎn)（包括硬件、軟件、固件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機密性、一致性和可用性。２６ / 47 性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求的工具。當發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。備份恢復管理的主要任務(wù)及工具支持如下圖所示：２５ / 47 故障切換管理故障切換管理組件提供了管理和控制應(yīng)用切換的機制，提供系統(tǒng)的高可用性。? 最低程度地降低數(shù)據(jù)丟失。變更控制組件可以協(xié)助運維團隊、開發(fā)團隊和業(yè)務(wù)部門之間的溝通，保障系統(tǒng)的變更平滑進行。２４ / 47? 變更管理允許對技術(shù)架構(gòu)組件進行變更的控制管理。系統(tǒng)維護管理包括兩方面的管理內(nèi)容：系統(tǒng)維護和變更管理。? 安全管理：運維架構(gòu)中涉及的安全管理內(nèi)容主要包括身份管理、系統(tǒng)級密鑰和證書管理、安全策略管理。應(yīng)用本身包括了衡量內(nèi)部應(yīng)用響應(yīng)時間和性能的工具，應(yīng)搜集這些工具產(chǎn)生的信息（如日志、運行報告等）用于監(jiān)控。應(yīng)監(jiān)控所有的關(guān)鍵數(shù)據(jù)庫/數(shù)據(jù)倉庫性能比例，以保證高可用性和性能。 運維架構(gòu)的邏輯框架 系統(tǒng)監(jiān)控管理在 EDW 系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：? 網(wǎng)絡(luò)/主機管理：用于監(jiān)控、控制和報告網(wǎng)絡(luò)及主機狀態(tài)。日常操作流程是指 IT 用戶在日常為維護生產(chǎn)環(huán)境正常運轉(zhuǎn)需要做的工作，如：數(shù)據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復、容量規(guī)劃。? 運維環(huán)境管理組件：運維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護，不受故障和災(zāi)難的侵害，以及不受人為因素的干擾和破壞。? 性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。這個組件根據(jù)備份策略，通過對數(shù)據(jù)的冗余存儲來保證系統(tǒng)可以從各種服務(wù)中斷中恢復。? 系統(tǒng)維護管理組件：系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常服務(wù)而進行的配置、參數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護等。各個組件的主要功能如下：? 系統(tǒng)監(jiān)控管理組件：監(jiān)控網(wǎng)絡(luò)/系統(tǒng)性能、運行，以及診斷和報告故障。運維架構(gòu)主要是針對執(zhí)行架構(gòu)的數(shù)據(jù)導入層、數(shù)據(jù)服務(wù)層、中間服務(wù)層和訪問控制層服務(wù)器進行管理，面向的最終用戶是 IT 人員。整個過程通過調(diào)度工具進行統(tǒng)一調(diào)度,集中管理,確保各項任務(wù)有序完成。根據(jù)目標系統(tǒng)的不同,采用靈活的方式向外提供數(shù)據(jù),可使用 ETL 工具直接向目標系統(tǒng)加載或者通過 FTP 方式向其他目標傳輸。ETL Server 可通過 ds job,FTP,NFS 等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結(jié)果放在數(shù)據(jù)準備區(qū)域。 數(shù)據(jù)處理流程各業(yè)務(wù)數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL 工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導出)將數(shù)據(jù)獲取過來,由數(shù)據(jù)落地區(qū)區(qū)進行集中管理。在本期 EDW 系統(tǒng)的建設(shè)中，包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩類，其數(shù)據(jù)源涵蓋了 EDW 系統(tǒng)的各個環(huán)節(jié)，包括：數(shù)據(jù)源系統(tǒng)、EDW 數(shù)據(jù)庫、EDW 邏輯數(shù)據(jù)模型、ETL 系統(tǒng)、業(yè)務(wù)應(yīng)用系統(tǒng)等，同時，還將涉及數(shù)據(jù)的業(yè)務(wù)含義和業(yè)務(wù)規(guī)則等相關(guān)業(yè)務(wù)文檔。IT 人員可能已經(jīng)擁有許多有效的工具進行數(shù)據(jù)存取。清楚地區(qū)分數(shù)據(jù)庫中的數(shù)據(jù)和元數(shù)據(jù)是很重要的，所謂元數(shù)據(jù)，是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得可以正確地使用數(shù)據(jù)倉庫。所以就應(yīng)用級的安全策略更多的是保證對數(shù)據(jù)訪問的合法性。? 數(shù)據(jù)安全提供各種基于數(shù)據(jù)庫的安全保護機制。 安全管理體系安全管理體系主要包括以下四個方面：? 網(wǎng)絡(luò)安全主要包括在不同網(wǎng)絡(luò)層次設(shè)置不同級別的防火墻及 IDS 系統(tǒng)，同時在每一個安全層次下通過部署不同的安全原則，這完全符合 XX 銀行的安全級別規(guī)定。這類用戶只會使用 B/S 客戶端訪問 EDW 系統(tǒng)。EDW 系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源，建立最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實現(xiàn)決策人員對信息的自由訪問。這類用戶會使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統(tǒng)。除能夠執(zhí)行一般業(yè)務(wù)分析人員進行的操作外，可以對指定的主題、指標進行自定義的靈活分析和比較。這類用戶會使用 B/S 和 C/S 兩種客戶端訪問 EDW 系統(tǒng)。? 業(yè)務(wù)分析人員主要指總行各業(yè)務(wù)部門、各分行的業(yè)務(wù)用戶，如：客戶經(jīng)理。所有用戶統(tǒng)一通過用戶門戶訪問 EDW 系統(tǒng)各類應(yīng)用，從而實現(xiàn)了 EDW 系統(tǒng)的應(yīng)用界面、安全管理統(tǒng)一，同時用戶可以對門戶進行個性化定制以方便自己使用。 用戶層由上面的邏輯架構(gòu)圖可知用戶層包括各種最終用戶。 訪問控制層【功能與作用】訪問控制層主要包括 WEB、認證、安全、門戶四方面的服務(wù)?！窘M成部分】通用展現(xiàn)平臺主要包括的功能模塊有：１８ / 47第一個層次是核心模塊包括：框架、引擎，核心模塊作為報表集成開發(fā)環(huán)境的基礎(chǔ)、核心和框架存在。 應(yīng)用服務(wù)層【功能與作用】通過對數(shù)據(jù)平臺層中的數(shù)據(jù)進行適當?shù)奶釤?、匯總，利用通用展現(xiàn)平臺向用戶提供包括報表服務(wù)、查詢服務(wù)、決策儀表盤等相關(guān)服務(wù)。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴展性和高性能。詳細內(nèi)容參見“EDW 數(shù)據(jù)架構(gòu)” 數(shù)據(jù)集市層【功能與作用】數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的。? 可以啟動其它的 ETL 引擎的任務(wù)。? 支持多種執(zhí)行任務(wù)。作為專門為數(shù)據(jù)倉庫系統(tǒng)設(shè)計的流程調(diào)度管理具有如下特點：? 任務(wù)執(zhí)行代理可分布在多臺服務(wù)器上。? 日志管理引擎記錄 ETL 調(diào)度管理各個服務(wù)器組件以及每個任務(wù)的執(zhí)行日志，日志按天保存，可以定期清理。? 任務(wù)執(zhí)行代理調(diào)用任務(wù)包含的每個單元執(zhí)行的服務(wù)，同一服務(wù)器上可以有多個任務(wù)執(zhí)行代理同時運行。? 偵測器駐留在后臺的服務(wù)，基于定義的觸發(fā)規(guī)則和調(diào)度計劃監(jiān)測是否觸發(fā)任務(wù)的執(zhí)行。ETL 調(diào)度管里最基本的可執(zhí)行元素是單元，每個單元是完成某一特定功能的程序，相關(guān)單元組合在一起構(gòu)成了可以調(diào)度的最小組件——任務(wù)。? 總行 EDW 可以為分行 EDW 提供數(shù)據(jù)服務(wù)。? 在數(shù)據(jù)存儲區(qū)中進行基礎(chǔ)數(shù)據(jù)層、加工匯總層和應(yīng)用集市層的數(shù)據(jù)加載。 ETL 流程調(diào)度層【功能與作用】該層為 EDW 數(shù)據(jù)流向的主要環(huán)節(jié)，EDW 系統(tǒng)數(shù)據(jù)流動的流程調(diào)度核心層，流程調(diào)度主要針對下面幾個方面：? EDW 系統(tǒng)將數(shù)據(jù)源的數(shù)據(jù)抽取到數(shù)據(jù)落地區(qū)? EDW 系統(tǒng)對數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、排序去重、通用數(shù)據(jù)清洗、業(yè)務(wù)轉(zhuǎn)換后等操作，最終完成數(shù)據(jù)準備區(qū)加載。 源數(shù)據(jù)層【功能與作用】總行的各個業(yè)務(wù)系統(tǒng)為整個 EDW 系統(tǒng)提供原始數(shù)據(jù)支持，首先作為 ETL 層的數(shù)據(jù)抽取源。架構(gòu)的核心上包括源數(shù)據(jù)層、ETL 流程調(diào)度、數(shù)據(jù)平臺層、數(shù)據(jù)集市層、應(yīng)用服務(wù)層、訪問控制層、用戶層和數(shù)據(jù)消費傳輸通道七個大部分，另外，元數(shù)據(jù)管理和安全管理也是系統(tǒng)必不可少的部分，這 2 部分會涉及到所有核心層次。管理層面包括：? 安全資源：實現(xiàn)各種安全使用的資源，如：防火墻，入侵檢測和處理設(shè)備，反病毒軟件等；? 安全策略和規(guī)劃：各種安全規(guī)則，組織和責任人；? 突發(fā)事件處理：在發(fā)生安全威脅時的應(yīng)急處理流程，包括：事件記錄、時間報告制度等流程；? 安全審計：對安全策略的審核和檢查；? 災(zāi)難恢復計劃：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復；１４ / 47 EDW 邏輯架構(gòu) 邏輯架構(gòu)框架倉 庫 存 儲 區(qū)固定報表靈活查詢數(shù) 據(jù) 訪 問B / S管理決策人員高級分析人員業(yè)務(wù)分析人員多維分析KPIW e b 服 務(wù) 器用 戶 層訪 問 控 制 層系統(tǒng)管理財 務(wù) 系 統(tǒng)數(shù)據(jù)落地區(qū)ETL開發(fā)E T Lloade x p o r t集 市 應(yīng) 用Export國 結(jié) 系 統(tǒng)其 他 系 統(tǒng)渠 道 系 統(tǒng)人 力 系 統(tǒng)系統(tǒng)管理維護人員數(shù) 據(jù) 平 臺 層匯 總 模 型 層F i l eETL開發(fā)多 維 模 型 層操作型功能一線業(yè)務(wù)使用人員E T LJ D B CE D W靈 活 查 詢 / K P I駕 駛 艙 系 統(tǒng)個 貸 系 統(tǒng)核 心 系 統(tǒng)對 公 信 貸手 工 數(shù) 據(jù)P a g e B e a nSessionBeanApp。目前物理設(shè)備的安全性由運行中心負責。整個系統(tǒng)的網(wǎng)絡(luò)環(huán)境應(yīng)得到實時監(jiān)控，對入侵進行檢測和處理，并在發(fā)生入侵時通知系統(tǒng)管理員。網(wǎng)絡(luò)層網(wǎng)絡(luò)層安全是保證網(wǎng)絡(luò)節(jié)點之間數(shù)據(jù)傳遞的安全性，以及網(wǎng)絡(luò)環(huán)境不受惡意攻擊。系統(tǒng)層系統(tǒng)應(yīng)防止未授權(quán)訪問和系統(tǒng)調(diào)用，及時進行系統(tǒng)安全補丁的更新。對于未來的數(shù)據(jù)倉庫系統(tǒng)來說，應(yīng)與統(tǒng)一門戶平臺整合，實現(xiàn)整體安全性管理的策略；１３ / 47數(shù)據(jù)庫層只有被授權(quán)用戶才能訪問和修改數(shù)據(jù)庫中的信息并且數(shù)據(jù)在傳輸過程中應(yīng)對敏感信息進行加密處理來保證數(shù)據(jù)的安全。? 一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進行修改。數(shù)據(jù)倉庫系統(tǒng)的安全性應(yīng)涵蓋如下四個方面：? 驗證：系統(tǒng)應(yīng)對用戶進行訪問控制，保證只有合法的用戶才能進入到系統(tǒng)中；? 授權(quán)：系統(tǒng)應(yīng)根據(jù)用戶角色對其進行授權(quán)，包括對數(shù)據(jù)的訪問權(quán)限，對功能的使用權(quán)限等。元數(shù)據(jù)管理的架構(gòu)如下圖所示，系統(tǒng)的最終架構(gòu)應(yīng)實現(xiàn)對元數(shù)據(jù)的集中的管理方式：１２ / 47 系統(tǒng)安全性EDW 系統(tǒng)中的數(shù)據(jù)和報表信息均為敏感信息。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)” 。 元數(shù)據(jù)管理元數(shù)據(jù)管理是對數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特性。給其他需要某個系統(tǒng)的數(shù)據(jù)提供數(shù)據(jù)交換功能。 用戶環(huán)境用戶環(huán)境是 EDW 系統(tǒng)最終向用戶提供的某種應(yīng)用服務(wù)的集合，主要有三種應(yīng)用服務(wù)的表現(xiàn)形式：通用展現(xiàn)平臺：通過此平臺將報表、KPI 展現(xiàn)、靈活查詢、分析等多個應(yīng)用集成到一個平臺中，進行統(tǒng)一的展現(xiàn)和信息的管理，包括如：報表生命周期的管理等。１１ / 47分析環(huán)境：數(shù)據(jù)分析環(huán)境為 EDW 的高端用戶提供即時的數(shù)據(jù)分析功能等。通過數(shù)據(jù)集市可以保障 EDW 的高可用性、可擴展性和高性能。數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。 業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用是 EDW 系統(tǒng)向業(yè)務(wù)用戶提供應(yīng)用功能支持，根據(jù)應(yīng)用服務(wù)提供的形式和所采用的應(yīng)用系統(tǒng)的不同，業(yè)務(wù)應(yīng)用主要定義在以下幾個技術(shù)環(huán)境。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以清晰的架構(gòu)組織、管理起來，并相輔相成。數(shù)據(jù)存儲區(qū)中的數(shù)據(jù)模型對標準層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進行管理，每個數(shù)據(jù)層有自己的數(shù)據(jù)管理重點。所以該存儲區(qū)在整個 EDW 系統(tǒng)起到了一個承上啟下的關(guān)鍵作用。所以該區(qū)一般分為兩個層次，第一個層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個層次為統(tǒng)一的、規(guī)范的、遵循數(shù)據(jù)倉庫系統(tǒng)標準的數(shù)據(jù)標準層。該區(qū)有著承上啟下的作用，從數(shù)據(jù)形態(tài)來看，該區(qū)的數(shù)據(jù)定義貼近業(yè)務(wù)源系統(tǒng)。數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲格式原則上是與數(shù)據(jù)源的存儲格式保持一致 數(shù)據(jù) ETL 架構(gòu)ETL 是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到 ETL服務(wù)器以及從 ETL 服務(wù)器到 EDW 的數(shù)據(jù)遷移過程以及數(shù)據(jù)從 EDW 向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方法， ETL 系統(tǒng)應(yīng)包括以下三個主要功能：? 數(shù)據(jù)抽取：從數(shù)據(jù)落地區(qū)系統(tǒng)抽取 EDW 中需要的數(shù)據(jù)；? 數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成 EDW 要求的形式，同時按照業(yè)務(wù)需求對數(shù)據(jù)進行轉(zhuǎn)換；? 數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到 EDW 的物理模型中； 數(shù)據(jù)準備區(qū)數(shù)據(jù)準備區(qū)是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導入到 EDW 的物理模型中。 數(shù)據(jù)落地區(qū)數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的數(shù)據(jù)集成環(huán)境中整合。源數(shù)據(jù)無法滿足應(yīng)用需求時，系統(tǒng)應(yīng)提供手工方式通過手工數(shù)據(jù)補入平臺將需要的數(shù)據(jù)補入到 EDW 系統(tǒng)中。? 操作型存儲區(qū)：此部分內(nèi)容描述 EDW 系統(tǒng)在建設(shè)的過程中操作型存儲區(qū)應(yīng)遵循的標準以及系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；? 數(shù)據(jù)倉庫存儲區(qū)：此部分內(nèi)容描述 EDW 系統(tǒng)的數(shù)據(jù)倉庫存儲區(qū)應(yīng)遵循的標準以及系統(tǒng)建設(shè)過程中應(yīng)滿足的需求；? 業(yè)務(wù)應(yīng)用：此部分內(nèi)容描述 BI 應(yīng)用系統(tǒng)建設(shè)的系統(tǒng)需求，包含對應(yīng)用環(huán)境、分析環(huán)境、靜態(tài)報表環(huán)境；? 用戶環(huán)境：此部分的內(nèi)容描述用戶在 EDW 系統(tǒng)中應(yīng)具備運用的能力，包括：利用通用展現(xiàn)平臺進行信息展現(xiàn)、駕駛艙應(yīng)用、報表應(yīng)用等；? 時間窗口和性能