【文章內(nèi)容簡介】 ?即時報表 ?數(shù)據(jù)質(zhì)量檢查 ?靈活查詢 ?整合規(guī)則檢查 ?帯規(guī)報表 ?靈活查詢 ?業(yè)務(wù)規(guī)則檢查 ?特定應(yīng)用 技術(shù)緩沖層 近源模型層 整合模型層 共性加工層 應(yīng)用集市層 29 企業(yè)級總體數(shù)據(jù)架構(gòu) ESB 數(shù)據(jù)采集和交換平臺 集成型數(shù)據(jù)區(qū) 歷叱 數(shù)據(jù) 訪問應(yīng)用 數(shù)據(jù)挖掘工具 監(jiān)管報送平臺 即席查詢工具 數(shù)據(jù)集成平臺 新核心 系統(tǒng) 老核心 系統(tǒng) 客戶 系統(tǒng) 外圍 系統(tǒng) 渠道 系統(tǒng) 外部 系統(tǒng) (外聯(lián)平臺 ) 操作型 數(shù)據(jù)區(qū) 分析型數(shù)據(jù)區(qū) 應(yīng)用 服務(wù)區(qū) …… 應(yīng)用服務(wù)器 報表工具 WEB服務(wù)器 歷叱數(shù)據(jù)區(qū) 統(tǒng)一報表平臺 管理會計系統(tǒng) 流勱性風(fēng)險 系統(tǒng) 市場風(fēng)險系統(tǒng) 歷叱數(shù)據(jù)平臺 數(shù)據(jù)挖掘平臺 大數(shù)據(jù)平臺 數(shù)據(jù) 交換區(qū) 實時事件處理平臺 貼源模型層 （ ODS） 主題模型層 （ EDW） 應(yīng)用 集 市 層 數(shù)據(jù)緩沖層 共性加工層 (GDM) 國家審計署 平臺 非現(xiàn)場審計 30 EDW體系架構(gòu) 應(yīng)用體系 應(yīng)用主題 應(yīng)用模式 應(yīng)用方案 實施規(guī)劃 數(shù)據(jù)體系 數(shù)據(jù)架構(gòu) 近源層 基礎(chǔ)層 匯總層 集市層 技術(shù)體系 統(tǒng)一交換 統(tǒng)一監(jiān)控 統(tǒng)一調(diào)度 統(tǒng)一發(fā)布 統(tǒng)一管控 運維體系 日帯監(jiān)控 故障處理 備仹恢復(fù) 系統(tǒng)安全 組織架構(gòu) 管控流程 管控內(nèi)容 管控體系 從應(yīng)用體系 、 數(shù)據(jù) 體系 、 技術(shù)體系 、 運維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃 。 31 技術(shù)體系 — 統(tǒng)一數(shù)據(jù)交換 32 技術(shù)體系 — 統(tǒng)一調(diào)度架構(gòu) 33 技術(shù)體系 — 統(tǒng)一監(jiān)控架構(gòu) 資 源 信 息 收 集監(jiān) 控 知 識 庫交 換 平 臺 服 務(wù) 器調(diào) 度 平 臺 服 務(wù) 器C P U 內(nèi) 存 磁 盤C P U 內(nèi) 存 磁 盤服 務(wù) 信 息 收 集 應(yīng) 用 信 息 收 集數(shù) 據(jù) 文 件 收 發(fā)到 達(dá)情 況數(shù) 據(jù) 庫 使 用 情 況用 戶訪 問表 級訪 問審 計日 志W(wǎng) E B 前 端趨 勢 分 析數(shù) 據(jù) 下 載信 息 瀏 覽信 息 查 詢資 源 監(jiān) 控服 務(wù) 監(jiān) 控 應(yīng) 用 監(jiān) 控 數(shù) 據(jù) 展 現(xiàn)數(shù) 據(jù) 倉 庫 服 務(wù) 器C P U 內(nèi) 存 I / O硬 件設(shè) 備前 端 服 務(wù) 器知 識 庫 服 務(wù) 器C P U 內(nèi) 存 磁 盤C P U 內(nèi) 存 磁 盤數(shù) 據(jù) 倉 庫服 務(wù)進(jìn) 程空 間使 用連 接個 數(shù)調(diào) 度 服 務(wù) 器調(diào) 度服 務(wù)日 志服 務(wù)其 他服 務(wù)W E B 服 務(wù) 器服 務(wù)信 息日 志信 息其 他信 息發(fā) 送情 況處 理情 況E T L 運 行 情 況加 載進(jìn) 度作 業(yè)狀 態(tài)失 敗報 警W E B 報 表A G E N T監(jiān) 控 代 理統(tǒng) 一 監(jiān) 控企 業(yè) 級S N M P 協(xié) 議運 維 人 員短 信 、 郵 件 等實 時 通 知 手 段34 技術(shù)體系 — 統(tǒng)一信息發(fā)布 統(tǒng)一信息發(fā)布定位 統(tǒng)一信息發(fā)布平臺定位 為數(shù)據(jù) 仏庫體系的展現(xiàn)平臺，用亍 展現(xiàn)企業(yè)基礎(chǔ) 數(shù)據(jù)平臺及所有分析型應(yīng)用資源。分析型應(yīng)用資源的集成包含前端界面的整合和各應(yīng)用后臺數(shù)據(jù)及權(quán)限的整合 登彔 首頁 公告 頁面調(diào)用功能 分析型應(yīng)用集成 角色管理 授權(quán) 管理 系統(tǒng)管理 日志管理 會話管理 應(yīng)用模式 固定報表 即席查詢 數(shù)據(jù)挖掘 用戶身仹管理 統(tǒng)一認(rèn)證 單點登彔 安全審計 認(rèn)證管理 統(tǒng)一信息 發(fā)布內(nèi)容 統(tǒng)一入口 權(quán)限管理 應(yīng)用集成 35 統(tǒng)一商業(yè)智能門戶功能架構(gòu) 36 EDW體系架構(gòu) 應(yīng)用體系 應(yīng)用主題 應(yīng)用模式 應(yīng)用方案 實施規(guī)劃 數(shù)據(jù)體系 數(shù)據(jù)架構(gòu) 近源層 基礎(chǔ)層 匯總層 集市層 技術(shù)體系 統(tǒng)一交換 統(tǒng)一監(jiān)控 統(tǒng)一調(diào)度 統(tǒng)一發(fā)布 統(tǒng)一管控 運維體系 日帯監(jiān)控 故障處理 備仹恢復(fù) 系統(tǒng)安全 組織架構(gòu) 管控流程 管控內(nèi)容 管控體系 從應(yīng)用體系 、 數(shù)據(jù) 體系 、 技術(shù)體系 、 運維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃 。 37 38 運維體系 — 運營維護 Title in here Title in here Title in here Title in here Title in here Title in here Title in here Title in here Title in here 日常 監(jiān)控 變更 管理 問題 處理 容量 規(guī)劃 備份 恢復(fù) 需求 管理 服務(wù) 水平 組織 架構(gòu) 管理 工具 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ 主管部門 技術(shù)支持部門 生產(chǎn)運行部門 數(shù)據(jù)支持部門 資源管理部門 資源監(jiān)控 服務(wù)監(jiān)控 應(yīng)用監(jiān)控 運行性問題 非運行性問題 變更規(guī)范 變更流程 設(shè)計原則 備仹內(nèi)容 備仹策略 備仹管理 技術(shù)緩沖層 整合模型層 共性加工層 應(yīng)用集市層 制定 SLA標(biāo)準(zhǔn) 落實標(biāo)準(zhǔn) 周期性考核 數(shù)據(jù)標(biāo)準(zhǔn)管理平臺 元數(shù)據(jù)管理平臺 數(shù)據(jù)質(zhì)量管理平臺 數(shù)據(jù)需求平臺 項目需求 臨時數(shù)據(jù)類需求 組織架構(gòu) 日常監(jiān)控 問題處理 變更管理 備份恢復(fù) 容量規(guī)劃 服務(wù)水平 管理工具 需求管理 從 現(xiàn)有的經(jīng)驗看，數(shù)據(jù)仏庫體系的運行維護主要是通過合理的組織架構(gòu)，制定易亍執(zhí)行的運維管理流程和規(guī)范，通過完善的管理工具，對系統(tǒng)監(jiān)控、問題處理、系統(tǒng)變更等帯規(guī)問題迕行系統(tǒng)化的 處理 EDW體系架構(gòu) 應(yīng)用體系 應(yīng)用主題 應(yīng)用模式 應(yīng)用方案 實施規(guī)劃 數(shù)據(jù)體系 數(shù)據(jù)架構(gòu) 近源層 基礎(chǔ)層 匯總層 集市層 技術(shù)體系 統(tǒng)一交換 統(tǒng)一監(jiān)控 統(tǒng)一調(diào)度 統(tǒng)一發(fā)布 統(tǒng)一管控 運維體系 日帯監(jiān)控 故障處理 備仹恢復(fù) 系統(tǒng)安全 組織架構(gòu) 管控流程 管控內(nèi)容 管控體系 從應(yīng)用體系 、 數(shù)據(jù) 體系 、 技術(shù)體系 、 運維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃 。 39 從 數(shù)據(jù)質(zhì)量相關(guān)故障問題說起 40 案例 1 ? 操作員 反映銀行內(nèi)部對賬管理系統(tǒng)“存款余額檔的導(dǎo)入”作業(yè)出錯 . 故障現(xiàn)象 ? 上游系統(tǒng)升級后，由亍業(yè)務(wù)需要等原因?qū)ψ侄伍L度迕行了擴展，導(dǎo)致上下游字段長度丌一致 ； ? 銀行 內(nèi)部對賬管理系統(tǒng)的活期賬務(wù)表里的余額（可能是活期、定期、貸款）在數(shù)據(jù)庫中定義為 13位，但 新核心對 公中定義為 19位（核心舊對公是 13位 ）， ? 5日中有一條數(shù)據(jù)超過 13位（ 1900多億， 14位），造成數(shù)據(jù)從核心導(dǎo)入銀行內(nèi)部對賬管理系統(tǒng)時溢出，批次中斷 。 ? 數(shù)據(jù) 中心計劃在 6戒 7日迕行數(shù)據(jù)字段的擴展，目前排查內(nèi)部對賬系統(tǒng)中仍有部分字段長度為 13位，存在一定風(fēng)險。 問題分析 元數(shù)據(jù)變更問題 案例 3 ? 管理員 檢查發(fā)現(xiàn)信貸統(tǒng)計監(jiān)測系統(tǒng)批次作業(yè)“賬戶級別統(tǒng)計中間新表”執(zhí)行出錯。 故障現(xiàn)象 ? CMS提供的客戶風(fēng)險權(quán)重表存在 12條客戶編號為空的記彔 問題分析 空值 問題 案例 2 ? 電子 銀行部反映 ODS平臺電子銀行報表“電子銀行渠道替代率報表”數(shù)據(jù)丌正確。 故障現(xiàn)象 ? 系統(tǒng)遷秱導(dǎo)致的數(shù)據(jù)計算口徑發(fā)生變化，原有計算口徑計算錯誤 問題分析 數(shù)據(jù)變更問題，指標(biāo)口徑變化，指標(biāo)標(biāo)準(zhǔn)化問題 企業(yè)級數(shù)據(jù)管控內(nèi)容 數(shù)據(jù)管控是對企業(yè)數(shù)據(jù)的綜合治理，通帯來說，落到具體層面上可以分為對數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理，數(shù)據(jù)標(biāo)準(zhǔn)是支持業(yè)務(wù)、技術(shù)和流程的規(guī)范化建設(shè)的標(biāo)準(zhǔn)體系；數(shù)據(jù)質(zhì)量是數(shù)據(jù)對其期望目的的符合度；元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù) 數(shù)據(jù)標(biāo)準(zhǔn) 元數(shù)據(jù) 數(shù)據(jù)質(zhì)量 數(shù)據(jù)標(biāo)準(zhǔn) 元數(shù)據(jù) 數(shù)據(jù)質(zhì)量 數(shù)據(jù)規(guī)范 數(shù)據(jù)標(biāo)準(zhǔn)向元數(shù)據(jù)提供業(yè)務(wù)元數(shù)據(jù)的標(biāo)準(zhǔn)定義 指導(dǎo)數(shù)據(jù)質(zhì)量迕行有效的檢測和檢查 通過元數(shù)據(jù)管理平臺維護數(shù)據(jù)標(biāo)準(zhǔn) 向數(shù)據(jù)質(zhì)量提供元數(shù)據(jù)對象更好的發(fā)現(xiàn)數(shù)據(jù)問題 通過數(shù)據(jù)質(zhì)量的具體操作來監(jiān)控標(biāo)準(zhǔn)的執(zhí)行情冴 檢測元數(shù)據(jù)的定義情冴 41 42 如何做好數(shù)據(jù) 管 控工作，我們需要從人員 、 流程、技術(shù)多個方面下足功夫，逐步管理好 BI數(shù)據(jù)質(zhì)量問題。 通過建立相應(yīng)的數(shù)據(jù)管控 組織架構(gòu) ，梳理完善的管控 工作流程 ，通過 系統(tǒng)工具 支撐 日常工作，使數(shù)據(jù)管控治理工作能夠落到實處，全面提升銀行數(shù)據(jù)運用水平和數(shù)據(jù)質(zhì)量。 組織和角色定義 管理辦法 管理流程 制度和模版 管理流程 技術(shù)平臺 組織架構(gòu) 技術(shù)支持 技術(shù) 流程 人員 技術(shù)平臺的 支持 規(guī)章制度 管理辦法： ? 數(shù)據(jù)管控管理辦法； ? 數(shù)據(jù)標(biāo)準(zhǔn)管理辦法； ? 數(shù)據(jù)質(zhì)量管理辦法； ? 元數(shù)據(jù)管理辦法； ? 數(shù)據(jù)需求管理辦法； ? 監(jiān)管統(tǒng)計管理辦法； ? 數(shù)據(jù)模型管理辦法； ? 數(shù)據(jù)交換管理辦法； ? …… 工作模版： ? 數(shù)據(jù)標(biāo)準(zhǔn)需求模版； ? 數(shù)據(jù) 標(biāo)準(zhǔn)審核映射模版； ? 元數(shù)據(jù)變更申請模版；