數(shù)據(jù)倉庫體系培訓課件(存儲版)
【正文】 臺數(shù)據(jù)及權限的整合 19 登錄 首頁 公告 頁面調用功能 分析型應用集成 角色管理 授權 管理 系統(tǒng)管理 日志管理 會話管理 應用模式 固定報表 即席查詢 數(shù)據(jù)挖掘 用戶身份管理 統(tǒng)一認證 單點登錄 安全審計 認證管理 統(tǒng)一入口 權限管理 應用集成 文思信息 版權所有，內部保密材料 統(tǒng)一數(shù)據(jù)管控架構 20 元 數(shù) 據(jù) 管 理 數(shù)據(jù)標準管理 數(shù)據(jù)質量管理 影響分析、血緣分析 代碼標準落地 提供檢核對象 定位檢核問題 檢核指標存儲 提供映射源 數(shù)據(jù)標準存儲 數(shù)據(jù)標準信息模型 數(shù)據(jù)標準文檔 提供檢核規(guī)則 提供檢核問題 檢核規(guī)則 指標模型 源系統(tǒng) 源系統(tǒng) 源系統(tǒng) ETL 數(shù)據(jù)服 務 Stage FDM ADM 數(shù)據(jù)服務 數(shù)據(jù)服務 數(shù)據(jù)平臺 應用系統(tǒng) 元數(shù)據(jù) 元數(shù)據(jù) 元數(shù)據(jù) 業(yè)務元數(shù)據(jù) 操作元數(shù)據(jù) 技術元數(shù)據(jù) 綜合信息服務管理 數(shù)據(jù)標準需求 數(shù)據(jù)質量需求 元數(shù)據(jù)需求 銀行業(yè)務需求 文思信息 版權所有，內部保密材料 數(shù)據(jù)倉庫體系規(guī)劃 21 應用體系 應用主題 統(tǒng)一發(fā)布 應用方案 文思信息 版權所有，內部保密材料 BI環(huán)境內的數(shù)據(jù)架構 8 集市層 匯總層 預連接 /預處理 ODS 基礎層 客戶 賬戶 資產 交易 產品 渠道 財務 賬戶匯總 交易統(tǒng)計匯總 客戶匯總 機構匯總 產品匯總 渠道匯總 指標庫 :規(guī)模指標、客戶指標、盈利指標、風險指標等 核心 個貸 法貸 基金 存管 國結 IT人員 業(yè)務分析人員 決策用戶 高級分析人員 ODS層 ?解決源系統(tǒng)快速接入的問題；避免從源系統(tǒng)頻繁、重復數(shù)據(jù)抽??； ?源系統(tǒng)一次性分析、一次性抽取、一次性接入； ?需要隨著源系統(tǒng)變更進行維護 基礎層 ?面向主題整合；保留詳細數(shù)據(jù)和歷史數(shù)據(jù) ?按照業(yè)務驅動、逐步建設 ?模型相對穩(wěn)定；但是隨著源系統(tǒng)和數(shù)據(jù)業(yè)務標準的變化， ETL加工邏輯會長期變化 應用集市層 ?面向應用的個性化定制。統(tǒng)一調度 應用模式 解決方案 數(shù)據(jù)倉庫體系培訓 1 文思信息 版權所有，內部保密材料 主題 2 數(shù)據(jù)倉庫體系規(guī)劃 數(shù)據(jù)倉庫實施方法論 QA 文思信息 版權所有，內部保密材料 數(shù)據(jù)倉庫規(guī)劃步驟 3 3 現(xiàn)狀分析 體系規(guī)劃 實施路線 ?基礎數(shù)據(jù)平臺與分析型系統(tǒng)現(xiàn)狀總結 ?銀行現(xiàn)有數(shù)據(jù)倉庫體系差距 ?規(guī)劃數(shù)據(jù)倉庫系統(tǒng)總體技術方案藍圖 ?制定相關管理制度與工作流程 ?規(guī)劃數(shù)據(jù)倉庫體系分階段落地方案與實施路線圖 指導方針 ? 承前啟后 ： 著重考慮對前期工作的承接和規(guī)劃成果的落地實施 ? 敦本務實 ： 實施公司、同業(yè)經(jīng)驗與銀行實際相結合 ? 遠近兼顧 ： 立足長遠與滿足當前需求相結合 文思信息 版權所有，內部保密材料 數(shù)據(jù)倉庫典型體系架構（星型－ EDW） 4 SASB YHT CMS PMS 。 ODS數(shù)據(jù)質量 ?隨著應用建設逐步完善 ?模型相對穩(wěn)定，隨著業(yè)務擴展可以擴展模型； ?隨著業(yè)務統(tǒng)計口徑變化， ETL加工邏輯會變化； 文思信息 版權所有，內部保密材料 不同層次應用場景 9 1 審計 /風險管理等需要未經(jīng)加工的業(yè)務原始數(shù)據(jù) 源數(shù)據(jù)質量檢查規(guī)則、常規(guī)報告 …… 應用用戶、決策用戶會訪問特定應用 …… 業(yè)務人員通過設定業(yè)務檢查規(guī)則來明確模型可用性 業(yè)務部門人員多數(shù)需要常規(guī)報表供日常呈報 …… 業(yè)務人員參考整合規(guī)則來驗證業(yè)務正確性 POWER USER通常需要訪問第二層對數(shù)據(jù)進行深入分析 …… 2 3 4 文思信息 版權所有，內部保密材料 ODS EDW 特點比較 ODS : ?與源系統(tǒng)保持一致 ?基本不進行轉換和整合 ?當前最新數(shù)據(jù) EDW: ?第三范式模型 ?進行數(shù)據(jù)整合和轉換 ?當前數(shù)據(jù)和歷史數(shù)據(jù) ODS: ?狀態(tài)類數(shù)據(jù)保存當前最新數(shù)據(jù) ?日志類數(shù)據(jù)保存 3個月 ? 針對及其特殊的需要可以考慮對數(shù)據(jù)保留一定時間段的歷史 EDW: ?一般最長在線保存 7年?；A層 元數(shù)據(jù) 實施規(guī)劃 數(shù)據(jù)體系 數(shù)據(jù)架構 統(tǒng)一管控 運維體系 數(shù)據(jù)存儲 ? 場景：客戶分布發(fā)生變化或者某項業(yè)務趨勢呈現(xiàn)異常，轉而使用其他分析手段，以“客戶交易金額和筆數(shù)分布發(fā)生變化”為例。 ? 數(shù)據(jù)倉庫建設規(guī)劃，要分步驟進行實施，起步從小做起（）； ? 不同業(yè)務部門對業(yè)務應用的優(yōu)先度要求不同，必須綜合考慮不同部門對業(yè)務應用的策略價值和投資回報評價，形成初步的規(guī)劃后，再經(jīng)數(shù)據(jù)倉庫管理委員會討論確定。集市層 技術體系 統(tǒng)一交換 管控流程 ODS數(shù)據(jù)質量 計劃財務部數(shù)據(jù)標準丏員根據(jù)收集到的標準需求，牽頭開展定制相關標準、評審標準和審核落地計劃等工作。在項目正式進入維護階段后，進入 1年的維護期。物理模型原則上與邏輯模型保持一致。管控內容 管控體系 從數(shù)據(jù)體系 、 技術體系 、 應用體系 、 運維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃 。統(tǒng)一監(jiān)控 網(wǎng)絡安全： 包括防火墻、地址翻譯、監(jiān)控網(wǎng)絡通訊、數(shù)據(jù)傳輸加密等 系統(tǒng)安全： 包括限制用戶訪問主機資源、用戶口令安全規(guī)則等 應用安全： 包括用戶管理、權限管理、日志審計等 安全策略： 包括用戶帳戶統(tǒng)一管理、通報機制、單點登錄等 安全制度： 包括建立角色權限視圖、規(guī)范應用程序上線變更、生產與開發(fā)測試環(huán)境隔離等 用戶安全： 包括用戶認證、用戶鎖定、用戶權限控制等 數(shù)據(jù)庫安全： 包括物理安全、用戶登錄控制、數(shù)據(jù)存取控制 可靠性保護： 包括系統(tǒng)級數(shù)據(jù)保護、數(shù)據(jù)庫級數(shù)據(jù)保護 安全策略： 根據(jù)不同用戶需求劃分為四個層面， DBA、業(yè)務用戶、 ETL用
環(huán)評公示相關推薦
鄂ICP備17016276號-1