數(shù)據(jù)倉(cāng)庫(kù)體系培訓(xùn)課件(文件)
【正文】 應(yīng)用體系 、 運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃 。應(yīng)用模式 基礎(chǔ)層 統(tǒng)一調(diào)度 元數(shù)據(jù) 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)管控核心要素 系統(tǒng)工具 組織架構(gòu) 工作流程 數(shù)據(jù)管控核心組成部分 通過建立相應(yīng)的數(shù)據(jù)管控 組織架構(gòu) ，梳理完善的管控 工作流程 ，通過 系統(tǒng)工具支撐日常工作，使數(shù)據(jù)管控治理工作能夠落到實(shí)處，全面提升銀行數(shù)據(jù)運(yùn)用水平和數(shù)據(jù)質(zhì)量。信息技術(shù)部在日常軟件開發(fā)流程以及變更流程中根據(jù)實(shí)際情冴協(xié)劣將標(biāo)準(zhǔn)進(jìn)行落地。在進(jìn)行模型物理化時(shí)，需要注意以下共性環(huán)節(jié)： 模型 物理化 原則 表與字段物理命名 選擇字段數(shù)據(jù)類型 確定字段大小寫敏感 選擇及調(diào)整索引 選擇表分區(qū)字段 表英文名全部字母大寫，單詞之間用下劃線分開；字段英文名單詞第一個(gè)字母大寫，單詞間用下劃線。項(xiàng)目里程碑設(shè)定分解為三部分：基礎(chǔ)平臺(tái)建設(shè)、即席查詢建設(shè)（含統(tǒng)一信息發(fā)布平臺(tái)建設(shè)）、數(shù)據(jù)服務(wù)建設(shè)（管理駕駛艙及統(tǒng)一報(bào)送平臺(tái)供數(shù)）。當(dāng)訪問條件中包含 PPI字段時(shí)，可以提高訪問效率，當(dāng)加刪時(shí)新數(shù)據(jù)是一個(gè)單獨(dú)的Partition值時(shí)，也提高加刪數(shù)據(jù)效率 由 LDM相關(guān)負(fù)責(zé)人確定，在 PDM里顯式標(biāo)明該字段取值為大小寫敏感的 文思信息 版權(quán)所有，內(nèi)部保密材料 技術(shù)緩沖層－ 數(shù)據(jù)整合層 ETL開發(fā)方式 41 設(shè)計(jì) LDM模型，并進(jìn)行物理化 根據(jù) LDM物理化模型，設(shè)計(jì)相關(guān)映射文檔 根據(jù)映射文檔開發(fā)數(shù)據(jù)轉(zhuǎn)換（ ETL）腳本 在這個(gè)步驟，使用腳本自動(dòng)生成工具創(chuàng)建從技術(shù)緩沖層－ 數(shù)據(jù)整合層（十大主題的 PDM層）的數(shù)據(jù)處理腳本 文思信息 版權(quán)所有，內(nèi)部保密材料 廣發(fā) EDW一期項(xiàng)目實(shí)施規(guī)劃與說明 項(xiàng)目總體開發(fā)測(cè)試階段計(jì)劃 7個(gè)月左右，然后進(jìn)入 3個(gè)月 的試運(yùn)行期。所有的業(yè)務(wù)間邏輯均體現(xiàn)在邏輯模型中，物理模型僅僅反映邏輯在數(shù)據(jù)庫(kù)中的具體體現(xiàn)。） 數(shù)據(jù)標(biāo)準(zhǔn) 平臺(tái)管理員 （計(jì)財(cái)部） 數(shù)據(jù)標(biāo)準(zhǔn) 管理員 （信息技術(shù)部） ? 負(fù)責(zé) 制定 數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃； ? 負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)制定、評(píng)審、發(fā)布、執(zhí)行、變更、復(fù)審等工作的具體組織與協(xié)調(diào)； ? 負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情冴的監(jiān)督檢查 ； ? 協(xié)劣制定 數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃； ? 負(fù)責(zé) IT系統(tǒng)開發(fā)流程中標(biāo)準(zhǔn)核檢工作 ； ? 協(xié)劣 數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情冴的監(jiān)督檢查 ； ? 負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)的日常運(yùn)營(yíng)和維護(hù)、用戶設(shè)置與管理； ? 負(fù)責(zé)標(biāo)準(zhǔn)版本在平臺(tái)上的發(fā)布； 各業(yè)務(wù)部門標(biāo)準(zhǔn)管理員負(fù)責(zé)本部門數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)需求的收集、整理，并在需求管理平臺(tái)提交數(shù)據(jù)標(biāo)準(zhǔn)新增 /變更需求。管控流程統(tǒng)一管控 運(yùn)維體系 數(shù)據(jù)存儲(chǔ) 集市層 技術(shù)體系 統(tǒng)一交換 實(shí)施規(guī)劃 數(shù)據(jù)體系 數(shù)據(jù)架構(gòu) 數(shù)據(jù)安全保證需要從技術(shù)和管理兩個(gè)層面實(shí)現(xiàn)，技術(shù)層面主要是通過技術(shù)手段保證系統(tǒng)的安全；管理層面主要系統(tǒng)的安全策略由安全處理流程和安全制度組成，通過定義安全需求，同時(shí)定義處理流程和規(guī)章制度以滿足這些需求。安全 組織架構(gòu) 管控體系 組織架構(gòu)統(tǒng)一發(fā)布 匯總層 應(yīng)用方案 應(yīng)用系統(tǒng) 分析人員 文思信息 版權(quán)所有，內(nèi)部保密材料 應(yīng)用規(guī)劃考慮維度 ? IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)算規(guī)模之外，更重要的是考慮應(yīng)用實(shí)施能否滿足業(yè)務(wù)用戶目前收益心理預(yù)期等因素，要想的大（全面，具體，全局觀）。 ? 場(chǎng)景： 經(jīng)過隨機(jī)分析發(fā)現(xiàn)那些屬于“交易金額和筆數(shù)分布發(fā)生變化”的客戶群中發(fā)現(xiàn)部分客戶最近有銷戶或者已經(jīng)很長(zhǎng)時(shí)間不發(fā)生往來的傾向，因此需要利用“客戶流失模型”進(jìn)行評(píng)分，結(jié)合“客戶等級(jí)”確定需要進(jìn)行挽留的客戶名單。 決策智能 操作智能 文思信息 版權(quán)所有，內(nèi)部保密材料 業(yè)務(wù)需求 /分析和應(yīng)用模式的關(guān)系 OLAP/固定報(bào)表 隨機(jī)查詢 挖掘模型 ? 用途：提供日常業(yè)務(wù)管理統(tǒng)計(jì)，輔助發(fā)現(xiàn)業(yè)務(wù)發(fā)展趨勢(shì)。安全 組織架構(gòu) 管控體系 組織架構(gòu)統(tǒng)一發(fā)布 匯總層 應(yīng)用方案 管控內(nèi)容 管控體系 從數(shù)據(jù)體系 、 技術(shù)體系 、 應(yīng)用體系 、 運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃 。數(shù)據(jù)質(zhì)量 統(tǒng)一監(jiān)控 ODS ODS: ?時(shí)效性要求高的 ?不需要需歷史數(shù)據(jù) ?需要訪問最始數(shù)據(jù)（審計(jì)、稽核類）的應(yīng)用 EDW: ?模型區(qū)時(shí)效性可以滿足要求的 ?需要訪問歷史數(shù)據(jù)的 ?基于多個(gè)系統(tǒng)整合數(shù)據(jù)的 ?不是必須訪問原始數(shù)據(jù)的應(yīng)用 數(shù)據(jù)模型 數(shù)據(jù)接入 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)應(yīng)用 ODS 特點(diǎn) ? 面向數(shù)據(jù)的 ? 非集成的 ? 易變的 ? 當(dāng)前數(shù)據(jù)的 ? 詳細(xì)的 EDW 特點(diǎn) ? 面向主題的 ? 集成的 ? 穩(wěn)定的 ? 隨時(shí)間變化的 ? 詳細(xì)的 文思信息 版權(quán)所有，內(nèi)部保密材料 11 業(yè)務(wù)處理系統(tǒng) (OLTP) 用戶群體 ? 客戶 ? 員工 應(yīng)用 ?交易處理 ?帳務(wù)處理 訪問特征 ?頻繁的更新 ?偶爾的查詢 數(shù)據(jù)模型 ?當(dāng)前狀態(tài)數(shù)據(jù) ?很少的歷史數(shù)據(jù) ?范圍比較小 戰(zhàn)略性分析 (EDW) 用戶群 ?管理人員 ?高層領(lǐng)導(dǎo) 應(yīng)用 ?戰(zhàn)略性分析 ?復(fù)雜的查詢和報(bào)表 ?預(yù)測(cè) 訪問特征 ?批量插入 很少的更新 ?頻繁的復(fù)雜查詢 優(yōu)劣勢(shì)對(duì)比 ?解決企業(yè)的決策需求 ?不能滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求 戰(zhàn)術(shù)性查詢 (ODS) 用戶群體 ?一線的業(yè)務(wù)人員 ?客戶 應(yīng)用 ?業(yè)務(wù)領(lǐng)域查詢 ?戰(zhàn)術(shù)性決策支持 ?簡(jiǎn)單的分析（評(píng)分） 訪問特征 ?當(dāng)前數(shù)據(jù)訪問 ?查詢較多 優(yōu)劣勢(shì)對(duì)比 ?滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求 ?不能滿足中遠(yuǎn)期決策需求 EDW OLTP 1 OLTP 2 OLTP 3 任務(wù)的連續(xù)性 ODS EDW價(jià)值和定位 ODS 文思信息 版權(quán)所有，內(nèi)部保密材料 ODS層模型 12 ? 偏源系統(tǒng)模型 ? 部分?jǐn)?shù)據(jù)保留全量 ? 少量數(shù)據(jù)保留短暫歷史 ? 簡(jiǎn)單處理 ? 不考慮整合 ? 考慮保留策略 文思信息 版
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1