數(shù)據(jù)倉庫體系培訓(xùn)課件-資料下載頁
2025-03-09 13:13本頁面
【正文】 八大類信息項 目錄樹 產(chǎn)品分類 映射到 PMS中 INDV_BASC_NFO的 EDU_LEVEL 學(xué)歷標(biāo)準(zhǔn)代碼 小類信息項 明細(xì)信息項 標(biāo)準(zhǔn)與系統(tǒng)映射 映射到具體字段 文思信息 版權(quán)所有，內(nèi)部保密材料 元數(shù)據(jù)管理系統(tǒng) 數(shù)據(jù)字典瀏覽 選擇具體系統(tǒng) 選擇具體表 查看卡狀態(tài)代碼 “是否代碼字段”為 1，表示有代碼注釋 文思信息 版權(quán)所有，內(nèi)部保密材料 數(shù)據(jù)質(zhì)量管理系統(tǒng) 檢核規(guī)則 檢核結(jié)果 質(zhì)量分析 檢核字段： OPERATERID 記錄總數(shù)： 3397 問題總數(shù)： 285 檢核字段： COLNUMBER 檢核類型：非空 檢核頻度 規(guī)則基本屬性 規(guī)則擴展屬性 指標(biāo)趨勢分析 非空問題： 31% 長度問題： 31% 一致性問題： 38% 趨勢分析 問題數(shù)： 3 問題數(shù)： 7 類型分析 檢核對象 規(guī)則定義 報警渠道 文思信息 版權(quán)所有，內(nèi)部保密材料 主題 38 數(shù)據(jù)倉庫體系規(guī)劃 數(shù)據(jù)倉庫實施方法論 QA 文思信息 版權(quán)所有，內(nèi)部保密材料 需求分析 系統(tǒng)設(shè)計 開發(fā)與測試 上線與維護 企業(yè)基礎(chǔ)數(shù)據(jù)平臺項目實施方法論 業(yè)務(wù)調(diào)研 業(yè)務(wù) 訪談 業(yè)務(wù) 需求 編寫 業(yè)務(wù) 需求 分析 信息調(diào)研 應(yīng)用概要設(shè)計 應(yīng)用詳細(xì)設(shè)計 應(yīng)用模型設(shè)計 應(yīng)用設(shè)計 應(yīng)用開發(fā) 邏輯模型 設(shè)計 物理模型 設(shè)計 系統(tǒng)體系架構(gòu)設(shè)計 ETL開發(fā) 系統(tǒng)測試 投產(chǎn) 試運行 系統(tǒng)管理運維 數(shù) 據(jù) 訪 問 服 務(wù) 數(shù)據(jù)管控（元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)需求） 項 目 管 理 項目前期準(zhǔn)備 項目結(jié)束回顧 ? 項目啟動會議 ? 確認(rèn)項目范圍與目標(biāo) ? 確認(rèn)項目實施計劃 ? 確定工作小成員職責(zé) ? 確定工作小組階段性目標(biāo) ? 工作場地與環(huán)境準(zhǔn)備 ? 項目管理規(guī)范準(zhǔn)備 ? 圈定調(diào)研業(yè)務(wù)部門 ? 準(zhǔn)備業(yè)務(wù)訪談與調(diào)研計劃 ? 策略性規(guī)劃應(yīng)用系統(tǒng) ? 確定系統(tǒng)重點用戶 ? 業(yè)務(wù)需求調(diào)研與分析 ? 源系統(tǒng)調(diào)研與分析 ? 樣本數(shù)據(jù)質(zhì)量分析 ? 數(shù)據(jù)缺口分析 ? 建立實體模型 ? 邏輯數(shù)據(jù)模型客戶化 ? LDM轉(zhuǎn)換 PDM ? 系統(tǒng)總體架構(gòu)設(shè)計 ? 數(shù)據(jù)、 ETL體系 ? 運維體系設(shè)計 ? 應(yīng)用概要、詳細(xì)設(shè)計 ? 數(shù)據(jù)接口設(shè)計 ? 系統(tǒng)界面設(shè)計 ? 用戶權(quán)限設(shè)計 ? 應(yīng)用數(shù)據(jù)模型設(shè)計 ? ETL策略與體系結(jié)構(gòu)設(shè)計 ? ETL設(shè)計和開發(fā) ? 應(yīng)用功能模塊開發(fā) ? 用戶訪問權(quán)限開發(fā) ? 企業(yè)門戶集成開發(fā) ? 開發(fā)、測試系統(tǒng)軟硬件設(shè)備安裝 ? 制定系統(tǒng)、 UAT測試計劃 ? 系統(tǒng)、 UAT測試驗收 ? 上線投產(chǎn)文檔準(zhǔn)備 ? 生產(chǎn)系統(tǒng)軟硬件安裝 ? 制定數(shù)據(jù)倉庫日常管理與操作流程 ? 驗證數(shù)據(jù)備份與恢復(fù)程序 ? 用戶培訓(xùn) ? 現(xiàn)場投產(chǎn) ? 項目總結(jié)與匯報 ? 項目下階段工作規(guī)劃 文思信息 版權(quán)所有，內(nèi)部保密材料 模型物理化－總體原則 物理模型是數(shù)據(jù)倉庫基礎(chǔ)建設(shè)中模型建設(shè)的一部分，是邏輯模型的最終物理實現(xiàn)。所有的業(yè)務(wù)間邏輯均體現(xiàn)在邏輯模型中，物理模型僅僅反映邏輯在數(shù)據(jù)庫中的具體體現(xiàn)。物理模型原則上與邏輯模型保持一致。在進行模型物理化時，需要注意以下共性環(huán)節(jié)： 模型 物理化 原則 表與字段物理命名 選擇字段數(shù)據(jù)類型 確定字段大小寫敏感 選擇及調(diào)整索引 選擇表分區(qū)字段 表英文名全部字母大寫，單詞之間用下劃線分開；字段英文名單詞第一個字母大寫，單詞間用下劃線。長度不超過 30字符 字段長度要足夠存儲源數(shù)據(jù)；考慮到源系統(tǒng)升級的因素，字段長度適當(dāng)冗余；外鍵字段數(shù)據(jù)類型與主鍵字段保持一致 索引選擇主要有三種：查詢常用原則； JOIN一致原則；對于父子類表，一般要求索引相同 選擇表中合適字段（如交易日期等）對數(shù)據(jù)做 Partition分區(qū)。當(dāng)訪問條件中包含 PPI字段時，可以提高訪問效率，當(dāng)加刪時新數(shù)據(jù)是一個單獨的Partition值時，也提高加刪數(shù)據(jù)效率 由 LDM相關(guān)負(fù)責(zé)人確定，在 PDM里顯式標(biāo)明該字段取值為大小寫敏感的 文思信息 版權(quán)所有，內(nèi)部保密材料 技術(shù)緩沖層－ 數(shù)據(jù)整合層 ETL開發(fā)方式 41 設(shè)計 LDM模型，并進行物理化 根據(jù) LDM物理化模型，設(shè)計相關(guān)映射文檔 根據(jù)映射文檔開發(fā)數(shù)據(jù)轉(zhuǎn)換（ ETL）腳本 在這個步驟，使用腳本自動生成工具創(chuàng)建從技術(shù)緩沖層－ 數(shù)據(jù)整合層（十大主題的 PDM層）的數(shù)據(jù)處理腳本 文思信息 版權(quán)所有，內(nèi)部保密材料 廣發(fā) EDW一期項目實施規(guī)劃與說明 項目總體開發(fā)測試階段計劃 7個月左右，然后進入 3個月 的試運行期。在項目正式進入維護階段后，進入 1年的維護期。項目里程碑設(shè)定分解為三部分：基礎(chǔ)平臺建設(shè)、即席查詢建設(shè)（含統(tǒng)一信息發(fā)布平臺建設(shè)）、數(shù)據(jù)服務(wù)建設(shè)（管理駕駛艙及統(tǒng)一報送平臺供數(shù)）。 基礎(chǔ)平臺建設(shè) 即席查詢建設(shè) 數(shù)據(jù)服務(wù)建設(shè) 12月 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 1 1 2 2 3 4 2 3 1 完成基礎(chǔ)數(shù)據(jù)平臺建設(shè)需求調(diào)研與分析 完成基礎(chǔ)數(shù)據(jù)平臺系統(tǒng)設(shè)計，包括總體方案設(shè)計、模型設(shè)計、 ETL設(shè)計、數(shù)據(jù)管控集成策略設(shè)計等 完成開發(fā)、測試 完成試運行提供業(yè)務(wù)部門使用 完成即席查詢應(yīng)用需求調(diào)研與分析，以及架構(gòu)設(shè)計、詳細(xì)設(shè)計工作 完成即席查詢應(yīng)用編碼、測試工作 完成試運行提供業(yè)務(wù)部門使用 完成所提供的數(shù)據(jù)服務(wù)應(yīng)用模型及映射解答 配合管理駕駛艙、統(tǒng)一報送平臺完成所需提供的供數(shù)驗收 文思信息 版權(quán)所有，內(nèi)部保密材料 43 Q A 注：提倡環(huán)保，打印 PPT時首尾頁請在必要時斟酌打印 . 文思信息 版權(quán)所有，內(nèi)部保密材料 演講完畢，謝謝觀看！
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1