電信數(shù)據(jù)倉庫設(shè)計ppt課件(編輯修改稿)
2025-05-28 18:06 本頁面
【文章內(nèi)容簡介】 – 以統(tǒng)一客戶資料為準(zhǔn)– 對計費(fèi)帳務(wù)、綜合結(jié)算、 10000號、 IN等系統(tǒng)的基礎(chǔ)資料進(jìn)行整合– 系統(tǒng)冗余數(shù)據(jù)的處理：以主系統(tǒng)為主，其它系統(tǒng)做為補(bǔ)充，按照數(shù)據(jù)流向和邏輯關(guān)系進(jìn)行整合，確保數(shù)據(jù)的一致性和完整性? “ 產(chǎn)品、商品 ” 等關(guān)鍵業(yè)務(wù)編碼的統(tǒng)一– 以綜合受理為準(zhǔn)– 對各系統(tǒng)的業(yè)務(wù)編碼域標(biāo)準(zhǔn)編碼之間進(jìn)行映射? “ 產(chǎn)品實(shí)例到達(dá)數(shù)、計費(fèi)時長 ” 等統(tǒng)計指標(biāo)的統(tǒng)一– 統(tǒng)一統(tǒng)計指標(biāo)的含義、單位、周期、統(tǒng)計方法等? 建立不同主題域之間的關(guān)聯(lián)關(guān)系– 建立不同域之間的關(guān)聯(lián)關(guān)系，如客戶域與產(chǎn)品域、事件域、帳務(wù)域、資源域、市場營銷域等之間的關(guān)聯(lián)關(guān)系? 業(yè)務(wù)系統(tǒng)的中間匯總結(jié)果會納入綜合數(shù)據(jù)倉庫平臺，用于快速支持分析應(yīng)用的開發(fā)和進(jìn)行數(shù)據(jù)稽核。陜西省電信有限公司ETL開發(fā)? 創(chuàng)建 Repository? 創(chuàng)建 Project? 創(chuàng)建 Data Store? 創(chuàng)建 Job? 創(chuàng)建 Data Flow? 創(chuàng)建 Work Flow? Job部署? Job執(zhí)行? 運(yùn)行監(jiān)控RepositoryProject： XX平臺 Job執(zhí)行Job部署運(yùn)行監(jiān)控 Project：綜合數(shù)據(jù)倉庫平臺Data Store：源和目標(biāo)定義計費(fèi)帳務(wù) /統(tǒng)一客戶資料EDWJob1：用戶整合Work Flow1：用戶清洗轉(zhuǎn)換Data Flow1：用戶清洗Data Flow2：用戶轉(zhuǎn)換Work Flow2：記錄合并Job2：產(chǎn)品整合Data Flow：產(chǎn)品整合示例：陜西省電信有限公司ETL開發(fā)考慮的幾個方面? 文件接口格式的統(tǒng)一制訂與正確性校驗(yàn)? 采用增量、全量等靈活的抽取時機(jī)與策略，減少對業(yè)務(wù)系統(tǒng)的影響? 分段并行處理，提高系統(tǒng)性能? 負(fù)載均衡，提高可靠性和系統(tǒng)性能? 合理 ETL在專業(yè)工具和數(shù)據(jù)庫之間的分配，大數(shù)據(jù)量匯總利用數(shù)據(jù)庫性能? 合理設(shè)計 ETL時機(jī)和策略，確保數(shù)據(jù)產(chǎn)生的準(zhǔn)時性和可用性? 統(tǒng)一的 ETL流程調(diào)度、監(jiān)控和維護(hù)，實(shí)現(xiàn) ETL的集中管理陜西省電信有限公司數(shù)據(jù)質(zhì)量原則? 完整性 ：對一個業(yè)務(wù)，一個客戶，一個產(chǎn)品，一個營銷活動，一個客戶的性質(zhì)等進(jìn)行缺失考察。? 有效性 ：數(shù)據(jù)包含了一個有效的數(shù)據(jù)格式或值 ? 一致性 ：數(shù)據(jù)倉庫系統(tǒng)內(nèi)數(shù)據(jù)定義的統(tǒng)一、口徑的一致性? 唯一性 ：經(jīng)營分析系統(tǒng)數(shù)據(jù)定義的唯一性 ? 正確性 ： ETL過程正確性 /加工過程正確性 /數(shù)據(jù)整合正確性 /模型正確性 /展現(xiàn)正確性 /查詢正確性 /核對過程是否充分? 準(zhǔn)確性 ：在準(zhǔn)確性基礎(chǔ)上的精度和近似規(guī)則 ? 可用性 ：主要體現(xiàn)在使用的效率上 ? 時效性 ：能夠按照業(yè)務(wù)需求集市產(chǎn)生所需的數(shù)據(jù)? 清晰性 ：清晰定義每一個數(shù)據(jù)的來龍去脈，沒有歧義。 ? 充足性 ：在保證數(shù)據(jù)正確性和準(zhǔn)確性基礎(chǔ)上是否能對主要業(yè)務(wù)專題提供足夠的數(shù)據(jù)進(jìn)行足夠精度的分析需求 陜西省電信有限公司數(shù)據(jù)質(zhì)量保障匯總數(shù)據(jù)層應(yīng)用集市層細(xì)節(jié)數(shù)據(jù)層臨時區(qū)陜西省電信有限公司議程? 概述? 功能架構(gòu)? 數(shù)據(jù)架構(gòu)? ETL架構(gòu)? 集成架構(gòu)? 安全架構(gòu)? 平臺架構(gòu)? 實(shí)施方法論陜西省電信有限公司集成架構(gòu)綜合數(shù)據(jù)倉庫平臺（ EDW）統(tǒng)一數(shù)據(jù)倉庫平臺BSS業(yè)務(wù)系統(tǒng)ADBMSS業(yè)務(wù)系統(tǒng)ADBOSS業(yè)務(wù)系統(tǒng)系統(tǒng)ADBETL數(shù)據(jù)ETL業(yè)務(wù)系統(tǒng)EAI平臺/數(shù)據(jù)接口綜合統(tǒng)計分析平臺元數(shù)據(jù)管理 ETL管理 數(shù)據(jù)質(zhì)量管理數(shù)據(jù)提供其它應(yīng)用陜西省電信有限公司議程? 概述? 功能架構(gòu)? 數(shù)據(jù)架構(gòu)? ETL架構(gòu)? 集成架構(gòu)? 安全架構(gòu)? 平臺架構(gòu)? 實(shí)施方法論陜西省電信有限公司數(shù)據(jù)倉庫的安全控制類型IBM DB2IBM DB2IBM DB2陜西省電信有限公司用戶分組授權(quán)陜西省電信有限公司訪問角色與安全模型獲取增、刪、改權(quán)限查詢數(shù)據(jù)庫修改數(shù)據(jù)庫表數(shù)據(jù)庫修改用戶組修改用戶 1 修改用戶 2查詢用戶組訪問用戶 1 訪問用戶 2維護(hù)用戶組維護(hù)用戶 1 維護(hù)用戶 2查詢請求增、刪、改請求獲取查詢權(quán)限查詢請求創(chuàng)建、刪除表；備份與恢復(fù)陜西省電信有限公司議程? 概述? 功能架構(gòu)? 數(shù)據(jù)架構(gòu)? ETL架構(gòu)? 集成架構(gòu)? 安全架構(gòu)? 平臺架構(gòu)? 實(shí)施方法論陜西省電信有限公司物理拓?fù)鋱D 存儲綜合數(shù)據(jù)倉庫平臺DCN網(wǎng)絡(luò)SAN交換機(jī) SAN交換機(jī)各地市 各地市數(shù)據(jù)庫服務(wù)器 ETL/OLAP服務(wù)器 BOE服務(wù)器 WEB 服務(wù)器陜西省電信有限公司DI軟件架構(gòu)設(shè)計器(Windows)元數(shù)據(jù)報告(Web) 管理器(Web)資料庫作業(yè)服務(wù)器(Unix)引擎 訪問服務(wù)器(Unix)實(shí)時服務(wù)本地資料庫 1 本地資料庫 2 本地資料庫 n中央資料庫 測試資料庫生產(chǎn)資料庫在綜合數(shù)據(jù)倉庫平臺開辟單獨(dú)的數(shù)據(jù)庫空間，用于資料庫的存放。在綜合數(shù)據(jù)倉庫平臺開辟單獨(dú)的數(shù)據(jù)庫空間，用于資料庫的存放。陜西省電信有限公司DI軟件部署DI服務(wù)器(Job Server)Local RepositoryCentral Repository項(xiàng)目組 1開發(fā)客戶端 項(xiàng)目組 2開發(fā)客戶端 項(xiàng)目組 3開發(fā)客戶端Job Server Job Server Job ServerRepository DB陜西省電信有限公司DI的統(tǒng)一管理及開發(fā)本地資料庫測試資料庫中央資料庫生產(chǎn)資料庫1. 開發(fā)者 Check Out2. 開發(fā)者 Check In3. 管理者 Check Out, 進(jìn)行測試4. 測試通過，管理者 Check Out，部署生產(chǎn)統(tǒng)一調(diào)度、統(tǒng)一管理統(tǒng)一調(diào)度、統(tǒng)一管理陜西省電信有限公司BOE+EPM軟件架構(gòu)ADB ODS 數(shù)據(jù)源綜合數(shù)據(jù)倉庫平臺安全服務(wù) 調(diào)度和預(yù)警服務(wù)元數(shù)據(jù)存取服務(wù)發(fā)布和分發(fā)服務(wù) 緩存和失效切換服務(wù)審核服務(wù)指標(biāo)管理引擎 協(xié)作服務(wù) 系統(tǒng)管理服務(wù)業(yè)務(wù)規(guī)則和指標(biāo)管理J2EE SDK .NET SDK Web ServicesWEB服務(wù)層平臺服務(wù)層(BOE)數(shù)據(jù)獲取層 Universe OLAP Server企業(yè)儀表盤DashBoard即席查詢WebI企業(yè)報表CR預(yù)警預(yù)測EPMOLAP分析OLAPI展現(xiàn)層綜合統(tǒng)計分析應(yīng)用 其它應(yīng)用陜西省電信有限公司BOE+EPM軟件部署B(yǎng)O服務(wù)器 1（主）BO服務(wù)器 2（備）J2EE服務(wù)器 1J2EE服務(wù)器 2BO RepositoryEPM RepositoryBO服務(wù)器集群 J2EE服務(wù)器集群CR客戶端 客戶端（ Administrator）（ Designer）分析應(yīng)用門戶（ IE）在綜合數(shù)據(jù)倉庫平臺開辟單獨(dú)的數(shù)據(jù)庫空間，用于資料庫的存放。在綜合數(shù)據(jù)倉庫平臺開辟單獨(dú)的數(shù)據(jù)庫空間，用于資料庫的存放。陜西省電信有限公司BOE部署架構(gòu)BI Platform
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1