亞信移動決策支持系統(tǒng)bi交流文件(經(jīng)營分析)(編輯修改稿)
2025-03-09 12:40 本頁面
【文章內(nèi)容簡介】 ta Mining Report/Adhoc 展示輸出 邦訊科技有限公司 數(shù)據(jù)倉庫設(shè)計 9 要素 —Ralph Kimball 1. 業(yè)務需求分析以確定相應的 Fact table( 規(guī)范，設(shè)計） 2. Fact table的粒度 3. 每個 Fact table中的維 4. 度量 ,包括預計算的度量 5. 維的屬性：完整的描述，確切的術(shù)語 6. 如何跟蹤并處理緩慢變化的維 7. 聚集表， MiniDimension, 物理存儲策略等 8. 數(shù)據(jù)倉庫的歷史時間及相應處理策略 (如 CDR的保留時間等 ) 9. 哪些數(shù)據(jù)最迫切需要采集并裝載到數(shù)據(jù)倉庫中 邦訊科技有限公司 OmniVision 數(shù)據(jù)倉庫設(shè)計 ? 數(shù)據(jù)倉庫分層設(shè)計 , 保證模型的穩(wěn)定性及靈活性 – 原始數(shù)據(jù) – 初步清洗，轉(zhuǎn)換后的數(shù)據(jù) (Operational Data Store) – 事實表及維表 (Snowflake Schema), 以及歷史數(shù)據(jù) – Data Mining model, Star Schema, Aggregate Table 匯總聚集表?OLAP Cube ? 粒度的多重級別 – 如：保存 6個月內(nèi)的 CDR明細 / 6個月以上的 CDR匯總保存 ? 動態(tài)維 (Dynamic Dimension) – 靈活處理業(yè)務需求的變化 – 動態(tài)增加組合條件的維度 邦訊科技有限公司 數(shù)據(jù)倉庫設(shè)計 —高性能的 TB 級電信級數(shù)據(jù)倉庫 ? 參數(shù)化管理 ? OLAP – 稀疏維，緊密維 – 一般一個 CUBE維數(shù) =11 – Drill Through ? detail data in DW ? 數(shù)據(jù)分割， VLDB技術(shù) – 分表，分區(qū)設(shè)計 , 提高大數(shù)據(jù)量的處理效率 – Hash 表分割，表達式表分割 … – 按時間、地理、業(yè)務等分割 … ? MiniDimension – 例如 :客戶維表可能達幾百萬條， join效率較低 ? 設(shè)置客戶屬性 MiniDim，將客戶屬性拆分到多個較小的維表中，能極大地提高查詢性能 邦訊科技有限公司 動態(tài)維技術(shù) 維度 1 維度 2 … 維度 n 動態(tài)維 度量值 維表 1 用戶定義的 加工、處理 維表 n ? 動態(tài)維的含義在應用時定義 ,適應需求的靈活變化 ?如選取連續(xù) 3個月費用下降 5%的客戶分類， 作為一個維 ? 動態(tài)維的內(nèi)容是經(jīng)加工、處理后的聚合的 ? 增加動態(tài)維后，數(shù)據(jù)庫結(jié)構(gòu)不發(fā)生變化，前端展現(xiàn)程序不用修改 … 動態(tài)維表 邦訊科技有限公司 ETL子系統(tǒng) – 數(shù)據(jù)源 ? 集團公司經(jīng)營分析系統(tǒng) – 省 BOSS系統(tǒng)： ? 用戶基本信息 ? 網(wǎng)間結(jié)算信息 ? 帳務信息 ? … – 省經(jīng)營分析數(shù)據(jù) ? 業(yè)務主題數(shù)據(jù) (匯總 ) ? 用戶信息 – 全國中心 ? 漫游清算信息 , 國際結(jié)算信息 ? 集團用戶信息 ? 全國 IP認證計費業(yè)務信息等 ? … ? 省經(jīng)營分析系統(tǒng) – 計費 /結(jié)算系統(tǒng)： ? 計費詳單 ? 結(jié)算數(shù)據(jù) … – 營帳系統(tǒng) ? 用戶基本信息 ? 帳務信息 ? 資源信息 … – 客服系統(tǒng) ? 投訴，查詢等信息 – 其他系統(tǒng)（逐步） ? MIS,OA ? 網(wǎng)管等 邦訊科技有限公司 ETL子系統(tǒng) 省公司 經(jīng)營分析數(shù)據(jù) ETL數(shù)據(jù)抽取引擎 省公司 BOSS數(shù)據(jù) 集團公司 BOSS系統(tǒng)數(shù)據(jù) ●負責與源數(shù)據(jù)系統(tǒng)的接口 ●負責抽取規(guī)則的制定（源數(shù)據(jù)、目標數(shù)據(jù)、映射規(guī)則、清洗 與轉(zhuǎn)換規(guī)則、加載規(guī)則等） ●負責抽取任務的調(diào)度、執(zhí)行 元數(shù)據(jù)管理、系統(tǒng)管理、系統(tǒng)監(jiān)控 P1 P2 P3 FILE 經(jīng)營分析 數(shù)據(jù)倉庫 ODS 邦訊科技有限公司 ETL接口方式 業(yè)務系統(tǒng) 數(shù)據(jù)庫 FILE 經(jīng)營分析 數(shù)據(jù)倉庫 ODS 經(jīng)營分析系統(tǒng)發(fā)出數(shù)據(jù)請求 . 業(yè)務系統(tǒng)返回經(jīng)營分析系統(tǒng)所需數(shù)據(jù) . 業(yè)務系統(tǒng)執(zhí)行數(shù)據(jù)提取任務 :存儲過程、觸發(fā)器、 SQL應用等 缺點 : 對業(yè)務系統(tǒng)造成安全、 性能等方面的問題、 實現(xiàn)較麻煩。 數(shù)據(jù)庫接口方式 業(yè)務系統(tǒng)定時將經(jīng)營分析系統(tǒng)所需數(shù)據(jù) Export為數(shù)據(jù)文件 . 經(jīng)營分析系統(tǒng)對數(shù)據(jù)文件進行 ETL等后續(xù)操作 . 優(yōu)點 : 不會對業(yè)務系統(tǒng)造成安全、性能等方面的問題、易于實現(xiàn) 。 數(shù)據(jù)文件接口方式 邦訊科技有限公司 ETL抽取規(guī)則 省公司 經(jīng)營分析系統(tǒng)數(shù)據(jù) ETL數(shù)據(jù)抽取引擎 元數(shù)據(jù)管理、 系統(tǒng)管理、系統(tǒng)監(jiān)控 省公司 BOSS系統(tǒng)數(shù)據(jù) 集團公司 BOSS系統(tǒng)數(shù)據(jù) ● 抽取策略：支持增量抽取方式 ● 抽取規(guī)則：用戶可根據(jù)實際需要自定義 抽取規(guī)則 P1 P2 P3 FILE 定義好的抽取程序腳本，包括源數(shù)據(jù)項、目標數(shù)據(jù)項、映射規(guī)則、轉(zhuǎn)換規(guī)則、加載規(guī)則等內(nèi)容，可根據(jù)實際需要
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1