中國電信經(jīng)營分析系統(tǒng)-wenkub
2023-03-07 16:38:44 本頁面
【正文】 難? 數(shù)據(jù)備份的目標(biāo)– 一致性、當(dāng)前性、可恢復(fù)性，盡量減少數(shù)據(jù)丟失及盡快恢復(fù)容災(zāi)與備份：數(shù)據(jù)復(fù)制層次主機主機硬盤硬盤DB文件文件表表應(yīng)用應(yīng)用 內(nèi)存內(nèi)存?zhèn)浞輽C備份機硬盤硬盤DB 文件文件表表應(yīng)用應(yīng)用 內(nèi)存內(nèi)存輸入輸入 輸入輸入 物理視圖物理視圖 DB視圖視圖 數(shù)據(jù)庫模式視圖數(shù)據(jù)庫模式視圖 應(yīng)用視圖應(yīng)用視圖復(fù)制或轉(zhuǎn)移復(fù)制或轉(zhuǎn)移Part3 解決方案◆ 技術(shù)體系結(jié)構(gòu)◆ 主要廠商產(chǎn)品介紹產(chǎn)品供應(yīng)商IBM Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos產(chǎn)品供應(yīng)商? Data warehouses? OLAP? Data mining? Reporting, Querying and business intelligence? ETL–Oracle–Sybase–SAS–DB2–NCR–BI/SAS–DB2 Olap Server–Oracle Express–Business Objects/OLAP access–SAS Data mining–Geneva(PwC)–Intelligent Miner,Visualization(IBM)–MineSet (Silicon Graphics)–Visual Insights(Lucent)–Business Objects–Brio–Adaptive Server IQ multiplex(Sybase)–Actuate–Hummingbird suite–NUMAQ2023(IBM)–Pilot Balanced Score card–OWB–Informatica–CA Data Transformer–SAS/WABest WorstRelative to all platforms (including S/390)。? 數(shù)據(jù)來源– 對基礎(chǔ)數(shù)據(jù)倉庫中數(shù)據(jù)的復(fù)制、分布或聚合? 數(shù)據(jù)結(jié)構(gòu)– 星型結(jié)構(gòu)qStarSchema216。減少數(shù)據(jù)冗余216。00+電話號碼；特殊號碼： 1 11 1861等；172X1X2。INTO TABLE cc_test(文件格式與表結(jié)構(gòu)對應(yīng)關(guān)系定義 )編寫控制腳本 ： sqlload userid=ht/hello control= log=執(zhí)行： sh jl查看日志文件 Pl/Sql實現(xiàn)方式有些數(shù)據(jù)需要經(jīng)過程序處理后才能很好的被使用。? 以保證數(shù)據(jù)的快速導(dǎo)入而盡量減小對業(yè)務(wù)系統(tǒng)造成的壓力。? 有數(shù)據(jù)庫和文件二種方式，分別對應(yīng)于不同運營系統(tǒng)的數(shù)據(jù)源。例如：基于批價詳單來分析話務(wù)流向時需要利用詳單記錄中的Other_party字段。只有經(jīng)過一定的處理，才能分析去話的方向是聯(lián)通、電信，國際，特殊呼叫 等適用于隨機獲取數(shù)據(jù) ETL 環(huán)境和處理流程來源來源 OLTP系統(tǒng)系統(tǒng)數(shù)據(jù)轉(zhuǎn)化引擎緩存緩存來源 主機或 C/S 系統(tǒng) 轉(zhuǎn)化引擎數(shù)據(jù)倉庫企業(yè)元數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市?掃描元數(shù)據(jù)?要求資源?規(guī)劃交付用戶流程數(shù)據(jù)倉庫?監(jiān)控?任務(wù)調(diào)度?數(shù)據(jù)抽取?數(shù)據(jù)清洗?數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)加載?索引建立?數(shù)據(jù)聚合?元數(shù)據(jù)導(dǎo)入?元數(shù)據(jù)維護BOSSOANMSELSE抽取策略對于有時間線的數(shù)據(jù)增量抽取，例如：服務(wù)信息表， 由于有處理時間，可增量抽取沒時間線的數(shù)據(jù)則完全抽取，例如客戶信息表明細(xì)帳單、綜合帳單在出帳后，例如出帳后第二天 抽取對于文件，象 BOSS系統(tǒng)的結(jié)算清單、計費清單按文 件生成周期實時抽取3 數(shù)據(jù)存儲層BOSS MIS/OA網(wǎng)管 其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)存儲層基礎(chǔ)數(shù)據(jù)倉庫? 數(shù)據(jù)來源? 數(shù)據(jù)結(jié)構(gòu)– 3NF– 星型結(jié)構(gòu)– 雪花結(jié)構(gòu)? 完整性和有效性檢查，對冗余和不一致的數(shù)據(jù)進行了清洗和轉(zhuǎn)換。減少存儲容量216。存在數(shù)據(jù)冗余216。updated April 2023 Copyright 169。具有開放可延伸的框架。– 事實表大小 = 事實表記錄大小 x 各維值取值數(shù) x 壓縮比因子– 業(yè)務(wù)主題總數(shù)據(jù)量 = 各事實表大小的總和? 星型數(shù)據(jù)存儲量 = 業(yè)務(wù)主題總數(shù)據(jù)量 x (1+索引因子 ) x RAID 因子存儲估算（ 600萬為例）? 語音業(yè)務(wù)用戶– 本地話單每年存儲量為：? 230*8*600萬 * 31 * 12 = – 漫游話單每年存儲量為：? 230*10% * 8*600萬 * 31 * 12 = ? 語音業(yè)務(wù)用戶話單每年總存儲量為：? + = ? 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)– 本地話單每年存儲量為：? 400*20%* 8*600萬 * 31 * 12 =– 漫游用戶話單每年存儲量為：? 400*20%* 10% * 8*600萬 * 31 * 12 = ? 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)話單每年總存儲量為：? + = 存儲估算（ 600萬為例）? 結(jié)算話單– 結(jié)算話單每年存儲量為：? [200*600萬 *（ 8+8*10%） *50%]*31*12 = ? 每年話單存儲總量為： ? + + = 存儲估算（ 600萬為例）? 營業(yè)部交易記錄– 基本上是每個客戶有幾條記錄，但相對穩(wěn)定，不會大量產(chǎn)生，也不隨時間爆炸性增長，估算為 。– 結(jié)合上述因素，總的存儲空間為：? (+*3） *=存儲估算（ 600萬為例）主機性能測算? TPCC–TPCC is an online transaction processing benchmark? TPCH–TPCH is an adhoc, decision support benchmark–It consists of a suite of business oriented adhoc queries and concurrent data modifications.–The perfor
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1