中國(guó)電信經(jīng)營(yíng)分析系統(tǒng)技術(shù)交流教材-wenkub
2023-03-07 17:00:57 本頁(yè)面
【正文】 難? 數(shù)據(jù)備份的目標(biāo)– 一致性、當(dāng)前性、可恢復(fù)性，盡量減少數(shù)據(jù)丟失及盡快恢復(fù)容災(zāi)與備份：數(shù)據(jù)復(fù)制層次主機(jī)主機(jī)硬盤硬盤DB文件文件表表應(yīng)用應(yīng)用 內(nèi)存內(nèi)存?zhèn)浞輽C(jī)備份機(jī)硬盤硬盤DB 文件文件表表應(yīng)用應(yīng)用 內(nèi)存內(nèi)存輸入輸入 輸入輸入 物理視圖物理視圖 DB視圖視圖 數(shù)據(jù)庫(kù)模式視圖數(shù)據(jù)庫(kù)模式視圖 應(yīng)用視圖應(yīng)用視圖復(fù)制或轉(zhuǎn)移復(fù)制或轉(zhuǎn)移Part3 解決方案◆ 技術(shù)體系結(jié)構(gòu)◆ 主要廠商產(chǎn)品介紹產(chǎn)品供應(yīng)商IBM Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos產(chǎn)品供應(yīng)商? Data warehouses? OLAP? Data mining? Reporting, Querying and business intelligence? ETL–Oracle–Sybase–SAS–DB2–NCR–BI/SAS–DB2 Olap Server–Oracle Express–Business Objects/OLAP access–SAS Data mining–Geneva(PwC)–Intelligent Miner,Visualization(IBM)–MineSet (Silicon Graphics)–Visual Insights(Lucent)–Business Objects–Brio–Adaptive Server IQ multiplex(Sybase)–Actuate–Hummingbird suite–NUMAQ2023(IBM)–Pilot Balanced Score card–OWB–Informatica–CA Data Transformer–SAS/WABest WorstRelative to all platforms (including S/390)。? 數(shù)據(jù)來(lái)源– 對(duì)基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的復(fù)制、分布或聚合? 數(shù)據(jù)結(jié)構(gòu)– 星型結(jié)構(gòu)qStarSchema216。減少數(shù)據(jù)冗余216。00+電話號(hào)碼；特殊號(hào)碼： 1 11 1861等；172X1X2。INTO TABLE cc_test(文件格式與表結(jié)構(gòu)對(duì)應(yīng)關(guān)系定義 )編寫控制腳本 ： sqlload userid=ht/hello control= log=執(zhí)行： sh jl查看日志文件 Pl/Sql實(shí)現(xiàn)方式有些數(shù)據(jù)需要經(jīng)過(guò)程序處理后才能很好的被使用。? 以保證數(shù)據(jù)的快速導(dǎo)入而盡量減小對(duì)業(yè)務(wù)系統(tǒng)造成的壓力。? 有數(shù)據(jù)庫(kù)和文件二種方式，分別對(duì)應(yīng)于不同運(yùn)營(yíng)系統(tǒng)的數(shù)據(jù)源。例如：基于批價(jià)詳單來(lái)分析話務(wù)流向時(shí)需要利用詳單記錄中的Other_party字段。只有經(jīng)過(guò)一定的處理，才能分析去話的方向是聯(lián)通、電信，國(guó)際，特殊呼叫 等適用于隨機(jī)獲取數(shù)據(jù) ETL 環(huán)境和處理流程來(lái)源來(lái)源 OLTP系統(tǒng)系統(tǒng)數(shù)據(jù)轉(zhuǎn)化引擎緩存緩存來(lái)源 主機(jī)或 C/S 系統(tǒng) 轉(zhuǎn)化引擎數(shù)據(jù)倉(cāng)庫(kù)企業(yè)元數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市?掃描元數(shù)據(jù)?要求資源?規(guī)劃交付用戶流程數(shù)據(jù)倉(cāng)庫(kù)?監(jiān)控?任務(wù)調(diào)度?數(shù)據(jù)抽取?數(shù)據(jù)清洗?數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)加載?索引建立?數(shù)據(jù)聚合?元數(shù)據(jù)導(dǎo)入?元數(shù)據(jù)維護(hù)BOSSOANMSELSE抽取策略對(duì)于有時(shí)間線的數(shù)據(jù)增量抽取，例如：服務(wù)信息表， 由于有處理時(shí)間，可增量抽取沒(méi)時(shí)間線的數(shù)據(jù)則完全抽取，例如客戶信息表明細(xì)帳單、綜合帳單在出帳后，例如出帳后第二天 抽取對(duì)于文件，象 BOSS系統(tǒng)的結(jié)算清單、計(jì)費(fèi)清單按文 件生成周期實(shí)時(shí)抽取3 數(shù)據(jù)存儲(chǔ)層BOSS MIS/OA網(wǎng)管 其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)層基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)? 數(shù)據(jù)來(lái)源? 數(shù)據(jù)結(jié)構(gòu)– 3NF– 星型結(jié)構(gòu)– 雪花結(jié)構(gòu)? 完整性和有效性檢查，對(duì)冗余和不一致的數(shù)據(jù)進(jìn)行了清洗和轉(zhuǎn)換。減少存儲(chǔ)容量216。存在數(shù)據(jù)冗余216。updated April 2023 Copyright 169。具有開(kāi)放可延伸的框架。– 事實(shí)表大小 = 事實(shí)表記錄大小 x 各維值取值數(shù) x 壓縮比因子– 業(yè)務(wù)主題總數(shù)據(jù)量 = 各事實(shí)表大小的總和? 星型數(shù)據(jù)存儲(chǔ)量 = 業(yè)務(wù)主題總數(shù)據(jù)量 x (1+索引因子 ) x RAID 因子存儲(chǔ)估算（ 600萬(wàn)為例）? 語(yǔ)音業(yè)務(wù)用戶– 本地話單每年存儲(chǔ)量為：? 230*8*600萬(wàn) * 31 * 12 = – 漫游話單每年存儲(chǔ)量為：? 230*10% * 8*600萬(wàn) * 31 * 12 = ? 語(yǔ)音業(yè)務(wù)用戶話單每年總存儲(chǔ)量為：? + = ? 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)– 本地話單每年存儲(chǔ)量為：? 400*20%* 8*600萬(wàn) * 31 * 12 =– 漫游用戶話單每年存儲(chǔ)量為：? 400*20%* 10% * 8*600萬(wàn) * 31 * 12 = ? 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)話單每年總存儲(chǔ)量為：? + = 存儲(chǔ)估算（ 600萬(wàn)為例）? 結(jié)算話單– 結(jié)算話單每年存儲(chǔ)量為：? [200*600萬(wàn) *（ 8+8*10%） *50%]*31*12 = ? 每年話單存儲(chǔ)總量為： ? + + = 存儲(chǔ)估算（ 600萬(wàn)為例）? 營(yíng)業(yè)部交易記錄– 基本上是每個(gè)客戶有幾條記錄，但相對(duì)穩(wěn)定，不會(huì)大量產(chǎn)生，也不隨時(shí)間爆炸性增長(zhǎng)，估算為 。– 結(jié)合上述因素，總的存儲(chǔ)空間為：? (+*3） *=存儲(chǔ)估算（ 600萬(wàn)為例）主機(jī)性能測(cè)算? TPCC–TPCC is an online transaction processing benchmark? TPCH–TPCH is an adhoc, decision support benchmark–It consists of a suite of business oriented adhoc queries and concurrent data modifications.–The perfor
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1