中國電信經(jīng)營分析系統(tǒng)技術(shù)交流教材-文庫吧
2025-02-06 17:00 本頁面
【正文】 數(shù)據(jù)集市數(shù)據(jù)集市?掃描元數(shù)據(jù)?要求資源?規(guī)劃交付用戶流程數(shù)據(jù)倉庫?監(jiān)控?任務(wù)調(diào)度?數(shù)據(jù)抽取?數(shù)據(jù)清洗?數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)加載?索引建立?數(shù)據(jù)聚合?元數(shù)據(jù)導(dǎo)入?元數(shù)據(jù)維護(hù)BOSSOANMSELSE抽取策略對于有時(shí)間線的數(shù)據(jù)增量抽取，例如：服務(wù)信息表， 由于有處理時(shí)間，可增量抽取沒時(shí)間線的數(shù)據(jù)則完全抽取，例如客戶信息表明細(xì)帳單、綜合帳單在出帳后，例如出帳后第二天 抽取對于文件，象 BOSS系統(tǒng)的結(jié)算清單、計(jì)費(fèi)清單按文 件生成周期實(shí)時(shí)抽取3 數(shù)據(jù)存儲層BOSS MIS/OA網(wǎng)管 其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)存儲層基礎(chǔ)數(shù)據(jù)倉庫? 數(shù)據(jù)來源? 數(shù)據(jù)結(jié)構(gòu)– 3NF– 星型結(jié)構(gòu)– 雪花結(jié)構(gòu)? 完整性和有效性檢查，對冗余和不一致的數(shù)據(jù)進(jìn)行了清洗和轉(zhuǎn)換。? 數(shù)據(jù)量將非常龐大。 q3NF216。減少數(shù)據(jù)冗余216。減少存儲容量216。靈活的擴(kuò)展能力216。執(zhí)行效率相對較低數(shù)據(jù)集市? 數(shù)據(jù)倉庫的子集，主要面向某特定主題。? 數(shù)據(jù)來源– 對基礎(chǔ)數(shù)據(jù)倉庫中數(shù)據(jù)的復(fù)制、分布或聚合? 數(shù)據(jù)結(jié)構(gòu)– 星型結(jié)構(gòu)qStarSchema216。存在數(shù)據(jù)冗余216。相對較大容量216。維變化時(shí)，需重新建立216。執(zhí)行效率高粒度選擇多重粒度級別中央數(shù)據(jù)倉庫采用低粒度級，例如，客戶月通話詳單 — 高細(xì)節(jié)數(shù)據(jù)，能回答所有問題，但分析效率較低；數(shù)據(jù)集市采用高粒度級，例如，客戶月通話綜合信息 低細(xì)節(jié)數(shù)據(jù)，能回答部分問題，但分析效率高；如果高粒度數(shù)據(jù)也包含分析所需的足夠的細(xì)節(jié)，則高粒度數(shù)據(jù)的使用效率會提高很多中央數(shù)據(jù)倉庫與從屬數(shù)據(jù)集市中央數(shù)據(jù)倉庫客戶信息?Cust_ID?Msisdn?Age_level?Cust_Type?City_Code……通話詳單?Call_Type?Msisdn?Start_Date?Start_time?Call_duration…..帳戶信息?Account_ID?Cust_ID?Lfee?Cfee?Discount_fee……其它信息?Cust_ID?Msisdn?Age_level?Cust_Type?City_Code……Cust_ID Msisdn客戶通話行為分析客戶消費(fèi)行為分析 其它分析……依據(jù)分析的需要 Map數(shù)據(jù)數(shù)據(jù)倉庫完整構(gòu)架Data Marts Data Mining OLAPAnalysis Mart MartStaging AreaData WarehouseOperational DataExternalDataArchiveDataManualDataBusiness Users4 數(shù)據(jù)訪問層? 信息處理– 查詢和報(bào)表? 分析處理– 基本的OLAP操作? 數(shù)據(jù)挖掘– 知識發(fā)現(xiàn)BOSS MIS/OA網(wǎng)管 其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)訪問層舉例：話務(wù)流向分析 維：通話日期、通話時(shí)間、對端號碼，共 3個維；分析指標(biāo)：通話次數(shù)，通話時(shí)長實(shí)施：建立一個 3維的數(shù)據(jù)立方體，對指標(biāo)采用切片、鉆取、旋轉(zhuǎn)等方法進(jìn)行分析多維數(shù)分析時(shí)間日期對端號碼同一時(shí)刻話務(wù)流向分析12:00OLAP分析方法一【切片】12:00日期對端號碼OLAP分析方法一【切片】時(shí)間日期5月 1日對端號碼同一日期話務(wù)流向分析5月 1日對端號碼時(shí)間OLAP分析方法一【切片】流向同一運(yùn)營商的話務(wù)量分析時(shí)間日期聯(lián)通對端號碼聯(lián)通日 期時(shí)間時(shí)間日期年季度 季度月 月 月 月對端號碼OLAP分析方法二【鉆取】在同一個維上，按不同的層次來分析OLAP分析方法三【旋轉(zhuǎn)】將年份和季度交換坐標(biāo)基于 WEB 的展現(xiàn)方式對數(shù)據(jù)進(jìn)行可視化的分析，分析結(jié)果的展現(xiàn)方式有以下幾種，并且各種形式之間可以相互的轉(zhuǎn)換：1．柱狀圖；2．相對柱狀圖；3．累計(jì)柱狀圖；4．餅圖；5．散點(diǎn)圖；6．折線圖；7．趨勢圖；8．網(wǎng)頁表格；9．表格中的數(shù)據(jù)倒出到 Excel報(bào)表WEB 展現(xiàn)示例【柱圖】WEB 展現(xiàn)示例【 3D柱圖】5 元數(shù)據(jù)? 關(guān)于數(shù)據(jù)的數(shù)據(jù)– 技術(shù)元數(shù)據(jù)– 操作元數(shù)據(jù)– 業(yè)務(wù)元數(shù)據(jù)? 貫穿全過程BOSS MIS/OA網(wǎng)管 其它數(shù)據(jù)源數(shù)據(jù)源元數(shù)據(jù)管理元數(shù)據(jù)管理業(yè)務(wù)定義屬性定義DA / DBA ToolErwin抽取規(guī)則 , 轉(zhuǎn)換規(guī)則ETL Tool報(bào)表格式 , 過濾 ,分割等DSS Tool數(shù)據(jù)庫元數(shù)據(jù)元數(shù)據(jù)庫雙向自動 無連接業(yè)務(wù)定義OtherExcelHTMLBusiness Users數(shù)據(jù)倉庫開發(fā)元數(shù)據(jù)管理Intra/ExtraDefinitionsDomainsNames6 系統(tǒng)管理安全備份安全體系結(jié)構(gòu) 系統(tǒng)安全? 安全的層次– 每個層次均需要相應(yīng)措施保證– 數(shù)據(jù)庫、應(yīng)用、網(wǎng)絡(luò)? 網(wǎng)絡(luò)層– 防火墻– 電子認(rèn)證– 加密安全層次? 數(shù)據(jù)庫層– 密碼– 數(shù)據(jù)庫權(quán)限控制? 應(yīng)用層安全– 用戶身份認(rèn)證? 按照操作對象和操作類別規(guī)定各操作員的權(quán)限? 保證身份的有效性和不可抵賴性? 采用口令＋密碼方式，可以向數(shù)字證書升級– 數(shù)據(jù)加密– 服務(wù)和數(shù)據(jù)權(quán)限容災(zāi)與備份：概述? 什么災(zāi)？– 火災(zāi)、地震、洪水 …– 系統(tǒng)故障：硬件、操作系統(tǒng)、數(shù)據(jù)庫 ...– 應(yīng)用故障：設(shè)計(jì)時(shí)考慮不周– 誤操作– 黑客入侵、故意破壞? 容災(zāi)方法– 以備份系統(tǒng)代替主系統(tǒng)，并及時(shí)恢復(fù)主系統(tǒng)– 數(shù)據(jù)復(fù)制– 其它：地理分布，電源、網(wǎng)絡(luò)等的高可用性容災(zāi)與備份：數(shù)據(jù)備份策略? 數(shù)據(jù)備份的層次– 物理視圖– 邏輯視圖（ DB、數(shù)據(jù)庫模式、應(yīng)用）? 數(shù)據(jù)備份的方式– 聯(lián)機(jī)復(fù)制? 同步、異步、狀態(tài)– 脫機(jī)備份? 防止 “誤操作型 ”災(zāi)難? 數(shù)據(jù)備份的目標(biāo)– 一致性、當(dāng)前性、可恢復(fù)性，盡量減少數(shù)據(jù)丟失及盡快恢復(fù)容災(zāi)與備份：數(shù)據(jù)復(fù)制層次主機(jī)主機(jī)
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1