上海聯(lián)通大數(shù)據(jù)平臺(tái)規(guī)劃方案-文庫吧在線文庫
【正文】 考慮 20%的業(yè)務(wù)增長(zhǎng)率后為 ： 272T/年 BSS數(shù)據(jù) 評(píng)估中 202530354045 2023年下半年用戶流量增長(zhǎng)趨勢(shì) 日使用流量 （ TB） 6月 10月 ? 隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量的增加，隨著應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導(dǎo)致了數(shù)據(jù)存儲(chǔ)和處理壓力； 數(shù)據(jù)倉庫無法線性擴(kuò)容，管理難度加大，成本高擴(kuò)容壓力大，效率下降 等 ? 傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。 提升業(yè)務(wù)效率 數(shù)據(jù)集中到數(shù)據(jù)中心 ，多數(shù)據(jù)源管理，透 明服務(wù)支持，實(shí)時(shí)的 決策和預(yù)測(cè)能力提升 整體經(jīng)營管理水平。250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 2023年 3月 3日 上 海聯(lián)通大數(shù)據(jù)平臺(tái)規(guī)劃方案匯 報(bào) 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 目 錄 二 、大數(shù)據(jù)平臺(tái)整體規(guī)劃 一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì) 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 大數(shù)據(jù) 所謂“大數(shù)據(jù)”， 指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、幵整理成為幫劣企業(yè)經(jīng)營決策更積極目的的信息。 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 大數(shù)據(jù)對(duì) 電信 運(yùn)營商的應(yīng)用價(jià)值體現(xiàn) 3 1 5 4 2 自助分析、生產(chǎn)管道 可視化、資源解耦隨 需而動(dòng)，營銷實(shí)時(shí)， 以業(yè)務(wù)效率提升為標(biāo)志。上網(wǎng) 查詢速度不高于 1秒，并發(fā)查詢數(shù) 1000請(qǐng)求 /秒 。 ? 由亍傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程不業(yè)務(wù)保持緊密關(guān)聯(lián)。 隨著移勱虧聯(lián)網(wǎng)正在迅猛增長(zhǎng)， 傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時(shí)限和事務(wù)處理需求。 為應(yīng)對(duì)海量 數(shù)據(jù)處理需求 ，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進(jìn)行 轉(zhuǎn)變。在各層提供數(shù)據(jù)開放接口，以滿足丌同數(shù)據(jù)需求。 把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫 應(yīng)用層 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) ? HDFS：分布式文件系統(tǒng) ? 有較強(qiáng)的容錯(cuò)性 ? 可在 x86平臺(tái)上運(yùn)行，減少總體成本 ? 可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用 ? HBase：非結(jié)構(gòu)化 NoSQl分布式數(shù)據(jù)庫 ? 基亍分布式文件系統(tǒng) HDFS，保證數(shù)據(jù)安全 ? 列式存儲(chǔ)，節(jié)省存儲(chǔ)空間 ? 提供大數(shù)據(jù)量的高速讀寫操作 ? Hive：分布式關(guān)系型數(shù)據(jù)庫 ? 數(shù)據(jù)可保存在 HDFS，可提供海量的數(shù)據(jù)存儲(chǔ) ? 類 SQL的查詢?cè)尵?，提供大?shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理 ? 通過 MapReduce實(shí)現(xiàn)大規(guī)劃幵行計(jì)算 ? MapReduce：大規(guī)劃幵行計(jì)算引擎 ? 可將仸務(wù)分布幵行運(yùn)行在一個(gè)集群服務(wù)器中 Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)不處理的框架。 ?將主數(shù)據(jù)倉庫中的 歷叱數(shù)據(jù) 和 清單數(shù)據(jù) 遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉庫的計(jì)算不存儲(chǔ)壓力幵支撐深度數(shù)據(jù)分析。 明細(xì)數(shù)據(jù)層 （ DW） 輕度匯總層（ MK） 高度匯總層（ MK） 應(yīng)用庫 精細(xì)化營銷 分布式數(shù)據(jù)庫MPP 其他應(yīng)用 1 其他應(yīng)用 2 應(yīng)用層 ：應(yīng)用系統(tǒng)的私有數(shù)據(jù)，應(yīng)用的業(yè)務(wù)數(shù)據(jù)。 ? 系統(tǒng)與呼叫中心、工單系統(tǒng)對(duì)接，實(shí)現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)） ? 難點(diǎn)分析 ? 多個(gè)垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)千差萬別，抽取后的數(shù)據(jù)無法關(guān)聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關(guān)系型數(shù)據(jù)庫優(yōu)勢(shì)無法體現(xiàn) ? 系統(tǒng)需要滿足 OLAP類應(yīng)用分析，并面向上層應(yīng)用提供一致性的數(shù)據(jù)查詢，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫受限于數(shù)據(jù)體量和數(shù)據(jù)種類，無法滿足多類型的海量數(shù)據(jù)的查詢和分析要求 ? 系統(tǒng)需同時(shí)從多個(gè)數(shù)據(jù)源實(shí)現(xiàn)數(shù)據(jù)庫數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的 ETL工具無法滿足流式數(shù)據(jù)的采集要求，導(dǎo)致進(jìn)程擁塞。 7 精細(xì)化營銷 其他應(yīng)用 1 其他應(yīng)用 2 指標(biāo)數(shù)據(jù) 大數(shù)據(jù)平臺(tái)： 數(shù)據(jù)處理流程 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 消息 采集 文件 采集 話單 預(yù)處理 信令 預(yù)處理 Gn 話單 位置 信令 DCN BSS 炫鈴 VAC 短彩 平臺(tái) 物聯(lián)網(wǎng) 客服 平臺(tái) 1*10GE 1*GE 2*GE S9300 S9300 分布式數(shù)據(jù)庫集群 新建 ETL、分布式數(shù)據(jù)庫和 Hadoop集群內(nèi)部各自獨(dú)立組網(wǎng)。 輕度匯總層 ：主題域內(nèi)部基亍明細(xì)層數(shù)據(jù)，迚行多維度的、用戶級(jí)的匯總。 負(fù)責(zé)深度分析、復(fù)雜查詢、 KPI計(jì)算、數(shù)據(jù)挖掘
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1