【正文】 3 4 6 5 ⑦ 業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。 7 精細(xì)化營銷 其他應(yīng)用 1 其他應(yīng)用 2 指標(biāo)數(shù)據(jù) 大數(shù)據(jù)平臺： 數(shù)據(jù)處理流程 一級標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號 正文 華楷 /Arial 黑色 (0,0,0) 1416號 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號 消息 采集 文件 采集 話單 預(yù)處理 信令 預(yù)處理 Gn 話單 位置 信令 DCN BSS 炫鈴 VAC 短彩 平臺 物聯(lián)網(wǎng) 客服 平臺 1*10GE 1*GE 2*GE S9300 S9300 分布式數(shù)據(jù)庫集群 新建 ETL、分布式數(shù)據(jù)庫和 Hadoop集群內(nèi)部各自獨立組網(wǎng)。分別通過10GE網(wǎng)口接入?yún)R聚交換機(jī)。 Hadoop集群 … 1*10GE ETL集群 … 1*10GE … 大數(shù)據(jù) 平臺的組 網(wǎng) 一級標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號 正文 華楷 /Arial 黑色 (0,0,0) 1416號 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號 20 Pcap數(shù)據(jù)（ DPI） 虧聯(lián)網(wǎng) 路由器 路由器 防火墻 WAP網(wǎng)站 WWW網(wǎng)站 分光鏡像 DPI 數(shù)據(jù)爬取 數(shù)據(jù)爬取 數(shù)據(jù)采集 Agent collector 日志采集 網(wǎng)元設(shè)備 (GGSN \PDSN\WAP網(wǎng)關(guān)、 NET網(wǎng)關(guān) )/ Apache日志 核心設(shè)備話單 虧聯(lián)網(wǎng)頁面數(shù)據(jù) 正向采集用戶行為數(shù)據(jù) 反向 采集虧聯(lián)網(wǎng)數(shù)據(jù) ? 建設(shè)方案 ? 基亍 Hadoop構(gòu)建大數(shù)據(jù)的用戶行為分析系統(tǒng) ? 系統(tǒng)提供了核心的分布式于存儲、分布式幵行計算、分布式數(shù)據(jù)倉庫、分布式列數(shù)據(jù)庫整體解決方案 ? 方案延伸 ? 基亍 Hadoop的大數(shù)據(jù)解決方案提供了基礎(chǔ)的于存儲和于計算的能力，基亍該技術(shù)框架可迚行應(yīng)用的擴(kuò)展和衍生。 ? 基亍用戶虧聯(lián)網(wǎng)訪問行為分析結(jié)果，形成詳細(xì)的戶興趣愛好列表，可迚行即時、精準(zhǔn)的廣告投放 大數(shù)據(jù)平臺有助于提升現(xiàn)網(wǎng)分析能力 一級標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號 正文 華楷 /Arial 黑色 (0,0,0) 1416號 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號 21 系統(tǒng) 構(gòu)成 ? 系統(tǒng)主要包含 數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)查詢不分析 子系統(tǒng) ? 采用 Hadoop/HBase作為上網(wǎng)記錄存儲方案 ? 采用 MapReduce/Hive作用統(tǒng)計分析和數(shù)據(jù)挖掘工具 關(guān)鍵性指標(biāo) ? 數(shù)據(jù)存儲 ? 上網(wǎng) 記錄入庫時間：一般小亍 30分鐘，實際約 10分鐘 ? 歷叱 5個月 +當(dāng)前月 ? 數(shù)據(jù)查詢 ? 上網(wǎng)記錄查詢速度：丌高亍 1秒（丌含用戶訪問查詢頁面的時間） ? 幵發(fā) 查詢數(shù)目： 1000請求/秒 大數(shù)據(jù) 平臺有效提升數(shù)據(jù)查詢速度 ? 以 手機(jī)上網(wǎng)詳單 查詢?yōu)閼?yīng)用案例 一級標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號 正文 華楷 /Arial 黑色 (0,0,0) 1416號 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號 22 ? 項目背景 ? 運(yùn)營商建設(shè)有多套垂直的網(wǎng)管子系統(tǒng)， 目前系統(tǒng)數(shù)據(jù)集中程度不夠，還未形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)共享框架，對運(yùn)營支撐的支撐力度不夠，而網(wǎng)絡(luò)運(yùn)維分析在 面向服務(wù)轉(zhuǎn)型的過程中對數(shù)據(jù)的匯聚和共享要求極為迫切 ，因此需要建立統(tǒng)一 的網(wǎng)管資源池 ? 網(wǎng)管資源池主要負(fù)責(zé)各個垂直網(wǎng)管子系統(tǒng)信令數(shù)據(jù)、日志數(shù)據(jù)的、告警數(shù)據(jù)的統(tǒng)一管理，實現(xiàn) 跨平臺的數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用和數(shù)據(jù)共享等功能 ， ? 網(wǎng)管統(tǒng)一資源池需提供海量歷史數(shù)據(jù)的查詢功能，滿足運(yùn)維人員日常信息查詢和信息追溯的需要。 ? 系統(tǒng)與呼叫中心、工單系統(tǒng)對接，實現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)） ? 難點分析 ? 多個垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)千差萬別，抽取后的數(shù)據(jù)無法關(guān)聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關(guān)系型數(shù)據(jù)庫優(yōu)勢無法體現(xiàn) ? 系統(tǒng)需要滿足 OLAP類應(yīng)用分析，并面向上層應(yīng)用提供一致性的數(shù)據(jù)查詢，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫受限于數(shù)據(jù)體量和數(shù)據(jù)種類，無法滿足多類型的海量數(shù)據(jù)的查詢和分析要求 ? 系統(tǒng)需同時從多個數(shù)據(jù)源實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的 ETL工具無法滿足流式數(shù)據(jù)的采集要求，導(dǎo)致進(jìn)程擁塞。 ? 建設(shè)方案 ? 基于不同的數(shù)據(jù)源及應(yīng)用分析模式采用 Flume、 Sqoop等系統(tǒng)工具完成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入 ? 基于 HDFS實現(xiàn)海量歷史數(shù)據(jù)的存儲 ? Hive組件可通過 SQL命令完成大數(shù)據(jù)的統(tǒng)計分析，并與傳統(tǒng)關(guān)系型數(shù)據(jù)庫配合完成分析結(jié)果數(shù)據(jù)的存放 ? HBase主要應(yīng)用于歷史數(shù)據(jù)的查詢，例如：查詢 1天全網(wǎng)所有隱形故障告警 數(shù)據(jù) 大數(shù)據(jù) 平臺適應(yīng)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)整合應(yīng)用 一級標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號 正文 華楷 /Arial 黑色 (0,0,0) 1416號 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號 一級標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號 正文 華楷 /Arial 黑色 (0,0,0) 1416號 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號 演講完畢，謝謝觀看！