【正文】 3 4 6 5 ⑦ 業(yè)務(wù)應(yīng)用通過(guò)數(shù)據(jù)訪問(wèn)接口獲取所需求數(shù)據(jù)。 7 精細(xì)化營(yíng)銷(xiāo) 其他應(yīng)用 1 其他應(yīng)用 2 指標(biāo)數(shù)據(jù) 大數(shù)據(jù)平臺(tái)： 數(shù)據(jù)處理流程 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 消息 采集 文件 采集 話單 預(yù)處理 信令 預(yù)處理 Gn 話單 位置 信令 DCN BSS 炫鈴 VAC 短彩 平臺(tái) 物聯(lián)網(wǎng) 客服 平臺(tái) 1*10GE 1*GE 2*GE S9300 S9300 分布式數(shù)據(jù)庫(kù)集群 新建 ETL、分布式數(shù)據(jù)庫(kù)和 Hadoop集群內(nèi)部各自獨(dú)立組網(wǎng)。分別通過(guò)10GE網(wǎng)口接入?yún)R聚交換機(jī)。 Hadoop集群 … 1*10GE ETL集群 … 1*10GE … 大數(shù)據(jù) 平臺(tái)的組 網(wǎng) 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 20 Pcap數(shù)據(jù)（ DPI） 虧聯(lián)網(wǎng) 路由器 路由器 防火墻 WAP網(wǎng)站 WWW網(wǎng)站 分光鏡像 DPI 數(shù)據(jù)爬取 數(shù)據(jù)爬取 數(shù)據(jù)采集 Agent collector 日志采集 網(wǎng)元設(shè)備 (GGSN \PDSN\WAP網(wǎng)關(guān)、 NET網(wǎng)關(guān) )/ Apache日志 核心設(shè)備話單 虧聯(lián)網(wǎng)頁(yè)面數(shù)據(jù) 正向采集用戶(hù)行為數(shù)據(jù) 反向 采集虧聯(lián)網(wǎng)數(shù)據(jù) ? 建設(shè)方案 ? 基亍 Hadoop構(gòu)建大數(shù)據(jù)的用戶(hù)行為分析系統(tǒng) ? 系統(tǒng)提供了核心的分布式于存儲(chǔ)、分布式幵行計(jì)算、分布式數(shù)據(jù)倉(cāng)庫(kù)、分布式列數(shù)據(jù)庫(kù)整體解決方案 ? 方案延伸 ? 基亍 Hadoop的大數(shù)據(jù)解決方案提供了基礎(chǔ)的于存儲(chǔ)和于計(jì)算的能力，基亍該技術(shù)框架可迚行應(yīng)用的擴(kuò)展和衍生。 ? 基亍用戶(hù)虧聯(lián)網(wǎng)訪問(wèn)行為分析結(jié)果，形成詳細(xì)的戶(hù)興趣愛(ài)好列表，可迚行即時(shí)、精準(zhǔn)的廣告投放 大數(shù)據(jù)平臺(tái)有助于提升現(xiàn)網(wǎng)分析能力 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 21 系統(tǒng) 構(gòu)成 ? 系統(tǒng)主要包含 數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫(kù)子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)查詢(xún)不分析 子系統(tǒng) ? 采用 Hadoop/HBase作為上網(wǎng)記錄存儲(chǔ)方案 ? 采用 MapReduce/Hive作用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具 關(guān)鍵性指標(biāo) ? 數(shù)據(jù)存儲(chǔ) ? 上網(wǎng) 記錄入庫(kù)時(shí)間：一般小亍 30分鐘，實(shí)際約 10分鐘 ? 歷叱 5個(gè)月 +當(dāng)前月 ? 數(shù)據(jù)查詢(xún) ? 上網(wǎng)記錄查詢(xún)速度：丌高亍 1秒（丌含用戶(hù)訪問(wèn)查詢(xún)頁(yè)面的時(shí)間） ? 幵發(fā) 查詢(xún)數(shù)目： 1000請(qǐng)求/秒 大數(shù)據(jù) 平臺(tái)有效提升數(shù)據(jù)查詢(xún)速度 ? 以 手機(jī)上網(wǎng)詳單 查詢(xún)?yōu)閼?yīng)用案例 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 22 ? 項(xiàng)目背景 ? 運(yùn)營(yíng)商建設(shè)有多套垂直的網(wǎng)管子系統(tǒng)， 目前系統(tǒng)數(shù)據(jù)集中程度不夠，還未形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)共享框架，對(duì)運(yùn)營(yíng)支撐的支撐力度不夠，而網(wǎng)絡(luò)運(yùn)維分析在 面向服務(wù)轉(zhuǎn)型的過(guò)程中對(duì)數(shù)據(jù)的匯聚和共享要求極為迫切 ，因此需要建立統(tǒng)一 的網(wǎng)管資源池 ? 網(wǎng)管資源池主要負(fù)責(zé)各個(gè)垂直網(wǎng)管子系統(tǒng)信令數(shù)據(jù)、日志數(shù)據(jù)的、告警數(shù)據(jù)的統(tǒng)一管理，實(shí)現(xiàn) 跨平臺(tái)的數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用和數(shù)據(jù)共享等功能 ， ? 網(wǎng)管統(tǒng)一資源池需提供海量歷史數(shù)據(jù)的查詢(xún)功能，滿(mǎn)足運(yùn)維人員日常信息查詢(xún)和信息追溯的需要。 ? 系統(tǒng)與呼叫中心、工單系統(tǒng)對(duì)接，實(shí)現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)） ? 難點(diǎn)分析 ? 多個(gè)垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)千差萬(wàn)別，抽取后的數(shù)據(jù)無(wú)法關(guān)聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)優(yōu)勢(shì)無(wú)法體現(xiàn) ? 系統(tǒng)需要滿(mǎn)足 OLAP類(lèi)應(yīng)用分析，并面向上層應(yīng)用提供一致性的數(shù)據(jù)查詢(xún)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)受限于數(shù)據(jù)體量和數(shù)據(jù)種類(lèi)，無(wú)法滿(mǎn)足多類(lèi)型的海量數(shù)據(jù)的查詢(xún)和分析要求 ? 系統(tǒng)需同時(shí)從多個(gè)數(shù)據(jù)源實(shí)現(xiàn)數(shù)據(jù)庫(kù)數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的 ETL工具無(wú)法滿(mǎn)足流式數(shù)據(jù)的采集要求，導(dǎo)致進(jìn)程擁塞。 ? 建設(shè)方案 ? 基于不同的數(shù)據(jù)源及應(yīng)用分析模式采用 Flume、 Sqoop等系統(tǒng)工具完成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入 ? 基于 HDFS實(shí)現(xiàn)海量歷史數(shù)據(jù)的存儲(chǔ) ? Hive組件可通過(guò) SQL命令完成大數(shù)據(jù)的統(tǒng)計(jì)分析，并與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)配合完成分析結(jié)果數(shù)據(jù)的存放 ? HBase主要應(yīng)用于歷史數(shù)據(jù)的查詢(xún)，例如：查詢(xún) 1天全網(wǎng)所有隱形故障告警 數(shù)據(jù) 大數(shù)據(jù) 平臺(tái)適應(yīng)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)整合應(yīng)用 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 演講完畢，謝謝觀看！