【文章內(nèi)容簡(jiǎn)介】 文 件接 口專 線1 * G E 1 * G E2 * F C2 * F C2 * F C2 * F C2 * F C2 * F C2 * G E2 * G EP 5 5 0 P 5 5 0存 儲(chǔ)客 服接 口消 息采 集D S 5 0 2 0E T LS 9 3 0 0交 換 機(jī)2 * G E1 * G E備 機(jī)1 * G EN E 4 0 E路 由 器網(wǎng) 絡(luò) 爬 蟲V L A N 1 01 * G EG N話 單B S S短 彩平 臺(tái)V A C消 息接 口專 線位 置信 令D C NE 1 0 0 0 E防 火 墻開 通 互 聯(lián)網(wǎng) 訪 問O r a c l e R A CP 7 5 02 * G ES A N客 服平 臺(tái)渠 道 應(yīng) 用助 銷 平 臺(tái)1 1 6 1 1 42 * F C存 儲(chǔ)2 * F C2 * F C2 * F C炫 鈴應(yīng) 用商 店接 口G N 話單 預(yù)處 理位 置信 令預(yù) 處理1 * G EP 7 4 02 * G EH D S2 * G E2 * G E數(shù) 據(jù) 中 心W e b應(yīng) 用文 件采 集物 聯(lián) 網(wǎng)W o 商 店專 線1 * G EV L A N 2 0? 現(xiàn)網(wǎng)精細(xì)化營(yíng)銷平臺(tái)的數(shù)據(jù)庫(kù)既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工仸務(wù)，還承載所有報(bào)表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)和計(jì)算。缺乏對(duì)數(shù)據(jù)分層分級(jí)及生命周期的有效管理。 ? 系統(tǒng) 核心架構(gòu)為 Oracle數(shù)據(jù)庫(kù) +小型機(jī) +磁 陣。數(shù)據(jù)存放在磁陣上，計(jì)算時(shí)由數(shù)據(jù)庫(kù)服務(wù)器從磁陣讀到本地后迚行計(jì)算結(jié)果。隨著 數(shù)據(jù) 量增長(zhǎng)，磁盤 I/O、 網(wǎng)絡(luò) 帶寬、數(shù)據(jù)庫(kù)服務(wù)器的處理能力將存在 瓶頸，處理時(shí)延嚴(yán)重 。由亍傳統(tǒng)架構(gòu)的可擴(kuò)展性 差，無(wú)法滿足大數(shù)據(jù)的計(jì)算的擴(kuò)容需求。 為應(yīng)對(duì)海量 數(shù)據(jù)處理需求 ，大數(shù)據(jù)將從集中數(shù)據(jù)庫(kù)向分布式數(shù)據(jù)庫(kù)進(jìn)行 轉(zhuǎn)變。計(jì)算和存儲(chǔ)資源都由 x86服務(wù)器提供。 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 因?yàn)樵谝苿?dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領(lǐng)域的突破，丌同于傳統(tǒng)通信業(yè)務(wù)分析特點(diǎn)，需要對(duì)內(nèi)容等非結(jié)構(gòu)化、大容量信息進(jìn)行有效分析，傳統(tǒng)的架構(gòu)處理吃力。 關(guān)系數(shù)據(jù)庫(kù)引入對(duì) XML 的支持仍然無(wú)法有效處理 ETL 大 數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理 方法面臨 新問題 ? 傳統(tǒng)數(shù)據(jù)仏庫(kù)無(wú)法有效處理新型的業(yè)務(wù)數(shù)據(jù) 主要關(guān)鍵技術(shù) 自然詫言理解， 文本分詞、詫義 分析，情感分析或者大規(guī)模計(jì)算技 術(shù) 非結(jié)構(gòu)化數(shù)據(jù)索引技術(shù)， 如搜索 引擎倒排索引技術(shù) 多媒體處理， 包括圖像識(shí)別，詫 音識(shí)別，多媒體索引等技術(shù) …… ? 傳統(tǒng)數(shù)據(jù) 仏庫(kù)無(wú)法有效支撐數(shù)據(jù)吅作運(yùn)營(yíng) ? 由亍保存原始話單數(shù)據(jù)周期較短，合作運(yùn)營(yíng)無(wú)法追溯歷叱原始數(shù)據(jù)。 ? 現(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫(kù)的設(shè)計(jì)只適用不向上層提供既定好的數(shù)據(jù)分析仸務(wù)結(jié)果。對(duì)外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫(kù)正常的數(shù)據(jù)處理流程。同時(shí)數(shù)據(jù)的處理方式及結(jié)果也恐難以滿足合作運(yùn)營(yíng)的需要 。 ? 大數(shù)據(jù)平臺(tái)的架構(gòu)將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足丌同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運(yùn)營(yíng)。同時(shí)歷時(shí)數(shù)據(jù)能促使合作在第一時(shí)間就開展起來(lái)。 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 目 錄 二、大數(shù)據(jù)平臺(tái)整體規(guī)劃 一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì) 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) 上海聯(lián)通大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)及定位 準(zhǔn)實(shí)時(shí)采集 批量采 集 Hadoop平臺(tái) MPP，基 亍 X86平臺(tái) 主數(shù)據(jù)倉(cāng)庫(kù) 分布式數(shù)據(jù)庫(kù) 基亍 X86平 臺(tái) 數(shù)據(jù)采集（于化 ETL，流數(shù)據(jù)處理 、爬蟲 ） 數(shù)據(jù)層 獲取 層 能力層 精細(xì)化營(yíng)銷 智能運(yùn)營(yíng) 物聯(lián)網(wǎng)應(yīng)用 應(yīng)用商庖 客服應(yīng)用 基礎(chǔ)分析能力 數(shù)據(jù)挖掘能力 實(shí)時(shí)分析能力 自劣分析能力 多維分析能力 數(shù)據(jù)共享 能力 指標(biāo) 應(yīng)用 報(bào)表 應(yīng)用 主題分析 與題分析 虧 聯(lián)網(wǎng) GN口 半結(jié)構(gòu)化、非 結(jié)構(gòu)化數(shù)據(jù) BSS 經(jīng)分 DM VAC MC話單 業(yè)務(wù)平臺(tái) 結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源 分布式 文件系統(tǒng) HDFS 記錄明細(xì)數(shù)據(jù) HBase M/R Hive 記錄匯總數(shù)據(jù) 數(shù)據(jù)統(tǒng)一服務(wù)和 開放 SQL、 FTP、 WS、 MDX、 API、 …… 分布式數(shù)據(jù)庫(kù)（ MPP）： 存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，幵提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和 數(shù)據(jù)挖掘能力 ，向主數(shù)據(jù)倉(cāng)庫(kù)輸出 KPI和高度匯總數(shù)據(jù)。 主數(shù)據(jù)仏庫(kù)（不 MPP吅設(shè)）： 存儲(chǔ)指標(biāo)數(shù)據(jù)、 KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。 Hadoop云平臺(tái) ： 負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供幵行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高幵發(fā)的查詢能力。 數(shù)據(jù)開放接口 ： 向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。 數(shù)據(jù)采集（ ETL）： 負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括： 把原始數(shù)據(jù)加載到 Hadoop平臺(tái)。 把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫(kù)和主數(shù)據(jù)倉(cāng)庫(kù) 應(yīng)用層 一級(jí)標(biāo)題 華黑 /Arial 黑色 (0,0,0) 1620號(hào) 正文 華楷 /Arial 黑色 (0,0,0) 1416號(hào) 250,190,0 160,160,160 236,229,206 241,212,175 224,142,121 204,0,0 15,75,105 主色系 局部 /輔色系 E08E79 CC0000 ECE5CE F1D4AF A0A0A0 0F4B69 FABE00 SwiffChart 16進(jìn)制編號(hào) ? HDFS：分布式文件系統(tǒng) ? 有較強(qiáng)的容錯(cuò)性 ? 可在 x86平臺(tái)上運(yùn)行，減少總體成本 ? 可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用 ? HBase：非結(jié)構(gòu)化 NoSQl分布式數(shù)據(jù)庫(kù) ? 基亍分布式文件系統(tǒng) HDFS，保證數(shù)據(jù)安全 ? 列式存儲(chǔ)，節(jié)省存儲(chǔ)空間 ? 提供大數(shù)據(jù)量的高速讀寫操作 ? Hive：分布式關(guān)系型數(shù)據(jù)庫(kù) ? 數(shù)據(jù)可保存在 HDFS，可提供海量的數(shù)據(jù)存儲(chǔ) ? 類 SQL的查詢?cè)?