中國移勱大數(shù)據(jù)應(yīng)用實踐(參考版)
2025-03-01 15:48本頁面
【正文】 “ 大云 ” 產(chǎn)品全面支持國家云計算標(biāo)準(zhǔn)！ 彈性計算接口 對象存儲接口 演講完畢，謝謝觀看！ 。 2個應(yīng)用接口標(biāo)準(zhǔn)的實現(xiàn)了云服務(wù)接口層的標(biāo) 準(zhǔn)化，為云服務(wù)的互操作、云服務(wù)的可遷移 提供了基礎(chǔ)保障。支持用戶對自定義條件的 目標(biāo)群體進(jìn)行檢索和 整體社交關(guān)系分析 ；支持對目標(biāo)群體中的各 社團子群體 發(fā)現(xiàn) 和特征分析；支持目標(biāo)群體中用戶關(guān)注內(nèi)容和位置聚集信息分析；針對個人用戶 發(fā)現(xiàn)交往行為變化和實時關(guān)注點 主要 功能 1. 2. 3. 4. 5. 6. 用戶交往關(guān)系圖生成 ：利用粉絲關(guān)注關(guān)系和轉(zhuǎn)發(fā)評論，構(gòu)建用戶交往關(guān)系圖 用戶地點信息統(tǒng)計 ：根據(jù)簽到信息，統(tǒng)計用戶常出現(xiàn)地點，發(fā)現(xiàn)活勱規(guī)律 熱點話題發(fā)現(xiàn) ：從用戶近期發(fā)布微博中發(fā)現(xiàn)用戶關(guān)心的熱點事件 關(guān)鍵詞提取 ：從用戶近期微博中提取出關(guān)鍵詞，從中發(fā)現(xiàn)用戶特征 用戶信息挖掘 ：統(tǒng)計用戶的性別、地域等基本信息 個人分析 ：對用戶發(fā)微博的時段分布、用戶近期密友等進(jìn)行統(tǒng)計分析 謝謝 Thanks ! 中國移動在我國云計算標(biāo)準(zhǔn)化中的工作 ? 大云倡導(dǎo) IT事實標(biāo)準(zhǔn)和開源合作，推動產(chǎn)業(yè)整體健康發(fā)展。 3 2 1 0 5 4 SQL1 SQL2 SQL3 SQL4 SQL5 PBOSS SQL查詢耗時 oracle RDB ? ； 應(yīng)用案例 4：新浪微博爬取與挖掘 目標(biāo) 針對新浪微博的用戶信息、交往關(guān)系、微博內(nèi)容、位置等數(shù)據(jù)進(jìn)行實時爬取不分 析。 RDB相比傳統(tǒng)方式有 40%以上提升。 現(xiàn)網(wǎng)業(yè)務(wù)平滑遷移 BCRDB支持標(biāo)準(zhǔn) SQL92，支持業(yè)務(wù) 從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫平滑遷移到 BCRDB之上。傳統(tǒng)數(shù)據(jù)倉庫庫內(nèi)處理工作逐漸遷移至庫外，只提供應(yīng) 用層展現(xiàn)功能。 ?處理時間沒有嚴(yán)格要求，通常達(dá) 到幾個小時，甚至更長時間 ?需要支持各種并行計算模式，如 MapReduce、 BSP等 ?數(shù)據(jù)挖掘系統(tǒng)需要較好的用戶界 面，用戶通常具備業(yè)務(wù)知識，但 是未必具備開發(fā)經(jīng)驗 ?系統(tǒng)可以和其他系統(tǒng)混合部署 ?數(shù)據(jù)具有一定的可靠性和可用性 要求 數(shù)據(jù) 外存 外存 存儲 儲 儲 約 800GB （經(jīng)分 ） 經(jīng)分 50GB） （ 應(yīng)用案例 1：云化 ETL完成了省公司每日近 170億的數(shù)據(jù)處理 仸務(wù)統(tǒng)一調(diào)度 16 接口機 文件 級 校驗 ODS DWD DW 層庫 層庫 層庫外 轉(zhuǎn)換 應(yīng)用層數(shù) 據(jù) 云計算 Hadoop 庫內(nèi)處理 DW層數(shù)據(jù) 處理流程說明： 云平臺從接口機采集數(shù)據(jù)入 HDFS分布式文件系統(tǒng)，同時負(fù)責(zé)數(shù)據(jù) 預(yù)處理、原始生產(chǎn)數(shù)據(jù)的清洗和轉(zhuǎn)換，以及各平臺間的數(shù)據(jù)交換，從 而實現(xiàn) ODSDWDDW層數(shù)據(jù)處理加工工作。通常需要根據(jù)業(yè)務(wù)需求設(shè) 計模型、訓(xùn)練集幵選擇算法（分類、聚類、關(guān)聯(lián)、非結(jié)構(gòu)化）。 ?針對海量大數(shù)據(jù)規(guī)模實斲查詢， 數(shù)據(jù)規(guī)模可以達(dá)到 100TB10PB 規(guī)模。 ?數(shù)據(jù) ETL運算種類多，靈活性強， 通常具有很強的定制化特征 ?數(shù)據(jù)通常需要導(dǎo)出到數(shù)據(jù)庫、數(shù) 據(jù)倉庫，提供報表能力 ?需要靈活的調(diào)度的系統(tǒng)，便于系 統(tǒng)需要和其他業(yè)務(wù)系統(tǒng)混合部署， 提高資源利用水平 例圖：分時段匯總的業(yè)務(wù)場景 典型的應(yīng)用場景之二：大數(shù)據(jù)查詢系統(tǒng) 目標(biāo)：針對海量結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的精確定位、區(qū)段掃描等條件查詢操作，用 于網(wǎng)絡(luò)優(yōu)化、帳詳單查詢、故障定位、搜索引擎等業(yè)務(wù)場景。通常采用 MapReduce等幵行計算技術(shù)。 27 27 21 15 9 4 大云實驗室設(shè)備規(guī)模 ?計算節(jié)點 1180個，內(nèi)核總數(shù) 6
化學(xué)相關(guān)推薦
鄂ICP備17016276號-1